Het is alweer vijf jaren geleden dat het vorige grootschalige onderhoud is uitgevoerd aan het netwerk van Duocast. De blogpost Netwerkupgrade 2013: werken aan de infrastructuur vertelt hoe destijds de routers zijn vervangen door Juniper MX80 routers en alle verbindingen zijn geupgrade naar 10Gbps.

Om het netwerk up-to-date te houden zullen in kwartaal 4 van 2018 opnieuw alle routers worden vervangen. De keuze is dit keer gevallen op de Juniper MX204 . In deze blog post lees je waarom de routers vervangen worden en hoe de keuze tot de nieuwe Juniper MX204 tot stand is gekomen.

Duocast gebruikt, net zoals andere providers,  BGP om het eigen netwerk te verbinden met het Internet. Via BGP wordt route-informatie uitgewisseld. Zo wordt door de Duocast routers aan andere providers verteld waar het verkeer voor Duocast IP-adressen naartoe mag, en ontvangt Duocast van andere providers de benodigde informatie om de rest van de wereld te kunnen bereiken. Het uitwisselen van deze route-informatie is een intensieve taak voor routers en was in 2013 een van de redenen om de routers te vervangen.

In november 2013 bestond de volledige routetabel nog uit +/- 475.000 IPv4 subnets en +/- 13.000 IPv6 subnets. De routetabel is sindsdien vrijwel lineair in omvang gegroeid en bevat op het moment van schrijven +/- 715.000 IPv4 subnets en 57.000 IPv6 subnets. Hoewel alle netwerkcomponenten en verbindingen in het Duocastnetwerk redundant zijn uitgevoerd, heeft het wegvallen van een verbinding of een component toch impact op de beschikbaarheid van de verschillende diensten. Bij het wegvallen van een verbinding of component moet de routetabel namelijk geupdate worden.

De tijd die dit kost, BGP convergence time genoemd, is afhankelijk van het aantal updates en de snelheid waarmee de router alle updates kan verwerken. In april 2016 is het omlaag brengen van de convergence time beschreven als een van de voordelen van de nieuwe monitoringinrichting van Duocast zoals uitgelegd in de blogpost Netwerk monitoring 2.0. Door de wijzigingen die destijds zijn doorgevoerd is de BGP convergence time terug gebracht van 17 minuten naar 5 minuten voor een volledige routetabel. De routetabel is echter sindsdien weer substantieel gegroeid.

Uit de grote hoeveelheid tekst die gewijd is aan convergence time is al op te maken dat dit een belangrijk aandachtspunt is bij het kiezen van een nieuwe router. Daarnaast spelen ook de fysieke afmetingen en het aantal 10Gbps poorten voor Duocast een grote rol, met name voor de netwerklocaties van Duocast in Amsterdam waar een beperkte hoeveelheid ruimte beschikbaar is. De MX80 is 2RU groot en voorziet, bij de configuratie zoals gebruikt door Duocast, in 6 10Gbps poorten en 20 1Gbps poorten. Op alle netwerklocaties zijn de 10Gbps poorten bezet.

In mei van 2018 heeft Juniper testapparatuur beschikbaar gesteld zodat Duocast tests heeft kunnen uitvoeren op de  MX204 samen met de EX4300-32F , een 32 poorts SFP switch, en Fusion. Beide apparaten samen voorzien in 1x 100Gbps, 20x 10Gbps en, 32x 1Gbps, passen samen binnen de fysieke ruimte van een MX80 (2 RU) en het laden van de volledige BGP tabel duurt minder dan een minuut! Hiermee is dit de ideale configuratie voor Duocast.

Naast het vervangen van de routers wordt bij deze upgrade ook de netwerkcapaciteit tussen Amsterdam en Groningen uitgebreid. Na afronding van de werkzaamheden leveren vier 10Gbps verbindingen samen 40Gbps aan capaciteit en heeft uitval van maximaal drie verbindingen geen invloed op de beschikbaarheid.

Twee van de vier verbindingen komen uit in Equinix AM7 ter vervanging van de huidige 10Gbps verbinding naar Eunetworks. Tevens wordt er een datacenter toegevoegd aan de ring: Nikhef.

De infographic geeft weer welke datacenters onderdeel zijn van het Duocast netwerk en waar diensten geleverd kunnen worden zoals IPTransit, MPLS VPNs (L2, L3), Cloudconnect en VXLAN.

De MX80 is modulair. Deze heeft vier vaste XFP (10Gbps) poorten en is voorzien van twee sloten waar een 20x SFP (1Gbps) module in kan of een 2x XFP (10Gbps) module. De aantallen zoals weergeven in de tabel komt overeen met de configuratie die Duocast heeft toegepast. De Juniper MX204 heeft een vaste configuratie bestaande uit 4 QSFP28+ (100Gbps/40Gbps) poorten en 8 SFP+ (10Gbps/1Gbps) poorten. De 100Gbps poorten kunnen ingezet worden als 40Gbps poorten of met ‘break-out’ bekabeling als 4x 10Gbps per 100Gbs poort. Het is echter niet mogelijk om alle QSFP+ poorten en SFP+ poorten tegelijk te gebruiken. De maximale capaciteit van de MX204 is 400Gbps en daar moet de configuratie binnen blijven. Via een tool van Juniper kan gecontroleerd worden of de gewenste configuratie mogelijk is.

Omdat er voor Duocast nog geen behoefte is aan 100Gbps aan bandbreedte per poort, zullen deze poorten initieel als 40Gbps en 4x 10Gbps ingezet worden. De 8 SFP+ poorten zullen eveneens ingezet worden als 10Gbps. De oplettende lezer zal opmerken dat deze configuratie nog niet voorziet in 1Gbps poorten. Het is erg zonde om de SFP+ poorten in te gaan zetten voor 1Gbps. Het gebruik van een layer2 switch voor het aggregeren van 1Gbps verbindingen naar een enkele 10Gbps verbinding heeft ook niet de voorkeur omdat verbindingsproblemen hierdoor niet zichtbaar zijn op de router. De verbinding tussen router en aggregatieswitch blijft immmers actief.

Juniper heeft hiervoor een oplossing: Juniper Fusion. Hierbij wordt een switch (sattelite) gebruikt als lijnkaart van een router (aggregator). De switch wordt voorzien van fusion software en aangesloten op een router waardoor de poorten van de switch direct configureerbaar worden vanuit de router.