Sparren over core routing en investeringen

[MediaServe]

Niet specifiek voor onze eigen infrastructuur, maar meer in het algemeen.

Stel je gaat een netwerk bouwen en je hebt de volgende eisen:

• Minimaal twee datacentrums, minimaal twee routers met redundantie
• Minimaal gigabit verbindingen, mogelijkheid voor 10 gigabit is wenselijk
• Routing op basis van een eigen AS met Full BGP tabellen (hoeveel geheugen is noodzakelijk?)
• Flexibiliteit voor SX/LX is noodzakelijk
• IPv6 ready
• Schaalbaar tot 1M pps en 500 Mbps traffic

Nou ben ik benieuwd hoe ga je zoiets oppakken als je niet vanuit een bestaande omgeving werkt, maar echt vanaf scratch gaat opbouwen. Je hebt merken zoals Brocade, Juniper en Cisco. Je kunt kiezen voor een oplossing met blades, of met fixed SFP poorten. Nieuwe routers, list price betalen of toch maar refurbished via eBay? Hoe ga je om met ondersteuning en garantie? Wil je een aparte switch of een router met voldoende switchpoorten?

Kortom, ik ben benieuwd naar jullie expertise en ervaring op dit gebied Suggesties zijn ook welkom

[Technotop]

Minimaal twee datacentrums, minimaal twee routers met redundantie

Je hebt redundantie en je hebt redundantie.

Op het moment dat je de mogelijkheid hebt tot directe Layer 2 verbindingen, zoals bijvoorbeeld een Wavelenght (Een deel van een Darkfiber), Darkfiber of Layer 2 VLAN, dan kan je de redundantie zowel op Layer 2 als Layer 3 volledig uitrollen.

De beste oplossing zou zijn een Wavelenght met eigen controle over de belichting, je kunt zo ook gemakkelijk opschalen naar bijvoorbeeld 10 Gigabit/s. Dit maakt het beheer van afgescheide VLAN's een stuk eenvoudiger.

Minimaal gigabit verbindingen, mogelijkheid voor 10 gigabit is wenselijk.

Hoe vaak wordt er geburst naar +1 Gigabit/s? en bestaan deze uit single threads?

Veel threats en 1Gbit+ burst, dan voldoet een 2 of 4Gbit/s trunk/channel. Dit heeft als nadeel dat je maximale thread snelheid 1 Gbit/s is, ongeacht om hoeveel capaciteit het gaat van de trunk.

Weinig threats en 1Gbit+ burst, dan is 10 Gbit/s aan te raden. Het verschil tussen 1G en 10G is tegenwoordig nihil.

Routing op basis van een eigen AS met Full BGP tabellen (hoeveel geheugen is noodzakelijk?)

De BGP tabel heeft niet zo heel veel te maken met het geheugenverbruik. Je moet kijken naar de route tabel van de router. In nieuwe routers is het geen enkel probleem om alle IPv4 routes te ontvangen, ook prefixes kleiner dan /24. Daarnaast is het ook mogelijk om routes onder de /23 te filteren. Je verliest hierdoor geen connectiviteit doordat je deze routes op de 0.0.0.0/0 kwijt kunt, maar wel een stuk flexibiliteit.

IPv4 Routes 0.0.0.0/0 tot /24 = ~440.000
IPv4 Routes 0.0.0.0/0 tot /23 = ~220.000

Voorbeeld: Full Transit met /24 filter geeft effectief 440.000 Ipv4 routes in de tabel. Configureer je nu een 2e Full Transit partij, ook met een /24 filter, dan blijft de Ipv4 route tabel van de router op 440.000 staan. De BGP tabel zal dan aan de hand van regels (local prefferences) de IPv4 route tabel updaten, deze bestaat niet uit dubbele routes.

Kies je voor een volledige loadbalancing dan moet je wel uitkijken naar het totale IPv4 verbruik. Stel je sluit 2 Full Transit partijen aan en je kiest voor een MULTI-PATH, dan worden beide tabellen opgeslagen in de IPv4 route tabel. Je totale route tabel komt dan uit op: 880.000 IPv4 routes.

Flexibiliteit voor SX/LX is noodzakelijk

Alle routers en switches met SFP/SFP+ support bieden de mogelijkheid tot alle soorten glasvezelmodules, zelfs DWDM en CWDM.

IPv6 ready

EOL routers en switches beschikken vaak wel over IPv6 functionaliteit, maar je moet opletten of deze hard- of softwarematig is. Bij softwarematige IPv6 functionaliteit is de totale capaciteit een stuk lager dan in een hardware omgeving.

Schaalbaar tot 1M pps en 500 Mbps traffic

Bijna al deze punten vallen mooi samen in de Brocade CER router. Dit is een 1U machine met voldoende SFP poorten en biedt de mogelijkheid tot SFP+ modules (10G). Ook CWDM/DWDM en SX/LX poorten zijn geen enkel probleem en kan je relatief goedkoop aanschaffen.

Aanschafprijs per stuk: ~10.000/14.000 Euro.

Zoek je wat meer in de de low budget markt, dan zou een Foundry BigIron 4000 (jetcore) moeten volstaan, deze biedt de mogelijkheid tot SFP modules en Xenpack (10G). Voor ongeveer 4000 Euro zou je deze setup (2 stuks) neer kunnen zetten.

De vraag is nu:
Hoeveel is 1 Mbit precies waard? Op het moment dat je 500 Mbit verzet voor een klant en deze daar bijvoorbeeld 2,50 per Mbit voor wil betalen, dan kom je uit op totaal 1250,00 euro per maand. Indien de inkoop rond de 1 euro ligt, dan blijft er effectief 750 euro per maand over. Alle transport en eenmalige investeringen (apparatuur) moeten hier nog vanaf..

[visser]

Je hebt redundantie en je hebt redundantie.

paar nitpickjes, maar verder geen slecht verhaal

[knip]

Hoe vaak wordt er geburst naar +1 Gigabit/s? en bestaan deze uit single threads?

Veel threats en 1Gbit+ burst, dan voldoet een 2 of 4Gbit/s trunk/channel. Dit heeft als nadeel dat je maximale thread snelheid 1 Gbit/s is, ongeacht om hoeveel capaciteit het gaat van de trunk.

Weinig threats en 1Gbit+ burst, dan is 10 Gbit/s aan te raden. Het verschil tussen 1G en 10G is tegenwoordig nihil.

Spelling /terminologie :
thread - draad, en vooral gebruikt in de context van (lichtgewicht) processen
threat - bedreiging

In de context van netwerk verkeer en loadbalancing over meerdere paden is de term 'flow' gebruikelijk.

De BGP tabel heeft niet zo heel veel te maken met het geheugenverbruik. Je moet kijken naar de route tabel van de router. In nieuwe routers is het geen enkel probleem om alle IPv4 routes te ontvangen, ook prefixes kleiner dan /24. Daarnaast is het ook mogelijk om routes onder de /23 te filteren. Je verliest hierdoor geen connectiviteit doordat je deze routes op de 0.0.0.0/0 kwijt kunt, maar wel een stuk flexibiliteit.

IPv4 Routes 0.0.0.0/0 tot /24 = ~440.000
IPv4 Routes 0.0.0.0/0 tot /23 = ~220.000

Voorbeeld: Full Transit met /24 filter geeft effectief 440.000 Ipv4 routes in de tabel. Configureer je nu een 2e Full Transit partij, ook met een /24 filter, dan blijft de Ipv4 route tabel van de router op 440.000 staan. De BGP tabel zal dan aan de hand van regels (local prefferences) de IPv4 route tabel updaten, deze bestaat niet uit dubbele routes.

Kies je voor een volledige loadbalancing dan moet je wel uitkijken naar het totale IPv4 verbruik. Stel je sluit 2 Full Transit partijen aan en je kiest voor een MULTI-PATH, dan worden beide tabellen opgeslagen in de IPv4 route tabel. Je totale route tabel komt dan uit op: 880.000 IPv4 routes.

Dit is niet onjuist, maar wel wat misleidend.

Bij echte routers (en dat zijn BGP geschikte routers per definitie) heb je twee delen geheugen :

De forwarding tabel - hierin staan alle unieke routes, nadat de router de keus gemaakt heeft uit beschikbare BGP routes, interior routes (OSPF,IS-IS etc), statische routes en interface routes.
Dit bepaald uiteindelijk uit welk interface een pakket weer naar buiten gaat.

In een beetje high-end router zit deze tabel in speciale hardware (zoals TCAM), maar in een software based router zit deze tabel ook in een speciale datastructuur. (Op Cisco IOS routers heet dat 'CEF' ).
Als je een volledige BGP tabel wilt behappen is het dus zaak dat de router genoeg ruimte hiervoor heeft.

Bij een router met meerdere blades/linecards zit dit geheugen ook vaak op iedere linecard. Op oudere modellen kan dat krap zijn voor een volledige routing tabel van ~400 K entries. Of zit je dicht bij een groei plafond, met bijvoorbeeld 512K max.

Dan heb je routing table . Dat zijn de routing tabellen die door de CPU bijgehouden worden, in 'normaal' geheugen.
Dit geheugen zit op de 'hoofdcontroller' (supervisor, route processor etc) .
Hier houdt de router alle routes bij, met alle metrics, preferences, en de samenvatting ervan van 'beste bereikbare paden' uit alle BGP feeds,na toepassing van filters, interior routes, statisch etc is wat naar de forwarding tabel gekopieerd wordt.

Naast de hoeveelheid geheugen is de CPU capaciteit ook wel relevant als er veel BGP peers en updates verwerkt moeten worden.

OP vraagt naar 1MPPS , en dat kijk je hoe dan ook wel naar een platform met hardware forwarding.
Dan moet je dus op zowel het aantal routes in de hardware kijken, als naar het geheugen bij de main cpu.

Alle routers en switches met SFP/SFP+ support bieden de mogelijkheid tot alle soorten glasvezelmodules, zelfs DWDM en CWDM.

Wel met caveat of de vendor niet controleert op 'eigen' merk SFPs met hoge prijzen.

[MediaServe]

Ten eerste bedankt voor de reacties...

Hoe vaak wordt er geburst naar +1 Gigabit/s? en bestaan deze uit single threads?
Veel threats en 1Gbit+ burst, dan voldoet een 2 of 4Gbit/s trunk/channel. Dit heeft als nadeel dat je maximale thread snelheid 1 Gbit/s is, ongeacht om hoeveel capaciteit het gaat van de trunk.
Weinig threats en 1Gbit+ burst, dan is 10 Gbit/s aan te raden. Het verschil tussen 1G en 10G is tegenwoordig nihil.

Het gaat ons niet om burst, maar om bandbreedte, dus als 1 Gbps niet meer voldoende is wil je kunnen upgraden naar 10 Gbps. Ik begrijp niet wat je bedoelt met het verschil is nihil, want naar mijn mening is het verschil een factor 10. Maar goed, het idee is dus toekomstgerichtheid, dus niet bij de minste upgrade al nieuwe hardware nodig hebben.

De BGP tabel heeft niet zo heel veel te maken met het geheugenverbruik. Je moet kijken naar de route tabel van de router. In nieuwe routers is het geen enkel probleem om alle IPv4 routes te ontvangen, ook prefixes kleiner dan /24. Daarnaast is het ook mogelijk om routes onder de /23 te filteren. Je verliest hierdoor geen connectiviteit doordat je deze routes op de 0.0.0.0/0 kwijt kunt, maar wel een stuk flexibiliteit.

IPv4 Routes 0.0.0.0/0 tot /24 = ~440.000
IPv4 Routes 0.0.0.0/0 tot /23 = ~220.000

Met een limiet van 512.000 IPv4 routes kun je dus al Full CAM routen.

Hoe zit het met IPv6 Full CAM?

EOL routers en switches beschikken vaak wel over IPv6 functionaliteit, maar je moet opletten of deze hard- of softwarematig is. Bij softwarematige IPv6 functionaliteit is de totale capaciteit een stuk lager dan in een hardware omgeving.

Dat klopt, een Jetcore router bijvoorbeeld doet de IPv6 routing door de CPU zonder ASIC.

Bijna al deze punten vallen mooi samen in de Brocade CER router. Dit is een 1U machine met voldoende SFP poorten en biedt de mogelijkheid tot SFP+ modules (10G). Ook CWDM/DWDM en SX/LX poorten zijn geen enkel probleem en kan je relatief goedkoop aanschaffen.

Aanschafprijs per stuk: ~10.000/14.000 Euro.

Zoek je wat meer in de de low budget markt, dan zou een Foundry BigIron 4000 (jetcore) moeten volstaan, deze biedt de mogelijkheid tot SFP modules en Xenpack (10G). Voor ongeveer 4000 Euro zou je deze setup (2 stuks) neer kunnen zetten.

Of een BigIron RX

De vraag is nu:
Hoeveel is 1 Mbit precies waard? Op het moment dat je 500 Mbit verzet voor een klant en deze daar bijvoorbeeld 2,50 per Mbit voor wil betalen, dan kom je uit op totaal 1250,00 euro per maand. Indien de inkoop rond de 1 euro ligt, dan blijft er effectief 750 euro per maand over. Alle transport en eenmalige investeringen (apparatuur) moeten hier nog vanaf..

Waarom denk je dat Mbps verkocht gaan worden of dat er uberhaupt klanten op komen te draaien?

Maar inderdaad als je kijkt naar een standaard propositie van hosters dan kom je op zo'n berekening.

[dennis0162]

@ Robbert

Slikken die Jetcore 4000's nog full table? Ik dacht dat die aardige tegen de max. aanzitten.

[Technotop]

@ Robbert

Slikken die Jetcore 4000's nog full table? Ik dacht dat die aardige tegen de max. aanzitten.

Fulltable vanaf /24 niet meer (deze zit nu rond de 440.000 routes, waar Jetcore een limiet heeft van 409600 routes). Een fulltable vanaf /23 kan deze nog wel met gemak aan, maar nu al geen multi-path meer.

Ten eerste bedankt voor de reacties...



Het gaat ons niet om burst, maar om bandbreedte, dus als 1 Gbps niet meer voldoende is wil je kunnen upgraden naar 10 Gbps. Ik begrijp niet wat je bedoelt met het verschil is nihil, want naar mijn mening is het verschil een factor 10. Maar goed, het idee is dus toekomstgerichtheid, dus niet bij de minste upgrade al nieuwe hardware nodig hebben.

Ik doelde op de prijs, het verschil tussen een SFP+ of een SFP is nihil. Als het gaat om standaard bandbreedte dan voldoet 2 of 4 Gbit in TRUNK/CHANNEL uitstekend.

Met een limiet van 512.000 IPv4 routes kun je dus al Full CAM routen.

Hoe zit het met IPv6 Full CAM?

IPv6 moet je volledig kunnen draaien, deze bevat op dit moment ~5000 unieke IPv6 routes (vanaf /48).

Of een BigIron RX

Klopt, maar de Bigiron RX kan bijvoorbeeld geen VRRP voor IPv6 (zover hier nog geen firmware upgrade voor is), dit is wel iets waar je in de toekomst <2 jaar naar wilt gaan kijken.

Spelling /terminologie :
thread - draad, en vooral gebruikt in de context van (lichtgewicht) processen
threat - bedreiging

Ik doel hier op thread (verbinding/connectie) en niet een bedreiging.

[Stewie]

Volgens mij is dat recent beschikbaar gemaakt op de RX.

Als je nu de mogelijkheden bekijkt om een router te kopen zou ik weg blijven van alles dat ouder is dan de RX. Zoals technotop al aangeeft zit er absoluut geen toekomst in die jetcore/ironcore apparatuur. Oude hardware, oude software.
De RX heeft een aantal duidelijke limieten en is niet geschikt in bepaalde situaties, denk aan veel apparatuur (duizenden servers/IPs) of veel traffic, of veel BGP sessies.

1 gbit verbindingen acceptabel noemen in een core router vind ik ook gevaarlijk. Bedenk goed dat elke connectie van een server op 1 gbit de hele verbinding en trunk kan verstoren. Sluit je servers aan op 1 gbit, wat tegenwoordig toch wel de standaard is, dan kan je de netwerk core beter op 10 gbit zetten.

Mbt IPv6: nu zijn er 5000 routers, dit loopt alleen maar op. Die oude apparatuur doet veel te veel over de CPU en gaat flinke bottlenecks hebben als het netwerk groeit.

De Brocade CER wordt al aangeprezen: deze hebben wij ook veel, werkt uitstekend in kleine deploys. Wij gebruiken het veel in het buitenland, op nieuwe lokaties. 2x 10 gbit erin en dan de switches intern aansluiten op 1 gbit poortjes. Dit alleen met voorspelbaar game traffic waar wij de pieken en dalen 100% kunnen voorspellen. Zodra er klanten aansluiten met eigen content, plaatsen we altijd een MLXe. Goede sterke apparatuur. Alles op 10 gbit. Onze transits direct op 10 gbit trunks. In de loop der jaren goed uitgebouwd om 100% netwerk uptime te garanderen. Waar bij veel partijen het acceptabel wordt bevonden als er een transit vendor uitvliegt is dat bij ons uit den boze; omdat onze dienstverlening sterk leunt op de connectivity zien we directe gevolgen van internet storingen direct terug in de miljoenen spelers binnen ons netwerk; bij diverse andere providers maakt dat niet uit. De shop is toch online, "BGP moest even een nieuwe route bepalen", dat soort excuses. Bij Brocade zit je overigens goed: de snelheid waarop nieuwe routes worden verwerkt is vele malen hoger dan bij Cisco.


Wij hebben Brocade RXen, XMRs, MLXes, CERs, ADXen, eigenlijk alles wel. In onze core staat de MLXe32 met XMR blades, gigabytes aan ram.

Dus: instap en is je omgeving klein en statisch: Brocade CER; voordeel: prijs, nadeel: maar 2 x 10 gbit in huidige model (nieuwe modellen komen eraan)

Iets grotere omgeving: Brocade MLXe met nieuwe generatie XMR blades; ondersteunt IPv6 uitstekend, zeer schaalbaar.

Ga je een ouder model nemen, accepteer dan de limitaties op IPv6, en op schaalbaarheid.

[PimEffting]

Advies dat ik kan geven is om niet te besparen op in feite de kern van je bedrijf.
Goedkoop is toch vaak duurkoop in de praktijk.

Verder zul je bij iedere grote vendor een oplossing kunnen vinden die aan je wensen voldoet. Denk aan Cisco, Juniper, Brocade, et cetera. Vanwege de "volwassenheid" en ondersteuning zou ik niet teveel experimenteren met rare en onbewezen merken. Ja, je betaalt voor het labeltje. Maar het geeft je wel rust om te weten dat je niet de enige gebruiker bent. Voorbeelden van configuraties e.d. kun je dan makkelijker op Internet zoeken. Restwaarde is ook significant hoger.

Staar je niet blind op listprices, maar vraag offertes op bij wat leveranciers.
Kortingen van 50% zijn geen uitzondering.

Eigen ervaring:
Zelf zijn we extreem gelukkig met Juniper MX80. Deze router heeft 4x 10 gigabit poorten en een enorme capaciteit. Zowel het geheugen als de performance. Reken op 15 a 20k per stuk.

[MediaServe]

De RX heeft een aantal duidelijke limieten en is niet geschikt in bepaalde situaties, denk aan veel apparatuur (duizenden servers/IPs) of veel traffic, of veel BGP sessies.

Kun je dat technisch onderbouwen? Ik las ergens dat een RX een limiet heeft van 128.000 MAC adressen. Waarom is een RX router niet geschikt voor duizenden servers?

De Brocade CER wordt al aangeprezen: deze hebben wij ook veel, werkt uitstekend in kleine deploys. Wij gebruiken het veel in het buitenland, op nieuwe lokaties. 2x 10 gbit erin en dan de switches intern aansluiten op 1 gbit poortjes. Dit alleen met voorspelbaar game traffic waar wij de pieken en dalen 100% kunnen voorspellen.

Hoe verhoudt een Brocade RX zich ten opzichte van een Brocade CER 2000 router? Afgezien van de hoeveelheid poorten.

Bij Brocade zit je overigens goed: de snelheid waarop nieuwe routes worden verwerkt is vele malen hoger dan bij Cisco.

Heb je daar een onderbouwing voor?

Ga je een ouder model nemen, accepteer dan de limitaties op IPv6, en op schaalbaarheid.

Ik zou zeggen dat een Brocade RX schaalbaarder is dan een Brocade CER 2000. Tenzij je MPLS nodig hebt wellicht.

Zelf zijn we extreem gelukkig met Juniper MX80. Deze router heeft 4x 10 gigabit poorten en een enorme capaciteit. Zowel het geheugen als de performance. Reken op 15 a 20k per stuk.

Juniper zal ik mij ook eens in verdiepen. Maar ik ben wel benieuwd waarom je juist voor Juniper hebt gekozen?

[visser]

[..]

De shop is toch online, "BGP moest even een nieuwe route bepalen", dat soort excuses. Bij Brocade zit je overigens goed: de snelheid waarop nieuwe routes worden verwerkt is vele malen hoger dan bij Cisco.

Dat lijkt me veel te generiek gesteld, als je kijkt naar de nogal ruime portfolio aan Cisco producten die BGP doen, en hoe lang deze soms ingezet worden. Het klinkt nogal als "Veel sneller dan een Volkswagen". (Kever ? Veyron ?)
Het zal vast waar zijn voor een nogal oude Cat6500/7600 supervisor met heel veel peers; Ik betwijfel of het ook zo waar is voor een ASR1K/ASR9K , of CRS bijvoorbeeld.

[Stewie]

Nou visser, see for yourself

@Mediaserve: creatief rekenen noemen ze dat Je hebt geheugen dat je maximaal kan benutten. Als je meer nexthop cache wilt hebben andere functies op dat model minder capaciteit. Je kan in de praktijk dus nooit alle maximale limieten halen. Als je bij de nexthop op de max zit zit bij 10 andere features onder het minimum. Wij hebben meer dan tien duizend servers in het datacenter, en snel de upgrade naar het XMR/MLXe platform gemaakt.

De CER is een echte aanrader: de echte limiet is de hoeveelheid poorten. Je kan er prima 10+ gbit op routeren.

De RX is een switch volgens Brocade .. misschien zegt dat voldoende. De RX schaalt prima op port density, maar vergeet niet dat je over poorten ook nog traffic wilt doen. Gebruik je het als een switch, dan is het prima. Ga je er meer op doen, dan loop je vanzelf tegen de nexthop limiet aan en gaat de CPU al het werk doen.

[visser]

Nou visser, see for yourself

Ik zie de , maar toch even in wat meer detail :

Ik zie met een zekere regelmaat voor mijzelf dat je bij _alle_ vendors echt diep in de architectuur van een platform moet zitten om beperkingen en corner cases van dat platform te kennen en te snappen; Voor standaard middle of the road deployment is dat natuurlijk ook zelden een probleem, maar als je aan de randen gaat zitten wordt het relevant.
Bijvoorbeeld omdat je budgettair aan je limiet zit en dan een platform neemt wat "het nog net" kan, of een oudere lijn.

Dat haal je niet meteen uit een whitepaper of een miercom rapport. Als de leverancier een aantal families platformen heeft met soms een erg lange historie valt er al helemaal weinig generieks over performance te zeggen als je niet het platform en componenten generatie noemt.
(Al zijn borrels and conferentie wandelgangen een prima plek om desondanks wat generieke opinies te geven en te horen, maar helemaal serieus kan ik het niet noemen, of nemen).

Ik ken de brocade portfolio niet goed genoeg om te zeggen voor welke apparaten je in vergelijking tot welke cisco apparatuur en onder welke omstandigheden je wellicht gelijk hebt mbt tot routing convergence/route installation.
Ik ken de cisco portfolio wel vrij goed, en weet (dus) dat er wel echt _grote_ verschillen zitten tussen families, en tussen generaties van die families. ('een 6500' ? De ene is schroothoop (of lab), de andere rijd je een heel erg mooie auto voor. Het scheelt natuurlijk wel jaren en kaarten).