Onderwerp: Transit / Peering routers

Hoi,

Momenteel zijn wij druk bezig met het overgaan naar "the next step": een "eigen netwerk". Dit omdat we groeien en we een aantal veeleisende klanten hebben/krijgen die ook nog eens het nodige maatwerk vragen.

Vele zaken zijn al in gang gezet en/of geregeld, zoals lidmaatschap RIPE met aanvragen ip's en asn's, bestellen metroverbindingen, contracten datacenters, transit providers en peering partners. De nodige cursussen worden gevolgd en daar waar nodig schakelen we vooralsnog externe hulp in voor ontbrekende expertise in beheerzaken.

Nu nog de hardware... Het is duidelijk welke merken gangbaar zijn voor routing en switching (Cisco, Juniper, Foundry, ...), maar wij komen er niet echt uit wat een goede instap is voor onze situatie. Mede doordat er weinig te vinden is over wat anderen gebruiken en waarom en als we de specs van al die apparaten bekijken zien wij als "beginners" door de bomen het bos niet meer.

Om van een lang verhaal een korte vraag te maken: welke merken/modellen routers worden er zoal gebruikt door anderen en welke zijn ook een goede instap voor ons? We beginnen in 2 of 3 dc's met interne/externe verbindingen van max 1Gbit. We gaan ervanuit dat alle apparatuur sowieso BGP en andere vereiste protocollen en grotes van tabellen aankunnen. Veel uitbreidingsmogelijkheden zijn niet nodig evenals security, dat regelen we respectievelijk later en/of anders.

Ben benieuwd en alvast bedankt voor de tips!

Wij hebben enige tijd geleden dezelfde stap gemaakt. Conclusie: het is behoorlijk pittige materie en vergt een forse investering in zowel tijd, kennis als geld.

Je kunt beter niet voor de goedkoopste routers gaan. Die gaan bij een piekje snel onderuit en zijn niet klaar voor de toekomst (met name geheugen kan een probleem vormen bij full table). Ook wil je in de toekomst wellicht 10G verbindingen. Nadat we onze goedkope routers hebben weggegooid zijn we overgeschakeld op Juniper MX80 (±30k Euro per stuk) en zijn daar zeer tevreden over!

Ik geef hetzelfde advies als Pim: beter goed investeren in de routers en voldoende upgrade mogelijkheden houden. Jezelf tot 1 gbit connecties limiteren sowieso niet doen!

Wij zijn uiteindelijk uitgekomen bij Brocade: wij hebben drie, binnenkort vier Brocade XMR 8000 routers en enkele Brocade RX8 fully loaded switches.

Je bedrijfskritische business draait op deze apparatuur, bezuinig dus niet verkeerd!

Stap ook af van je aanname dat elke router automatisch BGP ondersteund. Cisco heeft er nogal een handje van om bijvoorbeeld ISP licenties op te stellen, waar dan weer de BGP functionaliteit in ondergebracht is.

Stel het gewoon als expliciete eis op. Je kan beter zaken eisen die achteraf standaard blijken te zijn, dan zaken niet eisen die essentieel zijn voor je situatie en achteraf er achter moeten komen dat je apparatuur niet voldoet.

Goede ervaringen met Cisco, op dit moment ziet met name de ASR serie er goed uit. Die is wel vrij prijzig, maar er zijn partijen welke die 2e hands kunnen leveren, dat scheelt weer.

Hou ook rekening met IPv6 etc.

Eerst en vooral moet je ook kijken wat je nu al hebt draaien aan switches, als je nu bvb al cisco's heb is het logischer om cisco routers te nemen. Als je bvb HP switches hebt zou je eventueel kunnen kijken naar de nieuwe lijn van H3C (HP+3COM), daar zitten ook wat leuke dingen tussen.

Voor de rest kan ik ook de tip geven beperk je niet tot wat je nu nodig hebt maar ga voor een modulair systeem dat klaar is voor de toekomst, zowel kwa hardware als software/firmware.

Goede adviezen. Ga inderdaad voor modulaire routers waarin je later 10Gig modules kunt zetten ookal is die noodzaak er nu niet. Het liefste van dezelfde vendor als de rest van je (edge) netwerk.

Wij hebben momenteel ASR1004's en 7604's draaien (beide 10Gig), hadden voorheen M7i's. De ASR's hebben we een half jaar geleden geupgrade met 10Gig modules, sindsdien verschillende issues gehad, zijn inmiddels door firmware upgrades opgelost moeten zijn.

Overall met beide tevreden (de Cisco's en de Junipers).

Wat is je budget?

Ik dank jullie voor de adviezen, ze zijn buitengewoon bruikbaar! Blijf posten, want we zijn er nog lang niet uit en willen ons zo breed mogelijk oriënteren.

Ik moet eerlijk bekennen dat we ons nogal hebben verkeken op de prijzen van een fatsoenlijke router die doet en kan wat je ervan verwacht, zonder noemenswaardige problemen. We zaten tot nu toe te oriënteren een nivootje lager (Cisco 39x5 routers + 2960S switches of Juniper Jxxxx of M7i routers + EX switches) dan de lijn van modellen die hier genoemd worden. Deze zijn inderdaad modulair en upgradable, maar hebben daarom ook een extreem hoger prijskaartje dan minder modulair/upgradable edoch ruimschoots voldoende voor onze situatie. Het is overigens wel redelijk terecht dat er gesteld wordt dat het altijd beter is om een product te kiezen dat "kan meegroeien".

Is het, zoals regelmatig elders gesteld wordt, verstandig om ook naar 2e hands of refurbished apparatuur te kijken, en zoja, wat zijn goede startpunten?

Wat als we toch minder modulair of lager willen instappen (niet dat we dat persé willen doen), waar kijken we naar. Waar zijn "jullie" ooit mee begonnen. Uiteraard zijn we dan geïnteresseerd in positieve verhalen, alhoewel we ook graag willen weten wat we zeker niet moeten gaan gebruiken.

Andere tips & tricks buiten te gebruiken hardware zijn natuurlijk ook van harte welkom!

Refurbished is wel aan te raden als je van de prijzen schrikt. Ik zou niet te laag inzetten zoals al eerder aangeraden, heb al meerdere providers bij de eerste ddos compleet plat zien gaan voor uren/dagen. Naast ebay ken ik de goede adresjes ook niet voor dit soort zaken

De meeste tips zijn hier boven al gegeven, maar wil nog benadrukken:

* Let OP FULL IPv6 support. Kijk dus of alles wel hardware-matig wordt afgehandeld en ook zaken zoals VRRPv3 (redundant gateways) aanwezig zijn.
* De globale route tabel (BGP) gaat de aankomende jaren FLINK groeien vanwege versnipperingen, kies een router die genoeg geheugen heeft voor deze grotere tabel.

En refurbished is prima, tweedehands is echt geen vies woord, het gaat er om dat het doet wat het moet doen.

Cisco heeft zelfs "certified" refurbished apparatuur met gewoon garantie en support er bij.

Dank voor de uitleg, was me er op dit moment zelf ook in aan het verdiepen.

Oorspronkelijk geplaatst door T. Verhaeg

Dank voor de uitleg, was me er op dit moment zelf ook in aan het verdiepen.

Je hebt al een paar goede tips gekregen.
Inderdaad voldoende geheugen voor routes is erg belangrijk.
Bij de meer high end platformen gaat dit om twee dingen :

FIB (forwarding information base), het geheugen waar de uiteindelijk gekozen routes in staan. Bij (L3) switches heet dit gewoonlijk TCAM.
Daarnaast de RIB (Routing Information Base), het geheugen waar alle ontvangen routes instaan. Bij meerdere gelijke routes komt de "beste" in de FIB.
Als je een aantal peers en een aantal volledige BGP feeds ontvangt moeten die allemaal in de RIB passen. (Dit geheugen is typisch de ram op het bord met de main processor (supervisor/cpu etc)).

Er zijn een paar dingen die je alleen, of het beste, op je border router moet doen.
Die router moet zelf overeind blijven (cq zelf voldoende filtering aankunnen) bij een bedoelde of onbedoelde DDoS.
Ook compleet support voor uRPF is erg wenselijk, evenals een goede NetFlow implementatie.
En ja, als je nu iets nieuws koopt is IPv6 *nu* (niet "roadmap als er vraag is") gewoon nodig.

Oorspronkelijk geplaatst door cvgeldern

Ik dank jullie voor de adviezen, ze zijn buitengewoon bruikbaar! Blijf posten, want we zijn er nog lang niet uit en willen ons zo breed mogelijk oriënteren.

Ik moet eerlijk bekennen dat we ons nogal hebben verkeken op de prijzen van een fatsoenlijke router die doet en kan wat je ervan verwacht, zonder noemenswaardige problemen. We zaten tot nu toe te oriënteren een nivootje lager (Cisco 39x5 routers + 2960S switches of Juniper Jxxxx of M7i routers + EX switches) dan de lijn van modellen die hier genoemd worden. Deze zijn inderdaad modulair en upgradable, maar hebben daarom ook een extreem hoger prijskaartje dan minder modulair/upgradable edoch ruimschoots voldoende voor onze situatie. Het is overigens wel redelijk terecht dat er gesteld wordt dat het altijd beter is om een product te kiezen dat "kan meegroeien".

Is het, zoals regelmatig elders gesteld wordt, verstandig om ook naar 2e hands of refurbished apparatuur te kijken, en zoja, wat zijn goede startpunten?

Wat als we toch minder modulair of lager willen instappen (niet dat we dat persé willen doen), waar kijken we naar. Waar zijn "jullie" ooit mee begonnen. Uiteraard zijn we dan geïnteresseerd in positieve verhalen, alhoewel we ook graag willen weten wat we zeker niet moeten gaan gebruiken.

Andere tips & tricks buiten te gebruiken hardware zijn natuurlijk ook van harte welkom!

Het hangt er vanaf wat je wenst te gaan doen. Indien je meerdere paden naar buiten hebt, wil je volledige routes zodat je de beste kunt kiezen. Dit vereist veel meer van de router welke verbonden is met transit/peering partijen.

Zeker nu IPv6 standaard aan het worden is, daardoor heb je feitelijk alle processen dubbel.

Als je in wilt stappen met een laag model, kun je overwegen aan je upstreamproviders te vragen een default route aan je aan te bieden via BGP. Je mist dan een flink stuk controle over de routes, maar je kunt het dan af met een relatief simpele router.

Ik zou aanraden met volledige routes te werken, wat een 'grotere' router vereist. Refurbished instappen lijkt het meest interessant.

Kun je schetsen wat je gaat bouwen ? Aantal upstream providers, hoeveel routers etc ?

Oorspronkelijk geplaatst door cvgeldern

Ik moet eerlijk bekennen dat we ons nogal hebben verkeken op de prijzen van een fatsoenlijke router die doet en kan wat je ervan verwacht, zonder noemenswaardige problemen. We zaten tot nu toe te oriënteren een nivootje lager (Cisco 39x5 routers + 2960S switches of Juniper Jxxxx of M7i routers + EX switches) dan de lijn van modellen die hier genoemd worden.

Mijn advies is: niet doen. Je haalt jezelf een hoop ellende op de hals. De M7i is in de basis goedkoop verkrijgbaar, maar de modules zijn bijzonder prijzig. Zeker als je wirespeed 1G nodig hebt. Tevens loop je snel tegen geheugenlimieten aan voor full tables (de ipv6 table zal ook nog fors groeien). De J-series is meer bedoeld voor private netwerken. Op het "grote boze Internet" hebben ze het snel erg zwaar (uit ervaring) ook al zien de specs er goed uit. Hierin hadden wij ons ook vergist helaas (iets met schade, schande en wijs worden).

Wellicht is het beter om de dienst ergens in te kopen? Ben je veel voordeliger uit en er zijn tegenwoordig veel goede netwerken te krijgen.

Oorspronkelijk geplaatst door Rob77

Kun je schetsen wat je gaat bouwen ? Aantal upstream providers, hoeveel routers etc ?

2 dc's met op beide lokaties 2 verschillende transit providers, eigen ip's en asn's, layer2 metroverbinding tussen de dc's, in de nabij toekomst nog een 3e dc, 3 transit provider en rechtstreekse peering erbij. Alle verbindingen vooralsnog op basis van 1Gbit, achter de routers een aantal stackable switches met minimaal 1Gbit poorten.

Je kan met recht zeggen dat dit een "instap" model is en ja, we zijn beginners in deze grote mensen wereld onder de hosting providers met eigen backbone/(inter)netwerk. We zijn niet een hosting provider met heel veel kleinere (shared) hosting klanten en colo klanten met stapels unmanaged servers. Onze klantenkring bestaat voor 95% uit niet veel edoch wel grote en/of hard groeiende klanten. We hebben geen cages volgebouwd, maar slechts een paar racks met bijna alleen maar managed/customized servers en clusters. Grote (modulaire router of switch chassis' met vele 100'en poorten voor nu of nabije toekomst is dus niet wat we zoeken. Wél routers en switches die gewoon doen wat je van ze verwacht op gebied van capaciteit en features, en niet die het niet thuis nét op het moment dat je dat niet verwacht...

Voor ons is er genoeg reden om deze stap te maken en we nemen de tijd ons te oriënteren op de mogelijkheden, vandaar ook dit topic