Onderwerp: Linux als routing en switching platform

Voor onze klanten kiezen wij ervoor om een Linux machine in te zetten voor routing en firewall functies. Dit zijn MKB klanten en heeft verder weinig met WHT te maken. We kiezen voor Linux om de flexibiliteit. Het is heel makkelijk om een programma/functie toe te voegen of om even een script te maken wat bepaalde taken voor je uitvoert.

Ik lees nu veel over openswitching op basis van open source hardware in combinatie met Linux voor switching oplossingen tot 40Gb en voor het datacentrum zijn er pakketten als Quagga en Bird e.d. voor de BGP routing.

Hoe staan jullie tegenover open source routing en switching oplossingen in het datacenter?
Kiezen jullie dan voor Linux, BSD of een microkernel oplossing?

Wij doen in het datacentrum sinds 2009 static routing/firewall op basis van Debian. De performance die we er uit halen is beter dan oorspronkelijk verwacht (en voor ons ruim voldoende). Wel zijn we inmiddels aan het kijken naar het verder optimaliseren van deze setup en daarbij vervangen we mogelijk de hardware (niet de software) en voegen mogelijk een web interface toe zodat klanten "hun deel" van de firewall kunnen beheren. Als ik het moet schatten wat voor software er op 1 van onze switches draait is dat ook gewoon een Linux variant.

Voor BGP routing zou ik overigens bij kleinere volumes van dataverkeer ook kijken naar Debian of eventueel een standaard pakket op basis van BSD. Hierbij zou ik het waarderen als er geen web interface is (ten minste niet op hetzelfde systeem).

Er zullen weinig MKB bedrijven zijn die BGP gebruiken, vaker Je kunt naast een Linuxbak met Iptables ook kijken naar appliances zoals Untangle, Endian of pfsense.

Een switch/router is gemaakt om alleen dat te doen. Het aantal pakketten per seconde dat een dergelijk apparaat kan verwerken ligt
honderden keren hoger dan een linux machine, hoe je die ook tweakt. Dat komt omdat een Cisco router daarvoor special gemaakte ASIC chips heeft en
je linux bak niet. Je kan met het kopen van dure netwerkkaarten (die zelf ook een processor hebben) wel een redelijke troughput halen. Of
dat voldoende is voor jouw gebruik weet ik niet. Voor mij niet in ieder geval.

Een goede openbsd setup kan zich zeker meten met cisco 'hardware' firewall's van 10K+.
Geen probleem zelfs.

Wat ik begrepen heb is dat de Linux kernel met netfilter/iptables + iproute2 beter is dan openbsd.
Hebben jullie die ervaring ook?

Het gaat me niet om mijn MKB klanten, deze draaien al op een linux firewall.
Ik ben meer op zoek naar algemene ervaringen met open source software als routing/switching platform in wat grotere omgevingen.

Routing puur uit interesse, switching omdat ik hier zelf mee wil gaan testen, na aanleiding van bijvoorbeeld presentaties als deze:
http://events.linuxfoundation.org/si...2013-Final.pdf

Oorspronkelijk geplaatst door SF-Jeroen

Een switch/router is gemaakt om alleen dat te doen. Het aantal pakketten per seconde dat een dergelijk apparaat kan verwerken ligt
honderden keren hoger dan een linux machine, hoe je die ook tweakt. Dat komt omdat een Cisco router daarvoor special gemaakte ASIC chips heeft en
je linux bak niet. Je kan met het kopen van dure netwerkkaarten (die zelf ook een processor hebben) wel een redelijke troughput halen. Of
dat voldoende is voor jouw gebruik weet ik niet. Voor mij niet in ieder geval.

Zo algemeen gesteld is het niet juist, ook al is Cisco blij als mensen dat denken.

Even een onderscheid : Routers zijn wat anders dan Layer 3 switches , zeker in het instap segment.
De typische verschillen zijn dat routers diepere interface buffers hebben dan L3 switches, veel meer pakket-manipulatie kunnen doen (oa NAT, tunnels, protocol inspectie, uitgebreide QoS, VoIP etc), niet-Ethernet interfaces kunnen hebben en meestal meer routes aankunnen.
Een L3 switch doet het pakket schuiven inderdaad met asics, en doet dat heel snel. Maar het aantal routes is relatief beperkt (aantal duizenden), en ze doen weinig meer dan puur IP pakketten doorschuiven of eventueel een plain packetfilter leveren.

Echter, de instap en midrange Cisco routers doen het pakket forwarden ook gewoon met een CPU (meestal een MIPS afgeleide), en hebben helemaal geen 'honderden keren snellere' specs dan een stevige linux server.
Als je kijkt naar de specs van bijvoorbeeld de Cisco 7200 (NPE G1/G2), of de 38xx routers zijn dat specs die een stevige linux server makkelijk kan overtreffen. (max 1MPPS, onder optimale omstandigheden met heel weinig features enabled) .
Een low end L3 switch (bv cisco 3560, 3750) kan inderdaad veel meer packets switchen , maar heeft nogal beperkte mogelijkheden als je iets meer wilt dan packets schuiven met eventueel een routing protocol.
Dat is overigens niet uniek voor Cisco, hetzelfde geldt voor routers vs L3 switches van andere vendors in dezelfde prijs segmenten.

Pas in het fors hogere segment (Cisco : ASR1000 , 7600/6500 Sup2T, CRS) krijgen de routers echt asics voor het forwarden, en wordt de switch-achtergrond van L3 switches minder prominent zichtbaar.
Dan heb je al een heel grote stap qua prijskaartje gezet .

Er kunnen nog steeds prima redenen zijn om toch voor een cisco (of andere vendor router) te kiezen boven een generieke server . Over het algemeen doet de vendor 'gewoon' out of the box wat hij moet doen, is 'bekend' voor alle monitoring/reporting systemen, en als je mensen moet aannemen (of inhuren) voor het onderhouden van een netwerk heb je een uitgebreide pool van mensen die je daar snel op los kunt laten.
De overlap in skills tussen 'unix mensen' en 'netwerk mensen' is jammer genoeg niet zo groot, en daar zoek je toch wel naar als je een fors getweakte linux/unix server met een routing daemon echt inzet.
Heb je een kleine club van super enthousiaste techneuten kun je dat doen. Heb je een grote club van erg geselecteerde techneuten (google, facebook) , kun je het ook doen. Moet je het doen met een 'gewone' organisatie en vissen in de vijver van normale engineers, dan is er een heleboel koudwatervrees en bijkomende issues als je een custom oplossing wilt invoeren.

Oorspronkelijk geplaatst door Patrick_st

Wat ik begrepen heb is dat de Linux kernel met netfilter/iptables + iproute2 beter is dan openbsd.
Hebben jullie die ervaring ook?

Het gaat me niet om mijn MKB klanten, deze draaien al op een linux firewall.
Ik ben meer op zoek naar algemene ervaringen met open source software als routing/switching platform in wat grotere omgevingen.

Routing puur uit interesse, switching omdat ik hier zelf mee wil gaan testen, na aanleiding van bijvoorbeeld presentaties als deze:
http://events.linuxfoundation.org/si...2013-Final.pdf

Je zult denk ik niet zo heel veel voorbeelden vinden van 'wat grotere' omgevingen.
(zie ook mijn posting #7 ).
Je kunt wat presentaties vinden van gebruik van heel erg in-house ontwikkelde netwerk oplossingen bij google en facebook (als in : volledig zelfbouw op basis van merchant silicon + linux management plane ) . Er zijn nog wat vergelijkbare presentaties zoals waar je naar linkt, en dat zijn typisch research projecten, of qua schaal netwerken waar 'alles' gedaan en besloten (kan) worden door twee of drie techneuten.
Dat zijn het soort omgevingen waar ruimte is voor niet-tradionele keuzes van netwerk apparatuur, en waar het financiële voordeel ook meer gehaald wordt.
Feitelijk hetzelfde soort omgevingen waar men ooit Linux 0.99pl14 durfde in te zetten, in plaats van een 'veilige' keuze als SunOS/Solaris.

Omgevingen die wat groter zijn hebben meer inertie, meer mensen die bang zijn 'dat het misgaat', en moeten meestal ook veel meer aanpassen/omgooien/trainen als er opeens 'iets heel anders' ingezet wordt dan de bestaande vendor.

Juist in de hosting branche had ik verwacht dat dit wel vaker zou worden toegepast omdat de meeste hosting platformen op basis van Linux draaien. De kennis heb je dan al in huis.

Zeker voor routing/firewall vind ik Linux ideaal, vooral door de goede log mogelijkheden en de mogelijkheid om makkelijk extra functionaliteit/hulpmiddelen te installeren om fouten te achterhalen.

Oorspronkelijk geplaatst door Patrick_st

Juist in de hosting branche had ik verwacht dat dit wel vaker zou worden toegepast omdat de meeste hosting platformen op basis van Linux draaien. De kennis heb je dan al in huis.

Zeker voor routing/firewall vind ik Linux ideaal, vooral door de goede log mogelijkheden en de mogelijkheid om makkelijk extra functionaliteit/hulpmiddelen te installeren om fouten te achterhalen.

Het overgrote deel van de hosters doet gewoon helemaal niets met netwerken.
Ze hebben hooguit een L2 switch, en alles daarachter (gateway router en verder) is van een andere partij.

En tot een paar stapjes verder in het DC heb je eigenlijk alleen L2 of beperkte L3 switches nodig, die dan inderdaad wel op veel ethernet poorten wirespeed moeten werken, en dat is niet waar Linux routers iets toevoegen.
En ja, ook bij mensen die wel unix kennis hebben blijft echte netwerk/routing kennis gewoon vrij zeldzaam.
Er is een hoop meer dan een default route en een INPUT iptables chain.
(idem voor netwerk engineers - zo weinig die verder komen dan 'ping server' - dig <dns> of telnet tcp/25 om verder dan L3 te kijken is erg zeldzaam ).

Klopt helemaal wat je zegt @visser , vanuit observium zie ik soms de domste vragen van echte netwerk engineers die er niet in slagen om observium te installeren op een ubuntu/centos server. En langs de andere kant zie ik dan de domste vragen van systeem admins die er wel zonder problemen in slagen om observium te installeren, maar die dan niet weten hoe ze snmp, cdp, lldp, etc moeten configureren op hun switches/routers.