Onderwerp: Redundancy op switch nivo?

Hoi mensen,

Ik ben met een nieuw project bezig waarbij ik een aantal zaken redundant wens op te zetten.
Qua loadbalancers, webservers en database servers kom ik een heel eind, 1 los eindje blijft echter over.

M'n switch(es)
Hoop dat jullie eventjes met me mee willen denken, zit met 2 vragen betreffende dit apparaat:

1.) Ik heb 2 loadbalancers, 1 image server, 2 webservers, 1 master database en een backupserver
Ik heb dus verschillende netwerken die ik moet gaan switchen, m'n gevoel zegt dat ik dat gewoon op 1 switch moet doen, of kan ik daar beter meerdere switches voor gebruiken?

2.) Is er een manier om mijn switch(es) redundant te maken?
Als nu mijn switch klapt, ligt het hele zooitje plat,... hoe kan ik dat redundant maken en/of is dat de moeite waard?


Alvast bedankt voor jullie hulp.

Ps. verkeer is geschat op 50 tot 100 mbit. (mocht dat er toe doen)

Oorspronkelijk geplaatst door Vernooij

Hoi mensen,

Ik ben met een nieuw project bezig waarbij ik een aantal zaken redundant wens op te zetten.
Qua loadbalancers, webservers en database servers kom ik een heel eind, 1 los eindje blijft echter over.

M'n switch(es)
Hoop dat jullie eventjes met me mee willen denken, zit met 2 vragen betreffende dit apparaat:

1.) Ik heb 2 loadbalancers, 1 image server, 2 webservers, 1 master database en een backupserver
Ik heb dus verschillende netwerken die ik moet gaan switchen, m'n gevoel zegt dat ik dat gewoon op 1 switch moet doen, of kan ik daar beter meerdere switches voor gebruiken?

2.) Is er een manier om mijn switch(es) redundant te maken?
Als nu mijn switch klapt, ligt het hele zooitje plat,... hoe kan ik dat redundant maken en/of is dat de moeite waard?


Alvast bedankt voor jullie hulp.

Ps. verkeer is geschat op 50 tot 100 mbit. (mocht dat er toe doen)

Ik denk dat je beter af bent met een enkele switch, een simpele config en "verder afblijven".
Een nogal groot deel van storingen heeft uiteindelijk "operator error" als oorzaak, en naarmate een setup complexer wordt, is de kans op storing vanwege die complexiteit (foutje, onvoorziene bij-effecten) groter.
Met een redundante switch dek je het geval "hardware stopt zomaar met werken" af, en een redelijk deel van de "software bug laat ding vastlopen" type fouten. (niet alle software issues zijn zodanig dat het de redundantie nuttig wordt).
Maar als je een behoorlijk merk switch hebt met een recht-toe-recht aan config zullen die dingen zeldzaam zijn, en dan kun je best meer verliezen dan winnen met een complexe redundante setup.
Neem eventueel een switch met twee voedingen, of een A/B feed en ATS, dan heb je m.i. het overgrote deel van storingen vanwege "switch probleem" wel gedekt.

Wil je toch met meerdere switches werken kan het nog best complex worden; Hebben je devices ook twee netwerk poorten, en op welke manier moet het verkeer zich verdelen, en hoe kan het device weten dat een switch onbruikbaar geworden is ?
('port down' is fijn, maar lang niet alle storingen laten een poort down gaan).
channel bonding vereist dat de switches logisch een enkele switch zijn, en dat zit alleen in wat luxere switch lijnen.
Met creatief configureren en routeren kun je het wellicht volledig op laag 3 scheiden, met twee losse switches, dan zit alle complexiteit vooral in de configuratie van je hosts.

Afhankelijk van je planning en de grootte van het project kan je kiezen om redundantie op L2 te bouwen (dan zit je aan spanning-tree vast) of op L3.

L3 heb je een stuk duurdere switches voor nodig, is een stuk complexer maar ergens makkelijker. STP is echt een bitch, zeker als je een wat groter netwerk krijgt.

Maar de vraag is ook: hoe HA moet het zijn?

Zo goed als alles valt redundant op te zetten. Ervaring zegt wel dat dit de kans weer vergroot dat er iets misloopt. Zo zal het niet de eerste keer zijn dat spanningtree het laat afweten of een netwerkverbinding die actief blijft terwijl deze zou overgenomen moeten worden. Daarnaast bestaat wel altijd de kans dat een switch stuk gaat, een kabel of zelfs gewoon losgemaakt.
Op zich is het redundant opstellen van switchen niet zo moeilijk. Langs de kant van de nodes gebruikt u een kernelmodule welke 2 of meerdere netwerkpoorten zal samennemen. Bij de switchen zelf spanningtree toepassen.

Ik zou een switch met dubbele voedingen kiezen, of investeren in een ATS (bijv. AP7723). Op die manier kan je eenvoudig stroom storingen opvangen, en een ATS is vaak goedkoper dan een switch met dubbele voeding.

Ik ga er voor het gemak even van uit dat het datacenter/rack waar je in zit een A en een B feed heeft. Als je geen twee afzonderlijke feeds hebt zou ik ook niet voor redundante switches kiezen.

Als je redundantie wil inbouwen met het doel zonder downtime onderhoud te kunnen plegen op je netwerk kun je er voor kiezen om twee switches met een enkele (of dubbele) voeding te gebruiken. Als je de servers configureert met bonding in active-standby mode en je firewalls en loadbalancers in een failover cluster staan heb je ook weinig met spanning-tree te maken. Spanning-tree gebruik je pas als je op laag 2 meerdere paden hebt. Hier heb mee te maken je als je twee switches redundant wil aansluiten op twee andere switches. Als je op je interne netwerk aparte switches gebruikt die alleen je interne netwerk switchen kun je prima zonder een complexe spanning-tree config. Een eenvoudige opzet (zonder spanning-tree) wordt dan als volgt: redundant uplink -> firewall cluster in failover -> uplink naar je interne netwerk met dubbele switches met trunk daartussen -> servers met bonding naar beide swtiches. Als je geen redundante uplink hebt is het ook de vraag of redundantie op netwerk veel zin heeft.

STP kan inderdaad vrij complex worden.

Ik heb twee voorbeeld diagrammetjes gemaakt. In de eerste heb je geen spanning tree nodig, in de tweede wel. Daar koppel je verschillende switches met meerdere paden. Het tweede netwerkdiagram is een beetje ondoorzichtig, maar in een eenvoudige hosting omgeving kan je netwerk vrij simpel blijven.

Mocht je nog meer input willen laat maar weten.
voorbeeld-netwerk.png

Wat je veel ziet is dat men twee switches hebben die exact hetzelfde zijn. Ook qua configuratie.
Mocht er een switch de geest geven zul je naar lokatie moeten gaan om de boel om te prikken.

Met een setup van twee switches moet alles dual homed worden verbonden. Op deze manier wordt het al snel complex, zoals iedereen hier boden al heeft gezegd.

Oorspronkelijk geplaatst door redbeenl

Als je redundantie wil inbouwen met het doel zonder downtime onderhoud te kunnen plegen op je netwerk kun je er voor kiezen om twee switches met een enkele (of dubbele) voeding te gebruiken. Als je de servers configureert met bonding in active-standby mode en je firewalls en loadbalancers in een failover cluster staan heb je ook weinig met spanning-tree te maken. Spanning-tree gebruik je pas als je op laag 2 meerdere paden hebt.

Spanning Tree met een topologie zonder loops is nou ook weer niet zo erg, en het totaal uitzetten betekent dat als je toch een loop maakt (kabel verkeerd gepatched, of een dual-homed server waarbij bridging aan staat) je een loop hebt en je switch een broadcast storm op alle poorten van het vlan laat zien.

Maar om bonding netjes te doen heb je toch wel wat support aan de switch kant nodig.
Bonding (etherchannel) met actief/actief en een protocolletje (LACP) vereist dat de twee switches(chassis/blades) zich logisch als een enkele switch gedragen. (meerdere blades, MLT, VSS, stacking . de naamgeving verschilt wat tussen vendors).
Dat is echt nodig, want het enkele mac adres van de server zou anders heen en weer klapperen op twee poorten en trunks, en dat is niet handig. (Met etherchannel zit het achter een enkel virtueel portchannel interface, voor de switch stack).

Dankzij LACP heb je wel een completere foutdetectie, en wat bescherming tegen "kabel in verkeerde poort" fouten, want die poort komt dan niet op in het channel.

Bij actief/passief vraag je wat minder van de switches maar moet je wel iets hebben om down aan te herkennen; Meestal is dat de link state.
Of, je server praat ook Spanning Tree, hangt gewoon aan twee switches, en heeft dus één poort blocking.

Als je een stack gebruik is LACP inderdaad een nette oplossing. Dit werkt standaard alleen als beide interfaces van de server op dezelfde switches zitten. Er zijn switches die LACP ook ondersteunen binnen meerdere switches in een stack of virtual chassis. Maar LACP werkt niet tussen twee losse switches. Voor linux bonding in active-backup (mode 1) heb je geen ondersteuning op je switch nodig. Er wordt inderdaad link-state gebruikt voor de failover.

Bedankt voor alle reacties, ik weet nu iniedergeval welke kant ik op moet zoeken.
Had ook al zitten kijken naar STP maar had niet het idee dat dat voor deze setup erg toepasbaar was.
Krijg inderdaad het idee dat een dergelijke oplossing meer problemen geeft dan oplossingen, een switch met redundant power en/of A+B setup lijkt me in dit geval een robuustere oplossing. Een losse backupswitch zat al in het budget

Laatste vraag, suggesties voor een goede non redundant switch?
Een managed switch zou opzich leuk zijn (om verkeer te meten ed.) maar volgensmij niet noodzakelijk.

Ok, nogmaals bedankt voor alle reacties, ik ga nog eventjes lekker googlen naar jullie genoemde termen en oplossingen.

Oorspronkelijk geplaatst door Vernooij

Bedankt voor alle reacties, ik weet nu iniedergeval welke kant ik op moet zoeken.
Had ook al zitten kijken naar STP maar had niet het idee dat dat voor deze setup erg toepasbaar was.
Krijg inderdaad het idee dat een dergelijke oplossing meer problemen geeft dan oplossingen, een switch met redundant power en/of A+B setup lijkt me in dit geval een robuustere oplossing. Een losse backupswitch zat al in het budget

Laatste vraag, suggesties voor een goede non redundant switch?
Een managed switch zou opzich leuk zijn (om verkeer te meten ed.) maar volgensmij niet noodzakelijk.

Ok, nogmaals bedankt voor alle reacties, ik ga nog eventjes lekker googlen naar jullie genoemde termen en oplossingen.

Neem absoluut een managed switch, alleen al om VLANs te kunnen gebruiken. (bijvoorbeeld voor je ILO/IPMI poorten).
Ik zou denken aan een Cisco 29xx (2950/2960) bijvoorbeeld ; HP Procurve wordt ook veel gebruikt.
Managed switches met 10/100 poorten zijn tweedehands spotgoedkoop, met 10/100/1000 zijn ze wel behoorlijk duurder.

Oorspronkelijk geplaatst door Vernooij

Laatste vraag, suggesties voor een goede non redundant switch?
Een managed switch zou opzich leuk zijn (om verkeer te meten ed.) maar volgensmij niet noodzakelijk.

Dat hangt natuurlijk van iedereen zijn voorkeur af, persoonlijk ben ik al jaren tevreden over HP/Procurve/H3C, maar je kan net zo goed cisco/linksys, extreme networks, foundry/brocade, juniper, tp-link, dlink, netgear, ... nemen. Veel hangt ook af van het budget en van de mogelijkheden die je zeker nodig hebt (trunk, vlan, snmp, qos, ...) of in de toekomst nodig zult hebben.