Onderwerp: eigen netwerk opzetten

Ik ben bezig met een analyse van de mogelijkheden wat betreft het opzetten van een eigen netwerk. Het netwerk moet betaalbaar, schaalbaar en redundant uitgevoerd zijn.
Ik heb al heel wat gelezen over BGP4, diverse routers, zebra, etc.
Aan de hand daarvan heb ik de volgende punten opgesteld:

- Het netwerk zal twee routers gebruiken voor redundantie
- Het netwerk zal twee coreswitches gebruiken voor redundantie
- De switches en routers zullen onderling in een full mesh dmv gigabit
links verbonden worden
- De coreswitches/routers zullen onderling OSPF draaien
- Er moeten op de coreswitches minstens 48 10/100 mbit en 12 gigabit
poorten beschikbaar zijn
- Het gebruik van een zebra router is wat mij betreft geen optie

Het netwerk zal in het begin zeker geen 100+ mbit hoeven te routen, en voorzien zijn van 100mbit transit/peering links, mogelijk 1 of 2 gigabit links.

Nu nog een keuze maken wat betreft de te gebruiken hardware.
Ik heb geen 50.000 euro liggen dus een paar junipers is geen optie, al zou ik het wel graag willen. Ik ben een beetje aan het rondkijken naar bruikbare hardware en heb mijn oog laten vallen op de volgende spullen:

routers: cisco 7206 (non vxr), cabletron ssr-8 aka riverstone 8000, bigiron m4000 met management 4 module

coreswitches: netiron, bigiron 4000, cisco 4000/4500, apline 3804

Wat ik nu graag zou willen weten wie ervaring heeft met zulk spul in een dergelijke setup. Goede/slechte ervaringen, do's en don't do's?
Is een full mesh een echt nodig of voldoet minder ook? Nadeel is in ieder geval dat er veel interfaces nodig zijn. Een alternatief is meerdere vlan's over een link routen, maar ik heb wel eens gehoord dat dit soms problemen geeft, kan iemand me hier meer over vertellen?

Cisco routers hebben verder een interessante feature, netflow. Dit lijkt me ideaal om het traffic naar verschillende netwerken te analyseren. Is er ook een dergelijke feature voor bijvoorbeeld de cabletron router?

Verder nog een laatste puntje, is het verstandig om twee verschillende routers te nemen omdat je dan bijvoorbeeld problemen in de software niet op beide routers tegelijk spelen, of is twee de zelfde juist weer handig? Zelfde voor de switches.

Tevens zou ik binnenkort (natuurlijk tegen uurprijs) wel eens willen babbelen met iemand die echt verstand van zaken heeft. Dwz ervaring met BGP4 routing in een productieomgeving en ervaring met een of meerdere van de bovenstaande apparaten. Bij interesse graag een pm sturen.

Sander,

Ik raad je aan om voor de Bigiron 4000 te gaan met een ander blade.
De Cisco 7206 komt op de 2e plaats, bij een denial of service aanval ben je PLAT. Een foundry heeft altjid nog foundry-shield en is cisco like met veel opties.

Riverstone en Cabletron raad ik je af.
Wanneer je voor de foundry gaat als 2 stuks core-routers kun je ook 2 andere foundries gebruiken als coreswitches en deze intern met elkaar verbinden dmv 10gigabit aangezien foundry dit support, wij hebben de volgende setup:

- Border switches - (hier komen de uplinks in)
- Corerouter(s) - Routing ofcourse
- Core-Switch - (gaat naar de ring en daarna colocatie)

Ik raad je aan om 2 dezelfde routers te nemen omdat je dan maar 1 reserve onderdeel van alles moet hebben, dit scheelt je in kosten met 2 verschillende routers zul je dubbele reserve onderdelen aan moeten schaffen.

DOMENICO EDIT: Commercial weggehaald. Niet meer doen!

vr gr
reinier

Ik hoor veel goede verhalen over foundry als coreswitch, maar ook veel negatieve dingen over hun bgp4 routing support. En foundry support geen ipv6, iets wat met het oog op de toekomst wel wenselijk is.

Qua spares heb je inderdaad een goed punt.

Wat betreft de border switches, je route dus over verschillende vlans via de borderswitches? Creer je dan niet een extra point of failure aangezien er gelijk meerdere uplinks uitliggen als deze switch kapotgaat?

Origineel geplaatst door Reinier v Eeden
Sander,

Ik raad je aan om voor de Bigiron 4000 te gaan met een ander blade.
De Cisco 7206 komt op de 2e plaats, bij een denial of service aanval ben je PLAT.

Dat is natuurlijk bullshit, een 7206 is puur een chassis. Met een NPE-G1 module en een 7206VXR chassis doorsta je nog wel wat ddosjes.

Wat ik niet snap is waarom iedereen eerst kijkt naar of je door een ddos plat ligt. Dit ligt uiteraard geheel aan wat voor klanten je hebt. In de 3 jaar dat wij nu bestaan hebben wij pas 1 ddos gehad.

Iedere uplink is ook redundant uitgevoerd bij ons, multihomed.

Example:

- Rokscom link1 @ nikhef
- Rokscom link2 @ redbus

Dit gaat uiteraard ook over een aparte /30 per sessie. En dus ook over een apart VLAN.

Beide uplinks komen via een andere kant van de ring en op een andere borderswitch binnen. En dit is idd via vlans als er 1 borderswitch uitvalt neemt de ander het toch over, hetzelfde geld als er bijvoorbeeld een vezel zou breken.

groeten
reinier

Origineel geplaatst door svbeek
Ik hoor veel goede verhalen over foundry als coreswitch, maar ook veel negatieve dingen over hun bgp4 routing support. En foundry support geen ipv6, iets wat met het oog op de toekomst wel wenselijk is.

Qua spares heb je inderdaad een goed punt.

Wat betreft de border switches, je route dus over verschillende vlans via de borderswitches? Creer je dan niet een extra point of failure aangezien er gelijk meerdere uplinks uitliggen als deze switch kapotgaat?

Wij hebben alle transits en peerings rechtstreeks op onze routers geconnect en niet via vlans op switches, omdat dit inderdaad de kans op failure verhoogd. Een foundry support overigens wel IPv6 maar dit is enkel in bepaalde chassisen. Er schijnt overigens wel een 7.7.02 release te zijn welke ook op de BigIron IPv6 zou ondersteunen.

Zou je een Foundry kiezen pak dan ten alle tijden een JetCore based box en geen IronCore. Met een JetCore based box en een M4 management module met 512 meg ram BGP'd deze machine als een tiet. Full tables slikt het binnen een paar seconden. Dat de BGP4 support door velen zo slecht bevonden word is omdat dit allen gebaseerd is op ironcore machines met M2 of M3 management modules.

Origineel geplaatst door Cliff


Dat is natuurlijk bullshit, een 7206 is puur een chassis. Met een NPE-G1 module en een 7206VXR chassis doorsta je nog wel wat ddosjes.

Wat ik niet snap is waarom iedereen eerst kijkt naar of je door een ddos plat ligt. Dit ligt uiteraard geheel aan wat voor klanten je hebt. In de 3 jaar dat wij nu bestaan hebben wij pas 1 ddos gehad.

Vraag met af over wat voor denial of service je het nu hebt. Omdat je het bullshit noemt, neem ik aan dat je uit ervaring spreekt. Net zoals ik.

groeten
reinier

Vergeet niet dat er naast zebra nog een aantal alternatieven zijn. Een van de best hiervan op dit moment is OpenBGPD wat samen met OpenBSD komt.
Als je een beetje deftige hardware koopt (+-2k per router) krijg je er wel 150mbit of meer door.

Ps. In de nieuwe OpenBSD die deze week released is zit ook een nieuwe ontwikkeling bij OpenOSPF.

Je setup ziet er goed uit maar bekijk ook volgende oplossing.

2 Corerouters verbonden met 2 coreswitches in een full mesh, maar je laat de link tussen de 2 coreswitches weg.
Op de coreswitches draai je geen routing protocol, hierdoor kan je gebruik maken van fastiron's die een stuk goedkoper te verkrijgen zijn.
Nu laat je de router de GW spelen en maakt een VRRP systeem (of onder OpenBSD CARP), de laatste 3 adressen in de range reserveer je hiervoor.
Ziet er dan zo uit:
.252 router 1
.253 router 2
.254 gw ip wat de 2 tussen hun gooien (master/slave situatie of gewoon welke eerste up komt)

Geen enkele hostbased router oplossing is een goede oplossing wat mij betreft.. Zelfs een pc met redundant voeding en de harddisk in raid is nog minder betrouwbaar dan een redunant uitgevoerde 'hardware' router. En voor de prijs van 2k per stuk heb ik ook bijna een leuke gebruikte 7200 of riverstone.

Hoe zit het trouwens met foundry software? Moet je voor een bigiron geen layer 3 software bijkopen voor ie bgp kan ofzo?

Heeft een van jullie praktijkervaring met de riverstone 8000? Deze zijn zeer betaalbaar en ik lees er toch wel goede verhalen over. Nogmaals, er hoeven geen honderden megabits doorheen geroute te worden. En het risico van een DDoS is denk ik te verwaarlozen aangezien we in onze algemene voorwaarden het gebruik van o.a. irc gerelateerde services vanaf ons netwerk verbieden.

Mocht het netwerk eenmaal wat meer verkeer trekken zouden ze altijd nog vervangen kunnen worden door twee zwaardere routers. Tegen die tijd is er waarschijnlijk ook wel wat meer budget voor leuker spul

Dan zou ik alleen op foundry blijven, 2xbig/net iron en 2xfastiron.

De riverstone's waren 2 jaar geleden nog goed te gebruiken maar tegenwoordig worden ze beetje oud .

Ik doelde op 2k voor een tyan board, redundant psu, quad kaart en set gigE's.
Als je dat bij een cisco wilt zit je toch wel bij 7.5k en meer hoor

Origineel geplaatst door Reinier v Eeden


Vraag met af over wat voor denial of service je het nu hebt. Omdat je het bullshit noemt, neem ik aan dat je uit ervaring spreekt. Net zoals ik.

groeten
reinier

Een ddos van zo'n 120Kpps. Het feit dat jij zegt dat een cisco 7200 niet voldoet is bullshit omdat er diverse management modules voor zijn. Een NPE-G1 kun je natuurlijk niet vergelijken met een NPE-200.

Origineel geplaatst door svbeek
Geen enkele hostbased router oplossing is een goede oplossing wat mij betreft.. Zelfs een pc met redundant voeding en de harddisk in raid is nog minder betrouwbaar dan een redunant uitgevoerde 'hardware' router. En voor de prijs van 2k per stuk heb ik ook bijna een leuke gebruikte 7200 of riverstone.

Hoe zit het trouwens met foundry software? Moet je voor een bigiron geen layer 3 software bijkopen voor ie bgp kan ofzo?

Alle BigIron software releases hebben standaard BGP erin. Indien je goedkoop wilt spelen kun je de software van HP's 9300 serie gebruiken welke identiek is aan de BigIron (behalve dan hier en daar een search en replace op Foundry / HP

Origineel geplaatst door Cliff
.....

[offtopic]
Kwam laatst jouw afstudeerproject tegen. Interessant!

Origineel geplaatst door host3000


[offtopic]
Kwam laatst jouw afstudeerproject tegen. Interessant!

Weliswaar behoorlijk gedateerd Een boel dingen die daarin vermeld staan kloppen niet echt meer en zou ik nu niet meer kiezen. Daarnaast is het niet echt off-topic want het ging wel over het opzetten van een netwerk