Onderwerp: partiele stroomstoring in NIKHEF

Oorspronkelijk geplaatst door trebbor

TC2 + SARA + NIKHEF, als die drie down zijn hebben we idd een groot probleem.

In GlobalSwitch draait toch ook nog wat?

Volgns mij als TC2 NIKHEF al uitklapt hebben we al genoeg problemen, http://www.ams-ix.net/graphics/topology1_small.jpg

Oorspronkelijk geplaatst door joriz

Doet het inderdaad weer. Iedergeval moet er is goed worden nagedacht over de toekomst van AMS-IX en de gehele routering van internet door Nederland door AMS-IX en al hun members. Want het is nu allemaal nog net iets te gevoelig.

Providers kunnen er prima voor kiezen om op meerdere POP's te verbinden met AMS-IX. Als je dat N+1 doet qua capaciteit dan hoef je geen grote problemen te verwachten bij een stroomstoring. Als je er als provider voor kiest om afhankelijk te zijn van 1 POP dan kun je dus wel problemen verwachten.

De AMS-IX is opzich prima redundant, de members helaas niet allemaal

Aan de statistieken te zien lijkt alles het weer te doen.

Oorspronkelijk geplaatst door MediaServe

Providers kunnen er prima voor kiezen om op meerdere POP's te verbinden met AMS-IX. Als je dat N+1 doet qua capaciteit dan hoef je geen grote problemen te verwachten bij een stroomstoring. Als je er als provider voor kiest om afhankelijk te zijn van 1 POP dan kun je dus wel problemen verwachten.

De AMS-IX is opzich prima redundant, de members helaas niet allemaal

Volgens mij zijn SARA en NIKHEF de druurste Datacenters in NL. Dan kan je wel geld gaan uitgeven aan een backupoplossing, echter waarbetaal je dan die belachelijk hoge prijzen in SARA en NIKHEF voor? Vorig jaar zomer was het al raak met SARA, nu NIKHEF, het zal maar een keer gebeuren dat beide datacenters plat gaan op het zelfde moment.

Oorspronkelijk geplaatst door MediaServe

Providers kunnen er prima voor kiezen om op meerdere POP's te verbinden met AMS-IX. Als je dat N+1 doet qua capaciteit dan hoef je geen grote problemen te verwachten bij een stroomstoring. Als je er als provider voor kiest om afhankelijk te zijn van 1 POP dan kun je dus wel problemen verwachten.

De AMS-IX is opzich prima redundant, de members helaas niet allemaal

Zeg maar gerust, bijna allemaal niet

Tijdens de outage zo'n drop van 50% van de traffic.

Het is niet AMS-IX z'n probleem om de redundancy van meerdere POP's te regelen, maar het zou wel handig zijn om nu langzaam aan wat meer uit te breiden in Core PoP's.

Misschien een idee om een core buiten amsterdam te zetten? Zodat als er een stroomstoring in een groot deel van amsterdam is (had SARA vorig jaar toch?), dat je dan alsnog een PoP hebt die goed door kan draaien

[edit] zie ook trebbor's bericht

Oorspronkelijk geplaatst door WI-Hosting

Zeg maar gerust, bijna allemaal niet

Inderdaad, ik zou er zelf ook niet zo snel voor kiezen

Je kunt prima backup via transit hebben. Er zijn echter ook providers die niet voldoende backup transit hebben en dus echt afhankelijk zijn van een enkele AMS-IX POP. Beetje dom dus

Echter het argument dat AMS-IX iets aan de redundancy moet doen ben ik het niet mee eens. Omdat de AMS-IX juist prima redundant is. Het zijn de providers die er (bewust) voor kiezen om hier geen gebruik van te maken. Wat AMS-IX wel zou kunnen doen is kiezen voor betere datacentra en misschien SARA en NIKHEF langzaam uitfaseren.

Oorspronkelijk geplaatst door WI-Hosting

Tijdens de outage zo'n drop van 50% van de traffic.

Kijk even naar de Y-axis van de grafiek, hij begint niet bij 0 Mbps
Het was 130 Gbps in plaats van 210 Gbps, dus 38% van de traffic weg.

Oorspronkelijk geplaatst door MediaServe

Echter het argument dat AMS-IX iets aan de redundancy moet doen ben ik het niet mee eens. Omdat de AMS-IX juist prima redundant is. Het zijn de providers die er (bewust) voor kiezen om hier geen gebruik van te maken. Wat AMS-IX wel zou kunnen doen is kiezen voor betere datacentra en misschien SARA en NIKHEF langzaam uitfaseren.

Het gaat niet om het wegvallen van 1 van de locaties waar ik het nu over heb. Ik ben van mening dat ALS er een algehele stroomstoring in amsterdam plaatsvindt (3 jaar geleden in rotterdam ook gebeurd), dat AMS-IX dan wel helemaal plat gaat.
Dus ben daarom wel van mening dat ze minimaal 1 core buiten amsterdam moeten plaatsen.
Daarnaast stimuleert het plaatsen van een core buiten amsterdam ook het gebruik van datacentra buiten amsterdam, wat zich nu snel begint te ontwikkelen.

Oorspronkelijk geplaatst door MediaServe

Kijk even naar de Y-axis van de grafiek, hij begint niet bij 0 Mbps
Het was 130 Gbps in plaats van 210 Gbps, dus 38% van de traffic weg.

Ach, 12%, het gaat in ieder geval om flinke hoeveelheden

Oorspronkelijk geplaatst door WI-Hosting

(...)ALS er een algehele stroomstoring in amsterdam plaatsvindt (3 jaar geleden in rotterdam ook gebeurd), dat AMS-IX dan wel helemaal plat gaat.

Daar zijn toch (diesel)generatoren en contracten met brandstof leveranciers voor?

Oorspronkelijk geplaatst door Ijsbox

Daar zijn toch (diesel)generatoren en contracten met brandstof leveranciers voor?

En dat durf je nog te zeggen na de gebeurtenissen het afgelopen jaar?
Hoeveel datacentra zijn nou getroffen, we zitten toch al rond de 8 ofzo?

Die generatoren en contracten werken niet altijd even goed

{Offtopic}

Volgens mij is de AMS-IX al bezig om haar core sites uit te breiden en/of verplaatsen. Op de site van euNetworks staat een press-release dat daar een nieuwe core site komt, en ik hoorde over nog een nieuwe core-site in Amsterdam waarvan ik niet weet of het publieke kennis is.

Met een core-node minder zal de AMS-IX niet slechter draaien lijkt me zo, maar als er een access switch uit knalt ben je verder van huis. Daarnaast weet ik niet hoe het binnen NIKHEF geregeld is maar gezien de tarieven aldaar lijkt me dat de meeste providers een 1/4 kast met wat infra spul hebben en verder vrij weinig. Het verbaasd me niets als blijkt dat veel enkel uitgevoerd is op enkele stroomgroepen...

{Ontopic}

Aan het traffic te zien is NIKHEF weer up&running. Ben erg benieuwd wat voor mooi verhaal ze straks hebben waarom ze een strakke 3 uur offline geweest zijn!

Oorspronkelijk geplaatst door WI-Hosting

Misschien een idee om een core buiten amsterdam te zetten? Zodat als er een stroomstoring in een groot deel van amsterdam is (had SARA vorig jaar toch?), dat je dan alsnog een PoP hebt die goed door kan draaien

Dan is het geen AMSterdam Internet eXchange meer he En ook dan geldt: als de leden niet aangesloten zijn bij de betreffende PoP, dan heeft het nog steeds geen zin. Het is simpelweg noodzaak dat je als lid zijnde bij 2 of meer PoPs aangesloten bent. Als dat in dit geval al zo was, dan was er uberhaubt vrijwel geen probleem geweest.

Naar mijn mening is het simpelweg de verantwoordelijkheid van de leden van AMSIX om te verbinden vanaf meerdere locaties (bijvoorbeeld Nikhef + GlobalSwitch). Dit probleem ligt niet bij AMSIX, maar bij de leden en in dit geval bij Nikhef.

Nikhef is inderdaad een van de duurste datacentra in Nederland. Dat is uiteraard voornamelijk door de gigantische hoeveelheid vraag op die locactie, vanwege de grote hoeveelheid carriers die hier aanwezig zijn - maar dan nog geldt dat als ze dergelijke hoge bedragen vragen, dat je toch wel zou mogen verwachten dat de stroomvoorziening 100% op orde is.

nja wrm hebben al die DC's dieselgeneratoren en/of UPS'en??? ze werken toch niet dus wrm ze aankopen?

ik hang in ieder geval mijn servers in een datacenter wat in zijn hele bestaan nog geen stroomstoring gehad heeft... en waar maandelijk alles word getest zelfs met een live test (en ja er zijn al eens dingen misgelopen toen maar de backupsystemen hebben alles mooi overgeschakeld. en ALS er al eens een feed wegvalt geen ramp... de STS in onze rack zorgt voor sroom op de servers zonder downtime via de andere feed. zouden ze bij NIKHEF en AMS-IX eens aan moeten denken.

de stroom word al zo duur dan (vind ik) dat je toch een continue voorziening mag verwachten en de nodige backup systemen en het onderhoud er aan...

Het probleem ligt (zoals al een paar keer gezegd is) niet bij AMS-IX, maar bij hun leden. Deze zouden op twee verschillende lokaties kunnen connecten, maar vaak hebben ze ook te weinig capaciteit als hun AMS-IX verbinding wegvalt.

Toevallig viel het me gisteren op dat een grote hosting-isp met een goede reputatie (ik zal de naam niet noemen) in het datacentrum waar de servers staan alleen een 10 Gbit lijn naar de AMS-IX heeft en 2x 1 Gbit naar een ander datacentrum waar ze dan een aantal Gbit's aan transit afnemen... die Gbit's aan transit zijn leuk, maar als hun AMS-IX-lijn wegvalt, hebben ze dus nog meer 2x 1 Gbit over tussen hun servers en de routers die nog wel een connectie naar buiten hebben.

Ik snap ook niet waarom veel ISP's naast AMS-IX niet nog een NL-IX-connectie erbij nemen. NL-IX is erg goedkoop en kan daarnaast als alternatief dienen als AMS-IX uitvalt.

Hetzelfde geldt overigens ook voor ISP's die meedoen aan OpenPeering. Een groot aantal zet geen directe peering-verbindingen op met andere ISP's als ze elkaar al via OpenPeering zien. Als de BGP-sessie met OpenPeering dus wegvalt ben je meteen al je peers kwijt... Ook hierbij kan ik een paar grote namen noemen die zich hier schuldig aan maken (maar dat laat ik ook maar netjes achterwege).

Het probleem met de stroomstoringen in Nederland is dat ons stroomnet gewoon te goed is. Daardoor valt de stroom maar heel zelden uit en kunnen we niet vaak genoeg onze noodstroom voorzieningen in het echt testen.

Oorspronkelijk geplaatst door ivs

Het probleem met de stroomstoringen in Nederland is dat ons stroomnet gewoon te goed is. Daardoor valt de stroom maar heel zelden uit en kunnen we niet vaak genoeg onze noodstroom voorzieningen in het echt testen.

Eens, in landen als Engeland hoef je de kwaliteit van de NL DC's op de meeste locaties niet te verwachten. Dat doet natuurlijk niets af aan het feit dat backupvoorzieningen gewoon moeten werken...