Onderwerp: partiele stroomstoring in NIKHEF

Ik begreep dat de noodstroomvoorziening niet gefaald heeft, maar dat er een hoofdzekering gesprongen is en later een tweede. Deze zekeringen zitten blijkbaar tussen de racks en de hoofd/noodstroomvoorziening in.

Uit een mail van OpenPeering:

Only a part of the racks in the Nikhef datacenter was hit by the power outage, apparantly first on one power group around 11:15 and then on their second (backup) power group around 14:15.

At least one fuse was blown. That would explain that UPS or generator backup power could not have resolved this: apparently there was power to the building, but not all the way to some racks due to blown fuses. However, this is partly speculation. Nikhef will provide details about the incident on monday.

Even wachten tot maandag voor een verklaring van NIKHEF.

als je een A + B feed hebt en een STS gebruikt waren er dus geen problemen geweest...

Oorspronkelijk geplaatst door thunder

als je een A + B feed hebt en een STS gebruikt waren er dus geen problemen geweest...

Voor een router zou ik dus nooit een STS gebruiken, behoorlijke namelijk SPOF. Pak gewoon een router met redudant voeding op een A en B feed

Wat betreft de storing, erg vervelend enzo maar ik denk dat de AMS-IX al druk bezig is met verbetering (POP op eunetworks oa), buiten dat is het natuurlijk praktisch 2 ams-ix aansluitingen te hebben op twee locaties, scheelt je als provider sowieso veel gedoe mocht er iets mis gaan.

idd wrm werkte de 2de feed dan daar niet?

wel erg dat alle systemen het somehow lieten afweten... en voor een gesprongen zekering heb ik geen 4 uur nodig om deze te vervangen hoor!

even voor de mensen die afgeven dat ISP's maar 2 verbindingen moeten hebben, Ik heb het hier over de erg slechte infrastructuur van het DC niet over hoeveel verbindingen ISP's moeten hebben voor hun downtimes te voorkomen

Oorspronkelijk geplaatst door jurrian

Toevallig viel het me gisteren op dat een grote hosting-isp met een goede reputatie (ik zal de naam niet noemen) in het datacentrum waar de servers staan alleen een 10 Gbit lijn naar de AMS-IX heeft en 2x 1 Gbit naar een ander datacentrum waar ze dan een aantal Gbit's aan transit afnemen... die Gbit's aan transit zijn leuk, maar als hun AMS-IX-lijn wegvalt, hebben ze dus nog meer 2x 1 Gbit over tussen hun servers en de routers die nog wel een connectie naar buiten hebben.

Zolang het traffic niet die 2 gigabit over gaat, is er niets aan de hand, zou je zeggen.
Ik zag gister trouwens dat meer access ISPs problemen hadden, dan hosting ISPs. Kijk naar @home, UPC, DTAG, UUNet, etc.

Ik snap ook niet waarom veel ISP's naast AMS-IX niet nog een NL-IX-connectie erbij nemen. NL-IX is erg goedkoop en kan daarnaast als alternatief dienen als AMS-IX uitvalt.

Als je bedoelt waarom hosting ISPs dit niet doen, komt dit omdat er amper access ISPs op de NL-IX zitten, en degene die er op zitten, peeren vaak niet. Daar kan je dus niet je verkeer kwijt, als de AMS-IX plat gaat. Bij ons gaat 98% van ons traffic naar die access ISPs. De hosting ISP members van de NL-IX zitten er vaak alleen maar op omdat ze ook andere diensten afnemen van Openpeering.

Hetzelfde geldt overigens ook voor ISP's die meedoen aan OpenPeering. Een groot aantal zet geen directe peering-verbindingen op met andere ISP's als ze elkaar al via OpenPeering zien. Als de BGP-sessie met OpenPeering dus wegvalt ben je meteen al je peers kwijt... Ook hierbij kan ik een paar grote namen noemen die zich hier schuldig aan maken (maar dat laat ik ook maar netjes achterwege).

Gelukkig is het internet wereldje niet allemaal zo zwart-wit zoals je het nu voorstelt. Wat voor jou heel simpel en logisch is, kan misschien enorm veel geld kosten, of onmogelijk zijn om legio redenen.
De beste stuurlui.... de rest kan je zelf wel afmaken, denk ik.

Oorspronkelijk geplaatst door thunder

als je een A + B feed hebt en een STS gebruikt waren er dus geen problemen geweest...

Behalve als iedereen dat doet en de B-feed ineens voluit wordt belast
Dan zegt die zekering ook boem

In princiepe kan de B feed het gewoon overnemen
alleen apparatuur verbruikt steeds meer stroom

meeste DC's en met name de oudere hebben hier problemen mee
die gingen uit van 500-1000Watt per m2

tegenwoordig heb je veel meer stroom verbruik per m2.
dus zijn de zekeringen te klein.

Wij hebben dit probleem ook gehad in september.
Op basis van 1000watt per m2 zijn ook de hoofdzekeringen geinstalleerd.
verbruik is meer (er zijn al servers met 1200 watt+ voedingen)

B feed kon het dus ook niet aan en alles lag plat.

Oplossing : normaal worden 63amp zekeringen gebruikt. Deze zijn nu bij ons geupgrade naar 160amp per fase.

Nikhef en Sara zijn zeer oud dus zullen ook nog zeker op lage wattage per m2 berekend zijn.

en als de zekeringen er uitgeklapt zijn is dit een logische verklaring

Zelfde probleem heb je dadelijk met AIRCO's 500- 1000watt per m2 is ook warmte. stroom verbruik is verdubbeld dus moeten de airco's ook dubbel kunnen koelen

Senario zomer 2007 :

Hitte gold 14 dagen 35 graden (was ook in de zomer 2006)
het pand warmt op aan de buitenkant en trekt naar binnen.
meer stroom verbruik + warmte = zware airco problemen.

Easynet heeft afgelopen zomer hier dus last van gehad en zal mij ook niks
verbazen als dit jaar andere DC's hier ook problemen mee krijgen.

Oorspronkelijk geplaatst door euro-access

Oplossing : normaal worden 63amp zekeringen gebruikt. Deze zijn nu bij ons geupgrade naar 160amp per fase.

Moeten wel de kabels dik genoeg zijn anders heb je dadelijk een paar gloeidraden liggen ipv kabels.

Maar als het mogelijk is is dat zeker een oplossing.

en als de zekering van de A feed weg valt zou de UPS moeten overnemen en de generator opstarten wat dus niet blijkt gebeurt te zijn

en van 64A naar 160A zonder nieuwe (dikkere) geleiders te leggen zal niet mogelijk zijn, te hoog brandgevaar.

Oorspronkelijk geplaatst door thunder

en als de zekering van de A feed weg valt zou de UPS moeten overnemen en de generator opstarten wat dus niet blijkt gebeurt te zijn

Ik denk dat je de rest van de thread nog maar eens moet lezen, want dat heeft er helemaal niets mee te maken. Generator of geen generator - als de stroom niet bij de racks kan komen doordat de stoppen gesprongen zijn, dan ligt de boel sowieso plat.

Ja der moet al een kortsluitstroom (10-15 keer In) of overstroom lopen voor een zekering springt of dacht je dat een zekering van 64A op exact 64A springt.....

de Generators zitten direct aan de hoofd power feeds
samen met de UPS, dit gaat met 1000+ amp.

deze word vertakt naar een groepen kast. Daarin zit dus een zekering
63 amp en die word weer verdeelt naar meerdere 16amp zekeringen.

Als de zekering er uitklapt kan de generator wel aanspringen (wat hij dus NIET DOET want hoofd feed werkt gewoon) maar de zekering laat dus niks door.

Generator en UPS is ervoor als de hoofd feed van Nuon / Essent er uit knalt.

Oorspronkelijk geplaatst door euro-access

Nikhef en Sara zijn zeer oud dus zullen ook nog zeker op lage wattage per m2 berekend zijn.

Wellicht oud maar die upgraden ook hoor, ik weet dat ze bij Sara flink bezig
zijn op dit moment om onderanderen voor een nieuwe super computer extra
stroom aan te leggen etc' .. dus het zal allemaal wel mee vallen met dat 'oud'.

ben je wel eens bij sara / nikhef binnen geweest?

Oorspronkelijk geplaatst door thunder

Ja der moet al een kortsluitstroom (10-15 keer In) of overstroom lopen voor een zekering springt of dacht je dat een zekering van 64A op exact 64A springt.....

dat niet maar als je hem langdurig overbelast springt die ook daarom valt het in eerste in stantie ook niet erg op dat je je groepen te zwaar belast, want alles draait lekker door. tot de zekering een keer denkt van nu heb ik genoeg gehad, dan is het *plof* en huh hoe kan dat?

met pech wordt je B feed dan ineens ook een stuk zwaarder belast en als die ook al rond de grens zat is het snel afgelopen.

het is nu eenmaal zo dat de servers en vermogen per m2 harder gegroeid is als waarop de dcs berekend zijn. sommige werken hier actief aan, anderen passief