Onderwerp: Bit Internet down

Vanaf 09.10 ligt Bit Datacenter eruit dankzij een stroom storing. Nog geen extra informatie hier!

Dat zal niet vaak gebeuren, gaat het hier om Bit1 of Bit2?

Sinds 9:55 kunnen wij onze servers weer bereiken. En onze servers zijn niet down geweest. Wij staan in het nieuwe datacenter dus daar is geen stroomstoring geweest. Zo te zien op http://noc.bit.nl/ zijn er nog wel wat dingen plat die in BIT 1 staan.

'T gaat lekker zo met die stroomstoringen .

ik zei het net op irc al, netwerk storingen bestaan niet meer anno 2006, alleen nog maar stroomstoringen .

Vraag me af wanneer ons dc aan de beurd is....

Oorspronkelijk geplaatst door djalken

Dat zal niet vaak gebeuren, gaat het hier om Bit1 of Bit2?

BIT2 deed het weer sinds 10 uur, maar inmiddels weer down.

We wachten af.

Vanuit BIT kan ik bevestigen dat er een stroomstoring is geweest in ons oude datacenter BIT-1. Later volgt meer informatie.

Ik snap dit niet, leren we dan niet van elkaar?

Zoals MichelvO al zegt, meer info volgt.

Afgelopen dinsdag hebben we, zoals we dat al jaren elke eerste dinsdag van de maand doen, een generatortest uitgevoerd. Meteen na het starten van de procedure, nog voordat het aggregaat was opgestart sprak de overspanningsbeveiliging achter UPS1 t/m 4 aan. Daarmee viel de spanning in het grootste deel van BIT-1 uit, en daarmee ook praktisch alle BIT diensten, waaronder hosting, mail, dsl, colocatie en onze telefooncentrale.

Er zijn direct extra engineers vanaf BIT-2 naar BIT-1 gegaan, en er is meteen contact opgenomen met Enertel, om ons telefoonnummer door te laten schakelen naar het callcenter wat buiten kantoortijden de telefoon voor ons beantwoordt. Het duurde wel even voordat ze dat in het netwerk geregeld hadden, zodat we iets meer dan een half uur telefonisch onbereikbaar zijn geweest.

Er is ook direct contact opgenomen met de importeur/leverancier van onze UPS systemen. Een van hun storingsmonteurs is meteen richting BIT-1 vertrokken. Omdat we hier niet op wilden wachten, zijn we zelf alvast de elektrische installatie gaan repareren. Door de aanspreken van de overspanningsbeveiliging had een van de hoofdschakelaars het nogal zwaar te verduren gehad, zodat we deze uit voorzorg direct hebben vervangen. Om ongeveer 9:45 was de elektrische installatie weer op orde, waarna we de UPS-en in bypass hebben geschakeld. BIT-1 had op dat moment weer spanning en we zijn direct aan de gang te gaan om een voor een alle racks weer in te schakelen en waar nodig sommige servers daar een handje bij te helpen. Op dat moment waren er ongeveer 6 engineers in BIT-1 bezig, een aantal met apparatuur van BIT zelf, een aantal met apparatuur van klanten. Rond 11:00 draaide de meeste diensten weer (mail, shared webhosting etc). Om het Windows hosting platform weer in de lucht te krijgen hadden we wat langer nodig, omdat de NetApp waar dit platform zijn files vandaan haalt niet goed op kwam. Dit duurde tot net iets voor 12:00 uur. Om ongeveer 12:30 uur waren ook de UPS-en weer operationeel en zijn deze (zonder stroomonderbreking) weer in bedrijf genomen.

Helaas is door deze storing ook het IP netwerk van BIT down geweest en hebben dus ook klanten die in BIT-2 staan last van deze storing gehad. De spanning is er daar niet af geweest, maar omdat alle WDM apparatuur en routers nog in BIT-1 staan, hadden de servers in BIT-2 geen connectivity.

We zijn al een paar weken bezig om alle kritische apparatuur van BIT-1 naar BIT-2 te verhuizen, maar dat is veel werk, en nog niet helemaal klaar. Er moeten nog een vijftal kritische netwerkonderdelen (2 routers, een switch, een WDM machine en een SDH node) verhuisd worden van BIT-1 naar BIT-2, waarna BIT-1 niet meer van invloed zal zijn op de productie in BIT-2. Deze migratie staat voor aankomende week op de planning.

De stroomvoorziening in BIT-2 is overigens anders van opzet. Daar zijn twee aggregaten, twee netwachters/schakelaars, twee sets UPS-en en twee verdeelkasten. De maandelijkse generatortest wordt ook daar uitgevoerd, maar per powerfeed apart. Mocht dat dus om wat voor reden dan ook mis gaan, dan kan er in het ergste geval 1 van de 2 feeds uitvallen. Bovendien zitten er in BIT-2 meer beveiligingen tussen de aggregaten en de schakelast.

Kijk, dat is pas informatie. Kan nog veel van geleerd worden