Onderwerp: Airco storing easynet

http://noc.leaseweb.nl/status.php?i=425

Bij ons is de bbu van de raid kaart overleden door de warmte

---------------

Airco failure location EASYNET room 2A/2F [Update]
Tue 27 Oct 2009 00:30
Expected Downtime: Unknown
Location: Easynet room 2A
Affected IP ranges: Unknown
Reason: Airco failure
*******************************

Dear customer,

At the moment we experience some troubles in (part of) our network.

We are doing our utmost to solve this issue a.s.a.p.
As soon as we have more information available, we will publish it here.

Please be patient while we are working on this problem.

Regards,
LeaseWeb BV

[UPDATE 02:07] Unfortunately our routers in room 2A reached their thresholds for normal operating mode. They will shutdown within a few minutes to avoid hardware failure. Due to this all network connectivity will be affected.

As soon as the airco failure has been repaired we will power up our routers again.

[UPDATE 03:09] Since approx. 00h30 EasyNet is suffering a cooling failure on the second floor.At this moment EasyNet is working on solving this issue, however an ETA has not been given yet. In case customers want to have their servers shutdown, please contact support@leaseweb.com. We will try to shutdown the servers cleanly, however we cannot guarantee this possibility due to access restrictions within the DC at this moment.

[UPDATE 03:33] At this moment EasyNet is overriding systems and systems are starting up again. Temperature will be dropping slowly and it is expected to be at normal temperature within 2hours again. We are currently waiting for acceptable operation temperature to start our routers again.

[UPDATE 04:15]We see that the temperature stabilizes, but it may take a while before the temperature drops.


[UPDATE 05:05] Temperature drops, we are going to power up the routers again.

[UPDATE 05:42] Routers are up and running, if you still suffer connection loss, please report it to us.

That's it?

Hier zijn de problemen wel íets groter dan dat. Ze zijn al vanaf 2 uur vannacht non-stop bezig met het oplossen van een gigantische stapel problemen, van corrupte schijven tot controllers die kapot zijn gegaan. De temperatuur was dan ook echt extreem hoog. Dit heb ik nog niet eerder gezien.

Oorspronkelijk geplaatst door getUP

De temperatuur was dan ook echt extreem hoog.

[ramptoerist mode]Hoe hoog is de temperatuur geweest?[/ramptoerist mode]

Sterkte met de reparaties!

Oorspronkelijk geplaatst door Ijsbox

[ramptoerist mode]Hoe hoog is de temperatuur geweest?[/ramptoerist mode]

Sterkte met de reparaties!

Er schijnt 72 graden gemeten te zijn.

Het voltage heeft ook vreemde dingen gedaan, het wattage van onze servers bleef gelijk, maar de amperes gingen duidelijk omhoog; oftewel, het voltage is tijdelijk flink gedaald.

Daarnaast kreeg ik van onze raidcontrollers flink wat e-mails over undervoltage en overvoltage, gelukkig is alleen die ene accupack overleden, maar het heeft wel flink wat uren gekost voordat we de boel weer online hadden.

Lichtelijk onprofessioneel gehandeld door zowel Easynet als Leaseweb moet ik zeggen; als de temperatuur op de vloer boven de 50 graden komt zou gewoon keihard de stroom van de hele ruimte af gehaald moeten worden; beter dat alles weer opnieuw opgestart moet worden, dan zoals nu dat er vanalles naar god is.

Heeft er iemand hier temperatuursensors in z'n rack hangen toevallig? Ben heel erg benieuwd naar hoe smerig heet 't daar nou echt geweest is...

ruim 70 graden celcius in de top, en vanochtend nog steeds 40-50... tot 10u vanochtend kon mn collega er niet eens in ivm de warmte

de zoveelste fail van easynet, ik ben er wel klaar mee eigenlijk

De grootste fail van Easynet is dat ze tot op heden *NIETS* naar buiten hebben gebracht, zelfs niet naar hun directe klanten.

Wij hebben er zelf enkel een backup rackje, dus in dat opzicht vrij weinig last ervan gehad. Maar ik zou Easynet dan ook nooit een productie-rack toevertrouwen.

Het is dit jaar al meerdere malen gebeurd dat de Airco (en het licht) in het hele gebouw niet werkte, en dat was dan meestal grofweg een half uur. Zodra het dan weer terug online was, ging iedereen gewoon weer verder met zn werk alsof er niets gebeurd was. Niemand werd geinformeerd, en de meeste klanten die op dat moment aanwezig waren wisten ook nergens van.

Het lijkt me wel vrij duidelijk dat de hele A/C van Easynet op 1 stroomgroep draait die 'somewhat' redundant is. Voorheen was dat speculatief, maar inmiddels lijkt me dit toch wel echt duidelijk.

Wat ik niet snap is dat er zo weinig over gesproken wordt. Hier stond niets, op ispam.nl niets, ik had toch wel wat meer klachten verwacht. Het moet er aardig druk geweest zijn (ik lag zelf, gelukkig, nog in bed), dus zullen er vast meer collega bedrijven hinder van hebben ondervonden.

Code:

Using username "root".
Authenticating with public key "rsa-key-20081112" from agent
Last login: Tue Oct 27 16:36:16 2009 from fiberaccess.enschede.ispi.nl
[root@server02 ~]# uptime
 21:42:10 up 27 days, 12:06,  1 user,  load average: 1.45, 0.85, 0.66
[root@server02 ~]#

Gelukkig in een andere ruimte zo te zien

Niet alles bij ons is down geweest, een deel van onze cluster bleef gewoon draaien, hoewel de CPU's wel keihard thermal throttled werden. De switches overleefden het wonderbaarlijk genoeg ook probleemloos, alleen de raidcontrollers in de storage en database servers hadden het bepaald niet naar hun zin, maar ja, met 70+ graden is dat ook niet echt vreemd. Verbaast me dat de rest van de servers 't overleeft heeft!

Verbaast me ook dat er schijnbaar geen emergency power off procedures zijn voor dit soort gevallen. Wat voor zelf-respecterend datacenter laat 't nou zo gruwelijk heet worden op de datavloer... dat kan gewoon echt niet...

Oorspronkelijk geplaatst door Jurian

Het voltage heeft ook vreemde dingen gedaan, het wattage van onze servers bleef gelijk, maar de amperes gingen duidelijk omhoog; oftewel, het voltage is tijdelijk flink gedaald.

Daarnaast kreeg ik van onze raidcontrollers flink wat e-mails over undervoltage en overvoltage, gelukkig is alleen die ene accupack overleden, maar het heeft wel flink wat uren gekost voordat we de boel weer online hadden.

Lichtelijk onprofessioneel gehandeld door zowel Easynet als Leaseweb moet ik zeggen; als de temperatuur op de vloer boven de 50 graden komt zou gewoon keihard de stroom van de hele ruimte af gehaald moeten worden; beter dat alles weer opnieuw opgestart moet worden, dan zoals nu dat er vanalles naar god is.

Heeft er iemand hier temperatuursensors in z'n rack hangen toevallig? Ben heel erg benieuwd naar hoe smerig heet 't daar nou echt geweest is...

In theorie kan dit verband met elkaar hebben. Hogere warmte, is hogere weerstand, is andere stromen / spanning.

Oorspronkelijk geplaatst door getUP

Wat ik niet snap is dat er zo weinig over gesproken wordt. Hier stond niets, op ispam.nl niets, ik had toch wel wat meer klachten verwacht. Het moet er aardig druk geweest zijn (ik lag zelf, gelukkig, nog in bed), dus zullen er vast meer collega bedrijven hinder van hebben ondervonden.

De parkeerplaats was voor de verandering een keertje helemaal vol, en er stonden een hoop droevige gezichtjes buiten

Btw voor de mensen in 2a, toen ik er was weigerde het deurslot van buiten, geen idee of die dat ook wel eens van binnen flikt, maar neem iig altijd een telefoon mee naar binnen (of een breekijzer)

Slecht zeg, hier ga ik dus echt nooit een server plaatsen...

Zou toch denken bij 50+ graden om de boel echt uit te gooien, als de switches het alleen al begeven of uitgezet worden heb je er toch niks aan.

Dit kost ze meer denk ik dan de boel gewoon uit gooien en later weer aanzetten, lijkt mij dat de DC dit moet vergoeden of niet? Ik weet niet wat de overeenkomst is...

Oorspronkelijk geplaatst door Paulewk

In theorie kan dit verband met elkaar hebben. Hogere warmte, is hogere weerstand, is andere stromen / spanning.

Niet op die schaal dat je al in hele ampere's kan gaan rekenen. Omlaag kan wel, CPU's die beginnen te throttelen.

Met die hitte zweet ik het luie zweet er wel uit. Pfff... gelukkig was het in,uit en weer snel naar huis. Gelukkig draait er alleen wat backup / test spul.