Bekijk Volledige Versie : Easynet problemen
Beste klanten, relaties,
Vandaag (27 november 2006) heeft zich een storing voorgedaan in datacentrum Easynet te Schiphol-Rijk (nabij Amsterdam), tussen 19:00 - 21:00.
Wat voor storing er precies gaande is, is op dit moment nog niet bekend.
De beveiliging heeft ons verteld:
"Ik hoorde een harde knal, het is erg warm binnen, de kans is groot dat u zonder t-shirt naar binnen kan, zo warm als het is".
Na binnenkomst in 1N, blijkt inderdaad dat de temperatuur is opgelopen (af te lezen op de airco's) tot 38 graden en hoger. In de warme straten is het ruim 40 graden.
Feit is tevens dat op dit moment (op het moment van schrijven) Easynet op de generatoren zijn stroom draaiende houdt. Hieruit is af te leiden dat er wellicht stroomproblemen zijn in de aanvoer vanuit de leverancier.
Een ander feit is dat het niet alleen ruimte 1N is die door deze storing is getijsterd, maar het volledige datacentrum. Wij stellen u dan ook de mogelijkheid, gratis tot maximaal 23:00 uur uw server te herstarten (indien u ons aanmeldt voor de betreffende providers), mocht deze door de warmte zijn vastgelopen (dit aanbod geldt zowel voor klanten als relaties).
Hopende u/jullie hierbij voldoende te hebben geinformeerd.
Met vriendelijket groet,
Mike van Engelen
Perfect - Internet Diensten
Update:
Een engineer zal spoedig richting Easynet vertrekken om polshoogte te nemen, zodra ik/wij meer informatie hebben zullen wij onze klanten hier spoedig over berichten.
dit houd ik ff in de gaten! mijn server deed al traag, maar dat zal door de warmte komen denk ik
Update:
Gelukkig zakt de temperatuur sterk in 1N, op dit moment is de temperatuur (afgelezen vanaf de airco's) +/- 28.5 graden.
Ik heb vernomen dat er geen uitval is geweest in de racks.
Wel draaien op dit moment de generatoren nog...
http://mrtg.rootspirit.com/systemp-day.png
Temperatuur lijkt hier weer te dalen gelukkig.
Dat is niet best.
Ik weet wel dat er vanmiddag iemand bezig was een de airco's van 2A.
En ook dat de Caprionilaan ( Waar easynet aan zit ) openlag i.v.m. graafwerkzaamheden.
Wellicht dat een van die 2 dingen er mee te maken hebben.
Het enige positieve is dat het goed is om te horen dat de generatoren het goed hebben opgepakt.
Hier geen meldingen gehad van eventuele problemen...
Update:
Inmiddels is de temperatuur (afgelezen vanaf de airco's) tussen de 20 en 22 graden. Wat naar mijn inziens weer terug naar normaal is.
Wel is nog en lichte verhoging te merken in 1N (gevoels temperatuur).
Ik verwacht dan ook dat dit langzaam zal wegtrekken tot normale temperaturen.
Is er al enig nieuws bekend wat de oorzaak van de knal was?
ErikKosters
27/11/06, 23:45
Hier niets geen problemen gehad, geen uitval niets. Wij zitten dan wel in 1M maar zoals vermeld boven was het hele datacenter dus aan de beurt.
Hier geen meldingen gehad van eventuele problemen...
20 centimeter onder jouw servers werd mijn harddisk 62 graden
Net voordat ik wegging heb ik vernomen dat Easynet nog steeds op de diesels draait. Temperatuur in zowel 2B als 1N was ver boven normaal (+30c).
Situatie is nu weer stabiel, verdere problemen zouden moeten uitblijven.
:)
swedendedicated
28/11/06, 00:42
Weet iemand al de oorzaak hiervan? Ik heb trouwens niks gemerkt, zowel in N1 als M1
MediaServe
28/11/06, 00:49
Weet iemand al de oorzaak hiervan? Ik heb trouwens niks gemerkt, zowel in N1 als M1
Even speculeren :)
Stroom van NUON is weggevallen, de UPS heeft het overgenomen en even later ook de generatoren. De servers zijn blijven draaien, maar de airco's zijn uitgevallen totdat de generatoren opgestart waren. Dat duurt een paar seconden, maar het kan dan al flink opwarmen. Het afkoelen duurt natuurlijk veel langer dan het opwarmen, waardoor het langzaam weer naar de oorspronkelijke temperatuur is gezakt.
Zoiets denk ik, maar weet het niet zeker...
Easynet is nu weer aan het terugschakelen naar netspanning, airco's slaan heel eventjes af tijdens de procedure.
Stefan Mensink
28/11/06, 01:22
Mooizo. Gelukkig tot zover geen downtime gehad.
Ziet er niet echt goed uit... http://mrtg.rootspirit.com/systemp-day.png
Zoals al eerder werd gezegd stijgt de temperatuur sneller dan dat men het afgekoeld krijgt.
Even kijken wat hij over 1 á 1 1/2 uur qua temp. doet.
EDIT: zojuist op noc.leaseweb.com gelezen:
Expected Downtime: Unknown
Location: Easynet
Reason: cooling failure
*******************************
Dear Customer,
Last night Easynet possibly encountered power issues, all systems stayed powered up, but cooling systems were not operational.
After a while DC personnel corrected the issue.
At approx. 23:30 cooling systems failed again, temperatures are currently rising. We are trying to get this sorted ASAP.
Regards,
LeaseWeb BV
Even speculeren :)
Stroom van NUON is weggevallen, de UPS heeft het overgenomen en even later ook de generatoren. De servers zijn blijven draaien, maar de airco's zijn uitgevallen totdat de generatoren opgestart waren. Dat duurt een paar seconden, maar het kan dan al flink opwarmen. Het afkoelen duurt natuurlijk veel langer dan het opwarmen, waardoor het langzaam weer naar de oorspronkelijke temperatuur is gezakt.
Zoiets denk ik, maar weet het niet zeker...
Wat ik heb begrepen van de beveiliging is dat de generatoren preventief draaide vanwege de werkzaamheden van de NUON voor Easynet.
Of deze dus draaide vanwege een stroomstoring is onbekend.
Er stonden wel twee busjes van een Airco firma voor de deur bij Easynet.
Het blijft allemaal speculeren, wellicht geeft Easynet zelf een officieel persbericht uit naar zijn klanten, en kunnen die het op hun beurt weer in dit topic plaatsen?!
update 00:55
At approx 00:30 cooling systems returned.
Temperatures are rapidly returning to normal values
Ik was gisteravond in het dc ( 2A ) bij de bewaking werd mij al verteld dat het iets warmer was dan normaal.
Toen ik de ruimte in kwam kreeg ik een klap van de warmte niet normaal.
Alles stond te piepen en ik heb temps gezien van 35+ graden sommige airco's gaven al geen waarde meer aan.
Tijdens mij werkzaamheden heb ik een server moeten rebooten. Na de reboot zijn er 2 SCSI disks overleden. Zou dit met de warmte te maken kunnen hebben ? Hoe denken jullie hierover ?
Ik was gisteravond in het dc ( 2A ) bij de bewaking werd mij al verteld dat het iets warmer was dan normaal.
Toen ik de ruimte in kwam kreeg ik een klap van de warmte niet normaal.
Alles stond te piepen en ik heb temps gezien van 35+ graden sommige airco's gaven al geen waarde meer aan.
Tijdens mij werkzaamheden heb ik een server moeten rebooten. Na de reboot zijn er 2 SCSI disks overleden. Zou dit met de warmte te maken kunnen hebben ? Hoe denken jullie hierover ?
HD's kunnen door extreme warmte de geest laten ja, maar het kan natuurlijk net zo goed iets anders geweest zijn. Bij ons weinig problemen gehad, behalve dat er één server een pak trager werkte, maar goed. Blij dat het opgelost is daar in A'dam :D
Geachte Klant,
Maandag 27 november is er om 18.50 binnen een van de stroomgroepen een busbar opengeklapt.
Binnen deze stroomgroep vallen de koelmachines, door het snel handelen van de operations afdeling van Easynet hebben we de downtime van de koeling tot 80 minuten kunnen beperken.
Er wordt momenteel onderzocht wat de oorzaak van deze storing is geweest, een uitgebreidere rapportage volgt.
Excuses voor het ongemak.
Kind Regards,
--
Bo Duim, Corporate Account Manager
Ik was gisteravond in het dc ( 2A ) bij de bewaking werd mij al verteld dat het iets warmer was dan normaal.
Toen ik de ruimte in kwam kreeg ik een klap van de warmte niet normaal.
Alles stond te piepen en ik heb temps gezien van 35+ graden sommige airco's gaven al geen waarde meer aan.
Tijdens mij werkzaamheden heb ik een server moeten rebooten. Na de reboot zijn er 2 SCSI disks overleden. Zou dit met de warmte te maken kunnen hebben ? Hoe denken jullie hierover ?
Ook wij hadden direct iets van *boem*, toen we de ruimte binnenkwamen.
Net alsof je een koele supermarkt uitstapt in een snikhete zomer!
Tevens vind ik het niet gek, dat je discs zijn overleden, zeker als ook nog eens in een vol rack staat.
Er zijn in 1N een aantal providers welke problemen hadden, die we dan ook even uit de brand hebben geholpen. Echter als het ~35 graden in de ruimte is, kan je er makkelijk 3-5 graden bij optellen wat het in het rack wordt (plus systeem temperatuur).
Hier bij ons op het bedrijf had in de zomer onze webserver ook problemen, nu draait alles (dezelfde schijven) op constant 17 graden en nu zijn er geen problemen meer...
Ik ben trouwens benieuwd wat het statement van Easynet gaat zijn, gaande deze issue...
Probleem is opgelost, als Easynet nog wil vertellen wat er mis ging dan kan dat.