Onderwerp: Stroomstoring Easynet

Oorspronkelijk geplaatst door XF-RICK

Voor noodgevallen zijn wij bereikbaar op telefoonnummer: 020-7880308, security van Easynet zal de boodschap aannemen.

Gelieve de volgende informatie door te geven:
- Bedrijfsnaam
- Servers
- Rack (voor zover bekend)

Wij doen alles in onze macht om het gehele serverpark terug online te krijgen.

We wachten rustig af tot volgens jullie alles terug zou moeten werken. Dan gaan we zelf ff alles meteen aflopen en zien of het effectief allemaal up and running is. Zo niet dan informeren we jullie wel even. Succes!

nog 1 server down, met toevallig :@ mijn email!!

Hier is nu alles terug up and running. Nu maar starten met de mailing -_-

Hier de meeste servers online, nu één voor één aan het na lopen.

Bij mij error op de noc bak: localhost interface was verdwenen. En ik maar zoeken waarom ie geen connecties kon maken

Wij zijn klaar en ik ga aan mijn nachtrust beginnen. Hopelijk werkt ook alles, morgen even een spoed bezoek brengen aan het datacentrum.

Robbert

Ook hier is alles zoals gezegd terug up and running, ook na een check up bleek alles perfect te werken. Het was even bang afwachten wat windows ging doen, maar ook dat ging uiteindelijk goed. Nu kruip ook ik onder de wol voor een paar uur. Terusten jongens!

Ik ben werkzaam bij Euroaccess, bij deze de 'officiele' uitleg wat er gebeurd is in Easynet in suite 1N bij euroaccess.

Rond 18:00, zondag middag kregen we melding van een storing in Easynet. Op dat moment was het niet duidelijk waar het om ging. Na veelvuldig contact met Easynet bleken enkele racks half offline te zijn, de B-feed (stroom) was offline. Op dat moment (18:30) zijn Paul, Rick en ik in de auto gestapt onderweg naar Easynet, Easynet had inmiddels een monteur opgetrommeld.

In easynet aangekomen bleek van onze B-feed stroomkast een van de drie fasen offline te zijn. In wat begrijpbaardere taal, ca 15 stroomgroepen waren offline, om nog onbekende reden. Alle A-feeds waren gewoon online. Na veel meten en zoeken bleek een hoofdzekering bij easynet eruit te liggen. Echter het vervangen van deze zekering moest door gekwalificeert personeel gebeuren wat op dat moment niet beschikbaar was. Na veelvuldig overleg is besloten dat de A-feed voldoende capaciteit had om de 'klap' op te vangen voor de nacht, met andere woorden alle racks konden volledig op de A-feed aangesloten worden. Zo gezegd zo gedaan, omstreeks 20:30 was de gehele suite weer online op de A-feed.

Vanaf dat moment zijn we druk bezig geweest alles te controleren, elke server stuk voor stuk om te zorgen dat alles weer draaide voor de nacht, het vervangen van de zekering en het terug stappen op de normale stroomvoorziening zou op een later tijdstip gebeuren. Rond 23:00 was dit geregeld en zijn we onderuitgezakt voor easynet gaan zitten, bijkomen van het onverwachte werk. Enkele uren zitten kletsen om vervolgens de spullen te gaan pakken om de welverdiende nachtrust op te gaan zoeken.

Echter bij binnenkomst in de suite (01:15) was het verdacht stil. En ja, ook de A-feed had het (deels) begeven. Het zelfde probleem als met de B-feed. De A-feed bleek dus totaal niet berekend op de extra load en ook hier was een hoofdzekering eruit geslagen. Opnieuw de monteurs opgetrommeld en besloten zelf de zekeringen te vervangen zodat alle feeds weer beschikbaar waren. Bijkomend probleem, het vervangen van de zekeringen houd in dat alle fasen van de krachtstroom offline moeten, waardoor rond 02:00 uur de volledige stroom afgesloten is in onze kooi in 1N.

De grootste verassing kwam voor ons bij het vervangen van de zekeringen. Hier bleek het een en ander niet te kloppen en hoe het nu precies zit en hoort te zitten moet nog kortgesloten worden met Easynet, en is ook niet iets waar ik jullie mee zal vervelen. De zekeringen zijn vervangen en vervolgens stuk voor stuk de racks weer online gebracht, ondertussen de load zoveel mogelijk verdelen tussen de 2 feeds en de fasen om verdere problemen te voorkomen. Dit heeft tot ca 04:00 in beslag genomen en vanaf dat moment zijn we weer bezig gegaan met alles stuk voor stuk te controleren.

Op moment van schrijven zijn we hier nog druk mee, maar dan zijn nu in ieder geval alle (eventuele) spookverhalen de wereld uit. Onze excuses voor het ongemak en voor verdere vragen zijn we via de bekende wegen te bereiken.

Groet,

Tim

ps. Ik wil de mensen van MediaServe bedanken voor hun inzet. Een paar extra handen kwamen uitstekend van pas!

Bedankt voor de uitleg Tim.
Bij ons in ieder geval alles weer online. Geen enkele storing overgehouden.

Bij deze een extra bedankje voor Rick en voor Thomas en Bart van MediaServe die belangenloos al onze racks zijn nagelopen om servers die niet direct online kwamen te starten.

Helemaal top!

Crimi / Tim, bedankt voor de heldere uitleg.

De grootste verassing kwam voor ons bij het vervangen van de zekeringen. Hier bleek het een en ander niet te kloppen en hoe het nu precies zit en hoort te zitten moet nog kortgesloten worden met Easynet, en is ook niet iets waar ik jullie mee zal vervelen.

Als je wat weet, verveel ons hier alsjeblieft mee. Elke info die we kunnen krijgen is meegenomen!

Thomas en Bart, bedankt voor al jullie info! Hoewel ik klant bij jullie ben en info verschaffen er bij hoort, namen jullie -voor zover kon- de tijd om het allemaal uit te leggen. Bart: goed dat je je oplader meehad ;-) Al was er geen stroom :P

Ieder ander: bedankt voor jullie inzet

En tenslotte Tim:
bedankt voor mn localhost oplossing ;-)

cage 1N doet me denken aan een N+1 systeem :-)
In ieder geval hebben jullie een goede reden om lekker uit te slapen!

En de aansprakelijkheid kan gelegt worden bij ?

In easynet aangekomen bleek van onze B-feed stroomkast een van de drie fasen offline te zijn. In wat begrijpbaardere taal, ca 15 stroomgroepen waren offline, om nog onbekende reden. Alle A-feeds waren gewoon online. Na veel meten en zoeken bleek een hoofdzekering bij easynet eruit te liggen. Echter het vervangen van deze zekering moest door gekwalificeert personeel gebeuren wat op dat moment niet beschikbaar was. Na veelvuldig overleg is besloten dat de A-feed voldoende capaciteit had om de 'klap' op te vangen voor de nacht, met andere woorden alle racks konden volledig op de A-feed aangesloten worden. Zo gezegd zo gedaan, omstreeks 20:30 was de gehele suite weer online op de A-feed.

Vanaf dat moment zijn we druk bezig geweest alles te controleren, elke server stuk voor stuk om te zorgen dat alles weer draaide voor de nacht, het vervangen van de zekering en het terug stappen op de normale stroomvoorziening zou op een later tijdstip gebeuren. Rond 23:00 was dit geregeld en zijn we onderuitgezakt voor easynet gaan zitten, bijkomen van het onverwachte werk. Enkele uren zitten kletsen om vervolgens de spullen te gaan pakken om de welverdiende nachtrust op te gaan zoeken.

Echter bij binnenkomst in de suite (01:15) was het verdacht stil. En ja, ook de A-feed had het (deels) begeven. Het zelfde probleem als met de B-feed. De A-feed bleek dus totaal niet berekend op de extra load en ook hier was een hoofdzekering eruit geslagen. Opnieuw de monteurs opgetrommeld en besloten zelf de zekeringen te vervangen zodat alle feeds weer beschikbaar waren. Bijkomend probleem, het vervangen van de zekeringen houd in dat alle fasen van de krachtstroom offline moeten, waardoor rond 02:00 uur de volledige stroom afgesloten is in onze kooi in 1N.

Dan wordt het misschien toch tijd dat er eens wat verzwaard gaat worden kwa hoofdzekeringen anders heb je binnen een paar dagen weer hetzelfde probleem.

hier nog stedds down !!! zelfs na een foto met de servers op die down waren dit is nu 12u +

Hmm. Vanochtend kwam ik er dus achter dat de hele reut er van 2:39 tot 3:14 heeft uitgelegen, tewijl we niet bij de eerste dip betrokken zijn geweest.

Meest relevante opvolging is nu: Wat gaat er concreet aan gedaan worden of wat is eraan gedaan dit soort problemen in de toekomst te voorkomen? Ik wacht het even rustig af, daar de heren natuurlijk ook een zware nacht gehad hebben.

Gelukkig doet alle hardware het op het eerste gezicht nog.