Onderwerp: Stroomstoring Easynet

Wel een teringzooi, was nog bezig aan een server, nu blijkt hij heel wat config troubles te hebben, wordt weer een lange nacht

Oorspronkelijk geplaatst door JayvD

Komt er nog een centrale complete post met wat er nu precies aan de hand was? Vinden de meeste mensen denk ik wel fijn.

Ik verwacht op zijn minste een goede toelichting met wat er vandaag allemaal is gebeurt. Een grote ellende dit, 5 uur en 45 minuten down..

Oorspronkelijk geplaatst door VinceSTM

Netfeed, jij zit toch boven mij, @ G3?

Dan zit ik onder jou? Ik zit helemaal onderin.

Oorspronkelijk geplaatst door Netfeed

Zorg jij dan voor frikandellen, dan zorg ik wel voor het bier

kom je dan wel met meer dan 30 liter? :P

Oorspronkelijk geplaatst door Serve-xs

Dan zit ik onder jou? Ik zit helemaal onderin.

Dus jij zit tussen onze patchpanelen in? Kan me niet bij houden dat er servers onder in het rack zitten, liggen alleen switches en patchpanelen van ons

Oke, even een kleine samenvatting

Rond 18.00 uur is een fase van de krachtstroom uitgevallen omdat deze overbelast is geraakt. Er zijn afspraken hoeveel stroom de klanten van Easynet mogen verbruiken per rack, maar Easynet had op die feed minder capaciteit dan overeengekomen. Wat we nu hebben gedaan is de feeds die down waren overgezet naar feeds waar nog wel genoeg capaciteit is. Dit kostte helaas veel tijd, aangezien het om honderden servers gaat.

Inmiddels draait alles dus weer stabiel via de twee fases waar nog wel voldoende capacteit op stond. De faseverdeler zal vervangen moeten worden, maar dit kan nog wel een paar weken duren. Tegen die tijd zal, onder onze begeleiding, de stroom dus nogmaals afgesloten moeten worden. Dit gaat enkele weken duren omdat nu voorkomen moet worden dat straks wederom niet voldoende capaciteit beschikbaar is.

Voor vragen kunnen jullie altijd contact opnemen met ons of met Euroaccess.

Nogmaals, als er op dit moment mensen zijn waarvan servers niet meer zijn opgestart, ook als dit geen klanten van ons zijn, neem even contact op per email of PB en dan regelen wij het.

Met vriendelijke groet,
MediaServe NOC

Als ik het zo zie, is alleen mijn switch uitgevallen (zit op een andere groep dan mijn servers). Ik neem aan dat tegen die tijd alleen mijn switch down wordt gegooid, en niet alle andere groepen ook?

Oorspronkelijk geplaatst door MediaServe

Oke, even een kleine samenvatting

...

Met vriendelijke groet,
MediaServe NOC

Ben ik blij dat mijn leverancier zo goed met zijn zaak bezig is!

Bij mij draait ook alles weer, er waren een paar .so's van security domein veranderd, maar dat is nu weer netjes opgelost Nu gaan we slapen

Oorspronkelijk geplaatst door MediaServe

Oke, even een kleine samenvatting

Rond 18.00 uur is een fase van de krachtstroom uitgevallen omdat deze overbelast is geraakt. Er zijn afspraken hoeveel stroom de klanten van Easynet mogen verbruiken per rack, maar Easynet had op die feed minder capaciteit dan overeengekomen. Wat we nu hebben gedaan is de feeds die down waren overgezet naar feeds waar nog wel genoeg capaciteit is. Dit kostte helaas veel tijd, aangezien het om honderden servers gaat.

Inmiddels draait alles dus weer stabiel via de twee fases waar nog wel voldoende capacteit op stond. De faseverdeler zal vervangen moeten worden, maar dit kan nog wel een paar weken duren. Tegen die tijd zal, onder onze begeleiding, de stroom dus nogmaals afgesloten moeten worden. Dit gaat enkele weken duren omdat nu voorkomen moet worden dat straks wederom niet voldoende capaciteit beschikbaar is.

Voor vragen kunnen jullie altijd contact opnemen met ons of met Euroaccess.

Nogmaals, als er op dit moment mensen zijn waarvan servers niet meer zijn opgestart, ook als dit geen klanten van ons zijn, neem even contact op per email of PB en dan regelen wij het.

Met vriendelijke groet,
MediaServe NOC

Dit had nooit moeten gebeuren, het is wel het minste wat fout zou moeten gaan. Bij wie ligt de schuld nu? Ik hoor nu Easynet vallen, maar hoe komt het dat het alleen bij EuroAccess voorkomt?

Ik vind het zelf onacceptabel dat het zo lang heeft moeten duren, de racks hadden zo kunnen worden aangesloten op een aantal tijdelijke groepen of wat dan ook. Als het na 5/6 uur lukt dan moet het ook binnen 1 uur lukken. Dus hoezo heeft het zo lang moeten duren?

Dit is niet een vraag die ik aan jou stel, maar aan EuroAccess.

Oorspronkelijk geplaatst door niqniq

Ben ik blij dat mijn leverancier zo goed met zijn zaak bezig is!

Bij mij draait ook alles weer, er waren een paar .so's van security domein veranderd, maar dat is nu weer netjes opgelost Nu gaan we slapen

Mag ook wel na 6 uur downtime? Verder was ik zelf niet echt te spreken over de communiatie, ik werd niet op de hoogte gehouden, moest dus gissen wat er gebeurde. Dit zijn dingen die kunnen worden afgehandeld. Dit zijn allemaal van die dingen, waarvan ik denk dat het beter kon, of slecht ging. Dit had veel eerder kunnen worden opgelost, ik vind het dan ook zeker geen tijd om de leverancier te bedanken, dit zijn dingen die onder overmacht vallen, maar wel sneller konden worden afgehandeld (in mijn ogen).

Ik wou in de autostappen, 10 min na eerste uitval en had ik direct switches kunnen ompluggen zodat alles voor ons online was.. maar ik kon niet naar binnen.

Voor ons is het probleem nu pas echt begonnen, hoe kan het worden voorkomen in de toekomst en waarom kon het zo lang duren? Ik denk ook dat dit intern nog een staartje kan krijgen, wij laten het hier niet bij zitten in iedergeval.

Oorspronkelijk geplaatst door Technotop

Dus jij zit tussen onze patchpanelen in? Kan me niet bij houden dat er servers onder in het rack zitten, liggen alleen switches en patchpanelen van ons

Boven dat legplankje

Alleen een server? Colocated bij Technotop?

Oorspronkelijk geplaatst door MediaServe

De faseverdeler zal vervangen moeten worden, maar dit kan nog wel een paar weken duren. Tegen die tijd zal, onder onze begeleiding, de stroom dus nogmaals afgesloten moeten worden.

Snel naar DC ff boot-on-power aanzetten
Daar heb ik zojuist nog problemen mee gehad.

Oorspronkelijk geplaatst door VinceSTM

Alleen een server? Colocated bij Technotop?

Kwart rackje..
Alles beneden die 1U Chieftec zonder bovenkap en deze server natuurlijk.

Wat ik wel op het hart wil drukken

Meestal heeft EuroAccess het idee van: er moet iets gedaan worden. Oh, vanmiddag hebben we een plekje: Let's go!

Nee, zo gaat dat dit maal dus niet! Dat kan en mag niet! Een week van te voren aangeven, plannen in de nachtelijke uren (je moet er wat voor over hebben als ISP) en van te voren overleggen met je klanten.

En nog even: True internet without boundries? Zonder stroom kom je blijbaar niet ver

*dubbel*

//Edit

@ Technotop : zulke zaken mogen inderdaad niet gebeuren, maar als ze gebeuren is het maar te zien op welke manier je er mee omgaat. Ik heb hier iets minder dan 2 uur plat gelegen al bij al, de rest van de problemen lag bij mijn onafgewerkte scripting waardoor mijn server niet volledig op kwam.

Oorspronkelijk geplaatst door VinceSTM

Alleen een server? Colocated bij Technotop?

Zat hier al even door de boeken te bladeren, maar dat is nu ook weer duidelijk.

En wederom plat... zucht