Onderwerp: Explosie "the planet" datacenter

Oorspronkelijk geplaatst door Apoc

Als je dit zo leest, zou er eigenlijk een opstelling moeten zijn geweest waarin dit gedeelte van het stroomnetwerk afgesloten zou kunnen worden, en dat via transformators in een andere ruimte (aan de andere kant van het datacentrum) de power geleverd blijft worden aan de servers.

Op die manier kan de stroom nog wel uitvallen, maar die kan dan een heel stuk sneller weer gerestored worden. Het probleem is nu waarschijnlijk dat ze eerst alle troep moeten opruimen, en daarna zullen er waarschijnlijk nieuwe transformators geplaatst worden, wat allemaal nogal wat tijd kost.

Achteraf praten is uiteraard altijd makkelijk.

Maar misschien houdt niemand rekening met zulke grove schade aan zijn DC?

Nouja, dit is de tweede keer al bij the planet, vorige keer is hun generator ontploft (daar wordt ook gesproken over flammen van 100 feet hoog).

Je moet ze wel toegeven dat hun communicatie goed is. De traagheid waarmee enkele kernzaken terug online gebrachten worden (dns bvb) lijkt me wel wat vreemd.

Op dergelijke zaken voorzien is mogelijk, maar dan moeten de klanten bereid zijn hiervoor te betalen. En dat zijn ze meestal niet, tenzij ze groot genoeg zijn om dat allemaal zelf te voorzien.

Oorspronkelijk geplaatst door Wido

Achteraf praten is uiteraard altijd makkelijk.

Maar misschien houdt niemand rekening met zulke grove schade aan zijn DC?

Ik bedoel het niet als kritiek, maar meer als idee/suggestie.

Oorspronkelijk geplaatst door Apoc

Ik bedoel het niet als kritiek, maar meer als idee/suggestie.

Ok, nee, duidelijk

After the fire marshall inspected the H1 location, we were given the green light to bring power back to the facility. The generators have been turned on, and we are receiving power on the second floor. The generator power restoration is the first step in the full restoration of service to the data center.

From here, we will begin the process of cooling the DC floor, which could take a few hours. As soon as the power integrity is confirmed and the DC floor is ready for operation, we will be restoring power and checking server hardware on a rack-by-rack basis.

First floor is 6000 servers, hebben ze nog wel even wat te doen.

Oorspronkelijk geplaatst door santema

First floor is 6000 servers, hebben ze nog wel even wat te doen.

Voordeel is wel dat ze al even down zijn, en genoeg tijd hebben gehad voor het ter plaatse krijgen van een groot aantal mensen.

Volgens mij kun je je overigens als datacentrum niet voorbereiden op dergelijke zaken. Je kunt nog zoveel plannen, maar een neerstortend vliegtuig bijvoorbeeld hou je ook niet tegen. Als je deze risico's als deze wilt voorkomen dan zul je een geheel redundante configuratie in een ander datacentrum moeten neerzetten, maar daar zit nogal een prijskaartje aan.

Atoombunker

Ik moet wel zeggen dat ze echt heel erg veel informatie geven naar klanten toe. Voor mijn gevoel kan het niet beter zoals zij het nu aanpakken. Zoiets is waarschijnlijk nooit te voorkomen, maar als je ziet wat een informatie ze op dat forum geven en hoe en wat ze communiceren. Petje af daarvoor.

En als waar is wat ze in het topic aangeven dan is dat ook heel netjes. Twee keer zoveel mensen bij de telefoon en ze vragen iedereen om te bellen als ze vragen hebben. Daarnaast las ik ook dat ze extra personeel van andere datacenters naar H1 gehaald hebben om extra ondersteuning te bieden.

Ben onder de indruk van hoe ze het aanpakken.

Het personeel zal wel moe zijn. Een normale werkdag bij The Planet in het DC duurt 12 uur (!!).

Oorspronkelijk geplaatst door xserve

Ik moet wel zeggen dat ze echt heel erg veel informatie geven naar klanten toe. Voor mijn gevoel kan het niet beter zoals zij het nu aanpakken. Zoiets is waarschijnlijk nooit te voorkomen, maar als je ziet wat een informatie ze op dat forum geven en hoe en wat ze communiceren. Petje af daarvoor.

En als waar is wat ze in het topic aangeven dan is dat ook heel netjes. Twee keer zoveel mensen bij de telefoon en ze vragen iedereen om te bellen als ze vragen hebben. Daarnaast las ik ook dat ze extra personeel van andere datacenters naar H1 gehaald hebben om extra ondersteuning te bieden.

Ben onder de indruk van hoe ze het aanpakken.

Dat is vooral doordat ze bij een grote stroomstoring een tijd terug (ik meen ongeveer 2 jaar) gigantisch veel klanten zijn kwijtgeraakt. Daar hebben ze toen wel van geleerd.

Ik las overigens dat een vloer met 6000 servers grotendeels vandaag weer online komt, maar dat het voor een ander vloer met 3000 servers nog ruim een dag gaat duren (minimaal). Wat ik me vooral afvraag, is hoe hun klanten reageren (of dat ze het begrijpen, of dat ze ondanks de goede informatie toch weg willen).

Ik denk dat de klanten niet veel kunnen doen dan afwachten. Het meerendeel zijn toch dedi's en als je geen externe backups hebt (dus buiten het ThePlanet DC), dan zal je niet bij je data kunnen om deze elders op te zetten.

Je kan het nog zo redundant uitvoeren, als de brandweer zegt dat de stroom er af moet, heb je dat maar te doen. Dat is beetje het probleem, ben ik bang. Kan je in geen enkel geval voorkomen.

Oorspronkelijk geplaatst door ProServe

Je kan het nog zo redundant uitvoeren, als de brandweer zegt dat de stroom er af moet, heb je dat maar te doen. Dat is beetje het probleem, ben ik bang. Kan je in geen enkel geval voorkomen.

Je kan het niet voorkomen, maar je kan wel eens om de tafel gaan met de plaatselijke brandweer. Wanneer ze bij jullie in het pand kunnen oefenen weten ze wat er staat, hoe ze er mee om moeten gaan en wat het belang is van de stroomvoorziening. Een kantoorpand zonder stroom is namelijk een minder groot issue dan een DC zonder stroom.

Dat maakt niets uit Glenn, als de brandweer zegt dat de stroom eraf moet wegens gevaar, dan moet daar naar geluisterd worden, ook al is een DC een groter issue dan een kantoorpand zonder stroom. Alles gaat voor veiligheid.