Onderwerp: Brandalarm in GYRO Center DC-1

Afgelopen nacht is het GYRO Center DC-1 in Amsterdam getroffen door een brandalarm met als gevolg dat de airco is afgeslagen en er is geblust. Door de hitte en het snelle afkoelen na het openen van de ramen is veel hardware uitgevallen en ik hoor van verschillende kanten dat er veel schade is aan voornamelijk de harddisks. De oorzaak van het afgaan van het brandalarm is bij dit schrijven nog niet bekend. Wat wel bekend is dat er nog veel partijen bezig zijn met het oplossen van problemen. Ook zijn er al vele harddisk richting recovery bedrijven gegaan.

Weten jullie meer? Post het hier inclusief updates die je te horen komt.

Veel sterkte aan de getroffen partijen!

Wij hebben er enkel nog wat backup rackjes staan en hebben geen schade ondervonden, maar ik heb inderdaad ook al van diverse partijen gehoord dat ze erg veel schade hebben. De schade is waarschijnlijk veroorzaakt door de brandblussing gecombineerd met snelle temperatuurswisselingen (niet enkel de hoge temperatuur, maar ook het snelle afkoelen op het moment dat ramen open gegooid zijn toen engineers naar binnen mochten).

En dit is natuurlijk niet de eerste keer, 2 jaar geleden was het ook al raak. Tele2 maakt er een puinhoop van.

Als de argon er met een te hoge druk uit komt gaan je harddisks ook kapot. Dat was bij Eweka een paar jaar terug ook het geval.

Bij ons is de schade beperkt tot een enkele harddisk en wat uitval.

Ik ken een paar partijen die nog wel even bezig zijn met het herstellen van de ellende.

Je vraagt je wel af waar het dan precies fout is gegaan, en wat er voor gaat zorgen dat dit in de toekomst niet meer gebeurt.

Oorspronkelijk geplaatst door dennis0162

Als de argon er met een te hoge druk uit komt gaan je harddisks ook kapot. Dat was bij Eweka een paar jaar terug ook het geval.

Die relatie zag ik niet meteen, want zo groot zal de totale drukverhoging in de hele ruimte niet zijn. Plus dat disken een opening met de atmosfeer hebben, en dus niet platdrukken (of bol staan) bij drukverschillen.

Maar het effect kan er wel zijn vanwege de enorme herrie (>110 dB) en dus (geluids) trillingen die een gasdump geeft , zo vond ik hier :
http://www.datacenterjournal.com/it/...-drive-damage/

Dit had ik echt niet verwacht :
(Schreeuwen naar je disks laat de latency omhoog gaan ! )

Komt toch door het geluid dan blijkbaar.
Ook staat in het artikel dat het niet door de temperatuur veranderingen komt.

Oorspronkelijk geplaatst door dennis0162

Komt toch door het geluid dan blijkbaar.
Ook staat in het artikel dat het niet door de temperatuur veranderingen komt.

Nu ja, de relatie met 'te hoge druk' zal er wel zijn omdat het dan nog harder toetert .

Waarom gaan de airco units daar dan uit bij een brandalarm? Ik weet dat ze bij Dataplace bijvoorbeeld bewust ervoor hebben gekozen om de airco units niet uit te laten schakelen bij een brandmelding / blussing. Dit omdat de argonite toch wel z'n werk doet. De argonite zorgt er namelijk voor dat de zuurstof uit de zaal gehaald wordt, de airco units circuleren dan gewoon de lucht zonder zuurstof. Ondertussen blijven de servers wel gewoon gekoeld en is de schade beperkt. Vaak zie je dat de schade door de temperatuur verschillen groter is dan de druk van de argonite.

Was er ook daadwerkelijk brand of was het vals alarm?

Oorspronkelijk geplaatst door WeServIT

Waarom gaan de airco units daar dan uit bij een brandalarm? Ik weet dat ze bij Dataplace bijvoorbeeld bewust ervoor hebben gekozen om de airco units niet uit te laten schakelen bij een brandmelding / blussing. Dit omdat de argonite toch wel z'n werk doet. De argonite zorgt er namelijk voor dat de zuurstof uit de zaal gehaald wordt, de airco units circuleren dan gewoon de lucht zonder zuurstof. Ondertussen blijven de servers wel gewoon gekoeld en is de schade beperkt. Vaak zie je dat de schade door de temperatuur verschillen groter is dan de druk van de argonite.

Ik kan me inbeelden dat ze dit doen om verspreiding van eventueel ontwikkelde rook tegen te gaan. Ik ken trouwens nog locaties waar ze gewoon de stroom volledig uitleggen (ook niet goed voor harddisks). Maar zo voorkom je wel dat er nog meer warmte vrijkomt door je servers als de airco's ook uit staan, trouwens moest het echt branden vraag ik me persoonlijk af welk nut een airco dan nog heeft.

Oorspronkelijk geplaatst door The-BosS

Ik kan me inbeelden dat ze dit doen om verspreiding van eventueel ontwikkelde rook tegen te gaan. Ik ken trouwens nog locaties waar ze gewoon de stroom volledig uitleggen (ook niet goed voor harddisks). Maar zo voorkom je wel dat er nog meer warmte vrijkomt door je servers als de airco's ook uit staan, trouwens moest het echt branden vraag ik me persoonlijk af welk nut een airco dan nog heeft.

De rook zal zich toch wel verspreiden in zo'n ruimte, ik denk niet dat je dit voorkomt door de airco's uit te zetten.

Wat als het een smeulende voeding in een rack is? Moet daardoor heel de koeling op z'n gat gelegd worden? De schade zal dan vele malen zijn dan wanneer je de koeling gewoon laat werken. Je ze zult altijd wel problemen over houden aan een brand blussing, maar ik denk dat wanneer je de koeling laat draaien je de schade nog zo beperkt mogelijk kunt houden.

Wij hebben in DC I niet meer ons primaire omgeving staan, maar al onze backups gaan er wel naar toe.

De backup servers hebben het wel moeilijk gehad. Een aantal Areca's wilde niet echt mee werken, maar na wat reboots kwamen ze met degraded RAID-sets online.

Ook onze ZFS backup omgeving had het even lastig, maar daar is ook alle data nog.

Op het moment van schrijven is alles nog aan het rebuilden en hebben wij iets van 5 defecte disks.

Oorspronkelijk geplaatst door Wido

Wij hebben in DC I niet meer ons primaire omgeving staan, maar al onze backups gaan er wel naar toe.

De backup servers hebben het wel moeilijk gehad. Een aantal Areca's wilde niet echt mee werken, maar na wat reboots kwamen ze met degraded RAID-sets online.

Ook onze ZFS backup omgeving had het even lastig, maar daar is ook alle data nog.

Op het moment van schrijven is alles nog aan het rebuilden en hebben wij iets van 5 defecte disks.

Dan hebben jullie geluk gehad, ook al is het backup data, het blijft vervelend als deze data verloren gaat.
Even off-topic, hoe is jullie ervaring met Areca trouwens? Wij hebben ze in het begin gehad, 1212/1222 en de 1680, maar er komt hier geen Areca meer in. Inmiddels 50+ LSI kaarten, vooral 9260, 9266 en 9271, geen slecht woord over te melden.

Oorspronkelijk geplaatst door WeServIT

Dan hebben jullie geluk gehad, ook al is het backup data, het blijft vervelend als deze data verloren gaat.
Even off-topic, hoe is jullie ervaring met Areca trouwens? Wij hebben ze in het begin gehad, 1212/1222 en de 1680, maar er komt hier geen Areca meer in. Inmiddels 50+ LSI kaarten, vooral 9260, 9266 en 9271, geen slecht woord over te melden.

Met areca heb ik het zelf ook ver gehad. Ik hou me ook bij lsi, alhoewel ik sinds vandaag ook wel een beetje van 3ware hou



Gisteren alles ok, vanochtend kaboem... Maar het leukste is... dit draait op dit moment nog steeds (klanten zijn uiteraard direct naar een andere storage gemoved).
Is toch wel iets voor te zeggen om disk series om en om te plaatsen.

Oorspronkelijk geplaatst door visser

Die relatie zag ik niet meteen, want zo groot zal de totale drukverhoging in de hele ruimte niet zijn.

Dat zou ik toch niet onderschatten. Er komt in 1 keer 300 bar vrij. Dat wordt dan inderdaad wel over de ruimte verspreid, maar dan nog is het een flinke klap. Enkel door deze druk al, kunnen schijven zeker kapot gaan.