Onderwerp: Brandmelding leidt tot gasblussing in BIT-2B datacenter

In het BIT-2B datacenter is gisteren kort na middernacht een brandmelding geweest. Na de melding volgde automatisch een gasblussing van het datacenter. Door de enorme luchtdruk die de gasblussing veroorzaakte, raakte ook een deel van de servers ontregeld en mogelijk zelfs beschadigd. Uit de storingsmelding die door BIT online is geplaatst, blijkt dat de brandmelding […]

Source: ispam.nl

Iemand die hier last van heeft ondervonden? Ben benieuwd wat de oorzaak was. Komt niet vaak meer voor dat een server spontaan in brand vliegt. Gelukkig maar.

Wij hebben hier last van gehad. Kan gebeuren maar de vraag die wij ons stellen is of er ook eisen worden gesteld aan hardware die binnen wordt gebracht. Hier lees je eigenlijk nooit iets over maar het is best zuur dat als jij met je nieuwe servers in een rack of naast een rack staan met een paar houtje-touwtje servers uit het jaar 0 met minder veilige componenten. Is hier iets over te zeggen?

Oorspronkelijk geplaatst door Active-is

Wij hebben hier last van gehad. Kan gebeuren maar de vraag die wij ons stellen is of er ook eisen worden gesteld aan hardware die binnen wordt gebracht. Hier lees je eigenlijk nooit iets over maar het is best zuur dat als jij met je nieuwe servers in een rack of naast een rack staan met een paar houtje-touwtje servers uit het jaar 0 met minder veilige componenten. Is hier iets over te zeggen?

Een nieuwe server kan ook in de fik vliegen.

Vraag me ook wel eens af hoe het met de aansprakelijkheid bij "zelfbouw" servers zit, bij brand of blusschade.

Zie wel eens servers in racks hangen waarbij het moederbord duidelijk niet bij de kast hoort (missend io shield), en de koeling wellicht ook wat minder efficient is (zal ook wel geen airduct hebben).
Is er dan een risico dat een verzekeraar onder het mom van kleine lettertjes met een uitsluiting voor "ondeugdelijke apparatuur" besluit om niet uit te keren?
Of mag je er vanuitgaan dat computers uit "user servicable parts" bestaan, die je naar hartelust moet kunnen vervangen?

Wij staan er ook, maar geen last gehad. Ook geen noemenswaardige veranderingen in temperatuur gezien (zie graph).

Ten aanzien van zelfbouwservers: wij hebben ook heel veel zelfbouw staan. Je mag er toch van uitgaan dat wij na ~20 jaar computers schroeven wel enig idee hebben hoe je een moederbord in een kast schroeft en welke voeding er bij welke hardware past. Toch hebben ook wij door de jaren heen wel eens een doorgeknalde voeding gehad. Zowel in een zelfbouwserver (wel een van 8 jaar oud), als in een Brocade router. Of het nu zelfbouw is of niet, die dingen gebeuren.

Of je wel/niet aansprakelijk bent voor de daarmee samenhangende (gevolg)schade hangt af van de voorwaarden van de verzekeraar, de afspraken met jouw leverancier of (bij een 'algemene' onrechtmatige daad) met hetgeen in het maatschappelijk verkeer betamelijk is. Als het hoogstgebruikelijk is dat in de hostingsector servers zelf worden gemaakt en de betreffende server is geassembleerd conform hetgeen onder de hosters gebruikelijk wordt geacht, dan zal er ook niet snel sprake zijn van een onrechtmatige daad. Zet je een 200W voeding in een kartonnen fileserver met 16x SAS (en lukt het je om te booten), dan ligt dat al anders. Kortom: afhankelijk van de omstandigheden van het geval.

Oorspronkelijk geplaatst door Cybafish

Wij staan er ook, maar geen last gehad. Ook geen noemenswaardige veranderingen in temperatuur gezien (zie graph).

Nu is dat wel te verwachten; Een dusdanige brand dat de temperatuur zelfs maar een rack verderop merkbaar oploopt is al heel erg out of control als pas op dat moment een blussysteem aangaat.
Zeker gezien de aanwezige koelcapaciteit in een DC moet je wel erg veel vermogen ontwikkelen om de temperatuur te laten stijgen.

Wat me wel een beetje verbaast is dat je grafiek doorloopt / niet daalt . Of was de meest rechterkant inderdaad afgebroken ?
Ik zou het wel logisch vinden als bij het afgaan van de blussing ook de stroom wordt afgeschakeld, misschien op delen van datavloer.

Weet iemand, of het gebruikelijk is om blussing te koppelen aan de noodknop van de stroom , of waarom dat niet gedaan wordt ?

[knip zinvol commentaar mbt tot verzekering/verantwoordelijkheid voor server kwaliteit]

Wat is het nut om de stroom af te sluiten? Op dat moment gaan er veel servers down, terwijl dat niet hoeft.

De server die het probleem geeft zal toch wel uit zijn (door de aardlekschakelaar).

Misschien een rare vraag: Ik begrijp best dat een brand snel geblust moet worden...

het is niet de eerste keer dat de drukgolf die de gasblusinstallatie veroorzaakt hd's kapot maakt, je zou toch zeggen dat ze tegenwoordig de ruimte op een andere manier (langzamer, meer punten waar het gas uit komt, bv) kunnen vullen zodat de servers minder schade toegebracht krijgen?

Oorspronkelijk geplaatst door asusk7m550

Wat is het nut om de stroom af te sluiten? Op dat moment gaan er veel servers down, terwijl dat niet hoeft.

Wel duh, omdat de bron van het vuur/gassen best eens door electriciteit gevoed/verhit kan worden ?

De server die het probleem geeft zal toch wel uit zijn (door de aardlekschakelaar).

Waarom ?
De aardlek spreekt alleen aan als er een lek is van fase naar aarde.
De zekering spreekt alleen aan als er meer stroom loopt dan de nominale waarde.

Een 'zachte' kortsluiting (tussen fase en nul) die 15A stroom trekt, genereert 3+KW hitte, meer dan genoeg om allerlei zaken te smelten/verkolen , damp te genereren en te laten ontbranden, maar noch zekering noch aardlek mogen daarop aanspreken.
Als de hittebron niet primair het vuur is maar electriciteit blijft het verkolen en (uit)dampen doorgaan zolang die aanstaat.

Ja in theorie kun je op één groep een goede 3 kW hitte genereren, maar er zal in de praktijk genoeg andere apparatuur op diezelfde groep staan, zodat er misschien nog ± 8 A overhead is. Sowieso zijn de individuele outlets (in ieder geval bij ons) lager afgezekerd en ik denk dat een smeulende laag plastic bij 3 kW zo snel is weggebrand dat je in no-time op een volledige kortsluiting zit en de zekering sowieso springt. Wel stof tot nadenken; hoe realistisch is een uitslaande brand die bij één server begint..?

Ik weet niet hoe het in dit concrete geval is geregeld. Ik kan me wel voorstellen (en ik weet dat dit bijvoorbeeld in de bankenwereld een bewuste afweging is) dat men het risico niet wil lopen dat false-positives tot enorme outages leiden en dat je een cut off tot het laatste moment wilt uitstellen en afhankelijk maakt van meedere sensoren -- een soort trapsgewijze trigger. Misschien dat er een bepaalde zone is uitgeschakeld (daar waar de rookmelder is getriggerd)? Ik was in ieder geval blij dat alles is blijven draaien, want er zit altijd wel wat grut tussen dat niet zonder de nodige tussenkomst/in de juiste volgorde boot terwijl iedereen lekker op één oor ligt.

Oorspronkelijk geplaatst door Boskoop

Misschien een rare vraag: Ik begrijp best dat een brand snel geblust moet worden...

het is niet de eerste keer dat de drukgolf die de gasblusinstallatie veroorzaakt hd's kapot maakt, je zou toch zeggen dat ze tegenwoordig de ruimte op een andere manier (langzamer, meer punten waar het gas uit komt, bv) kunnen vullen zodat de servers minder schade toegebracht krijgen?

Geen rare vraag, maar er zijn tegenwoordig ook silent nozzles verkrijgbaar. Volgens een paper van Siemens zouden die 'maar' 100 dB produceren, i.t.t. de 130 dB uit de nozzles van de Gamma Zie ook: http://www.buildingtechnologies.siem...tember2012.pdf

Oorspronkelijk geplaatst door Cybafish

Ja in theorie kun je op één groep een goede 3 kW hitte genereren, maar er zal in de praktijk genoeg andere apparatuur op diezelfde groep staan, zodat er misschien nog ± 8 A overhead is. Sowieso zijn de individuele outlets (in ieder geval bij ons) lager afgezekerd en ik denk dat een smeulende laag plastic bij 3 kW zo snel is weggebrand dat je in no-time op een volledige kortsluiting zit en de zekering sowieso springt. Wel stof tot nadenken; hoe realistisch is een uitslaande brand die bij één server begint..?

Aan de andere kant, je hebt ook plekken waar nog meer vermogen mogelijk moet zijn.
(high end core routers/switches kunnen 8KW voedingen hebben )
En met minder stroom kun je nog steeds een lokaal hoge temperatuur genereren, je hebt alleen minder vermogen dus het is een kleinere hotspot.

Ik weet niet hoe het in dit concrete geval is geregeld. Ik kan me wel voorstellen (en ik weet dat dit bijvoorbeeld in de bankenwereld
een bewuste afweging is) dat men het risico niet wil lopen dat false-positives tot enorme outages leiden en dat je een cut off tot het laatste moment wilt uitstellen en afhankelijk maakt van meedere sensoren -- een soort trapsgewijze trigger. Misschien dat er een bepaalde zone is uitgeschakeld (daar waar de rookmelder is getriggerd)? Ik was in ieder geval blij dat alles is blijven draaien, want er zit altijd wel wat grut tussen dat niet zonder de nodige tussenkomst/in de juiste volgorde boot terwijl iedereen lekker op één oor ligt.

Ik weet het ook niet. Maar ik beschouw het afgaan van een blussing niet als een kleinigheid, die nog wel eens onterecht mag zijn en dan ben ik geneigd te denken dat als het event/sensor goed genoeg was om een blussing te doen, daar ook een power off bij zou horen. Misschien in eerste instantie beperkt tot een zone of row waar de sensor zit, maar het lijkt me toch een logische keuze.

Vwbt HA, het lijkt me verkeerd als je availability gebaseerd moet zijn op doordraaien op dezelfde datavloer waar genoeg aan de hand was om het blussysteem te laten werken.
Dit is precies het soort situatie waar je voor serieuze HA wilt kunnen omschakelen op een ander DC, en niet op systemen die een voeding/airco/vloer met elkaar delen.

Geen rare vraag, maar er zijn tegenwoordig ook silent nozzles verkrijgbaar. Volgens een paper van Siemens zouden die 'maar' 100 dB produceren, i.t.t. de 130 dB uit de nozzles van de Gamma Zie ook: http://www.buildingtechnologies.siem...tember2012.pdf

Wat ik vreemder vindt is dat de overdruk dermate slecht is ingeregeld dat de blussing zelf tot schade van de servers kon leiden.
Dat is niet best.

Daarnaast:

Normaal heb je eerst de Early Warning Detection (die nog niet direct de gasblussing in gang zet).
Dat is pas na melding van andere (rook-)sensoren of detectie (of een handmatige handeling).

Overigens kan die blussing al heel snel af gaan hoor, licht geheel aan de afstellingen.

Oorspronkelijk geplaatst door Rik

Wat ik vreemder vindt is dat de overdruk dermate slecht is ingeregeld dat de blussing zelf tot schade van de servers kon leiden.
Dat is niet best.

Ik bedacht dat ik al eens eerder wat geschreven had over gasblussen, en dat klopt.
Overdruk is onzin. Ten eerste is de drukverhoging gewoon klein, ten tweede is er geen drukverschil tussen binnen en buiten de systemen of tussen binnen en buiten de harddisk.
Wel is er een enorm geluidsvolume, en dat kan schade geven.

Zie de thread
http://www.webhostingtalk.nl/colocat...-dc-1-a-3.html (Brandalarm in GYRO Center DC-1)

(ik heb een aantal linken met testen en druk/concentratie specs e.d. in mijn postings daar gegeven , ergens vanaf #25 ).

In die discussie kwam alleen het aspect of de EPO (emergency power-off) aan de blussing gekoppeld is (of moet zijn) nauwelijks aan de orde. Eén poster meldde dat dat bij "sommige" locaties het geval was.

Het geluidsniveau reduceren zal toch niet makkelijk zijn, want je moet behoorlijk snel een bepaald aantal kilo's gas in de ruimte brengen.
Met dunne pijpen moet dat moet vrij hoge druk en hoge stroomsnelheid, en dat is gewoon hetzelfde als 'herrie' .

Met dikkere pijpen en brede uitstroomtrechters verwacht ik dat de herrie omlaag kan, maar ik heb zelfs geen natte vinger idee hoeveel breder/groter dat moet worden om naar een voldoende laag geluidsniveau te komen waarbij je geen schade risico hebt.
Vermoedelijk te groot om geschikt/de ruimte/de kosten waard te zijn voor een vrij zeldzaam event, gok ik dan.

Oorspronkelijk geplaatst door visser

Het geluidsniveau reduceren zal toch niet makkelijk zijn, want je moet behoorlijk snel een bepaald aantal kilo's gas in de ruimte brengen.
Met dunne pijpen moet dat moet vrij hoge druk en hoge stroomsnelheid, en dat is gewoon hetzelfde als 'herrie' .

Met dikkere pijpen en brede uitstroomtrechters verwacht ik dat de herrie omlaag kan, maar ik heb zelfs geen natte vinger idee hoeveel breder/groter dat moet worden om naar een voldoende laag geluidsniveau te komen waarbij je geen schade risico hebt.
Vermoedelijk te groot om geschikt/de ruimte/de kosten waard te zijn voor een vrij zeldzaam event, gok ik dan.

Folluwup :
Het kan meevallen , met de combinatie van zaal acoustiek, nozzle plaatsing en uitstroomrichting, speciale nozzles, gecontroleerde uitstroom en langere uitstroom tijd is het geluidsniveau (vooral in het spectrum waar disken gevoelig voor zijn) blijkbaar wel reduceerbaar .
(Ik verwacht nog steeds dat dikke pijpen en brede uitstroomtrechters ook prima helpen, maar dat zal gewoon niet verkoopbaar zijn)

whitepaper van Siemens (die hun eigen systeem promoten)
http://www.buildingtechnologies.siem...tember2012.pdf

En wat specs van geluidsimpact op harddisken
http://reliablefire.com/wp-content/u...ic-Testing.pdf