Onderwerp: 'Mens belangrijkste oorzaak downtime'

De mens blijkt de grootste bedreiging van de bedrijfscontinuïteit binnen datacenters. Dat blijkt uit onderzoek onder Nederlandse datacenter-professionals door Enlogic, ontwikkelaar van intelligente stroomverdelers voor datacenters.

Source: computable.nl

Wanneer is het een menselijke fout?

- Als iemand, misleid door slechte ergonomie en gebrek aan opleiding en ervaring, de verkeerde plug eruit trekt?
- Als een brok elektronica eraan gaat doordat het te heet wordt in het DC?
...

Zo'n cijfers kan je alleen enigszins betrouwbaar noemen als ze verdeeld zijn tussen "intern" en "extern". Intern is eigen aan het bedrijf. Als die slechte spullen kopen, is dat ook een menselijke fout, maar ze staat heel waarschijnlijk in de verkeerde kolom.

Dit hoort eerder onder het kopje "reclame voor IDG", vrees ik. En reclame is grappig. Komt er eens een interessante voorbijlopen, kan je 'm niet eens bekijken, want het ding scrolt niet...

Een menselijke fout zijn dingen als:

• Configuratie verkeerd aanpassen
• Een verkeerde plug eruit trekken
• Verkeerde data verwijderen e.d.

Wellicht tellen verkeerde configuraties ook nog mee, bijvoorbeeld een fail-over cluster die nooit/weinig getest is en uiteindelijk helemaal niet blijkt te functioneren. Je hoort regelmatig dat bedrijven opscheppen over hun fail-over en later uitleggen waarom de fail-over niet heeft gewerkt.

Menselijke fouten zijn niet:

• Het falen van goedkope hardware.
• Downtime door een DDOS
• Crashen van de server door hoge load

De grens is wel moeilijk te zoeken soms, maar uiteindelijk moet je gewoon logisch nadenken over wat een menselijke fout is en wat niet. Een harde schijf die faalt op een server zonder raid, valt dus niet onder een technische fout, dan moet je echt denken aan fouten van inrichting/configuratie/beheer door de mensen.

Je kunt wel redelijk indelen dat een aanpassing in de httpd.conf waardoor de webserver na een herstart niet meer upkomt een menselijke fout is en de harde schijf die crasht is mechanisch/hardware-technisch, ook al had je die downtime met raid kunnen voorkomen. Downtime vanwege kapotte hardware of een hoge load o.i.d. is wel eenvoudig te voorkomen door er meer geld tegenaan te gooien, maar dat is bij menselijke fouten al wat lastiger. Je kunt een mooie fault-taulerante omgeving hebben, maar indien configuratiebestanden worden gesynchroniseerd of op een 99,999% €50.000 SAN staan, dan gaan de configuratiefouten ook mee naar andere servers.

Het lijkt me vrij logisch dat veel downtime veroorzaakt wordt door menselijke fouten. Elke systeembeheerder heeft weleens door eigen fouten downtime veroorzaakt. Het gebeurt de één alleen wat vaker dan de ander

Oorspronkelijk geplaatst door Dennis

Een menselijke fout zijn dingen als:

• Configuratie verkeerd aanpassen
• Een verkeerde plug eruit trekken
• Verkeerde data verwijderen e.d.

Wellicht tellen verkeerde configuraties ook nog mee, bijvoorbeeld een fail-over cluster die nooit/weinig getest is en uiteindelijk helemaal niet blijkt te functioneren. Je hoort regelmatig dat bedrijven opscheppen over hun fail-over en later uitleggen waarom de fail-over niet heeft gewerkt.

Menselijke fouten zijn niet:

• Het falen van goedkope hardware.
• Downtime door een DDOS
• Crashen van de server door hoge load

De grens is wel moeilijk te zoeken soms, maar uiteindelijk moet je gewoon logisch nadenken over wat een menselijke fout is en wat niet. Een harde schijf die faalt op een server zonder raid, valt dus niet onder een technische fout, dan moet je echt denken aan fouten van inrichting/configuratie/beheer door de mensen.

Je kunt wel redelijk indelen dat een aanpassing in de httpd.conf waardoor de webserver na een herstart niet meer upkomt een menselijke fout is en de harde schijf die crasht is mechanisch/hardware-technisch, ook al had je die downtime met raid kunnen voorkomen. Downtime vanwege kapotte hardware of een hoge load o.i.d. is wel eenvoudig te voorkomen door er meer geld tegenaan te gooien, maar dat is bij menselijke fouten al wat lastiger. Je kunt een mooie fault-taulerante omgeving hebben, maar indien configuratiebestanden worden gesynchroniseerd of op een 99,999% €50.000 SAN staan, dan gaan de configuratiefouten ook mee naar andere servers.

Het lijkt me vrij logisch dat veel downtime veroorzaakt wordt door menselijke fouten. Elke systeembeheerder heeft weleens door eigen fouten downtime veroorzaakt. Het gebeurt de één alleen wat vaker dan de ander

Het komt zeker overeen met mijn eigen ervaring, en ook met een betrouwbaar klinkend verhaal over een mainframe omgeving gedurende een aantal jaren 100% availability gedraaid had, wat toegeschreven werd aan redundantie mechanismen maar ook aan 'automated operator' .
Het kan zeker de fout van een beheerder zijn, maar er zijn ook een aantal keuzes in ontwerp en inrichting te maken die bepalen welke dingen door een beheerder gedaan worden, en hoeveel impact een fout van een beheerder heeft buiten het directe onderwerp wat hij aan het beheren is.
Dingen met een hoog risico op veel wijdere impact zou je moeten inperken/afschermen/ 'wrappen' in een omgeving met filter/sanity check om de kans op fouten, maar ook de impact van fouten te beperken.

Met die ervaring is het wel grappig (- of ergerlijk, afhankelijk van de rol) te zien hoeveel tijd/geld/moeite er verspild wordt aan het nog verder minimaliseren van micro-risico's die mensen menen te snappen of spannend vinden ('wat als er twee vliegtuigen neerstorten, precies ...' ) terwijl alle, vaak grote en recente storingen in hun dienst helemaal niets te maken hadden met het ontbreken van systeem of hardware redundantie.

Leuk dat men onderzoekt wat er in een datacentrum mis kan gaan. Echter is een datacentrum natuurlijk maar een klein stukje van de keten.
Wat mij betreft is het meest gevaarlijke wat daarna gebeurt: het installeren van software op je systeem. Softwarefouten (of fouten in het beheer daarvan) komen veeeeel meer voor dan hardwareproblemen.