Onderwerp: I backup (not) therefore I am (not)

Graag meningen over onderstaand verhaal.
Groeten,

Een hostingtime klant.

Start mail quote:

Subject: Briefing server crash

Hostingtime



Beste,

Het is u niet ongaan dat de server waarop uw website is gehost in de afgelopen 3 weken structureel onbereikbaar was.

Wat gebeurde er nou precies?

De server viel uit het niets steeds uit en door de server opnieuw op te starten, was de server meestal binnen 15 min weer online. Uit de log bestanden van de server bleek dat de kernel van de server was gecrashed. Uit voorzorg hebben wij de kernel en gehele software systeem geupdate om uit te sluiten dat de huidige kernel versie een bug bevatte. Na deze werkzaamheden heeft de server 5 dagen goed gewerkt. Na onze 72 uur intensieve monitoring dachten wij het probleem te hebben opgelost, maar tevergeefs.

Hardware defect?

Hierna zijn we dieper gaan kijken en meteen uit voorzorg hardware onderdelen gaan vervangen. Zowel de moederboard als geheugen modules zijn van de server vervangen. Want ook deze kunnen de oorzaak zijn van een eventuele server crash. De server heeft hierna 3 dagen goed gefunctioneerd en de 4de dag viel de server weer uit.

Vanaf dat moment wisten we dat het goed mis was met de server en konden we met zekerheid uitsluiten dat het in iedergeval geen hardware of kernel versie oorzaak was.

Dus besloten we een gehele nieuwe server te plaatsen en alleen de harde schijven te verplaatsen, omdat er 3 hardeschijven in de server staan, 2 staan in raid5 (mocht 1 uitvallen dan blijft de ander functioneren) en de 3de is er voor de backups. Dit zou het probleem definitief opgelost moeten hebben, maar ook deze poging was tevergeefs. Zelfs nadat wij externe hp deskundige hadden ingehuurd om dieper in de materie te gaan kijken, bleef de server crashen, en met als gevolg volledig te zijn gecrashed.

Toen dit gebeurde, was 1 ding belangrijk: dat was de data die op de server stond (uw website) te waarborgen, zodat deze niet verloren kon gaan. In dit soort zeldzame situaties hebben wij er voor gekozen om altijd een extra hardeschijf te gebruiken voor alleen de backups. Deze hebben we dus kunnen gebruiken voor het herstel.

Wat hebben wij hierna moeten doen?

Hierna was duidelijk dat de data en besturingssysteem van de server volledig instabiel waren en alle data van de afgelopen 2 weken instabiel en corrupt was. Dus het herstellen van de backups op de zelfde server was niet mogelijk, omdat hiermee het besturingssyteem niet mee wordt hersteld. Ook omdat de server zo instabiel was geworden dat er geen garantie was dat de backups ook werkelijk goed terug gezet zouden worden, en dat de server weer crashed tijdens het terug zetten van de backups.

Dus hebben wij gekozen om een extra server in te zetten, en deze precies in te richten als de oude, maar dan met een schone cPanel en besturingsinstallatie en de backups van 2 weken geleden op deze server te verplaatsen en vanuit deze nieuwe server de backups pas te gaan herstellen. Omdat we dan zeker wisten dat het besturingssyteem en de hardeschijven geen fouten bevatten.

Deze hele operatie heeft veel tijd en inspanning vereist. Met als gevolg dat we ruim 3.5 dag down waren en met man en macht de server getracht zsm online te krijgen. Wij hebben veel support gekregen van onze klanten, die op deze server al ruim 3 jaar zonder al te veel problemen altijd goed geb ruik hebben gemaakt van onze diensten. Maar ook een aantal klanten die weinig goeds vonden aan onze aanpak en de manier hoe wij de zaken weer op de rails hebbengeprobeerd te krijgen. Uiteraad begrijpen wij dat de ellende zowel voor ons, maar ook vooral voor u onacceptabel was.
De afgelopen 3 maanden hebben we helaas te kampen gehad met 3 grote storingen:

1. Onze server rack en die van 20 andere collega bedrijven stond een gehele middag zonder stroom.
2. Half Nederland lag plat, omdat er in het Datacenter van Evoswitch/Leaseweb een storing was.
3. En de huidige server crash.

Storing 1 en 2 was helaas buiten onze toedoen en had geen gevolgen voor de servers die wij hebben.

Wij willen niks verbergen voor onze klanten en vandaar de openheid, naar u toe. Wij hebben ruim 125 servers in beheer en hosten op dit moment ruim 10.000 domeinen en hebben ooit in het verleden een soort gelijke server crash mee gemaakt, maar nog nooit op zo’n wijze dat het zoveel tijd heeft gekost, het proces zoals hierboven beschreven heeft veel tijd gekost ipv de handdoek in de ring te gooien, hebben we doorgezet en alles zsm online weer te krijgen, omdat uw continuteit van ons afhangt en u als klant onze primaire continuteit bent. Op dit moment zijn we druk bezig om de verloren data van de afgelopen 2 weken alsnog te herstellen. Omdat de server en alle andere systemen op deze server zo instabiel zijn, kost dit veel tijd om hier bij te komen. Wij hopen morgen de server weer te kunnen gebruiken voor het herstel proces en aankomende weekend beginnen met het restoren van de meest recente versie. Als u dus subdomeinen of accounts in uw reseller pakket hebt aangemaakt in de afgelopen 2 weken, dan zullen deze niet zichtbaar zijn.

Als u vragen heeft of wilt reageren op deze mail, aarzel geen moment en stuur ons een email.

Hopend op uw begrip en toevertrouwen.

HOSTINGTIME CREW

Einde mail quote

Hier hoor je je klanten dus niet mee op te zadelen. Het verhaal mist zijn doel ook nogal.

Ik denk dat (gedupeerde) klanten alleen nog maar minder vertrouwen krijgen na zo'n veel te uitgebreide e-mail.

Indien wij zulke storingen zouden hebben (welke we (nog) niet hebben gehad) dan zou ik alle tijd gaan besteden om het weer recht te zetten.

Met dit verhaal proberen ze dat ook enigsinds. Het lijkt alsof iemand minimaal 2 uur in dit verhaal gestoken heeft.

Ik zou alleen (dan nog niet zo uitgebreid) uitgebreid verslag doen wanneer een klant er om vraagt. Wat de klant 100% van de tijd wilt is dat de boel gewoon werkt. En dan maakt het opzich niet uit hoe of wat

Raid 5 is minimaal 3 schijven.
Drie dagen voor van scratch disaster recovery te doen is veel te lang. Misschien een maand gratis vragen om te compenseren?

Tja wat moet je er op zeggen, het komt niet erg professioneel over maar daarom plaats je het denk ik ook. Een aantal dingen kloppen ook gewoon niet, zoals bijvoorbeeld RAID5 met 2 HD's, dat kan niet.

Vind het nogal een beetje té uitgelegd..
Snap ook niet wat je hoopt te bereiken met het vervangen van het "moederboard en geheugen" (moederbord merk je meestal wel, geheugen test je gewoon), en enkele zinnen voelen grammaticaal gezien stijf en/of fout aan.
De stijl van de tekst en dan de 3 korte puntjes voelen kwa taalgebruik ook niet echt hetzelfde aan en ik zou ze als klant ook niet graag lezen..
Hoop niet dat dat een mailing is naar alle klanten, maar alleen die specifieke?

Als je het mij vraagt, kun je uit dit verhaal voornamelijk opmaken dat er onvoldoende technische kennis in huis is om professioneel met dit soort situaties om te gaan (en ze te voorkomen).

Enerzijds is het wellicht goed dat ze door middel van de deze lange mail inzet proberen te tonen, maar als klant zijnde zul je denk ik toch liever te maken hebben met iemand met meer kennis en ervaring. Met inzet alleen kom je niet zo ver.

Wat ik als klant zou willen lezen is:

1. Wat was de oorzaak
2. Waarom heeft het zo lang geduurd
3. Hoe denkt men dit in het vervolg op te lossen

Vooral punt 3 zou ik van belang vinden, er zit een heel verhaal achter natuurlijk maar daar heb je als klant niks aan. Als die server er voor een 2e of 3e keer uitklapt in zeer korte tijd dan hang je een andere server weg en gaat met de "oude" server lekker achter de testbank zitten om te kijken of deze nog op te lappen is.

En waarom worden ook overige "grote" storingen vermeld? Zijn die relevant aan deze storing? Nee, dus geen reden om te vermelden.

Je zou om een compensatie kunnen vragen, er word gesproken over "3 weken structureel onbereikbaar" om hoeveel tijd gaat dit? Heb je een uptime garantie?

Oorspronkelijk geplaatst door adknoth

Wat ik als klant zou willen lezen is:

1. Wat was de oorzaak
2. Waarom heeft het zo lang geduurd
3. Hoe denkt men dit in het vervolg op te lossen

Dat zijn inderdaad altijd de kernpunten. Maar als je tussen de regeltjes door leest, kun je het er wel uit opmaken.

Punt 1:

Onze server rack en die van 20 andere collega bedrijven stond een gehele middag zonder stroom.

De server viel uit het niets steeds uit en door de server opnieuw op te starten, was de server meestal binnen 15 min weer online

M.a.w. waarschijnlijk is het filesysteem corrupt geraakt, is er vervolgens geen adequate actie ondernomen en is het van kwaad tot erger gegaan. Als je telkens power off/on blijft doen, vraag je natuurlijk om dit soort problemen.

Punt 2:
Gebrek aan technische kennis kun je uit het verhaal wel opmaken. Het feit dat een server klakkeloos gereboot wordt en dat er vervolgens gehoopt wordt dat het probleem zich niet meer voor zal doen, spreekt wat dat betreft boekdelen.

Punt 3:
Dit is inderdaad het belangrijkste punt en is in het verhaal compleet afwezig.

Oorspronkelijk geplaatst door adknoth

En waarom worden ook overige "grote" storingen vermeld? Zijn die relevant aan deze storing? Nee, dus geen reden om te vermelden.

Het lijkt me dat dit voornamelijk genoemd wordt als een stukje erkenning, hetgeen op zich wel te waarderen valt. Daarnaast is het zeer goed mogelijk dat die stroomuitval hier weldegelijk direct aan is gerelateerd.

Het lijkt me dat dit voornamelijk genoemd wordt als een stukje erkenning, hetgeen op zich wel te waarderen valt. Daarnaast is het zeer goed mogelijk dat die stroomuitval hier weldegelijk direct aan is gerelateerd.

Hoe dat is met die server die zonder stroom zaten weet ik niet, echter die 2e storing bij EVO was een storing op de core router waardoor het netwerk plat lag en was niet relevant aan een stroom issue dus er is toen verder ook niks met die server gebeurd lijkt mij.

Verder schrijft men in het bericht toch ook:

Storing 1 en 2 was helaas buiten onze toedoen en had geen gevolgen voor de servers die wij hebben

Dus het klinkt mij dan in de orden als een op zichzelf staand probleem. Echter door gebrek aan (technische) kennis is men te laat met een degelijke oplossing gekomen.

Gewoon een gebrek aan ervaring, maar uit de mail maak ik wel op dat deze mannen hart hebben voor hun zaak. RAID 5 met twee disks is inderdaad onzin, maar ik geloof ook niet dat ze op eigen hardware draaien. Waarschijnlijk hebben ze een dedi gehuurd (Alfanet BVBA?) en werden ze door hun leverancier van kast/muur gestuurd.

Een startende hoster die vertrouwde op de expertise van zijn leverancier en zelf lekker met cPanel aan de gang dacht te zijn. Toen puntje bij paaltje kwam barstte de bubble. Wel weer jammer van de '10.000 domeinen en 125 servers'.

Wel weer jammer van de '10.000 domeinen en 125 servers'.

Ik ken er meer met last van grootheidswaanzin hoor :-)

Oorspronkelijk geplaatst door adknoth

Wat ik als klant zou willen lezen is:

1. Wat was de oorzaak
2. Waarom heeft het zo lang geduurd
3. Hoe denkt men dit in het vervolg op te lossen

Vooral punt 3 zou ik van belang vinden, er zit een heel verhaal achter natuurlijk maar daar heb je als klant niks aan. Als die server er voor een 2e of 3e keer uitklapt in zeer korte tijd dan hang je een andere server weg en gaat met de "oude" server lekker achter de testbank zitten om te kijken of deze nog op te lappen is.

En waarom worden ook overige "grote" storingen vermeld? Zijn die relevant aan deze storing? Nee, dus geen reden om te vermelden.

Je zou om een compensatie kunnen vragen, er word gesproken over "3 weken structureel onbereikbaar" om hoeveel tijd gaat dit? Heb je een uptime garantie?

Wat moeten klanten die van toeten noch blazen weten en slechts hun persoonlijke site over carnavaltoeters online willen hebben met technische info over bijvoorbeeld een zero day kernel exploit? Wat ook de oorzaak is geweest dit krijg je aan een leek nooit uitgelegd als je op de technische toer gaat. Voor deze mensen is eigenlijk geen enkele uitleg voldoende anders dan de gebruikelijke geruststelling en marketingpraat.

Maar misschien dat je op het bestelformulier kunt aangeven of je een beginneling of pro bent en afhankelijk van deze keuze een "komt goed schatje" of een "kernel race condition exploit oplossing uitgelegd" mailtje krijgt. Ideetje misschien?

Haha die vind ik wel heel goed moet ik zeggen. Maar, men is dus afhangend van een 2 weken oude backup? Zijn er dan geen backup controles?

Dit lijkt me eerder een gevalletje van 'we hebben geen recente backups en proberen dit te verbloemen met een hoop technische bla bla'? Als een server 5 dagen zonder problemen kan draaien, dan ga ik er van uit dat er met de consistentie van het merendeel van de gegevens geen probleem is. In een beslissing om geen volledige server restore te doen inclusief OS kan ik nog inkomen, maar de user data dan gelijk ook maar even 2 weken terugdraaien...

Had juist meteen tijdens het "stabiel draaien" een backup weggeschreven en deze proactief in proberen te laden op een andere machine. 2 weken is wel erg veel, dus als er MKB'ers zitten zijn die bijvoorbeeld 2 weken mail kwijt?

Beetje vreemd. Zit er enige vorm van compensatie aan?