Bekijk Volledige Versie : ExactHost-klant offline na crash EMC-hardware
computable.nl
29/01/14, 16:15
Klanten van hostingbedrijf ExactHost zijn al vijf dagen offline nadat het bedrijf een DDoS-aanval te verduren kreeg. De aanval werd redelijk snel afgeslagen, maar het gevolg was wel dat de EMC-hardware overbelast raakte en volledig crashte. ExactHost weet nog niet wanneer het zijn klanten weer in de lucht krijgt. Er zijn experts vanuit de Verenigde Staten en Noorwegen ingevlogen om de problemen op te lossen.
---
Source: computable.nl (http://www.computable.nl/artikel/nieuws/infrastructuur/4984847/2379248/exacthostklant-offline-na-crash-emchardware.html)
---
Waarom zetten ze dan geen backups terug op andere servers, ze hebben immers een cloud toch...? En ze maken wel backups toch? :X
Volgens mij staat ook op hun site dat klanten die afhankelijk zijn kunnen bellen om de boel vervroegd op een andere server online te krijgen.
PimEffting
29/01/14, 18:29
Spannende tijden...veel sterkte en succes gewenst!
Zo zie je dat zelfs met goede apparatuur en strategie flink in de problemen kan komen.
Storage blijkt toch vaak de zwakste schakel.
Waarom zetten ze dan geen backups terug op andere servers, ze hebben immers een cloud toch...? En ze maken wel backups toch? :X
Als ze volledig van backups moeten recoveren zal dat best een tijd duren. En zeker als er iets in de storage 'gaar' geraakt is, en je mogelijk moet kiezen tussen andere data ook weggooien (om de hele storage blanko te starten) en langer proberen het probleem op te lossen.
Maar ik moet zeggen dat ik de reden (storage overbelast geraakt vanwege DDoS en daardoor volledig crashte en blijkbaar nu erg corrupt) een beetje raar vind klinken.
Is er iemand die meer in storage zit en daar een verhaal bij heeft ?
Ik heb een beetje de neiging om te denken dat de DDoS slechts een secundaire oorzaak was voor het storage probleem , en de oorzaak misschien wel beheeracties geweest kunnen zijn. (DDoS, maar niet onderkent als oorzaak van allerlei performance issues ->
admins gaan van alles doen aan de storage ) .
Op veel terreinen is 'probleem niet herkend, wel direct ingrijpen' nog wel eens de oorzaak van grote problemen.
Bij Hostnet zijn klanten op het begin van het jaar dacht ik drie dagen offline geweest. Lullig voor de mensen die een online bedrijf runnen, als je 5 dagen offline bent. In ieder geval wel succes daar.
Het is inderdaad enigzins raar te noemen dat een ddos attack ervoor kan zorgen dat een hele storage omgeving onderuit gaat. Het is wel mogelijk, dit zou betekenen dat het netwerk de ddos aankan en kan verwerken en dat je de target niet offline zet (welke op je storage staat). Hierdoor hebben de disks uiteraard een hogere workload doordat waarschijnlijk de algemene belasting een stuk hoger zal liggen. Maar goed dat zou ook weer betekenen dat er veel brakke disks in je array(s) zaten of dat de belasting op het platform al velen malen te hoog was.
Volgens mij is er meer gebeurd behalve een ddos aanval, daarnaast vraag ik mij af wanneer je zulke state of the art apparatuur hebt waarom ze geen secondaire locatie hebben om een datacenter fail over te kunnen doen.
Ik ben een van de gedupeerde.. host bij Exacthost een aantal ASP.NET websites op een VPS... afgelopen zondag gelukkig maar bij een ander bedrijf een nieuwe VPS opgezet, zodat de klanten maandag weer live konden met de backup van donderdagnacht.
Kreeg maandag pas na veel moeite de tokens voor de domeinnamen, omdat de helpdesk volledig onbereikbaar is/was...
Hoop er van te leren.., hoe kan ik mij als klant wapenen tegen dit soort falen?
1. zie dat bij mijn nieuwe hosting provider de Tokens al meteen zichtbaar zijn... dat is wel prettig, omdat ik dan niet afhankelijk ben van het up-zijn van de hoster...
2. is het mogelijk/heeft het zin om dit bijv. bij 2 providers in te richten.. zodat als de één plat gaat.. je alleen de database bij de andere hoeft bij te werken... of wat zijn hier de aanbevelingen?
Ik ben een van de gedupeerde.. host bij Exacthost een aantal ASP.NET websites op een VPS... afgelopen zondag gelukkig maar bij een ander bedrijf een nieuwe VPS opgezet, zodat de klanten maandag weer live konden met de backup van donderdagnacht.
Kreeg maandag pas na veel moeite de tokens voor de domeinnamen, omdat de helpdesk volledig onbereikbaar is/was...
Hoop er van te leren.., hoe kan ik mij als klant wapenen tegen dit soort falen?
1. zie dat bij mijn nieuwe hosting provider de Tokens al meteen zichtbaar zijn... dat is wel prettig, omdat ik dan niet afhankelijk ben van het up-zijn van de hoster...
2. is het mogelijk/heeft het zin om dit bijv. bij 2 providers in te richten.. zodat als de één plat gaat.. je alleen de database bij de andere hoeft bij te werken... of wat zijn hier de aanbevelingen?
Van alles is mogelijk, maar hoe mooier je het maakt, des te duurder, en des te meer moet je zelf doen.
Je bent dan iets aan het bouwen voor de situatie dat je hoster (of diens DC/netwerk leverancier) niet beschikbaar is, en dan wil/kan je niet van hen afhankelijk zijn. Niet van hun support, niet van hun servers/ip reeksen, en niet van hun controlpanels .
Wat je technisch moet bereiken is dat je onafhankelijk van je hoster de DNS voor je domein
1: bereikbaar is/blijft
2: je site(s) verwijst naar een ander IP
En je dus in een ander netwerk je sites snel beschikbaar hebt, inclusief een voldoend up to date achterliggende database.
Daarvoor moeten een aantal van de DNSen die authoritief zijn voor je domein in andere netwerken staan, en moet je die kunnen updaten onafhankelijk van je primaire hoster.
Dan kun je bij onbereikbaar worden van je primaire hoster je DNS aanpassen en je sites verwijzen naar een ander IP.
Waar je natuurlijk je sites ook moet hebben draaien.
Je kunt dit min of meer ook bereiken met tokens en het aanpassen van NS records bij SIDN, maar domeinen verhuizen is niet noodzakelijk. Bovendien worden SIDN nameservers elke twee uur ge-update, dus je storing kan nog zolang duren.
Als je drie verspreide DNSen hebt staan, ééntje wordt onbereikbaar en je update de andere twee , is je failover effectief veel sneller.
(TTL speelt ook mee, maar dat is hetzelfde voor verhuis of eigen dns scenario ).
Dit model lijkt me redelijk behapbaar nog, als verzekering tegen (te)lange storingen bij je primaire hoster.
Je moet een schaduw site 'snel genoeg' kunnen inrichten/activeren als het nodig is, en je moet een paar DNS servers hebben buiten je hoster die je ook zelf kunt managen onafhankelijk van tools bij je hoster.
Ik ben een van de gedupeerde.. host bij Exacthost een aantal ASP.NET websites op een VPS... afgelopen zondag gelukkig maar bij een ander bedrijf een nieuwe VPS opgezet, zodat de klanten maandag weer live konden met de backup van donderdagnacht.
Kreeg maandag pas na veel moeite de tokens voor de domeinnamen, omdat de helpdesk volledig onbereikbaar is/was...
Hoop er van te leren.., hoe kan ik mij als klant wapenen tegen dit soort falen?
1. zie dat bij mijn nieuwe hosting provider de Tokens al meteen zichtbaar zijn... dat is wel prettig, omdat ik dan niet afhankelijk ben van het up-zijn van de hoster...
2. is het mogelijk/heeft het zin om dit bijv. bij 2 providers in te richten.. zodat als de één plat gaat.. je alleen de database bij de andere hoeft bij te werken... of wat zijn hier de aanbevelingen?
Persoonlijk vind ik dit wel een beetje provider-faal. Dat het systeem kapot gaat omdat er meerdere schijven tegelijk stuk gaan, prima, kleine kans maar kan gebeuren. Maar dat er nergens een back-up systeem staat om het binnen x tijd over te nemen is toch wel slecht, zeker omdat het niet een echte prijsstunter is. Ik heb zoiets: Als je als provider geen back-up systeem kunt veroorloven omdat je een te dure EMC hebt gekocht, kan je beter een paar slimme jongens inhuren om een redundante ZFS-setup voor je te bouwen. Dat kost uiteindelijk hetzelfde voor 2 fysiek gescheiden storage oplossingen, die naar mijn ervaring net zo goed/betrouwbaar zijn als dezelfde EMC setup.
24x7hosting
29/01/14, 23:33
Inderdaad erg vreemd dat je zo'n flinke storage oplossing neemt en daar geen backups van maakt die je snel in kan zetten... denk wel dat ze backups hebben maar dat ze die middels een lange restore terug moeten zetten op nieuwe hardware en dan nog hopen dat het werkt.
Hier ook een dubbele ZFS setup en daarnaast nog een derde ZFS server op een andere locatie. Kost niet veel om het 3-dubbel uit te voeren en geeft je veel meer zekerheid. De kosten zijn dan nog steeds lager dan een enkele EMC en je kan zelf alles fixen of iemand die ZFS kennis heeft, dat is ook wat sneller dan iemand in te laten vliegen.
Sent from my GT-I9505 using webhostingtalk mobile app
Maar ik moet zeggen dat ik de reden (storage overbelast geraakt vanwege DDoS en daardoor volledig crashte en blijkbaar nu erg corrupt) een beetje raar vind klinken.
Is er iemand die meer in storage zit en daar een verhaal bij heeft ?
Ik had even het hele artikel moeten lezen, niet alleen de hier geposte intro blurb.
In de rest van het artikel staat dat de disken crashten kort na de DDoS aanval, en ExactHost stelt dat een verband tussen de crash en DDoS extreem onwaarschijnlijk zo niet onmogelijk is.
Inderdaad. Die claim van gevolg van DDoS maakte (alleen) computable, en dat is wat ook verdacht klonk, om dingen af te schuiven op een DDoS die daar niet mee te maken hebben.
systemdeveloper
30/01/14, 02:21
Klinkt eigenlijk typisch als een 'kom, we kopen een emc want God gebruikt dat ook volgens de folder'...
Al heb je je storage in goud uitgevoerd... als je niet weet hoe je een raid array optuigt waarmee je kunt overleven bij meerdere gelijktijdige disk uitval of de kans op een totale fail kunt verkleinen, dan maakt het geen hol uit hoe duur je hardware was en als je niet mirrored naar aparte losse hardware... Nou ja, dat zullen de experts hun ondertussen wel al genoeg verteld hebben.
Verdeel en heers.... of je nu een big ass bedrijf bent of een kleine hoster.
Ik zie dat hun eigen site wel weer up is maar de sites van klanten zijn allemaal nog down, of is dat alleen nog voor sommige klanten het geval?
http://rockwellbyparra.com/ bijvoorbeeld, een webshop (<- week offline!). Au...
Succes met het restoren exacthost.nl!
Hun eigen website was al een tijdje bereikbaar.
Communicatie van hun uit is bar slecht ook op twitter geen updates?
Slechte zaak als je op deze wijze communiceert met je "klanten"
En ze maken wel backups toch? :X
Naar nu blijkt niet dus... Ongelofelijk... :ohmy:
Maar er staat wel op hun website: Goed nieuws! Gratis extra ruimte!
Dit maakt toch alles goed..........
Lees dit stukje maar eens, geeft een heel wat beter beeld over de situatie! http://www.computable.nl/artikel/achtergrond/infrastructuur/4989320/2379248/disaster-recovery-ontbrak-bij-exacthost.html
Tja daar ga je dan met je "EMC heeft dit ook nog nooit meegemaakt" en teams uit Amerika en Noorwegen etc etc. Ze hadden dus gewoon zaakjes niet op orde zo simpel ligt het ;)