Bekijk Volledige Versie : Een "ramp" in het datacenter. En dan ?
Tot vandaag had ik al gauw geroepen dat de kans klein was maar er knalde hier (bij ons: Haarlem) om de hoek vandaag een vliegtuig neer, vandaar deze vraagstelling.
Laten we stellen dat er hier in Nederland een stuk of 10 "grotere" datacenters zijn. Wat zullen nu de consequenties zijn voor de gemiddelde hoster ? De kleine hoster die nooit backups maakte kan natuurlijk direct sluiten, de hoster zonder verzekeringen kan ook zijn spullen pakken. Maar ook een grotere hoster met honderden servers .... waar haal je nu in een paar dagen(?) zoveel servers vandaan ?
Suggesties anyone ?
Triloxigen
25/02/09, 19:22
Ramp scenario's zijn er altijd te vinden, ook wel veel ergere. Wat als er weer eens een overstroming is, dijkdoorbraak. Hoeveel dc's lopen dan wel niet onder water?
(dit is al eens gebeurd in een dc)
Mocht 1 DC er echt goed uitklappen, dan is het aan de ene kant zorgen dat je zoveel mogelijk servers vandaan haalt. Dell, HP, etc al die voorraden kunnen leeggetrokken worden.
Daarbij ook een beetje vertrouwen hebben in de conculega die bepaalde zaken voor je op kan vangen.
Wij hebben alles in meerdere landen staan om dat soort problemen te voorkomen :) Geeft toch een gerust gevoel. Zolang je maar een backup hebt van de data kan je altijd bij collegas de boel weer online krijgen.
Hardware leveranciers als dell, hebben een voorraad van x1000 servers ;)
Dus als jij betaald, leveren ze heel snel hoor!
Ook een idee om contracten met buitenlandse providers afspraken te maken in geval van nood.
Dat staat in de SLA, als een klant niet wil betalen voor een mirror op een andere locatie dan is het logisch dat de herstel tijd langer duurt.
Tim.Bracquez
25/02/09, 19:58
Wij hebben alles in meerdere landen staan om dat soort problemen te voorkomen :) Geeft toch een gerust gevoel.
Hier ook, kan je toch wat geruster slapen ook als er een héél land onderuit gaat...
Maar toch moest er zo iets gebeuren is dat wel met jouw hardware... zelf zou ik maar al te graag voor collega's wat servertjes spare geven voor hun even uit de brand te helpen....
Je moet er maar eens over denken en je zoveel mogelijk proberen in te dekken...
Hardware leveranciers als dell, hebben een voorraad van x1000 servers ;)
Dus als jij betaald, leveren ze heel snel hoor!
En als dell partner moet je niet eens betalen(krediet) :), in nood kan je wel verschillende bedrijven opbellen om snel een stapeltje te leveren.
SebastiaanStok
25/02/09, 20:03
Staat inderdaad in de SLA/AV.
Is spraken van (grote) overmacht.
Back-ups op meerdere locaties is een pre!
"de hoster zonder verzekeringen kan ook zijn spullen pakken."
Dan heb je bij de bedrijfsvoering toch een grove fout gemaakt :beta1:
Verzekering is zeker geen overbodige luxe, Wedare stelde mijn zelfs verplicht een 'bedrijfs aansprakelijkheidsverzekering' te nemen bij mijn Colocatie. (heb ik verder ook geen probleem, even voor de duidelijkheid ;) )
Dus als je dat al hebt is de verdere verzekering van je servers zeker verstandig.
Tim.Bracquez
25/02/09, 20:11
Dus als je dat al hebt is de verdere verzekering van je servers zeker verstandig.
Zeker en ook aan te raden. Vroeger was het lastiger om een verzekeraar te vinden die snapte wat jij allemaal aan het vertellen was en kreeg je vragen zoals "Wat is een server?".
Maar vandaag de dag (hier in België toch) snappen ze steeds meer wat je bedoeld, bij de KBC hebben ze er nu speciale mensen voor die dit goed snappen en kunnen inschatten.
Spijtige aan een verzekering is (afhankelijk) dat het vaak lang duurt vooraleer je jouw geld terug hebt, maar dat terzijde.
ik weet via een vriend van mij die stage heeft gelopen bij IBM in Ierland dat daar gewoon 1-2 vrachtwagens vol servers / storage systeems klaarstaan, klaar om te verschepen. Met name bij grote opdrachtgevers is dit van toepassing. Als daar iets gebeurd staat binnen 24 uur het hele circus klaar.
verder heeft SUN het blackbox systeem waarmee je heel snel nieuwe infrastructuur kunt aanleggen.
Bij die brand in de TU delft is toch ook een serverruimte afgebrand of heb ik dat verkeerd begrepen?
Tim.Bracquez
25/02/09, 23:11
... Met name bij grote opdrachtgevers is dit van toepassing. Als daar iets gebeurd staat binnen 24 uur het hele circus klaar.
Klopt, IBM en ook andere bedrijven kunnen zeer goede service contracten leveren op dit vlak. Dan weet je zeker dat binnen de xx aantal uur alles terug in orde staat qua hardware wat toch wel weer betekend dat je rustiger kunt slapen :)
Wat zijn verstandige landen om naar uit te wijken? Belgie is niet echteen optie. Als NL gaat, gaat BE mee.
Tim.Bracquez
25/02/09, 23:24
Wat zijn verstandige landen om naar uit te wijken? Belgie is niet echteen optie. Als NL gaat, gaat BE mee.
Frankrijk? Geeft veel betere connecties internationaal & naar België...
Duitsland?
Zelf ben ik zéér te spreken over Frankrijk, dit geeft veel betere connecties naar Belgische klanten dan Nederland, internationaal ligt het ook zeer goed naar overal wat kabels...
Belgie lijkt me dus geen optie. Als je kijkt naar overstromingsgevaar etc. Lijkt me Duitsland, Frankrijk idd een betere optie
@DigiState, eveneens geen al te uitgebreid aanbod aan DC's.
Frankrijk, Duitsland en UK lijken mij redelijk. Redeneren in de zin "als NL gaat, gaat BE mee", hangt er vanaf, BE zal niet snel overstromen, maar bij een leuk bommetje denk ik dat je sowieso niet al te veel klagende klanten meer gaat hebben, en dat de klagende klanten ook niet veel personeel zullen hebben om tegen te klagen.
laten we dan hopen dat ze een goede bom gooien dan valt het aantal klagende klaten vanuit Nederland ook mee ;)
Als je binnen Nederland op twee - drie locaties een backup houdt dan denk ik dat je jezelf goed hebt voorbereid. Ik zie niet echt een noodzaak om nu backupruimte in Frankrijk te gaan huren.
ALs je een bank bent ofzo dan kan ik me daar wel iets bij voorstellen
Freakingme
26/02/09, 00:07
Bij die brand in de TU delft is toch ook een serverruimte afgebrand of heb ik dat verkeerd begrepen?
Yup. Alleen was een van de sysadmins zo slim om terug te gaan (ten alle adviezen van brandweer enzo in), en de meest recente backup tapes te pakken, zodat men op dat gebied niets kwijtgeraakt is.
The Planet in de VS verloor vorige zomer een hele verdieping met 9000 servers. Binnen 3 dagen waren ze weer back online grotendeels.
http://tech.slashdot.org/article.pl?sid=08/06/01/1715247
als je dna toch gaat voor snelheid lijkt me UK de meest voor de hand liggende optie.
Ook aaan veiligheid scoort UK beter dan Frankrijk (2e wereldoorlog scenario) en door geografische scheiding isolerende werking.
Verder heeft de Londen exchange LON1 etc een directe link richting Amerika, dus snellere connecties mocht je preferred link eruit liggen door welke oorzaak dan ook.
Mocht je meer internationaal georienteerd zijn, denk dan aan een oplossing a la akamai/CDnetworks etc voor de echt HA toepassingen. Deze bieden localized hosting aan welke je zowel als main kan inzetten als backup, natuurlijk praat je hierbij over een ander prijskaartje, maar dat geld ook voor alle andere oplossingen, de gewenste disaster recovery is afhankelijk van de wensen en betalingen van je klanten.
Denk er overigens ook aan dat bij een grote overstroming jij waarschijnlijk vast zit en zelf niet bij de servers etc kan (ook niet op externe locatie)
Triloxigen
26/02/09, 00:28
The Planet in de VS verloor vorige zomer een hele verdieping met 9000 servers. Binnen 3 dagen waren ze weer back online grotendeels.
http://tech.slashdot.org/article.pl?sid=08/06/01/1715247
no servers were damaged
Daar mee scheelt het al een hoop problemen natuurlijk.
als je dna toch gaat voor snelheid lijkt me UK de meest voor de hand liggende optie.
Ook aaan veiligheid scoort UK beter dan Frankrijk (2e wereldoorlog scenario) en door geografische scheiding isolerende werking.
Verder heeft de Londen exchange LON1 etc een directe link richting Amerika, dus snellere connecties mocht je preferred link eruit liggen door welke oorzaak dan ook.
Mocht je meer internationaal georienteerd zijn, denk dan aan een oplossing a la akamai/CDnetworks etc voor de echt HA toepassingen. Deze bieden localized hosting aan welke je zowel als main kan inzetten als backup, natuurlijk praat je hierbij over een ander prijskaartje, maar dat geld ook voor alle andere oplossingen, de gewenste disaster recovery is afhankelijk van de wensen en betalingen van je klanten.
Denk er overigens ook aan dat bij een grote overstroming jij waarschijnlijk vast zit en zelf niet bij de servers etc kan (ook niet op externe locatie)
Afaik zit de UK voornamelijk via NL met het europese vasteland verbonden?
DennisWijnberg
26/02/09, 10:54
Je angst is natuurlijk niet geheel ongegrond, dat is gisteren temeer gebleken.
Dat is ook precies de reden dat wij gebruik maken van drie datacenters, Amsterdam, Zwolle en Enschede. Waarvan twee aanzienlijk boven NAP.
De "normale" hostingpakketten worden niet cross-datacenter geback-upt, maar we bieden dit wel aan voor de VMware-server klanten. Er zijn overigens al genoeg providers die zelf in één datacenter zitten die voor hun belangrijke klanten een VMware uitwijk hebben geregeld.
Zeker als er gebruik wordt gemaakt van SAN-storage kan je heel makkelijk over bijvoorbeeld de NDIX met een VLAN repliceren naar een andere partij die replicatieruimte aanbiedt.
Voor data-opslag en zo kun je relatief makkelijk regelen. Maar als een DC echt onbruikbaar wordt dan wordt het een erg moeilijke zaak om een paar X.000 servers effe ergens anders onder te brengen.
Voor data-opslag en zo kun je relatief makkelijk regelen. Maar als een DC echt onbruikbaar wordt dan wordt het een erg moeilijke zaak om een paar X.000 servers effe ergens anders onder te brengen.
ruimte is inderdaad erg schaars. Vraag mij af als er wel genoeg ruimte is als een DC met 10.000 servers de lucht in gaat :X
Triloxigen
28/02/09, 14:04
Dat ruimte schaars is valt heel erg mee, de ring van Adam is natuurlijk wel druk maar er zijn talloze dc's met genoeg plaats.
Wat zullen nu de consequenties zijn voor de gemiddelde hoster ? De kleine hoster die nooit backups maakte kan natuurlijk direct sluiten, de hoster zonder verzekeringen kan ook zijn spullen pakken.
Ik weet niet wat je onder gemiddeld verstaat of klein, maar ik reken mijn bedrijf (3 webservers) tot de kleinere hosters met dien verstande dat ik wél backups maak. De aanname of stelling dat "kleinere hosters dat niet doen" vind ik nergens op slaan. Integendeel! Ik weet van één van de SIDN Top100-hosters dat ze niet eens backups maken maar in de voorwaarden, de beruchte kleine lettertjes, hebben staan dat men, als klant, zélf gehouden is om backups te maken. Ooit was ik klant bij ze, en toen klapte de server waar ik bij hen een vServer op had. De ramp was niet te overzien. Uiteindelijk had ik gelukkig wel veel data off-site als backup staan maar niet alles. Zij bleken toch nog ergens wel een backup te hebben. Van één maand oud,... en ze overschreven doodleuk de door mij teruggezette websites.
Dus, ik vind dat je nogal generaliseert. Elke webhost, klein of groot, die zichzelf serieus neemt zou een backup-proces moeten inregelen.
Nu "back on topic".. als er een vliegtuig neervalt op SIG Telehousing, dan houdt het op voor mij. En óók voor de meeste 'verzekerden'. Want 'onheil van buitenaf' is bijna altijd uitgesloten. Verzekeringen = verdienen aan angst. Meer niet. Reken maar niet dat bij een overstroming, vliegramp, oorlog of terrorisme de verzekering (snel) tot uitbetaling overgaat. Zoals altijd geldt ook hier: "ieder voor zich". Dus zorg dat je wat hardware en op zijn minst geld achter de hand hebt om nieuwe hardware aan te schaffen.
Zelf heb ik in elk geval de meest essentiële hardware achter de hand en/of kan er zeer snel aan komen, zodat ik elders verder zou kunnen draaien. Maar de data (backups) zijn ook in SIG. Binnenkort hoop ik een betere oplossing hiervoor te regelen. Maarja, kosten, .. tijd,.. en uiteindelijk is de vraag: wil de klant er voor betalen? De meeste klanten niet. Zij gaan liever naar de "zolderkamerhost" die voor 1 euro per maand het e.e.a. regelt en nemen op de koop toe (voorzover ze het al beseffen) dat er géén backups zijn, dat er géén uitwijkmogelijkheid is, dat er géén fall back plannen zijn laat staan financiële reserves om een dergelijke 'ramp' op te kunnen vangen.
Wat zullen nu de consequenties zijn voor de gemiddelde hoster ? De kleine hoster die nooit backups maakte kan natuurlijk direct sluiten, de hoster zonder verzekeringen kan ook zijn spullen pakken.
We hebben expres servers in meerdere datacentra, maken keurig netjes iedere nacht backup, hebben twee servers in voorraad op kantoor en geld achter de hand. Met 5 servers zijn we toch een erg kleintje. Onze basis is echter bedrijfshoster, dus er is een zekere natuurlijke drang tot overleven ingebouwd. De kans dat zowel het DC als onze core een probleem heeft is vrij klein.
@brinkie: de klanten willen echt wel betalen voor backups, maar niet als je ze de keus stelt. Wat dat betreft is het hetzelfde als KVK en alle andere uitgaven die je als bedrijf nu eenmaal hebt. Overigens, backup buiten je vaste DC hoeft niet veel te kosten.
dennis0162
28/02/09, 18:58
Als je netwerk leverancier in meerdere datacenters zit kan je vaak backups maken zonder dat het je traffic kost. Grafix CPL -> Alphen is ook kosteloos.
@ Brinkie: de omschrijving was "De kleine hoster die nooit backups maakte". Dat is in mijn ogen taal-technisch hetzelfde als "de appel die verrot was". Ik zei niet dat elke kleine hoster geen backups maakte, net zoals niet elke appel rot is ....
Inderdaad, als er een vliegtuig op het DC neerstort of een terrorist een bom naar binnen gooit, valt dat vrijwel altijd onder de uitsluitingen van de verzekeraar. Goed de kleine lettertjes lezen dus!
En iets minder serieus: http://thedailywtf.com/Articles/A-Bit-More-Dire.aspx
Verzekering is leuk... je bent nog alles kwijt op dat moment :)
@ Brinkie: de omschrijving was "De kleine hoster die nooit backups maakte". Dat is in mijn ogen taal-technisch hetzelfde als "de appel die verrot was". Ik zei niet dat elke kleine hoster geen backups maakte, net zoals niet elke appel rot is ....
Maar "klinkt als": kleine hosters maken nooit backups ;)
Als je netwerk leverancier in meerdere datacenters zit kan je vaak backups maken zonder dat het je traffic kost. Grafix CPL -> Alphen is ook kosteloos.
Ik zal eens met CJ2 gaan praten,.. die hebben 2 locaties beschikbaar en ik ben bezig met een 4e "backup"-server. Maarja, alles in Groningen is voor mij wel lekker makkelijk.
marsipulami
28/02/09, 23:31
de locatie in de eemshaven word waarschijnlijk opgeheven.......... daar had google wel oren naar. ik moet er waarschijnlijk uit.
marsipulami
28/02/09, 23:39
EDIT: kon ze gauw de knop voor item verwijderen niet vinden :$
CJ2 heeft ook nog ruimte in Telecity 2.
Je bent dus niet alleen aangewezen op het SIG te Groningen en de Eemshaven.
Zelf heb ik de primaire servers e.d. in het SIG in Groningen staan, de backupserver staat in Amsterdam, in een netwerk buiten CJ2, hier worden o.a. de backups op geplaatst en draait de derde dns. In geval van een ramp in Groningen heb ik gelukkig nog een backup elders, evengoed geldt voor de dns.
de locatie in de eemshaven word waarschijnlijk opgeheven.......... daar had google wel oren naar. ik moet er waarschijnlijk uit.
Volgens mij was het niet de bedoeling dat die informatie nu al naar buiten kwam. Afijn nu het er toch staat, Eemshaven loopt niet goed, die had al veel voller moeten staan. De kans is inderdaad groot dat Google het helemaal overneemt en uit SIG vertrekt (waardoor we daar weer meer ruimte hebben :w00t: ).
Verder, ik backup ook naar een heel ander DC en een heel ander netwerk, waar tevens mijn 2e DNS server draait. Wellicht dat ik m`n server in de UK eens een slinger geeft om daar ook naar te gaan backuppen. Al zal het volgens mij al echt een toeval zijn als net alle DC's in Nederland tegelijk, of vlak na elkaar, plaat gaan.
CJ2 heeft ook nog ruimte in Telecity 2.
Je bent dus niet alleen aangewezen op het SIG te Groningen en de Eemshaven.
Weet ik, alleen heb ik geen zin om helemaal naar het westen te moeten rijden als er iets mis is. Ik kan natuurlijk uitbesteden maar mijn ervaringen (ik heb het dan uitdrukkelijk niet over CJ2!!) daarmee zijn in het verleden niet zo goed geweest (lange respons/time to repair tijden). Balen dat de Eemshaven mogelijk niet meer beschikbaar is.