Bekijk Volledige Versie : Klanten hoster PCExtreme zijn wellicht tot twee weken data kwijt na storing
Bron: http://tweakers.net/nieuws/89738/klanten-hoster-pcextreme-zijn-wellicht-tot-twee-weken-data-kwijt-na-storing.html
Wel pijnllijk nu ze net hun Aurora cloud aan het promoten zijn..
Iemand die weet wat er technisch fout is gegaan? Welke storage ze gebruiken,..
Ze draaien volgens mij Nexenta als storage, geen leuke situatie in ieder geval.
Sterkte daar!
systemdeveloper
17/06/13, 12:35
Idd, sterkte!
Is dit niet de tweede soortgelijke storing die ze hebben? Kan me van een half jaar tot een jaar terug ook iets dergelijks bij hen herinneren. Ik hoop voor hen en de klanten dat ze toch nog somehow wat recentere files gerestored kunnen krijgen.
half jaar geleden met een VPS node zelfde soort geval. Kapotte raidarray en toen helemaal geen backups.
Al moet ik wel zeggen dat ze dit voortvarend oppakken
2 weken dataverlies lijkt me zwaar overdreven. Ik neem aan dat MySQL niet op fileservers draaide, en de meest veranderende data zit natuurlijk in je database. Dus het is gaat misschien om die paar veranderde scriptjes, plus dat het wss alleen de fileserver head is, dus de data zal nog wel intact op de disk arrays staan gok ik.
systemdeveloper
17/06/13, 14:24
Als je echt 2 weken terug moet met backups, dan zie ik hier een 'mooi' leermoment.
Op hun NOC staat meer info, en mysql en mail ed.. is niet geimpacteert..
Als ik het goed begrijp is er iets mis gegaan tijdens het overfalen van hun actieve naar passieve (backup? ) cluster en moet men daarom terugvallen naar andere backups (oudere..)
Sterkte daar !
dennis0162
17/06/13, 15:41
Sterkte PCextreme!
Axel Polfliet
17/06/13, 15:53
Heel erg veel sterkte!
Ze kunnen ook overstappen naar Ceph, pakken ze even bij 42on een cursusje ;)
Ze kunnen ook overstappen naar Ceph, pakken ze even bij 42on een cursusje ;)
Lol ja Wido kan zichzelf wel ff bijscholen.
Ze kunnen ook overstappen naar Ceph, pakken ze even bij 42on een cursusje ;)
denk je niet dat ze daar stiekem al maanden naar aan het kijken zijn?
denk je niet dat ze daar stiekem al maanden naar aan het kijken zijn?
Laatste keer dat ik ze er over sprak was de performance nog niet goed genoeg helaas. Inmiddels zou het al een stuk beter moeten zijn denk ik.
2 weken dataverlies lijkt me zwaar overdreven. Ik neem aan dat MySQL niet op fileservers draaide, en de meest veranderende data zit natuurlijk in je database. Dus het is gaat misschien om die paar veranderde scriptjes, plus dat het wss alleen de fileserver head is, dus de data zal nog wel intact op de disk arrays staan gok ik.
Paar veranderde scriptjes? En webshops dan met tig foto's? :)
Paar veranderde scriptjes? En webshops dan met tig foto's? :)
Plaatjes zet je toch in de database? :whistling: Net als je volledige script op een index.php die eval() aanroept zonder enige validatie? Wel zo goed voor de performance en wel zo simpel en snel. :drunk:
Plaatjes zet je toch in de database? :whistling: Net als je volledige script op een index.php die eval() aanroept zonder enige validatie? Wel zo goed voor de performance en wel zo simpel en snel. :drunk:
Zo ken ik een webshop van een toch wel bekend, duur schoenenmerk dat ook serieus alle afbeeldingen als BLOB in de database gooit. Die DB is inmiddels ruim 20GB door al die plaatjes. Tja soms...
denk je niet dat ze daar stiekem al maanden naar aan het kijken zijn?
Als hun ervaringen met Ceph ongeveer hetzelfde zijn als die van mij, dan is het nog (lang) niet klaar voor productie. Te veel rare dingetjes steeds. Het concept is leuk maar het is echt nog niet rock solid.
denk je niet dat ze daar stiekem al maanden naar aan het kijken zijn?
Ja natuurlijk, mijn opmerking was ook sarcastisch. Daarom een knipoog erachter :)
Kijken helpt niet........
Op hun NOC staat meer info, en mysql en mail ed.. is niet geimpacteert..
Als ik het goed begrijp is er iets mis gegaan tijdens het overfalen van hun actieve naar passieve (backup? ) cluster en moet men daarom terugvallen naar andere backups (oudere..)
Sterkte daar !Bedankt!
Ik ben zelf na de storing op een geplande vakantie gegaan, dus heb hier nog niet kunnen reageren.
We draaien inderdaad Nexenta (dus ZFS) en draaiden de HA-Plugin. Ofwel, twee nodes (actief/passief) die beide bij de zelfde disks kunnen via SAS JBOD's en bij uitval van een node importeert de andere de ZFS pool.
De primaire node gaf de laatste week voor het onderhoud wat netwerk errors, maar de zpool was helemaal healthy en ONLINE.
Leek op een driver issue, dus is er besloten om op zondag avond de pool de migraten naar de backup node om de eerste offline te halen en na te kijken. Die failover ging goed, maar nadat de eerste node weer online kwam lijkt er een split-brain te zijn ontstaan waardoor de pool voor een korte tijd op twee nodes geimporteerd was.
Hierdoor is de ZFS pool corrupt geraakt (net zoals je ext4 op twee plekken tegelijk mount) en wilde deze dus niet meer importeren.
We maken uiteraard met ZFS Send en Receive backups naar een node in een ander datacenter, alleen was dat proces te afgelopen twee weken daarvoor aan het bokken. Systeembeheer was er al mee bezig dat opgelost te krijgen, maar de Auto-Syncer in Nexenta stopte er keer op keer mee, waardoor de laatste backups dus van twee weken terug waren.
Uiteindelijk hebben we via Nexenta een datarecovery specialist ingeschakeld gekregen die met wat zdb magie de pool alsnog in RO heeft kunnen importeren.
marco.123cloud
01/07/13, 16:47
VPS is geen Cloud computing. Een storing kan altijd voorkomen. De enige manier is om de hele keten regelmatig te controleren op mogelijkheden van fouten. gebruikte ze overigens niet de seph oplossing ?
Yourwebhoster
01/07/13, 17:09
VPS is geen Cloud computing. Een storing kan altijd voorkomen. De enige manier is om de hele keten regelmatig te controleren op mogelijkheden van fouten. gebruikte ze overigens niet de seph oplossing ?
Als je het bericht van Wido leest dan zie je dat het Nexenta is en niet ceph.
systemdeveloper
01/07/13, 17:18
Wido? Heb je daar dan geen replicatie op fysiek een ander disksysteem? Met een split-brain is het mij namelijk nog nooit gelukt om een corrupt filesystem te krijgen, hooguit dat ik in het ergste geval een hele storage moest resyncen.
VPS is geen Cloud computing. Een storing kan altijd voorkomen. De enige manier is om de hele keten regelmatig te controleren op mogelijkheden van fouten. gebruikte ze overigens niet de seph oplossing ?Uiteraard worden alle omgevingen gecontroleerd. Zo waren we ook op de hoogte van de falende syncers richting het backup systeem. Alleen betekend ergens op de hoogte van zijn niet direct dat het ook opgelost kán worden.
Wido? Heb je daar dan geen replicatie op fysiek een ander disksysteem? Met een split-brain is het mij namelijk nog nooit gelukt om een corrupt filesystem te krijgen, hooguit dat ik in het ergste geval een hele storage moest resyncen.Nee, het is de zelfde ZFS pool in zo'n omgeving.
Zo werden de systemen van Sun ook gemaakt, via SAS kunnen beide headends bij alle disks en de ZFS pool wordt geïmporteerd op één van de twee nodes.
Nexenta heeft hiervoor de HA-Plugin van RSF-1 die dit voor je regelt.
De backups gaan door middel van Auto-Syncers (wat gewoon zfs send en receive is), alleen die was de laatste twee weken dus al moeilijk aan het doen.
Ceph gebruiken we niet achter onze webhosting, maar draait intern test achter een paar eigen systemen.
Achter Aurora draait overigens ook ZFS, maar dan met FreeBSD.
Waarom FreeBSD? Omdat Nexenta al zo lang op versie 4 laat wachten (en 3 dacht ik nog op Hardy gebaseerd is)? Of zit er een andere reden achter?
Waarom FreeBSD? Omdat Nexenta al zo lang op versie 4 laat wachten (en 3 dacht ik nog op Hardy gebaseerd is)? Of zit er een andere reden achter?Vind het niet helemaal gepast om me daar nu (in deze context) over uit te laten :)
systemdeveloper
02/07/13, 01:09
FreeBSD is normaal wel uiterst stabiel met zfs (althans mijn ervaring).
Yourwebhoster
02/07/13, 09:08
Voor een discussie over FreeBSD of storage systemen kan je een nieuw topic openen.