Onderwerp: Klanten hoster PCExtreme zijn wellicht tot twee weken data kwijt na storing

Oorspronkelijk geplaatst door xaban

Paar veranderde scriptjes? En webshops dan met tig foto's?

Plaatjes zet je toch in de database? Net als je volledige script op een index.php die eval() aanroept zonder enige validatie? Wel zo goed voor de performance en wel zo simpel en snel.

Oorspronkelijk geplaatst door Mark17

Plaatjes zet je toch in de database? Net als je volledige script op een index.php die eval() aanroept zonder enige validatie? Wel zo goed voor de performance en wel zo simpel en snel.

Zo ken ik een webshop van een toch wel bekend, duur schoenenmerk dat ook serieus alle afbeeldingen als BLOB in de database gooit. Die DB is inmiddels ruim 20GB door al die plaatjes. Tja soms...

Oorspronkelijk geplaatst door Ramoonus

denk je niet dat ze daar stiekem al maanden naar aan het kijken zijn?

Als hun ervaringen met Ceph ongeveer hetzelfde zijn als die van mij, dan is het nog (lang) niet klaar voor productie. Te veel rare dingetjes steeds. Het concept is leuk maar het is echt nog niet rock solid.

Oorspronkelijk geplaatst door Ramoonus

denk je niet dat ze daar stiekem al maanden naar aan het kijken zijn?

Ja natuurlijk, mijn opmerking was ook sarcastisch. Daarom een knipoog erachter

Kijken helpt niet........

Oorspronkelijk geplaatst door bibawa

Op hun NOC staat meer info, en mysql en mail ed.. is niet geimpacteert..

Als ik het goed begrijp is er iets mis gegaan tijdens het overfalen van hun actieve naar passieve (backup? ) cluster en moet men daarom terugvallen naar andere backups (oudere..)

Sterkte daar !

Bedankt!

Ik ben zelf na de storing op een geplande vakantie gegaan, dus heb hier nog niet kunnen reageren.

We draaien inderdaad Nexenta (dus ZFS) en draaiden de HA-Plugin. Ofwel, twee nodes (actief/passief) die beide bij de zelfde disks kunnen via SAS JBOD's en bij uitval van een node importeert de andere de ZFS pool.

De primaire node gaf de laatste week voor het onderhoud wat netwerk errors, maar de zpool was helemaal healthy en ONLINE.

Leek op een driver issue, dus is er besloten om op zondag avond de pool de migraten naar de backup node om de eerste offline te halen en na te kijken. Die failover ging goed, maar nadat de eerste node weer online kwam lijkt er een split-brain te zijn ontstaan waardoor de pool voor een korte tijd op twee nodes geimporteerd was.

Hierdoor is de ZFS pool corrupt geraakt (net zoals je ext4 op twee plekken tegelijk mount) en wilde deze dus niet meer importeren.

We maken uiteraard met ZFS Send en Receive backups naar een node in een ander datacenter, alleen was dat proces te afgelopen twee weken daarvoor aan het bokken. Systeembeheer was er al mee bezig dat opgelost te krijgen, maar de Auto-Syncer in Nexenta stopte er keer op keer mee, waardoor de laatste backups dus van twee weken terug waren.

Uiteindelijk hebben we via Nexenta een datarecovery specialist ingeschakeld gekregen die met wat zdb magie de pool alsnog in RO heeft kunnen importeren.

VPS is geen Cloud computing. Een storing kan altijd voorkomen. De enige manier is om de hele keten regelmatig te controleren op mogelijkheden van fouten. gebruikte ze overigens niet de seph oplossing ?

Oorspronkelijk geplaatst door marco.123cloud

VPS is geen Cloud computing. Een storing kan altijd voorkomen. De enige manier is om de hele keten regelmatig te controleren op mogelijkheden van fouten. gebruikte ze overigens niet de seph oplossing ?

Als je het bericht van Wido leest dan zie je dat het Nexenta is en niet ceph.

Wido? Heb je daar dan geen replicatie op fysiek een ander disksysteem? Met een split-brain is het mij namelijk nog nooit gelukt om een corrupt filesystem te krijgen, hooguit dat ik in het ergste geval een hele storage moest resyncen.

Oorspronkelijk geplaatst door marco.123cloud

VPS is geen Cloud computing. Een storing kan altijd voorkomen. De enige manier is om de hele keten regelmatig te controleren op mogelijkheden van fouten. gebruikte ze overigens niet de seph oplossing ?

Uiteraard worden alle omgevingen gecontroleerd. Zo waren we ook op de hoogte van de falende syncers richting het backup systeem. Alleen betekend ergens op de hoogte van zijn niet direct dat het ook opgelost kán worden.

Oorspronkelijk geplaatst door systemdeveloper

Wido? Heb je daar dan geen replicatie op fysiek een ander disksysteem? Met een split-brain is het mij namelijk nog nooit gelukt om een corrupt filesystem te krijgen, hooguit dat ik in het ergste geval een hele storage moest resyncen.

Nee, het is de zelfde ZFS pool in zo'n omgeving.

Zo werden de systemen van Sun ook gemaakt, via SAS kunnen beide headends bij alle disks en de ZFS pool wordt geïmporteerd op één van de twee nodes.

Nexenta heeft hiervoor de HA-Plugin van RSF-1 die dit voor je regelt.

De backups gaan door middel van Auto-Syncers (wat gewoon zfs send en receive is), alleen die was de laatste twee weken dus al moeilijk aan het doen.


Ceph gebruiken we niet achter onze webhosting, maar draait intern test achter een paar eigen systemen.

Achter Aurora draait overigens ook ZFS, maar dan met FreeBSD.

Waarom FreeBSD? Omdat Nexenta al zo lang op versie 4 laat wachten (en 3 dacht ik nog op Hardy gebaseerd is)? Of zit er een andere reden achter?

Oorspronkelijk geplaatst door SF-Jeroen

Waarom FreeBSD? Omdat Nexenta al zo lang op versie 4 laat wachten (en 3 dacht ik nog op Hardy gebaseerd is)? Of zit er een andere reden achter?

Vind het niet helemaal gepast om me daar nu (in deze context) over uit te laten

FreeBSD is normaal wel uiterst stabiel met zfs (althans mijn ervaring).

Voor een discussie over FreeBSD of storage systemen kan je een nieuw topic openen.