Plaatjes zet je toch in de database? :whistling: Net als je volledige script op een index.php die eval() aanroept zonder enige validatie? Wel zo goed voor de performance en wel zo simpel en snel. :drunk:
Kijken helpt niet........
Bedankt!
Ik ben zelf na de storing op een geplande vakantie gegaan, dus heb hier nog niet kunnen reageren.
We draaien inderdaad Nexenta (dus ZFS) en draaiden de HA-Plugin. Ofwel, twee nodes (actief/passief) die beide bij de zelfde disks kunnen via SAS JBOD's en bij uitval van een node importeert de andere de ZFS pool.
De primaire node gaf de laatste week voor het onderhoud wat netwerk errors, maar de zpool was helemaal healthy en ONLINE.
Leek op een driver issue, dus is er besloten om op zondag avond de pool de migraten naar de backup node om de eerste offline te halen en na te kijken. Die failover ging goed, maar nadat de eerste node weer online kwam lijkt er een split-brain te zijn ontstaan waardoor de pool voor een korte tijd op twee nodes geimporteerd was.
Hierdoor is de ZFS pool corrupt geraakt (net zoals je ext4 op twee plekken tegelijk mount) en wilde deze dus niet meer importeren.
We maken uiteraard met ZFS Send en Receive backups naar een node in een ander datacenter, alleen was dat proces te afgelopen twee weken daarvoor aan het bokken. Systeembeheer was er al mee bezig dat opgelost te krijgen, maar de Auto-Syncer in Nexenta stopte er keer op keer mee, waardoor de laatste backups dus van twee weken terug waren.
Uiteindelijk hebben we via Nexenta een datarecovery specialist ingeschakeld gekregen die met wat zdb magie de pool alsnog in RO heeft kunnen importeren.
VPS is geen Cloud computing. Een storing kan altijd voorkomen. De enige manier is om de hele keten regelmatig te controleren op mogelijkheden van fouten. gebruikte ze overigens niet de seph oplossing ?
Wido? Heb je daar dan geen replicatie op fysiek een ander disksysteem? Met een split-brain is het mij namelijk nog nooit gelukt om een corrupt filesystem te krijgen, hooguit dat ik in het ergste geval een hele storage moest resyncen.
Uiteraard worden alle omgevingen gecontroleerd. Zo waren we ook op de hoogte van de falende syncers richting het backup systeem. Alleen betekend ergens op de hoogte van zijn niet direct dat het ook opgelost kán worden.
Nee, het is de zelfde ZFS pool in zo'n omgeving.
Zo werden de systemen van Sun ook gemaakt, via SAS kunnen beide headends bij alle disks en de ZFS pool wordt geïmporteerd op één van de twee nodes.
Nexenta heeft hiervoor de HA-Plugin van RSF-1 die dit voor je regelt.
De backups gaan door middel van Auto-Syncers (wat gewoon zfs send en receive is), alleen die was de laatste twee weken dus al moeilijk aan het doen.
Ceph gebruiken we niet achter onze webhosting, maar draait intern test achter een paar eigen systemen.
Achter Aurora draait overigens ook ZFS, maar dan met FreeBSD.
Waarom FreeBSD? Omdat Nexenta al zo lang op versie 4 laat wachten (en 3 dacht ik nog op Hardy gebaseerd is)? Of zit er een andere reden achter?
FreeBSD is normaal wel uiterst stabiel met zfs (althans mijn ervaring).
Voor een discussie over FreeBSD of storage systemen kan je een nieuw topic openen.