Linux Realtime Replication van files

[Thijs]

Is hier iemand die een realtime replicatie van bestanden op 2 servers bijhoudt ?

Ik zoek een dergelijke oplossing zonder NFS en het gaat om kleine databestanden die op beide servers lokaal weggeschreven kunnen worden en hierna vergeleken worden op de andere server. Ik zou graag willen dat beide servers bij elkaar de bestanden kunnen vergelijken.

Het probleem dat er kan optreden met NFS is een Single Point of Failure. NFS redundant uitvoeren zou een mogelijkheid zijn, helaas geen must.

Rsync is geen optie omdat dit alleen voor Periodieke sync geschikt is, kom ik uit op psync of iets in die geest ?

[Wido]

Je zal hier denk ik iets moeten hebben dat op block-niveau werkt.

Deze moet op server A de journaling van het FS lezen en deze bewerkingen op server B uitvoeren.

Welke software dit kan weet ik niet, maar iets in die richting zal je moeten zoeken wil je geen gigantische performance impact krijgen.

Anders zal je overal moeten gaan zoeken naar de mtime van files en dat kost nogal wat I/O.

[Thijs]

Goed punt Wido, er zal ergens een check gedaan moeten worden op een referentie-punt.

Ik kom er zelf ook helemaal niet uit hoedit te doen, NFS... twijfel, en de data in MySQL opslaan en dan multimaster toepassen is ook niet je van het.

[Wido]

Goed punt Wido, er zal ergens een check gedaan moeten worden op een referentie-punt.

Ik kom er zelf ook helemaal niet uit hoedit te doen, NFS... twijfel, en de data in MySQL opslaan en dan multimaster toepassen is ook niet je van het.

Denk dat master <> master lastig zal zijn, maar een master -> slave (RO voor clients) moet niet al te moeilijk zijn.

Journaling constant doorgeven aan slave en die ook die aanpassingen op het FS laten maken.

Nu nog de tool vinden

[Keenondots]

http://www.drbd.org/

[Wido]

http://www.drbd.org/

Dat is denk ik iets wat doet wat ik bedoelde

[Thijs]

Denk dat master <> master lastig zal zijn, maar een master -> slave (RO voor clients) moet niet al te moeilijk zijn.

Journaling constant doorgeven aan slave en die ook die aanpassingen op het FS laten maken.

Nu nog de tool vinden

Probleem is dat master -> slave weinig zin heeft als je op beide machines wil kunnen schrijven (lokaal) wanneer er 1 offline gaat.

Heartbeat zou een oplossing kunnen zijn met een script wellicht die wat zaken omzet in configfiles.

@keenondots... ziet er goed uit !

[wv-]

opengfs wil je waarschijnlijk ook wel eens bekijken. Bedrijfje is opgekocht door redhat een tijdje terug en de code is onder de GPL gereleased

[Thijs]

Ik denk dat DRBD wat lastig gaat worden op een SWraid1 sessie. Probleem voor dit moment is denk ik de R/RW access dat the maar op 1 node kunt hebben. Ik zal het eens uitzoeken of ik dit niet lokaal-lokaal kan doen en dan uitwisselen... dus master <> master.

Ik heb opengfs al even bekeken... moet de releases een verder onderzoeken.

[MikeN]

Wat je moet hebben is DRDB voor het repliceren met daaroverheen GFS voor het gelijktijdig kunnen accessen op 2 nodes. Allemaal erg experimenteel, maar het kan wel

[Thijs]

Wat je moet hebben is DRDB voor het repliceren met daaroverheen GFS voor het gelijktijdig kunnen accessen op 2 nodes. Allemaal erg experimenteel, maar het kan wel

Ik had het ook gelezen. NFS zal toch een beter idee zijn, maar om dit nu realtime te syncen over 2 systemen is problematisch ben ik bang.

Iemand op irc raadde me AFS aan, het zou alleen minder stabiel moeten zijn.

[wv-]

zoals ik al zei had redhat het opengfs bedrijfje overgekocht, misschien een idee om eens te gaan kijken of redhat geen kant en klare oplossingen biedt hiervoor?

[BudgetDedicated]

DRBD alleen is hiervoor volledig ongeschikt. DRBD moet je zien als een RAID 1, maar dan met als fysieke schijven twee schijven in verschillende machines. Als je normaal een filesysteem op 1 zelfde schijf ook niet 2 keer (read-only) mount dan kan dat met drbd ook niet de bedoeling zijn. DRBD is wel replicatie, maar dan op block niveau. Met drbd is het standaard niet eens mogelijk de tweede image op het externe systeem zelfs read-only te mounten. Als je FILES wilt replicaten, moet je inderdaad gfs gebruiken, of ocfs (http://oss.oracle.com/projects/ocfs/).

Het is ook mogelijk drbd met een locking mechanisme te draaien, maar je moet dan een oplossing zoals op linux-ha.org beschreven staat gebruiken waarbij specifiek een oplossing is voor locking. De laag bovenop het block niveau (het filesystem in de meeste gevallen) moet 'aware' zijn dat in de laag er onder dingen kunnen veranderen. Ext3 gaat er standaard van uit dat er niet dingen gebeuren die niet door de ext3 interface gaan. Bij drbd zouden er standaard wel veranderingen optreden.

[BudgetDedicated]

Je zou haast zeggen dat het volgende zou moeten bestaan:

Uitgaande van de situatie:
- ext3 houdt een journal bij
- nodes zijn 'subscribed' op een externe ext3 mountpoint.

1. write naar journal
2. laatste journal entries (behalve read only operaties) worden gedistribueerd naar alle nodes in het cluster (publish)
3. journal wordt afgespeeld op de ext3 van de locale mount, alsof het om gewone write/copy/rename/chattr operaties gaat.

Dit lijkt erg simpel, maar als het dat echt is zou het er vast al wel zijn geweest, toch?

[wonko]

global file system (GFS, reeds enkele malen hierboven vermeld), of een shared NFS resource zullen de eenvoudigste manieren zijn.