Onderwerp: Hoe gaat glusterFS om met replication

Goedemorgen,

We zijn op kantoor een testlab aan het bouwen om wat te experimenteren met diverse soorten software (virtualisatie, storage).
Nu zijn we bezig met zowel een CEPH cluster als een GlusterFS cluster om de voordelen/nadelen en performance/stabiliteit te testen.

Echter kan ik op voorhand op 1 punt niet echt mijn vinger leggen. Sommige adviseren op een glusterfs node 1 partitie te hebben (disks in raid) en dan dus 1 brick per node. Anderen adviseren om van elke disk 1 losse brick te maken. Daarnaast wat vraagtekens over hoe replication werkt.

Tot heden is duidelijk dat als je 1 volume hebt met 4 bricks verdeeld over 4 nodes en je stelt een replication in van 2 of 3 hij altijd een copy heeft.

Maar wat nu als je 1 volume hebt met 4 bricks verdeeld over 2 nodes. Zet hij dan bij replication 2 de copy echt op een fysiek andere node of loop je het risico dat hij de copy op de andere brick in dezelfde node plaatst? Wat dus zou inhouden dat bij een node failure je file onbereikbaar is.

Ik kan daar zelf helaas geen duidelijk antwoord op krijgen dus ben benieuwd of er hier personen zijn met kennis.

Alvast bedankt!

GlusterFS repliceert bricks van node A naar B (en eventueel naar C en D).

Een brick wordt nooit naar de node gerepliceerd waar hij op staat. Zie ook de replica opties bij het aanmaken van een brick. Probeer bij voorkeur een even aantal nodes aan te houden, dat maakt het leven een stuk makkelijker.

Ik zou de disks in RAID zetten en dan 1 brick aanmaken. Eventueel maak je meerdere RAIDS aan en maak je dus ook meerdere bricks. Maar dat is iets voor een intensieve omgeving en een goede RAID controller die meerdere RAIDsets aan kan. Veelal heeft mijn persoonlijke voorkeur 1 diskset en 1 brick per node.

In algemene zin adviseer ik je om je te verdiepen in het fenomeen "split brain".
Dat geldt eigenlijk voor alle geclusterde/gedistribueerde systemen.
Vaak wordt het opgelost met een oneven aantal nodes en/of een "watcher/arbiter".

Oorspronkelijk geplaatst door PimEffting

In algemene zin adviseer ik je om je te verdiepen in het fenomeen "split brain".
Dat geldt eigenlijk voor alle geclusterde/gedistribueerde systemen.
Vaak wordt het opgelost met een oneven aantal nodes en/of een "watcher/arbiter".

GlusterFS gebruikt daar een arbiter voor. Zie ook: https://gluster.readthedocs.io/en/la...l%20with%20it/ en https://gluster.readthedocs.io/en/la...es-and-quorum/