Onderwerp: MooseFS

Heeft iemand ervaring met MooseFS die ze willen delen? Welke opstellingen heb je al getest? Heb je statistieken voor handen? Alternatieven zijn ook welkom.

Om maar onmiddellijk met de deur in huis te vallen, ik heb het in test even opgezet op 3 chunkservers (3 x 7k2 SATA disk met XFS als chunkdisks), 1 master en 1 client op een eenvoudig 1Gps netje, en krijg met bvb bonnie volgende resultaten:

Code:

Version  1.96       ------Sequential Output------ --Sequential Input- --Random-
Concurrency   1     -Per Chr- --Block-- -Rewrite- -Per Chr- --Block-- --Seeks--
Machine        Size K/sec %CP K/sec %CP K/sec %CP K/sec %CP K/sec %CP  /sec %CP
moosefs-005     16G    70  32 102978  16  2765   0  4228  97 64466   2 499.5   2
Latency               130ms     202ms     301ms   19113us   42614us     148ms
Version  1.96       ------Sequential Create------ --------Random Create--------
moosefs-005         -Create-- --Read--- -Delete-- -Create-- --Read--- -Delete--
              files  /sec %CP  /sec %CP  /sec %CP  /sec %CP  /sec %CP  /sec %CP
                 16  1225   5 +++++ +++  4647  10   802   3  5936   7  1911   6
Latency              9484us    1365us   14591us   16448us     440us   92065us

Vrij goede doorvoer dus zolang je per blok werkt, bitgewijze doorvoer en rewrites zijn wat traag (maar verstaanbaar als je naar de onderliggende opbouw kijkt).

Iemand hier ervaring mee in grotere opstellingen?

Ik zat er ook al naar te kijken, maar heb hier nog geen tests gedaan.

Enige wat ik mij afvraag is of de master server redundant is te maken. Ze zeggen zelf dat je een zeer stabiele server moet gebruiken, maar een server is natuurlijk nooit 100% stabiel. Zelfs niet met een redundante voeding.

MooseFS heb ik wel eens gedraaid met 40 chunkservers, draaide prima.

In Polen (waar ze het schrijven) hebben ze het meen ik draaien met 70 chunkservers.

Wat betreft het redundant maken van de master server, dit kan je doen door je logs te repliceren naar een standby die vervolgens op basis van die logs het werk over kan nemen.

Waar wil je het precies voor in gaan zetten? Hosting? Ik denk dat die vraag belangrijk is.

Zou hier gaan om opslag van virtuele machines (tenminste, daar test ik nu mee), dus dan is redundantie wel erg belangrijk, anders valt de I/O van de VM's volledig weg.

Ben direct even aan het testen. Heb hier ook al met Ceph getest, maar dat is toch nog wel lastig om helemaal stabiel te krijgen vond ik. Ceph is qua configuratie ook relatief complex.

De master kan inderdaad redelijk eenvoudig en automatisch gefailoverd worden.

Ik zou het idd inzetten voor hostingplatformen (hosting, mail, ...), niet voor de VDS-images. Ik ben wat de mogelijkheden aan het afschuimen om een goede kostefficiënte redundante storage te verkrijgen, die nog schaalt op de koop toe. Vanalles wat aan het bekijken en de mogelijkheden aan het afwegen, van eenvoudige NFS over Lustre, Mogile, Hadoop tot experimentele dingen als Ceph.

Ondertussen doe ik testjes op zowat alles wat langskomt en wat ik in elkaar knutsel, zodat ik wat referentiemateriaal heb.

Zo veel ervaring heb ik met Moose niet. Ik heb het eens overwogen om in te zetten voor een groot archief wat ik makkelijk wilde uitbreiden.

In de tests die iker mee gedaan heb werkte het gewoon zonder al te veel poespas, maar het leek vooral heel erg simpel en doeltreffend.

Ceph is wat dat betreft veel geavanceerder, maar inderdaad complexer en heeft ook nog tijd nodig

Indien je toch nog een keer naar Ceph kijkt, skip dan het POSIX filesystem en kies voor Qemu-RBD, dat draait stukken beter. Scheelt ook direct een metadata server.

Maar wat betreft MooseFS (daar gaat dit topic immers over), je zal het toch moeten testen of het voor jou inzetbaar is. Het lijkt opzich aardig stabiel, maar dat kan alleen de tijd / test je leren.

Wel ben ik bang dat FUSE je op een gegeven moment gaat bijten

Wel, heel het FUSE gedoe maakt me ook wantrouwig, maar blogposts op het internet blijken op het tegendeel te wijzen - de FUSE implementatie van Moose lijkt aardig in elkaar te zitten. Qua stabiliteit zit het verder goed, het geeft geen krimp op m'n testje, deze week gooi ik er eens een real-life test tegenaan.

Ik heb een clustered FS nodig, niet zozeer een clusterd blockdevice (of ik moet er lustre of zo op draaien). Gluster valt af, die heeft me al teveel gebeten.

Wat me wat tegenstaat van Moose is de heel non-actieve community errond. IRC channel is dood, mailinglijst is maar semi-actief, ... Liever iets als Ceph waar je bij problemen direct de makers kan aanspreken, bugreports kan uitwisselen, en vrij snel oplossingen aangereikt krijgt.

Oorspronkelijk geplaatst door wonko

Gluster valt af, die heeft me al teveel gebeten.

Wil niet offtopic gaan maar waarom heeft gluster teveel gebeten als ik vragen mag?

@cyberbootje: Verlies van data, verlies van redundantie, zero-byte bug, crashes, bij grote load gaat het altijd fout (zowel samba filesharing server, als linux image-processing als...) waardoor ofwel data verdwijnt, ofwel de view op de mountpoints niet consistent is met de achterliggende storage, hun documentatie is een soep...

Zoals iemand het formuleerde op twitter "friends don't let you use glusterfs".

Ik ben MooseFS hier aan het testen en het opzetten ervan is best duidelijk en goed te doen. Alleen als je er een chunk server uit het cluster haalt en later terugplaatst, vind ik dat het vrij lang duurt voordat alle data weer gerepliceerd is.

Voor zover ik kan zien gaat hij telkens kijken of de data nog synchroon is (testing chunk melding in de syslog) en dan zet hij ook de data over. Dit is alleen wel een proces wat in geval van heel veel data best lang kan duren. Het duurt hier bij een MooseFS van 100 GB al wel een kwartier. In principe wil ik dat als een server terug komt, alle wijzigingen direct worden gesynchroniseerd, want het is vrij onprettig als data tijdelijk niet redundant is.

Ik heb het dus voor storage van VM's getest en dat werkt goed. Voor een cluster filesystem van bijv. webservers vind ik het nog niet 100% bruikbaar, omdat er cluster-wide file locking mist, maar dat is dus een beetje afhankelijk van de applicatie.

Ik ben momenteel ook bezig met MooseFS. Echter vraag ik me af of je niet een "frontend" nodig hebt zoals bijvoorbeeld Openfiler om het bruikbaar te maken. Tenminste zover ik nu gezien heb heeft MooseFS alleen een FUSE koppeling beschikbaar. Of heeft iemand hier een oplossing om een "native" NFS share o.i.d. aan te maken binnen MooseFS?

voor zover ik weet is het enkel via de FUSE driver te gebruiken (wat niet wegneemt dat je die mount dan via NFS exporteert...).