Onderwerp: Ceph, an open source distributed file system

Ik wacht nog even tot deze feature is toegevoegd : http://tracker.newdream.net/issues/86

Oorspronkelijk geplaatst door stiller

Ik volg dit project met veel interesse. Zelf heb ik met systemen als NexentaStor (ZFS) gespeeld, maar dit begint echt op de heilige graal van storage te lijken. Volgens de developers en de roadmap moeten we een stabiele (productie?) versie verwachten binnen vier maanden. Denk jij dat dit ook haalbaar is? Dan wordt het echt tijd om hier eens wat hardware voor te gaan vinden.

Ja, de holy grail lijkt het wel, maar ik denk wel dat het gebruik weggelegt blijft (Zeker in de begin fase) voor mensen die er echt veel kennis van hebben. Het is namelijk niet zo maar een filesystem, je hebt met heel wat aspecten te maken. Die 4 maanden zijn wel haalbaar, maar op dat punt moet je zelf de afweging maken waarvoor je het in durft te zetten.

@ Mark_17: Over twee weken

Maar wat er beter aan is dan iSCSI setups? De vrijheid. Diskspace te kort? Gewoon een machine er bij, het systeem balanceert alle data opnieuw voor je. Je krijgt daarmee ook direct meer disks, dus meer performance. Ook is het systeem volledig distributed, dus de uitval van één fysieke machine kan je veel beter hebben.

Daarnaast is een Master <> Slave setup qua kosten ook niet fijn, bij Ceph is dat anders.

Op dit moment ben ik zéér te spreken over Ceph en zou ik dit per direct verkiezen boven iSCSI en NFS als ik dat kon (Maar dat gaat nog wel een lange tijd duren).

Alleen (wat ik hier boven al zei), het systeem is aardig complex om te draaien. Heb nu al 3 maanden een cluster van 14 nodes en 3 clients, daar ben je wel even zoet mee en je moet ook goed weten wat je doet om het goed ingeregeld te krijgen.

@Wido: Overleeft dit ook een totale clustercrash? Of een crash van evenveel nodes dan je redundatie level? Ik bedoel dan x clusternodes die tegelijk down gaan vanwege een stroomstoring of niet bereikbaar zijn vanwege een kapotte switch oid, niet waarbij de disks hun laatste adem uitblazen.

Oorspronkelijk geplaatst door systemdeveloper

@Wido: Overleeft dit ook een totale clustercrash? Of een crash van evenveel nodes dan je redundatie level? Ik bedoel dan x clusternodes die tegelijk down gaan vanwege een stroomstoring of niet bereikbaar zijn vanwege een kapotte switch oid, niet waarbij de disks hun laatste adem uitblazen.

Ja, de totale clustercrash heb ik nu twee keer meegemaakt ivm stroomuitval, kwam gewoon weer prima terug.

Een paar falende nodes zijn geen probleem, zolang jij je topologie maar goed in elkaar hebt steken.

RADOS (Onderliggende objectstore van Ceph) werkt dmv een boomstructuur, je moet er dan ook voor zorgen dat die goed in elkaar steekt, anders kan je wel eens een probleem krijgen.

Ook moeten je monitors op strategische plekken staan.

Oorspronkelijk geplaatst door Wido

Die 4 maanden zijn wel haalbaar, maar op dat punt moet je zelf de afweging maken waarvoor je het in durft te zetten.

Voor mij zou dat het moment zijn om er mee te gaan spelen. Daarmee bedoel ik: gebruik in niet-kritieke toepassingen (temp file stores), waarbij ik een iSCSI oplossing heb om op terug te vallen.

Over wat voor hardware hebben we het eigenlijk? Is een kwestie van alles wat je nog hebt liggen uitrusten met 1TB schijven en dan er maar bij hangen? Of is snellere hardware wel gewenst? Is het zinvol om snelle en langzamere nodes door elkaar te gebruiken?

Ik ben benieuwd welke distributie als eerste officiële support zal gaan leveren hiervoor. Ubuntu?

Ik heb er al eens eerder naar gekeken en dit is ook zeer interessant voor backup storage natuurlijk. Maar nog iets te veel in ontwikkeling.

Oorspronkelijk geplaatst door maxnet

Vroeg me af of het inmiddels ook stabiel draait met andere onderliggende bestandssystemen dan BTRFS.

Wat is er mis met btrfs? Is juist met Ceph er bovenop een fijn systeem hiervoor.

Oorspronkelijk geplaatst door stiller

Voor mij zou dat het moment zijn om er mee te gaan spelen. Daarmee bedoel ik: gebruik in niet-kritieke toepassingen (temp file stores), waarbij ik een iSCSI oplossing heb om op terug te vallen.

Over wat voor hardware hebben we het eigenlijk? Is een kwestie van alles wat je nog hebt liggen uitrusten met 1TB schijven en dan er maar bij hangen? Of is snellere hardware wel gewenst? Is het zinvol om snelle en langzamere nodes door elkaar te gebruiken?

Ik ben benieuwd welke distributie als eerste officiële support zal gaan leveren hiervoor. Ubuntu?

Ik heb een berg oude bakken draaien, Opteron 170's met 1 tot 2GB Ram en daarbij wat 500GB disken.

Snellere hardware kan wel handig zijn ja. Overigens is mixen van hardware mogelijk, je kan gewichten per machine geven.

@t.bloo: BTRFS is nog wel alpha/beta, want ik heb toch al wat crashes gezien er mee.

Ik ben net druk bezig me te verdiepen in ZFS. Dat kan ik dus beter overslaan aangezien Ceph nog een stap verder is?

Oorspronkelijk geplaatst door RayManZ

Ik ben net druk bezig me te verdiepen in ZFS. Dat kan ik dus beter overslaan aangezien Ceph nog een stap verder is?

Ja en nee. Ceph is nog niet stabiel genoeg voor productie als ik het zo lees, maar over 4 maanden wel. Uiteraard kan je wel in de tussentijd kennis maken met ceph.

Oorspronkelijk geplaatst door RayManZ

Ik ben net druk bezig me te verdiepen in ZFS. Dat kan ik dus beter overslaan aangezien Ceph nog een stap verder is?

Nee, want ZFS en Ceph zijn totaal andere filesystems.

Ceph is een distributed filesystem over een netwerk heen, waar ZFS alleen voor lokale disken is.

ZFS zal bijv altijd sneller zijn qua access-tijden dan Ceph dat zal zijn (ivm netwerk latency), voor een database wil je dus liever ZFS dan Ceph.

Dus je moet beide goed vergelijken en per situatie de vergelijking maken.

Daarnaast zal Ceph over 4 maanden nog echt niet stabiel genoeg zijn om er al je productie-werk vanaf te draaien.

Helder. Het zou dus eigenlijk zo moeten worden dat Ceph ZFS als bestandsysteem gaat ondersteunen? Of gaat BTRFS op termijn hetzelfde kunnen als zfs nu kan?

Oorspronkelijk geplaatst door Wido

BTRFS is nog wel alpha/beta, want ik heb toch al wat crashes gezien er mee.

zeker, maar dat vangt Ceph dan weer op (of is dat ambtenarenlogica?)

Oorspronkelijk geplaatst door RayManZ

Helder. Het zou dus eigenlijk zo moeten worden dat Ceph ZFS als bestandsysteem gaat ondersteunen? Of gaat BTRFS op termijn hetzelfde kunnen als zfs nu kan?

Het kan beide kanten op die je stelt.

@t.bloo: Ja, in theorie wel. Maar ik zag deze week een BTRFS bug die ineens mijn hele cluster op zijn knieën bracht.

Zijn er nog noemenswaardige ontwikkelingen geweest op dit gebied? Ik zie dat de ontwikkeling van Ceph aardig vordert, hoewel we nog niet aan de gehoopte 1.0 zitten (deze staat op dit moment op 41 dagen van nu). Hebben anderen inmiddels testomgevingen draaien? Heeft Wido al zijn eerste totale data loss gehad? Ben erg benieuwd!

Productie klaar is het nog zeker niet, maar noemenswaardige ontwikkelingen? Ja, zeker! Het gaat hard, zeer hard, maar bugs blijven er komen.

BTRFS gooit ook met enige regelmaat roet in het eten, maar dat wordt ook vaak snel gefixed.

Total data loss heb ik nog niet gehad, maar zoiets kan ook bijna niet gebeuren, alles is in losse objecten opgeslagen, die kunnen niet ineens allemaal weg zijn.