Onderwerp: Ceph, an open source distributed file system

Hallo,

De laatste tijd is er veel te doen rondom storage, ook worden er veel mooie systemen ontwikkeld om aan onze vraag voor nog meer data opslag te voldoen.

Zo kwam ik zelf recentelijk Ceph tegen. Dit is een Open Source distributed filesystem voor Linux.

Heb inmiddels zelf een klein test cluster draaien en moet zeggen dat ik erg onder de indruk ben.

Toevallig is er gisteren op linux-mag.com een mooi artikel over Ceph gekomen die goed in beeld brengt wat het is: http://www.linux-mag.com/cache/7744/1.html

Nu wilde ik met deze post het filesystem onder aandacht brengen, dat is iets wat het namelijk (naar mijn idee) nodig heeft. De potentie is er zeker, als je kijkt naar wat het biedt is dit aardig (r)evolutionair, veel van dit soort filesystems kennen we nog niet.

Er bestaan inderdaad wel meerdere clustered filesystems, maar een near-Posix distributed filesystem ben ik verder nog niet tegen gekomen.

Mijn huidige tests geven aan dat er echt nog wel wat bugs zijn, ook kan de performance beter, maar daarvoor is input nodig

Ook wordt er gewerkt aan een block driver waar je eigen filesystem op kan draaien, het kan ook ideaal zijn voor gebruik met KVM!

Ik hoop met dit topic een discussie los te kunnen krijgen en hopelijk ook wat tweakers te vinden die willen gaan testen.

Even snel de boel bekeken en gelezen en klinkt veel belovend. Als ik tijd heb eens kijken of ik een testsituatie kan opzetten. Ben benieuwd.

Heb er ongeveer een jaar geleden naar gekeken. Het Is ontwikkeld door de founder van Dreamhost, en ook vanuit die behoefte is Ceph ontstaan. Het is dus een techniek die bij uitstek voor ons hosters interessant is. Weet niet hoe het er nu bijstaat, maar destijds was het allemaal nog erg fragiel. Ben benieuwd naar je ervaringen Wido.

het is redelijk stabiel. Heb wel wat segfaults gezien, maar die heb ik gerapporteerd en zijn inmiddels ook gefixed.

Gebruik zelf de unstable git branch en daar wordt hard in ontwikkeld.

De performance kan beter, zeker op random IOps, maar bij een distributed filesystem betaal je altijd een penalty, je kan niet verwachten dat het even snel is als een local filesystem.

De access times zullen wat hoger liggen, maar daar staat dan wel weer tegenover dat je voor een individuele client in principe een 'unlimited' IOPS hebt (gegeven je cluster size).

Heb je de bijbehorende papers al gelezen? Die zijn erg interessant.

Ik ga er ook weer eens mee spelen, en misschien gelijk maar eens wat aan gaan coden.

Welke papers bedoel je? Ik heb al heel wat gelezen, maar kan altijd iets over het hoofd hebben gezien.

Helaas heb ik geen C/C++ kennis om bij te kunnen dragen, had het anders gedaan! Nu maar bugs jagen!

Volgens mij staan de meeste, of alle, op http://ceph.newdream.net/publications/

Laat ik dit dan nog eens een schop geven. Inmiddels zijn we al weer enkele maanden verder en heb ik een testcluster van 16 machines draaien sinds een maand of 3.

Ik heb er één woord voor: briljant!

Zit er nu zelf ook aardig diep in, zo heb ik voor RADOS een PHP extensie geschreven, te vinden op:

git://ceph.newdream.net/git/phprados.git

Docu's: http://ceph.newdream.net/wiki/Phprados

Wat verder ook echt de moeite waar is: http://ceph.newdream.net/wiki/Kvm-rbd

Ben je lazy en draai je Ubuntu 10.04 en wil je testen met KVM-RBD? Zie dan: http://ceph.newdream.net/2010/08/rbd...device-status/

Inmiddels heb ik ook een backported libvirt 0.8.3 voor 10.04 gemaakt met RBD snapshot support, te vinden op:

Code:

deb http://pcx.apt-get.eu/ubuntu lucid-backport unofficial

De patches zijn te vinden op: http://zooi.widodh.nl/ceph/qemu-kvm/

Hoewel ik het POSIX filesystem (Ceph) gaaf vind is dat imho nog verre van stabiel en productie klaar, maar RADOS en daarbij de RBD driver zijn toch al aardig stabiel.

Inmiddels heb ik al wat VM's vanaf RADOS draaien en al wat applicaties gemaakt die via phprados data opslaan en dat draait lekker stabiel.

Vragen? Shoot! Ben inmiddels zo'n 30 uur per week met dat spul bezig, testen, testen, testen (Is hard nodig!) Of kom langs op IRC #ceph op irc.oftc.net ( Archives )

Interessant, zelf geen tijd gehad om er echt uitgebreid mee bezig te gaan. Leuk dat je toch na een vrij lange periode je ervaringen nog post.

Er is veel over te vertellen, maar dat is ook omdat ik vind dat dit een van de meest revolutionaire Open Source projecten is van de laatste tijd. Want data opslag blijft toch nog altijd een drama om goed voor elkaar te krijgen, zeker als je met grote omgevingen te maken krijgt.

Het is zeker aan te raden om eens mee aan de slag te gaan.

Vroeg me af of het inmiddels ook stabiel draait met andere onderliggende bestandssystemen dan BTRFS.
Changelog suggereert dat het mogelijk is:

osd: new filestore, journaling infrastructure. (lower latency writes, btrfs no longer strictly required)

Maar wiki staat nog vol met BTRFS referenties.

Lijkt me niet zo'n veilig idee, gezien met de huidige implementatie het risico bestaat dat je bestandssysteem een stroomstoring niet overleeft ( http://www.mail-archive.com/linux-bt.../msg05749.html )

btrfs no longer strictly required

Ja, het is mogelijk om bijvoorbeeld ext4 te gebruiken, maar bij de snapshot support leunen ze aardig op BTRFS, waardoor je op ext4 een mindere performance hebt.

Overigens heb ik inmiddels twee stroomstoringen overleeft met mijn Ceph cluster (met BTRFS) en geen data verloren. (2.6.35) (Hier geef ik verder geen garanties op! )

BTRFS heeft nu eenmaal een aantal features (zoals de snapshots) die erg makkelijk om te gebruiken zijn voor Ceph.

Ik volg dit project met veel interesse. Zelf heb ik met systemen als NexentaStor (ZFS) gespeeld, maar dit begint echt op de heilige graal van storage te lijken. Volgens de developers en de roadmap moeten we een stabiele (productie?) versie verwachten binnen vier maanden. Denk jij dat dit ook haalbaar is? Dan wordt het echt tijd om hier eens wat hardware voor te gaan vinden.

Oorspronkelijk geplaatst door Wido

Overigens heb ik inmiddels twee stroomstoringen overleeft met mijn Ceph cluster (met BTRFS) en geen data verloren. (2.6.35) (Hier geef ik verder geen garanties op! )

<OT>Ga dan ook naar een ander DC Aan de overkant van de straat zit er wel 1.</OT>

Bevalt Ceph beter dan de (andere) setups die jullie in productie gebruiken (incl. die jullie beheren voor klanten)?

Wido,

Moet bekennen dat het erg interessant uitzoek. In hoeverre ben jij te spreken over Ceph als vervanger voor jullie infrastructuur? Wellicht dat ik er binnenkort eens na ga kijken, heb echter niet zoveel resources als dat jij hebt maar dat mag de pret niet drukken