Onderwerp: Ceph - Beginners vraagjes

Oorspronkelijk geplaatst door NibeP

Wat zou een reden zijn om Proxmox en Ceph niet op één node te draaien, buiten wat CPU verlies om? Ik begrijp dat het fijn is om zaken te scheiden, maar ben benieuwd of het hier goed te merken is.

Het hangt ook wel van de schaal af.
Als je het gaat scheiden betekent het dat je met 6 servers gaat beginnen. Als je het niet scheid kun je met 3 servers beginnen.
Het scheelt dus vooral kosten. Zowel eenmalig (aanschaf) als maandelijks (colocatie).

De belasting van Ceph op de hardware valt mee maar is wel afhankelijk van de hoeveelheid storage die je in een node stopt natuurljik.
Onze ervaring is dat Proxmox en Ceph op dezelfde nodes prima werkt en presteert. Stop vooral wel iets meer geheugen in de nodes.
We hebben nog niet ervaren dat we niet wisten waar drukte vandaan kwam of dat Ceph daar last van had.
Het is wel een balans tussen storage en virtualisatie. Als je in iedere node 60 Tb aan disken gaat zetten zou ik het ook scheiden.

Als ik moest kiezen en het geld toch uit zou moeten geven zou ik nog steeds liever 5 nodes bouwen met Ceph en Proxmox gecombineerd dan 3 met Ceph en 3 met Proxmox.
Je hebt dan namelijk meer virtualisatie capaciteit (5 ipv 3 nodes) en meer storage capaciteit (5 ipv 3) en meer redundantie (5 ipv 2x3).

Dus of je het wil scheiden hangt van je plannen af, je budget, de hoeveelheid storage per node.

Oorspronkelijk geplaatst door bibawa

Bedankt voor de feedback !

Momenteel zijn het inderdaad maar 3 nodes , maar naarmate ons vmware cluster gaat slinken komen die er weer bij in beide racks.. maar als ik het dan goed begrijp kan ik best 1 monitor nog in een 3de rack steken ? (2-2-1)Aangezien je met 2 racks in het slechtste geval nooit een meerderheid kan halen ?



Net dit artikel nog gevonden http://www.admin-magazine.com/HPC/Ar...nd-Ceph-Part-2

Daarin staat oa die min en max size wat uitgelegd en daaruit concludeer ik ook dat m'n crushmap momenteel verkeerd is en dat ik in de rule de bucket op rack ipv host moet zetten .. (step chooseleaf...)

Check deze uitleg
http://jcftang.github.io/2012/09/06/...-ceph-cluster/

Zoek op
"Which selects n hosts then the first osd from each host, but it can’t deal with an entire hosts failed OSD’s. The second proposed rule was"

Ik heb een test cluster met 3 nodes (3 OSD nodes, 3 mon's op de zelfde nodes). Bij uitval van één van de nodes is het cluster geheel read only. Voor productie wil je dat niet

Oorspronkelijk geplaatst door Tuxis_IE

Het hangt ook wel van de schaal af.
Als je het gaat scheiden betekent het dat je met 6 servers gaat beginnen. Als je het niet scheid kun je met 3 servers beginnen.
Het scheelt dus vooral kosten. Zowel eenmalig (aanschaf) als maandelijks (colocatie).

De belasting van Ceph op de hardware valt mee maar is wel afhankelijk van de hoeveelheid storage die je in een node stopt natuurljik.
Onze ervaring is dat Proxmox en Ceph op dezelfde nodes prima werkt en presteert. Stop vooral wel iets meer geheugen in de nodes.
We hebben nog niet ervaren dat we niet wisten waar drukte vandaan kwam of dat Ceph daar last van had.
Het is wel een balans tussen storage en virtualisatie. Als je in iedere node 60 Tb aan disken gaat zetten zou ik het ook scheiden.

Als ik moest kiezen en het geld toch uit zou moeten geven zou ik nog steeds liever 5 nodes bouwen met Ceph en Proxmox gecombineerd dan 3 met Ceph en 3 met Proxmox.
Je hebt dan namelijk meer virtualisatie capaciteit (5 ipv 3 nodes) en meer storage capaciteit (5 ipv 3) en meer redundantie (5 ipv 2x3).

Dus of je het wil scheiden hangt van je plannen af, je budget, de hoeveelheid storage per node.

Had de hele opmerking over CPU niet gezien, maar hier moet je je niet in verkijken.

Dit is een OSD node met 12 OSD's, 16 cores 3.2Ghz cpu. Load nu is 1700 iops (ongeveer) dus de load is best wat om rekening mee te houden.

Code:

wipa@CEPH-OSD-01:~$ top
top - 14:46:30 up 131 days, 21:04,  2 users,  load average: 8.40, 8.23, 7.95

Voor een ceph testopstelling met 3 nodes, hoeveel disks voor ceph per node heb je minimaal nodig? Of 1 disk opdelen in partities?

Wij hebben onze cluster nu gemaakt met servers met 6 disken:
- 4 OSD disken
- 1 caching disk (SSD)
- 1 SSD voor het OS

Zoals hierboven al aangehaald is dit een setup die vrij snel uitgebreid gaat worden naar minimaal 6 machines..
SSD voor het OS zou ik precies ook op USB zetten, daar er hierboven al wel wat positieve feedback op gekomen is..

Oorspronkelijk geplaatst door mgielissen

Voor een ceph testopstelling met 3 nodes, hoeveel disks voor ceph per node heb je minimaal nodig? Of 1 disk opdelen in partities?

Niet met partities werken. Minimaal heb je 3 nodes, 1 disk per node nodig. Maar je hebt er weinig aan (meer disken is meer performance) als je alleen 3 disken (OSD's) hebt. Ceph heeft juist voordelen als je groeit (schaalbaarheid) en snelheid nodig hebt (veel disken is meer IOPS).

Oorspronkelijk geplaatst door bibawa

Wij hebben onze cluster nu gemaakt met servers met 6 disken:
- 4 OSD disken
- 1 caching disk (SSD)
- 1 SSD voor het OS

Zoals hierboven al aangehaald is dit een setup die vrij snel uitgebreid gaat worden naar minimaal 6 machines..
SSD voor het OS zou ik precies ook op USB zetten, daar er hierboven al wel wat positieve feedback op gekomen is..

SSD voor het OS zou ik niet doen, ook journal niet. Dat draaien wij (écht) op een SD kaart. Dus heel Ubuntu en Journal staat op een 16GB SD kaart. 2x SSD voor caching per server en dan goed kijken naar de waardes. Loopt je cache snel vol dan meer SSD er in of eerder flushen.

Ik ben hier vandaag nog eens wat dieper in verder gegaan en heb me eens gewaagd aan wat performance testen, misschien interessant om er eens wat met elkaar te delen , ik heb eenzelfde test gedraaid op onze cluster en ter vergelijking die test ook eens gedraaid op een VPS bij PCExtreme omdat ik daarvan weet dat ze ook Ceph draaien.. De vergelijking op zich is wel scheef aangezien onze cluster nog geen echte machines bevat maar toch leuke indicatie :-)

Voor de testen heb ik volgende FIOs gedraait: (https://wiki.mikejung.biz/Benchmarki...SSD_FIO_Script)

Onze nieuwe CEPH/Proxmox cluster
Full write
write: io=10240MB, bw=258232KB/s, iops=252, runt= 40606msec
rand read
read : io=1069.4MB, bw=36423KB/s, iops=9105, runt= 30063msec
rand write
write: io=238580KB, bw=7898.5KB/s, iops=1974, runt= 30206msec

PCExtreme Stamina instance 1GB
Full write
write: io=10500MB, bw=102499KB/s, iops=100, runt=104899msec
rand read
read : io=301652KB, bw=10037KB/s, iops=2509, runt= 30055msec
rand write
write: io=121060KB, bw=4015.7KB/s, iops=1003, runt= 30147msec

Opzich vond ik mijn resultaten enigzins nog wat 'traag' maar als ik ze dan vergelijk met de productieresultaten van PCExtreme dan zijn ze meer dan in orde ..

Zoals gezegd: mijn cluster is momenteel nog leeg dus normaal dat er verschil is..

Wat voor servers gebruik je, type en processor en geheugen? En belangrijker, wat gebruik je voor je "public netwerk" en "cluster netwerk"?

Servers zijn Dell R610, allemaal E5 CPUs en momenteel 32GB per node geheugen..
public netwerk is 2x 1Gigabit , cluster netwerk identiek.
Storage netwerk is 10Gigabit

Wij haalden op ons SSD-only Ceph cluster (6 node), met PCIE SSDs (lagere latency) als Journal een "full write" van rond de 400 iops. Elke Ceph node had daarbij 2x 10 Gbps glasvezel. Veel sneller konden we het niet krijgen.

Oorspronkelijk geplaatst door bibawa

Ik ben hier vandaag nog eens wat dieper in verder gegaan en heb me eens gewaagd aan wat performance testen, misschien interessant om er eens wat met elkaar te delen , ik heb eenzelfde test gedraaid op onze cluster en ter vergelijking die test ook eens gedraaid op een VPS bij PCExtreme omdat ik daarvan weet dat ze ook Ceph draaien.. De vergelijking op zich is wel scheef aangezien onze cluster nog geen echte machines bevat maar toch leuke indicatie :-)

Voor de testen heb ik volgende FIOs gedraait: (https://wiki.mikejung.biz/Benchmarki...SSD_FIO_Script)

Onze nieuwe CEPH/Proxmox cluster
Full write
write: io=10240MB, bw=258232KB/s, iops=252, runt= 40606msec
rand read
read : io=1069.4MB, bw=36423KB/s, iops=9105, runt= 30063msec
rand write
write: io=238580KB, bw=7898.5KB/s, iops=1974, runt= 30206msec

PCExtreme Stamina instance 1GB
Full write
write: io=10500MB, bw=102499KB/s, iops=100, runt=104899msec
rand read
read : io=301652KB, bw=10037KB/s, iops=2509, runt= 30055msec
rand write
write: io=121060KB, bw=4015.7KB/s, iops=1003, runt= 30147msec

Opzich vond ik mijn resultaten enigzins nog wat 'traag' maar als ik ze dan vergelijk met de productieresultaten van PCExtreme dan zijn ze meer dan in orde ..

Zoals gezegd: mijn cluster is momenteel nog leeg dus normaal dat er verschil is..

Denk dat je nog wel wat kunt tweaken. Hier mijn resultaten (ook dell 610, 64gb per node, alles 10Gbit).

Code:

# full write pass
write: io=10240MB, bw=785215KB/s, iops=766, runt= 13354msec

# rand read
read : io=6251.1MB, bw=213372KB/s, iops=53342, runt= 30004msec

# rand write
write: io=676224KB, bw=22463KB/s, iops=5615, runt= 30104msec

Is dat met Full SSD of ook spinning voor oSD ?

Oorspronkelijk geplaatst door bibawa

Is dat met Full SSD of ook spinning voor oSD ?

Per host:
2x SSD
6x SATA 7200rpm

En dat zijn synchrone writes met N+2 replicatie?