Ceph setups

Oorspronkelijk geplaatst door CharlieRoot

Omdat al je disken vast zitten aan je raid kaart......? Is dat een serieuze vraag? Goede raid controller met cache zorgt voor betere performance.

Een RAID kaart is simpelweg geen vereiste. Dat iets beter performed met bepaalde hardware is geen twijfel over, maar een Ceph cluster werkt prima zonder een RAID controller.

In sommige gevallen kan het zelfs de beperkende factor zijn.

Oorspronkelijk geplaatst door xaban

Een RAID kaart is simpelweg geen vereiste. Dat iets beter performed met bepaalde hardware is geen twijfel over, maar een Ceph cluster werkt prima zonder een RAID controller.

In sommige gevallen kan het zelfs de beperkende factor zijn.

Ik zeg niet dat het een eis is. Maar als je er iets op wilt draaien met enige performance zou ik het maar wel doen.

Met Ceph moet je weten wat je doet. Het is niet zo spannend maar je kan niet de boel bij elkaar klikken.

Wij draaien inmiddels flink wat clusters en hebben het nog niet stuk kunnen krijgen.

Drie nodes met PRoxmox en Ceph gecombineerd gaat prima. Uiteraard kost Ceph geheugen, dus zet je wat meer in een node. Uiteraard kost het cpu, dus zet je wat meer in een node.

Er is een omslagpunt om het uit elkaar te trekken of gelijk met losse Ceph node te beginnen.

Maar als drie nodes genoeg performance leveren, en dan gebruiken we 100% ssd, is er geen reden om zes nodes te kopen en vm’s en storage te scheiden.

Op kantoor heb ik een Proxmox (test) cluster voor development vm's waar ik graag eens wat ervaring met ceph zou willen opdoen. Momenteel draaien de nodes op 2x ssd in raid 1 voor os + vm's. Wat raden jullie aan om aan de storage uit te breiden voor een ceph test? Kan ik bv middels partities de ssd's blijven gebruiken voor proxmox/os en de rest als log/cache voor ceph?
En om de kosten een beetje in de hand te houden, is het handiger om een partij kleine (<=500GB) hdd's op te kopen zodat je meer osd's hebt (zeg 4-5 per node) of werkt het (indien de actieve data set geheel in de cache past) net zo goed om maar 2x grote osd per node te gebruiken?

Ik ben bezig met een ceph test setup. Deze bestaat uit 4x Proxmox 5.1 nodes. Onderling zijn de nodes verbonden met 10Gbit en dedicated Ceph netwerk. In iedere node zit een NVME SSD (500GB) en 4x SATA HDD's (1TB). De NVME wordt gebruikt voor journal en de HDD's als OSD (Ceph: Luminous - BlueStore).

De radosbench geeft ca 300MB/s write speed op de pool. Binnen een VM is de write speed ca 200 - 250MB en max 800 iops. Als ik een FIO test draai op een andere VM zakt de IOPS helemaal in elkaar. Ik zou verwachten dat de snelheid een stuk hoger zou moeten liggen of mis ik nog iets? De setup is volgens de Proxmox wiki gedaan.

Wat voor een HDD's heb je er in zitten?

De SSD is een Samsung SM863 en de HDD's Hitachi 1TB SATA 7200rpm

Bedoel je deze: http://hdd.userbenchmark.com/SpeedTe...DS721010CLA332
Die presteren niet zo geweldig. En Ceph zal de cache van die disken ook niet gebruiken meen ik.

En qua iops:
200 IOPS staat ongeveer gelijk aan de snelheid van een 15.000 toeren SAS schijf.
Je gebruikt 7200 toeren.

Dus voor mijn gevoel zit je er niet zo ver naast qua performance.

Dus voor een goede performance met Ceph is SSD only de beste keus? ZFS en dezelfde hardware setup performed veel beter namelijk.

ZFS met Ceph vergelijken is een beetje appels met peren :-)
De disken zijn wel van belang. Meer disken is beter. Daar wordt het sneller van. En je hebt het over schrijfsnelheid.
Hoe snel kun je lezen?

Met 2 SSD's per node halen wij meer dan 1 Gbyte/s lezen en schrijven. 1,7 Gbyte lezen was de laatste meting en dat lijkt het netwerk te zijn (10 Gbit/s).

Omdat SSD's snel goedkoper worden en er in een 1HE machine veel SSD's passen leveren wij het met SSD's op. Wel afhankelijk van het aantal Terabytes dat de klant wil bij aanvang.

Lezen is 1250MB/s

Oorspronkelijk geplaatst door Tuxis_IE

... Omdat SSD's snel goedkoper worden...

Snel duurder worden wil je zeggen (of gelijk blijven in prijs), door het te kort aan chips de laatste tijd, idem met ram trouwens.

Een 250GB ssd (samsung evo 850 reeks bvb) stond vorig jaar 90 euro voor 250GB en dat staat het nu nog steeds, een 500GB (samsung evo 960) staat nu gemiddeld 230 euro volgens tweakers pricewatch. Je zou dus denken dat 2x 250GB (500GB) goedkoper zou moeten zijn dan vorig jaar 2x 90 euro = 180 euro en nu staat dit aan 230 euro. Oké een 500GB evo 850 staat iets lager dan de 180 euro, maar je moet ook geen verouderde reeksen beginnen gebruiken lijkt me .

Wij gebruiken geen EVO's voor Ceph. Die presteren waarschijnlijk niet goed omdat Ceph de caching uit zet net als bij de PRO series.

De prijs per Gbyte voor de PM en SM serie is lager geworden de laatste maanden nadat ze gestegen zijn. Het schommelt natuurlijk maar over de hele lijn is er een daling.

Voorbeeld: https://tweakers.net/pricewatch/7558...omma-92tb.html

Oorspronkelijk geplaatst door Tuxis_IE

Wij gebruiken geen EVO's voor Ceph. Die presteren waarschijnlijk niet goed omdat Ceph de caching uit zet net als bij de PRO series.

Ik had het ook niet specifiek over het gebruik voor ceph maar meer in het algemeen en dan is een vergelijking van een veel gebruikt model van ssd soms eens handig.

Oorspronkelijk geplaatst door Tuxis_IE

De prijs per Gbyte voor de PM en SM serie is lager geworden de laatste maanden nadat ze gestegen zijn. Het schommelt natuurlijk maar over de hele lijn is er een daling.

Feit blijft dat het geen snelle daling is, eerder dat de prijzen gelijk blijven. De wet van Moore is wat mij betreft al een hele tijd niet meer van toepassing, waar je vroeger kon zeggen dat je elke 18 maand tot 24 maand het dubbel had voor dezelfde prijs is dit al lang niet meer zo.

De wet van Moore stelt dat het aantal transistors in een geïntegreerde schakeling door de technologische vooruitgang elke twee jaar verdubbelt.

Dus of de prijs dan ook 2x zo laag wordt? :-)

Van 1400,- in mei naar 1100,- in november is een daling van € 40,00 per maand. Maar zoals je aangeeft kan het in een ander segment disken anders zijn, voor deze serie is het zeker geen stijging te noemen.

Maar genoeg over de prijs van SSD's :-)

Als we aan efficiëntie denken en iemand heeft 10 Terabyte nodig, dan is SSD best het overwegen waard omdat de servers dan maar 1 HE zijn en de performance gewoon erg goed is. Het stroomverbruik is ook laag. Ook als een disk defect raakt of bijgeplaatst moet worden is SSD wel erg prettig.
Kwestie van afwegen.