Bekijk Volledige Versie : CEPH tuner/kenner gezocht
Ik zit met een CEPH opzet welke puur als basis is opgezet, geen specifieke node configs of wat dan ook, lijkt heel sterk op de defaults. Het zit op glas uiteraard. Er draaien VMs op (KVM).
De snelheid moet beter, ik zoek iemand die in kan loggen en de node/CEPH aanpassingen voor ons kan doen.
Meld je contactgegevens even hier als reply dan bespreken we de verdere details van de setup en de klus. Verschillen in tijden worden gemeten met pingdom, dd etc.
rensariens
20/04/20, 09:14
Zou Wido van 42on een berichtje sturen :)
Er valt niet zo veel te tunen aan Ceph.
In de client kun je wat tunen qua caching.
Netwerksnelheid, aantal disken, aantal servers, voldoende geheugen en CPU zorgen voor snelheid.
Hoe heb je het nu opgezet?
Hoe heb je het nu opgezet?
globaal:
promox + ceph op dezelfde nodes 4 stuks dual CPU met tenminste 100GB RAM. Server CPU is vrij rustig overigens
iedere node 4 OSD SSD disken. Intel DC series op SATA. Geen SAS of NVME dus. OS uiteraard op eigen disken
10gbit glas op 2 switches voor intern verkeer
En wat voor een snelheid haal je?
Dan kunnen we vast roepen of dat naar verwachting is.
*edited
In een VM zou dat minimaal 600 Mbyte/s lezen en schrijven op moeten leveren. Of heb je juist IOPS issues?
En scroll hier eens naar halverwege. Niet alle SSD's zijn even geschikt. Oud artikel maar geld nog wel:
https://www.sebastien-han.fr/blog/2014/10/10/ceph-how-to-test-if-your-ssd-is-suitable-as-a-journal-device/
in een VM zelf haalt een dd rond de 200mb/s
is er geen aparte journalling als in op een andere schijf
voorheen hadden we een ander cluster met centrale opslag op 1 node (ZFS), snelheden daar weet ik niet van dd, maar wel dat de kale applicaties die in de VMs draaien na verhuizing trager zijn geworden
van je blog heb ik even onderste commandos gepakt in een VM, vind ik vrij matig
dd if=/dev/urandom of=randfile bs=1M count=1024 && sync
1024+0 records in
1024+0 records out
1073741824 bytes (1,1 GB) copied, 63,7942 s, 16,8 MB/s
Wido den Hollander is Ceph guru :)
Je hebt 4 nodes zeg je, met ieder 4 OSD's. Ik ga er even vanuit dat je gebruik maakt van Replicated Pools met 3 kopien ipv EC (Erasure Coding) Pools. Dat betekend dat jij je 'ack' pas terug krijgt als je object weggeschreven is naar 3 OSD's. Als jij dus op een Single OSD 500MB/s haalt, moet je niet ineens denken dat je nu 1000MB/s zult halen.
Welke Ceph versie gebruik je? Gebruik je FileStore of BlueStore?
Wat haal je als je 'dd' draait direct tegen een fysiek SSD (mocht je die nog beschikbaar hebben...)?
Wanneer je dd draait, geef ook status=progress mee om te zien hoe het gedrag is.
ja 3 copieen inderdaad.
de exacte details moet ik aan systeembeheer vragen, die weet ik niet.
paar keer dd status meegegeven en dan is het vrij stabiel
maar nu komt het .. op een paar VMS is dd blijvend traag (dus onder 20MB per seconde) , maar op andere VMs is hij blijvend sneller +- 135MB per seconde). Dit komt voor als ik ze los achter elkaar draai maar OOK als ik ze tegelijk laat draaien.
Dit vind ik een interessant feit .. alsof er ergens iets stuk is ?
Kijk eens naar de perf statistics van je osd’s. 1 OSD die brak is kan al voor dit soort situaties zorgen.
Eventueel wil ik wel even kijken of ik iets zie.
Zijn de instellingen van de disken hetzelfde? (Cache, iop limiten, bus type SCSI?)
Actuele drivers in de VM?
Dat zou het eerste zijn wat ik zou controleren.
Dank allen.
Systeembeheer doet ook de testen en gaat kijken waar het m zit.
Het zijn 2 typen intel DC varianten, we gaan proberen te zien of er bij een type die enorme vertraging zit. Los van het feit dat ik de snelste test ook al matig vind. De varianten schelen wel een beetje in IOPS maar niet die factor in verschil in MB/s als je dat correleert.
Het is bluestore. en de dd met status geeft een vrij stabiel beeld qua MB per seconde
Dank allen.
Systeembeheer doet ook de testen en gaat kijken waar het m zit.
Het zijn 2 typen intel DC varianten, we gaan proberen te zien of er bij een type die enorme vertraging zit. Los van het feit dat ik de snelste test ook al matig vind. De varianten schelen wel een beetje in IOPS maar niet die factor in verschil in MB/s als je dat correleert.
Het is bluestore. en de dd met status geeft een vrij stabiel beeld qua MB per seconde
Kijk of je veel verschillen ziet in "ceph osd perf".
Ik noem mijzelf geen Ceph guru, maar heb wel al wat jaren ervaring met het opzetten en beheren van Ceph clusters. Ik ben eventueel te bereiken op sinan .at. polatconsultancy dot nl
Weinig verschillen. Ik zal je mailen, factuur is uiteraard geen bezwaar.
- CEPH BlueStore
- VM config's zijn allemaal hetzelfde in Proxmox
- VM op andere node maakt niks uit (node heeft een mix van trage en snelle VM's)
ceph> osd perf
OSD PERF STATS:
osd commit_latency(ms) apply_latency(ms)
2 1 1
7 0 0
5 1 1
3 1 1
0 0 0
10 1 1
6 1 1
15 1 1
13 1 1
9 1 1
1 0 0
8 1 1
11 1 1
4 0 0
12 1 1
14 0 0
de specs van beide intels opgezocht:
type 1:
Sequential Read (up to) 560 MB/s
Sequential Write (up to) 510 MB/s
Random Read (100% Span) 96000 IOPS
Random Write (100% Span) 51000 IOPS
Latency - Read 36 µs
Latency - Write 37 µs
type 2:
Sequential Read (up to) 500 MB/s
Sequential Write (up to) 490 MB/s
Random Read (100% Span) 72000 IOPS
Random Write (100% Span) 65000 IOPS
Latency - Read 36 µs
Latency - Write 36 µs
dus op basis daarvan kun je het VM verschil niet verklaren. Mogelijk is het een VM OS en of VM driver issue om het onderlinge verschil te verklaren.
Hoe zijn de servers onderling verbonden? Daarmee bedoel ik de Ceph OSD servers onderling maar ook richting de KVM hosts. Allemaal (minimaal) 10G verbindingen en de links zijn niet saturated?
Wat doet iperf onderling tussen de servers?
Draai je dd eens met optie: oflag=dsync en dus niet sync achteraan.
Hoe zijn de servers onderling verbonden? Daarmee bedoel ik de Ceph OSD servers onderling maar ook richting de KVM hosts. Allemaal (minimaal) 10G verbindingen en de links zijn niet saturated?
Wat doet iperf onderling tussen de servers?
Draai je dd eens met optie: oflag=dsync en dus niet sync achteraan.
10 Gbit glas op 2 switches, nog lang niet vol. Doen zo’n 40 Mbps van de 10000 Mbps.
IPerf test rond de 9.8 Gbp/s