Replica 2.
Met Replica 3 zou het in theorie nog sneller moeten kunnen
Code:wipa@CEPH-OSD-01:~$ ceph osd pool get pool_data min_size
min_size: 2
wipa@CEPH-OSD-01:~$ ceph osd pool get pool_data size
size: 2
wipa@CEPH-OSD-01:~$
Afdrukvoorbeeld
Ik zit hier al een paar uur mijn haar uit te trekken op iets belachelijks eenvoudigs waarschijnlijk, maar ik geraak niet van mijn 'Health_warn' status af op mijn cluster.
De warning die ik krijg is 'too few PGs per OSD (21 < min 30)'
op mijn pool heb ik de pg_num en pgp_num ingesteld op 128:
Heb de volledige pool al eens weggehaald en terug aangemaakt nadat ik in de ceph.conf de default settings had bijgezet:Code:xenius@prox11:~# ceph osd pool get distributed-storage pg_num
pg_num: 128
xenius@prox11:~# ceph osd pool get distributed-storage pgp_num
pgp_num: 128
iemand enig idee wat ik mis ?Code:xenius@prox11:~# cat /etc/ceph/ceph.conf
[ global ]
osd crush location hook = /usr/bin/calamari-crush-location
auth client required = cephx
auth cluster required = cephx
auth service required = cephx
cluster network = 10.11.11.0/24
filestore xattr use omap = true
fsid = f69301e5-e806-42dd-8724-cc3f3e276df5
keyring = /etc/pve/priv/$cluster.$name.keyring
osd journal size = 5120
osd pool default min size = 2
osd pool default size = 3
osd pool default pg num = 128
osd pool default pgp num = 128
public network = 17.17.17.0/24
Raar, heb het op 512 gezet en dan is het wel in orde .. bizar
@CharlieRoot
Nog even een vraagtje mbt diskusage, hoe bepaal ik het totaal 'netto' bruikbare op mijn cluster ?
Ik heb nu bijvoorbeeld 12 OSDs van 1TB in een pool gestoken met 3 replica's. De data is ook effectief over 3 OSDs gesplitst zoals ik het verwacht.
Als ik nu echter de statistics van de pool ga opvragen zie ik daar een beschikbare capaciteit van 11TB. Ik zou denken dat hij het verdeelt over 3 disken er slechts 1/3de capactieit netto bruikbaar is ?
mmm ik moet wat beter kijken denk ik.. als ik een ceph df doe zie ik daar een kolometje "MAX AVAIL" ik veronderstel dat dat effectief is wat netto bruikbaar is .. 3,4TB wat zou kunnen 'kloppen' :-) => 12/3
Code:xenius@prox11:~# ceph df
GLOBAL:
SIZE AVAIL RAW USED %RAW USED
11166G 10399G 767G 6.87
POOLS:
NAME ID USED %USED MAX AVAIL OBJECTS
distributed-storage 5 328G 8.82 3437G 88433
xenius@prox11:~#
@CharlieRoot het Ceph cluster heeft gaat geregeld in WARNING omwille van een monitor time skew, nu alle monitors zijn in sync met een ntp server.. Hoe pakken jullie dit aan ? Hebben jullie de max allowed skew vergroot in de ceph.conf ?
@CharlieRoot :
Welke SD kaarten gebruik je in je cluster en hoe groot neem je deze ?
Gezien er inmiddels al tal van topics over ceph zijn ga ik even in dit topic van beginnersvragen verder ipv. weer een nieuw topic te openen.
Ik heb me zelf flink ingelezen en wil ook gaan starten met het gebruik van ceph.
Het zal in beginsel om 5 nodes gaan waar ook proxmox op draait.
Heb nog de volgende vragen.
1. Ik wil HDD's plaatsen met SSD cache. Ik heb Samsung SM863 SSD's liggen.
Heeft het baat om een zeer grote cache SSD te plaatsen van 960GB of wordt dit niet benut? Bij ZFS maakt dit voor de write cache namelijk niet uit.
Is het eventueel zinvol om 2 cache SSD's te plaatsen per node?
2. Stel één van de nodes gaat down door een falende voeding of onderhoud. Als deze weer opgestart wordt, komt deze dan volautomatisch weer in sync met de rest? Of moeten er speciale dingen gebeuren?
3. Als de switch down gaat waar het ceph cluster netwerk op draait, wat gebeurt er dan? Komt er dan verschil in data tussen de ceph OSD nodes of gaat alles weer normaal verder zodra de switch weer up komt? Is de switching van het cluster netwerk eenvoudig redundant uit te voeren zonder stackable switch?
4. Bij proxmox stel je veel in in de webinterface, weet iemand of je de configs zonder verder problemen ook nog handmatig kan wijzigen en de webinterface goed blijft werken?
Vast bedankt voor jullie reacties!
Wij hebben het ook samen met proxmox draaien op dezelfde bakken en doe dat niet.. je moet veel te veel inleveren op performance!
Hangt heel erg af van wat er op komt te draaien. Wij hebben in onze setup 10TB aan SATA disken en 2x 512GB aan SSD. Dit is voor ons nu voldoende en je kunt uitbreiden wanneer je dat zelf wilt natuurlijk. Dat is het voordeel van Ceph, flexibel.
Als je je crushmap instellingen goed hebt staan is er niets aan de hand en gaat hij gewoon automatische weer repliceren en meedraaien met de rest.
Zorg altijd dat je twée switches hebt zoals in de docs beschreven. Eentje is voor intern verkeer tussen de Ceph nodes, de ander voor verkeer naar je hypervisor. Op die manier kunnen de nodes via een van de twee switches in contact blijven met elkaar (en is er dus niets aan de hand).
Recent iemand geholpen die issues had door een foute crushmap, zou goed aan Proxmox kunnen liggen. Hoe dan ook is Storage iets wat je niet wilt combineren met andere zaken zoals VM's. Draai storage helemaal los van alles om zo de beste performance te halen.