Bestaand cephcluster in clusternetwerk plaatsen

[tomadmiraal]

Al enige tijd hebben wij tot tevredenheid een cephcluster draaien. Hierbij merken we dat er problemen ontstaan doordat het publieke en het replicatie via het zelfde fysieke netwerk lopen.Nu is het mogelijk om 2 gescheiden netwerken te maken http://docs.ceph.com/docs/giant/rados/configuration/network-config-ref/.

Hierover heb ik 2 vragen:

1) config
We komen in de documentatie 2 config aanpassingen tegen. een global gedeelte en een gedeelte per osd/mon.

Moeten deze beide worden toegepast? op dit moment hebben we alleen een public network gedefinieerd in het global gedeelte en helemaal geen specificaties per osd of monitor.

2) omzetting
Als alles geconfigureerd is, moet het netwerk omzet worden door een herstart van de node of osd service.

Hoe kun je dit het beste doen met een cluster dat live draait? wat gebeurd er als je de helft van de nodes/osd's herstart hebt en de andere helft dus nog over het "oude" publieke netwerk repliceert? Het "oude netwerk" en de gebruikte ip-adressen blijven het zelfde voor het publieke netwerk.

Kan iemand uitsluitsel geven over deze vragen?

[CharlieRoot]

Al enige tijd hebben wij tot tevredenheid een cephcluster draaien. Hierbij merken we dat er problemen ontstaan doordat het publieke en het replicatie via het zelfde fysieke netwerk lopen.Nu is het mogelijk om 2 gescheiden netwerken te maken http://docs.ceph.com/docs/giant/rados/configuration/network-config-ref/.

Hierover heb ik 2 vragen:

1) config
We komen in de documentatie 2 config aanpassingen tegen. een global gedeelte en een gedeelte per osd/mon.

Moeten deze beide worden toegepast? op dit moment hebben we alleen een public network gedefinieerd in het global gedeelte en helemaal geen specificaties per osd of monitor.
De documentatie hierover is niet erg goed geschreven. Aan de ene kant zeggen ze dat per deamon een IP adres opgegeven moet worden en een alinea verder geven ze aan dat bij gebruik van een statische IP dit niet nodig is. Wij hebben het zelf wel per OSD aangegeven en dan met de poortnummers er bij omdat we dit voor onze eigen administratie handig vinden. Ik heb het echter niet altijd in de configuratie gehad dus ook zonder werkt het prima.


2) omzetting
Als alles geconfigureerd is, moet het netwerk omzet worden door een herstart van de node of osd service.

Hoe kun je dit het beste doen met een cluster dat live draait? wat gebeurd er als je de helft van de nodes/osd's herstart hebt en de andere helft dus nog over het "oude" publieke netwerk repliceert? Het "oude netwerk" en de gebruikte ip-adressen blijven het zelfde voor het publieke netwerk.

Kan iemand uitsluitsel geven over deze vragen?

Zolang je er voor zorgt dat je monitoring node altijd bereikbaar blijft kun je het in een live omgeving doen. Natuurlijk niet overdag en neem er je tijd voor maar het zou (althans dat was bij ons het geval) zonder downtime moeten kunnen. Eerst er voor zorgen dat alles nodes in beide netwerken zitten, goed testen of over beide subnets ze elkaar kunnen bereiken en dan de configuratie aanpassen en herstarten. Herstart de nodes stuk voor stuk en wacht tot hij helemaal "up" is.