Onderwerp: Tips gezocht voor HA SAN oplossing

Ik wil spoedig overstappen van losse nodes naar een HA oplossing.
Ik lees me in, maak een testopstelling in het thuis lab en doe zo aardig wat kennis op.
Ik ben ondertussen aan het kijken of ceph niet een betere oplossing gaat zijn.
Met een san loopt opzich alles prima, het voordeel lijkt vooral dat ik er iedere node aan kan hangen die ik wil en dus severs die reeds op voorraad zijn kan inzetten.
Bij een ceph cluster lijkt het erop dat ik toch weer veel nieuwe machines moet gaan kopen of alles moet gaan inbouwen in 2u behuizingen.
Met de san heb ik nu een ZFS raid opstelling gebouwd en qua snelheden zit alles dik in orde.
Nu zit ik alleen met de duplicatie van de san.
Ik kan ieder uur een backup maken van alles maar dit is geen echte HA oplossing.

Ik zou graag wat advies inwinnen van mensen met ervaring.
Hoe doen jullie de duplicatie en hoe zorgen jullie ervoor dat bij uitval van san1 alles wordt overgenomen door san2.
Ik werk met Proxmox en dat lijkt ip gebonden te zijn dus niet zomaar automatisch over te springen naar san2 bij uitval van san1.
Hierdoor lijkt ceph dan weer een veel betere HA oplossing te zijn.
Voor ik verdere keuzes maak ben ik benieuwd of ik iets over het hoofd zie, of er software is wat dit wel goed kan doen.
Ik ga natuurlijk maar eenmalig investeren in ditsoort dure oplossingen en ben hierdoor enorm opzoek naar enkele tips & tricks om dit voor eens en altijd goed uit te rollen.

Ik kijk daarom erg uit naar jullie reactie's die mij verder kunnen helpen om de haken en ogen waar ik tegenaanloop op te lossen.
Alle tips zijn welkom

Hangt ook een beetje van het budget af natuurlijk? Ceph is op het gebied van HA natuurlijk een veel betere oplossing maar door de hoeveelheid hardware kan het ook wat duurder uitvallen. Je hebt ook nog DRBD (replica) maar dat is weer een stuk beperkter.

Dus wat is van belang? Wat is het budget? Hoe zie je de toekomst (groei, schaalbaarheid, kosten, opslagruimte en performance) ?

Bedankt voor je reactie!

Van belang:
Budget (max 15.000)
Echte HA oplossing (zonder spof en zonder missen van data bij uitval)
Snelheid (keuze gaat hierdoor al snel uit naar SSD, waar ik met huidige nodes en ceph dus al snel tegen beperkingen aanloop en dus meer hardware moet aanschaffen)
Makkelijk in onderhoud (tijd steken we liever in onze support en verbeteren van website, monitoring, infra etc)

Minder van belang:
Groei / schaalbaarheid (als het vol raakt betekend dit dat er opnieuw geïnvesteerd zou kunnen worden met hogere bedragen dan nu).
Tuurlijk is groei handig maar met 16x 1tb ssd kunnen we ons voorlopig wel redden.


* Hier moet bij gezegd worden dat de switches even niet bij het budget worden gerekend.


Met dit budget zou er wellicht beter een ceph oplossing gebouwd kunnen worden, die gaandeweg uitgebreid kan worden.
Er is echter nog geen ervaring bij ons met ceph en ik lees op het forum dat dit zonder goede kennis en ervaring nog wel wat drempels heeft en dat problemen oplossen lastig kunnen worden.
Zo zou het dus langer kunnen duren voor het uitgerold kan worden of iemand ingehuurd moeten worden bij problemen. Beide is mogelijk maar is natuurlijk niet helemaal de bedoeling.

Omdat bij ons veel op virtuele machines draait zoals webservers en managed severs is het vooral van belang dat als er wat stuk / down gaat er niet een uur mail gemist wordt (wat tot nu toe in de testopstelling met 2 sans wel het geval is).

Open-e gebruiken wij veel voor HA iscsi clusters. Werkt lekker, maar zit een prijskaartje aan van ca. 2400 euro voor een 4tb (active / active) setup. Wel uit te breiden met extra licenties voor meer capaciteit.

Vroeger deden we veel met drbd, pacemaker e.d. Draait ook lekker, maar kost redelijk wat tijd om het goed op te zetten.

Wellicht is het handig om de huidige hardware even te noemen, over welke buildingblocks hebben we het?
16x 1tb kan prima, ook met 4 disks servers, maar dan ga je snel naar 4-6 machines uitsluitend voor storage.

Hoe kom je precies op 2U?

Bedankt voor jullie reactie's!

De servers die ik nog heb liggen zijn (5) dual E5 CPU Supermicro machines.
Totaal 32 threads en 96GB ram per machine.
Best leuke machines om hiervoor in te zetten, ik zal er later nog wel meer willen toevoegen, net zolang totdat er geen opslagruimte meer zou zijn op de SAN.
Wanneer het zover komt is er genoeg reserve om opnieuw te investeren.

Deze machines zijn 1u en hebben maar ruimte voor 1 pci-e kaart.
Deze is bij de SAN gereserveerd voor een 10Gbit kaart omdat de machines maar 2x 1Gbit aansluitingen hebben.
Omdat deze machines ook maar 2x sata600 hebben zou dat voor een San voldoende zijn.
Hierdoor gaat de voorkeur in eerste instantie uit naar een SAN maar moet dan wel een goede duplicate SAN worden, geen backup SAN.

Om CEPH uit te rollen zou er eigenlijk een HBA kaart in de server erbij moeten maar dit past niet in de 1u behuizing en daardoor zou het geheel eigenlijk al in een 2u behuizing over gezet moeten worden.
Mede door deze reden leek een SAN een betere oplossing, ik hoef dan geen onnodig geld uit te geven aan nieuwe behuizingen en kan dit geld steken in de SAN en opslag.
De investering, los van de behuizing zou met het aantal machines ongeveer gelijk zijn. Een leuke 2u behuizing is al snel 700 euro x5 dus minimaal.

Nu weet ik niet of iedereen hier al met CEPH werkt maar dat lijkt mij meer onderhoud dan een SAN, maar daar hoor ik graag ook jullie mening over

Oorspronkelijk geplaatst door jeffer

Bedankt voor jullie reactie's!

De servers die ik nog heb liggen zijn (5) dual E5 CPU Supermicro machines.
Totaal 32 threads en 96GB ram per machine.
Best leuke machines om hiervoor in te zetten, ik zal er later nog wel meer willen toevoegen, net zolang totdat er geen opslagruimte meer zou zijn op de SAN.
Wanneer het zover komt is er genoeg reserve om opnieuw te investeren.

Deze machines zijn 1u en hebben maar ruimte voor 1 pci-e kaart.
Deze is bij de SAN gereserveerd voor een 10Gbit kaart omdat de machines maar 2x 1Gbit aansluitingen hebben.
Omdat deze machines ook maar 2x sata600 hebben zou dat voor een San voldoende zijn.
Hierdoor gaat de voorkeur in eerste instantie uit naar een SAN maar moet dan wel een goede duplicate SAN worden, geen backup SAN.

Om CEPH uit te rollen zou er eigenlijk een HBA kaart in de server erbij moeten maar dit past niet in de 1u behuizing en daardoor zou het geheel eigenlijk al in een 2u behuizing over gezet moeten worden.
Mede door deze reden leek een SAN een betere oplossing, ik hoef dan geen onnodig geld uit te geven aan nieuwe behuizingen en kan dit geld steken in de SAN en opslag.
De investering, los van de behuizing zou met het aantal machines ongeveer gelijk zijn. Een leuke 2u behuizing is al snel 700 euro x5 dus minimaal.

Nu weet ik niet of iedereen hier al met CEPH werkt maar dat lijkt mij meer onderhoud dan een SAN, maar daar hoor ik graag ook jullie mening over

Ik zou zeker voor Ceph gaan. Begin klein, breid uit. Zorg dat alles op 10Gbit fiber zit en je hebt echt perfecte iops. voor dit geld moet het kunnen met bijv. supermicro servers. Onderhoud van Ceph is echt niet heel intensief en ik moet nog een SAN tegenkomen die deze performance kan halen (zeker voor dit geld).

Ik ben verliefd <3

Oorspronkelijk geplaatst door CharlieRoot

Ik zou zeker voor Ceph gaan. Begin klein, breid uit. Zorg dat alles op 10Gbit fiber zit en je hebt echt perfecte iops. voor dit geld moet het kunnen met bijv. supermicro servers. Onderhoud van Ceph is echt niet heel intensief en ik moet nog een SAN tegenkomen die deze performance kan halen (zeker voor dit geld).

Ik ben verliefd <3

Dan ga ik maar eens op jacht naar HBA kaartjes en 2u behuizingen en eerst eens goed testen en op ontdekkingsreis
Beginnen met 4 machines en als alles goed draait dan een extra machine toevoegen.

Ik weet niet of jullie zelf veel ervaring hebben met CEPH, ik wil ook niet teveel oftopic gaan maar toch een paar vragen hierover.

Ik zou dan plannen om 4 ssd's voor OSD te gebruiken + 1 kleine voor os en 1 SSD voor Journaling, al zou het in een 2u behuizing dan ook nog passen om een m2 op PCI-e te zetten voor meer iops.

Kun je misschien kort toelichten hoe jullie dit doen?
Hoe groot zou de os disk moeten zijn?
Hoe groot dan de journaling disk?
Is een m2 PCI-e disks echt nodig of is dit overbodige luxe?
Ik lees dat de journaling disk opzich niet bijzonder groot hoeft te zijn maar grotere SSD's hebben een grotere TBW / DWPD.


Ben erg benieuwd wat de setup is bij anderen en hoe snel dit dan in de praktijk is.
Met al die ssd's kan het uiteindelijk niet heel veel sneller worden natuurlijk maar met harddisks lijkt dit toch ook wel echt te langzaam.
Ook door gebrek aan veel sata600 aansluitingen lijkt het met 2ssd's voor OSD en een PCI-e m2 SSD voor journaling alsnog niet enorm snel.
Of sla ik hier de plank mis en is het misschien toch in een 1u behuizing te doen zonder HBA kaart?

Door gebrek aan ervaring komen er een boel vagen omhoog welke ik misschien kan vinden of vragen in een ander topic.
Wat kennisdeling van mensen met ervaring met CEPH is natuurlijk erg fijn en kan voorkomen dat er in de basis foute keuzes worden gemaakt.

Ik kijk uit naar reactie's

Oorspronkelijk geplaatst door jeffer

Kun je misschien kort toelichten hoe jullie dit doen?
Hoe groot zou de os disk moeten zijn?
Hoe groot dan de journaling disk?
Is een m2 PCI-e disks echt nodig of is dit overbodige luxe?
Ik lees dat de journaling disk opzich niet bijzonder groot hoeft te zijn maar grotere SSD's hebben een grotere TBW / DWPD.

Ik draai liever een mix van SATA en SSD. Meest efficiënt is (vind ik) een machine met 8-12 disken (in ons geval 2x 256 GB SSD en de rest SATA) en minimaal 4 nodes. Op die manier krijg je een gezonde spreiding van data (en dus meer performance). Ook is 10Gbit geen overbodige luxe. De SSD stel je in als cache: http://docs.ceph.com/docs/jewel/rado...cache-tiering/

Het OS zelf is niet groot, wij gebruiken 128GB SD kaartjes die in de server zitten, zo ben ik geen disk kwijt die ik als OSD zou kunnen inzetten. Wij hebben journaling hier bij op staan en dit werkt perfect.

Oorspronkelijk geplaatst door jeffer

Ben erg benieuwd wat de setup is bij anderen en hoe snel dit dan in de praktijk is.

Wij draaien als volgt:
4 nodes
Ieder 16 cores 3.2 Ghz en 128GB ram
Ieder 2x 256GB SSD (Intel) en 10x 3TB SATA
Ieder 2x 10Gbps intel fiber
Cache tiering op SSD

Juist door het gebruik van Cache Tering kun je prima met SATA werken, scheelt ook nog eens een berg geld.

Oorspronkelijk geplaatst door jeffer

Met al die ssd's kan het uiteindelijk niet heel veel sneller worden natuurlijk maar met harddisks lijkt dit toch ook wel echt te langzaam.
Ook door gebrek aan veel sata600 aansluitingen lijkt het met 2ssd's voor OSD en een PCI-e m2 SSD voor journaling alsnog niet enorm snel.
Of sla ik hier de plank mis en is het misschien toch in een 1u behuizing te doen zonder HBA kaart?

In een 1U passen niet veel disken dus ik zou direct voor 2U kiezen.

Kijk ook eens naar deze topic
Ceph als SAN

Je heb journaling op het kaartje erbij staan?
Ik dacht juist dat journaling disk op de ssd erbij een hele goede optie was vanwege hoge snelheid.

Back to the drawing board!

Je info komt zeer van pas, ik ga me nog even beter inlezen.
Je heb inderdaad best wat normale harddisks in de running, dit wordt met die hoeveelheid ook best nuttig in tegenstelling tot mijn gedachte met slechts een paar ssd's.
Die extra data die geplaatst kan worden op deze schijven kan zeer van pas komen.
Watvoor harddisks gebruik je?

Kom nog wel even terug op dit bericht zodra ik een stap verder ben, of zal reageren in het andere topic
Bedankt voor de hele nuttige info!

Oorspronkelijk geplaatst door jeffer

Je info komt zeer van pas, ik ga me nog even beter inlezen.
Je heb inderdaad best wat normale harddisks in de running, dit wordt met die hoeveelheid ook best nuttig in tegenstelling tot mijn gedachte met slechts een paar ssd's.
Die extra data die geplaatst kan worden op deze schijven kan zeer van pas komen.
Watvoor harddisks gebruik je?

Ik gebruik een mix van WD, Hitachi en HP/Dell schijven. Nooit de zelfde disken voor je hele cluster gebruiken (zeker niet de zelfde batch). Onthoud; hoe meer OSD's, hoe meer snelheid. Ook met SATA/SAS.