Afdrukvoorbeeld
Bedankt voor de uitgebreide uitleg! Dat maakt veel duidelijk.
Alleen schrijf je nu switch stuk = cluster stuk. Ik begrijp dat op dat moment alles down zal zijn want de switch is dood.
Maar wat zal Ceph doen als de switch wordt vervangen en alle nodes weer met elkaar kunnen communiceren?
Kan Ceph daar mee overweg en gaat hij weer aan het syncen, of zal hij dan alle data kwijt zijn?
Nog een bijkomende vraag:
Als er 3 nodes in het cluster zijn en ze hebben elk 2x960Gb SSD's. Dan heb ik in totaal 6x960Gb=5760Gb opslagruimte.
Als er van alle data een kopie gemaakt wordt (size=2) blijft er de helft effectief over om VM's op te zetten. Correct? dus ongeveer 2880Gb.
Stel nu dat hier 85% van vol staat. Dat zou dan ongeveer 2300Gb zijn. En stel dat er nu een node uitvalt.
Dan zou Ceph gaan rebalancen maar op de 2 nodes heeft hij in totaal maar 4x960Gb = 3840Gb ruimte. Met size=2 maar 1920Gb effectief.
Daar kan hij toch geen 2300Gb aan data op zetten dan?
Hoe lost Ceph zoiets dan op? Want door het uitvallen van een volledige node heeft hij dan niet meer genoeg opslagruimte om te rebalancen.
Moet er dan op gelet worden om nooit x % van de opslagruimte te gebruiken ? Of gaat Ceph zowiezo die ruimte beperken om te kunnen garanderen dat hij achteraf kan rebalancen ofzo?
Zonder ook maar iets te doen op de servers gaat Ceph gewoon weer werken en je bent geen data kwijt. Sterker nog, veel VM's zullen gewoon braaf blijven wachten tot de storage er weer is. Dus zelfs in zo een VM ben je niets kwijt.Citaat:
Oorspronkelijk geplaatst door sandermoors
Voorbeeld met defecte node: De server is uitgevallen omdat de voeding stuk is. Nieuwe voeding erin, aanzetten, even wachten en het cluster is weer klaar zonder iets te klikken of te tiepen.
Je mag natuurlijk meerdere switches gebruiken zodat je hele setup niet afhankelijk is van één switch.
Wij hebben Ceph nog niet stuk gekregen en we hebben echt ons best gedaan.
Dat kloptCitaat:
Oorspronkelijk geplaatst door sandermoors
Goed punt. Het is verstandig om dan inderdaad niet meer dan 1920 Gb te gebruiken. Met meer nodes wordt dat probleem natuurlijk kleiner.Citaat:
Oorspronkelijk geplaatst door sandermoors
Ceph gaat op een gegeven moment ook wel mekkeren dat er te weinig vrije ruimte is. Het advies is dan ook wel: Zoek niet de limieten op. Ceph lost het verder dan ook niet op. Je moet daar dus niet overheen gaan.Citaat:
Oorspronkelijk geplaatst door sandermoors
Als regel kun je aanhouden dat bij uitval van 1 node, de overige nodes samen genoeg ruimte hebben om alle data dubbel te kunnen houden.Citaat:
Oorspronkelijk geplaatst door sandermoors
Ceph gaat proberen het dubbel te houden. Ik weet niet hoe hard het knalt als er geen ruimte is.
Oké. Maar in dat geval is size=3 de betere keuze denk ik?
Want dan heb ik ook 1920Gb ruimte, maar zo staat de data gewoon op elke node.
960*6/3 = 1920 Gb
Ik denk dat de performance met 3 nodes wel meer dan voldoende gaat zijn maar je schreef ook "Van een 4e server wordt het in principe sneller.".
Waarom gaat het sneller vanaf een 4de node?
Zijn er belangrijke voordelen aan een 4de server? Want ik kan wel een 4de server voorzien. Alleen gaat het dan weer wat kostelijker worden want enkel de extra enterprise SSD's zijn al aardig duur :(
Het principe van ceph is: meer = sneller. Hoe meer servers hoe meer verspreid de data staat en hoe meer resources dus kunnen worden gebruikt.Citaat:
Oorspronkelijk geplaatst door sandermoors
Maar als er 1 node uitvalt moet je op 2 nodes dus genoeg ruimte hebben om de data 3x te bewaren waardoor je dus meer ruimte vrij moet houden.Citaat:
Oorspronkelijk geplaatst door sandermoors
Met 1 duplicaat heb je al een veel betere situatie dan je "vroeger" met RAID 1, 5 e.d. had.
Je kunt het nog beter doen door hem op 3 te zetten maar je kunt beter goede back-ups maken. Die worden hoe dan ook nooit overbodig.
-
Okay. Het zal Ceph met 1 kopie worden dan. En dan een monitor scriptje dat waarschuwing stuurt als de disks te vol komen te staan want we weten niet precies wat ceph zal doen in zo'n geval.
Ivm backups:
Ik kan een Dell PowerVault 124T met LTO4 tapes goedkoop krijgen (100 euro) van een kennis. Nieuwe tapes heeft hij ook nog en kan ik hebben aan 11 euro per stuk. Zou dit een goede oplossing zijn voor backups? of zien jullie hier serieuze problemen mee?
Er kunnen 16x LTO4 tapes in, dus 16x800Gb = 12.8Tb aan raw storage. Compressed zou het meer moeten zijn.
Zo'n LTO4 tape zou 120mb/s halen las ik, dan lijkt me dit wel een goedkope backup uplossing voor de VM's?
En wat het stroomverbruik betreft zal tape volgens mij ook minder verbruiken dan een server vol met disks die 24/7 staan te draaien?
Pas in ieder geval op met je backups in hetzelfde rack. Met een beetje brand heb je dan en je productiedata niet en je backups niet.
Tapes..
Schrijven gaat prima. Testen of je het nog kunt lezen is het punt.
Hij is 2U hoog.
Dan wil je het waarschijnlijk in een ander datacenter hebben.
Colocatie kosten en stroom en dataverkeer moet je tellen.
Tik ergens een 1U doosje op de kop en steek daar 4 disken in. Dan kun je erin stoppen wat je wil.
Scheelt ook wat colocatiekosten.
Hele andere insteek is diskbayonline.nl. Dan zou je 3 disken in RAID5 kunnen zetten en heb je 12T storage. Na de aanschaf van de disken betaal je € 25,00 per maand per disk (3 disken = € 75,00).
Ceph geeft een melding als een OSD meer dan 80% vol is. Ceph is dus redelijk berekend op het feit dat er een node (of meerdere) uit kunnen vallen en waarschuwt je dus op voorhand al. Hang als het mogelijk is bijv 2x Ceph is rack A en 2x Ceph in rack B. Op die manier heb je altijd failover bij uitval/brand. Backup zelf is een must natuurlijk, maak die niet naar het zelfde cpeh cluster ;-)Citaat:
Oorspronkelijk geplaatst door sandermoors
Ik zou geen tape gebruiken. Die dingen zijn écht traag. Koop dan liever een 2e hands HP MSA ofzo, iets waar je snel op kunt bij calamiteiten.Citaat:
Oorspronkelijk geplaatst door sandermoors
Ok. Dus geen tape. Maar als ze bij LTO4 zetten 120mb/s, kan hij dan geen 120mb/s wegschrijven?
Hele tape doorzoeken zou minder dan een minuut zijn. Dus een VM image is in minder dan een minuut gevonden en kan dan aan 120mb/s weer gerestored worden als ik het goed begrijp. Voor mij is dat snel genoeg.
Maar ik ga zeker eens kijken naar HP MSA
120mb/s is maar 15MB/s, dan is een usb stick nog vlugger.Citaat:
Oorspronkelijk geplaatst door sandermoors