Onderwerp: Ceph - De kleinste setup die aan te raden is

Ik volg met plezier op dit moment de discussies over ceph en de verschillende setups die mensen hier aanraden.

Wat ik me afvroeg was of het leuk is om een gedachten experiment te doen om uit te vissen wat de kleinste(/goedkoopste) aan te raden setup voor zijn die nog meetelt als volledige private cloud met Ceph als basis.

Om de discussie niet te breed te maken wil ik wel de volgende spelregels afspreken:

- Alle hardware die gekozen wordt is online de prijs van te zien (Kortingen doen we gewoon net of die niet bestaan)
- De omgeving mag niet instabiel zijn, of elementen missen die noodzakelijk zijn voor beheer
- Er is geen bestaande omgeving (geen switches, apc's, etc)
- Beheerskosten bestaan niet

Als een klant mij dat zou vragen zou ik toch een aantal wedervragen hebben:

Hoeveel storage heb je nodig? Zoals je het nu omschrijft zou ik voor Ceph er slecht 1TB gewone disken in stoppen. Dat performed niet maar valt wel binnen je antwoord.
Ik zou aannemen dat je maar 1 VPS erop gaat draaien met 1 core en 512Mb geheugen.
En hoe bang ben je dat een switch stuk gaat? Wil je twee switches?

Dus het experiment moet je iets beter definiëren.
Anders zou ik het dus het volgende bij elkaar klikken waarvan ik weet dat het wel voldoet aan je vraag, het ook werkt, maar waar je geen Terminal server op moet draaien:
3x 1He server van merk x.
1 OS disk per server (Spinning, want lekker goedkoop)
1 Ceph disk per server (ook spinning)
16 Gb geheugen per node
enkele voeding
1x een Gbit switch (want ookal is hij enkel, hij valt nog steeds binnen de scope van je vraag)
En het in het datacenter ophangen waardoor APC e.d. geregeld zijn. En je misschien zelfs geen switches hoeft te kopen.

Met andere woorden:
Je moet meer definiëren. Dus wel bepalen hoeveel capaciteit je nodig hebt en waarvoor je het gaat gebruiken. Dat bepaald n.l. of je 10 Gbit/s nodig hebt, SSD of SSD caching, hoe groot de kast word (wordt het 3x 2HE of 5x 1 HE?)... etc etc.

Oorspronkelijk geplaatst door Tuxis_IE

Hoeveel storage heb je nodig? Zoals je het nu omschrijft zou ik voor Ceph er slecht 1TB gewone disken in stoppen. Dat performed niet maar valt wel binnen je antwoord.

De hoeveelheid storage maakt niet heel veel uit, als alle scenario's maar hetzelfde zijn.

Ik zou aannemen dat je maar 1 VPS erop gaat draaien met 1 core en 512Mb geheugen.

Ik doe een aanname dat het om een aantal VMs gaat, anders heeft een private cloud weinig zin. Maar om de scope niet te gek te maken zullen we 5-10 VMs moeten aannemen, met allemaal 1 core en 512MB

En hoe bang ben je dat een switch stuk gaat? Wil je twee switches?

En geen switch? , ik heb een aantal setups gezien waar met glas een full mesh gemaakt wordt met 6 kabels.

Dus het experiment moet je iets beter definiëren.
Anders zou ik het dus het volgende bij elkaar klikken waarvan ik weet dat het wel voldoet aan je vraag, het ook werkt, maar waar je geen Terminal server op moet draaien:
3x 1He server van merk x.
1 OS disk per server (Spinning, want lekker goedkoop)
1 Ceph disk per server (ook spinning)
16 Gb geheugen per node
enkele voeding
1x een Gbit switch (want ookal is hij enkel, hij valt nog steeds binnen de scope van je vraag)
En het in het datacenter ophangen waardoor APC e.d. geregeld zijn. En je misschien zelfs geen switches hoeft te kopen.

Met andere woorden:
Je moet meer definiëren. Dus wel bepalen hoeveel capaciteit je nodig hebt en waarvoor je het gaat gebruiken. Dat bepaald n.l. of je 10 Gbit/s nodig hebt, SSD of SSD caching, hoe groot de kast word (wordt het 3x 2HE of 5x 1 HE?)... etc etc.

Ik ga er voor dit scenario niet vanuit dat er switches zijn van de provider (omdat die over het algemeen toch door gefactureerd worden)
HE's zijn relatief gezien een kleine kostenpost, dus reken ik niet mee.
Wel lijkt het me in deze tijd nuttig om SSD only (of voldoende spinning disks om ongeveer dezelfde IOPS te halen) te denken.

APC zou ik nu eigenlijk helemaal eruit willen halen, we doen even de aanname dat IPMI/DRAC/ILO voldoende is of dat remote hands gratis zijn (of er een enigineer in het datacenter woont)

Ik vind het nog steeds niet heel duidelijk.

Als het zo minimaal en goedkoop mogelijk moet zou ik de goedkoopste supermicro's kopen met 2 drive bays, voldoende voor 2x1TB te beginnen met 3 servers. Allemaal uitvoeren met 2x UTP 1Gbit en dus een goedkope sweex switch.

Werken zal het wel doen. Maar of je hier de markt mee op wilt....

Je moet kiezen tussen kwaliteit en kosten. Ik denk dat onze setup daar erg aan voldoet:

OSD nodes:

4x DELL P-Edge R710 2x L5640 2,26GHz Six Core
Iedere server: 2x SSD 512GB en 6x SATA 7200RPM 3TB disken, 2x 10Gbps Fiber
3x HP Proliant DL360 2x 3.2Ghz Six Core
Iedere server: 2x SSD 512GB en 2x SAS 15k rpm 900gb, 2x 10Gbps Fiber

Proxy nodes:
2x DELL server R610 2x X5550 2,66GHz Quad Core met 32GB ram, 2x 10Gbps Fiber

De proxy nodes gebruik ik om via RBD de disken over iScsi en Fiberchannel te kunnen publiceren aan de rest van het netwerk. De SSD's per server dienen voor cache (en let op, dit maakt EXTREEM veel verschil!)

Oorspronkelijk geplaatst door CharlieRoot

Als het zo minimaal en goedkoop mogelijk moet zou ik de goedkoopste supermicro's kopen met 2 drive bays, voldoende voor 2x1TB te beginnen met 3 servers. Allemaal uitvoeren met 2x UTP 1Gbit en dus een goedkope sweex switch.

Dit voldoet alleen niet aan SSD only of vergelijkbare IOPS. En ook 2x 1GB lijkt niet voldoende voor die randvoorwaarde.

De andere setup voldoet, maar zitten echter nog geen hypervisors in.

Oorspronkelijk geplaatst door vDong

Dit voldoet alleen niet aan SSD only of vergelijkbare IOPS. En ook 2x 1GB lijkt niet voldoende voor die randvoorwaarde.

De andere setup voldoet, maar zitten echter nog geen hypervisors in.

We hebben geruime tijd gewerkt op een ceph cluster met 2x 1Gbps. Dat werkt prima voor wat virtuele machines om sites te hosten (bijvoorbeeld). Je zult alleen nooit de maximale snelheid van je ceph cluster kunnen benutten.

Maar wat is nu precies de bedoeling, dat we een hardwarelijst maken met prijzen en setup ?

Oorspronkelijk geplaatst door CharlieRoot

We hebben geruime tijd gewerkt op een ceph cluster met 2x 1Gbps. Dat werkt prima voor wat virtuele machines om sites te hosten (bijvoorbeeld). Je zult alleen nooit de maximale snelheid van je ceph cluster kunnen benutten.

Maar wat is nu precies de bedoeling, dat we een hardwarelijst maken met prijzen en setup ?

Ik zie een leuke nieuwe stroming ontstaan waarin private clouds aan populariteit lijkt te winnen, omdat de meeste bedrijven nog erg grote setups voorstellen aan hun klanten als de term private cloud gebruikt wordt, leek het me leuk het momentum hier te gebruiken om te zien of we het tegendeel kunnen bewijzen. Het is echter best moeilijk om algemeen te blijven en niet een 100% specifieke businesscase hier te bespreken als je er niet echt 1 hebt.

Om hier op door te gaan, zelf zat ik te denken aan 4 bay supermicro's met daarin:
1x OS (spinning)
2x SSD (~1TB CEPH)
1x SSD (Cache? is dat nodig met SSD?)

Geheugen vol met wat er in kan (128G?)

Fiber kaart met daarmee full mesh setup (https://pve.proxmox.com/wiki/Full_Me...or_Ceph_Server)

Oorspronkelijk geplaatst door vDong

Om hier op door te gaan, zelf zat ik te denken aan 4 bay supermicro's met daarin:
1x OS (spinning)
2x SSD (~1TB CEPH)
1x SSD (Cache? is dat nodig met SSD?)

Geheugen vol met wat er in kan (128G?)

Fiber kaart met daarmee full mesh setup (https://pve.proxmox.com/wiki/Full_Me...or_Ceph_Server)

Waarom zou je met alleen SSD werken, dat kost veel meer en gaat juist tegen het principe van Ceph in. Door gebruik te maken van SSD's als write-back cache heb je veel minder echte load en kun je dus veel meer met SATA/SAS werken. Dit drukt enorm te kosten maar door de techniek van Ceph lever je aan de performance kant niet in. Zie mijn IOPS cijfers in de andere posts.

Oorspronkelijk geplaatst door CharlieRoot

Waarom zou je met alleen SSD werken, dat kost veel meer en gaat juist tegen het principe van Ceph in. Door gebruik te maken van SSD's als write-back cache heb je veel minder echte load en kun je dus veel meer met SATA/SAS werken. Dit drukt enorm te kosten maar door de techniek van Ceph lever je aan de performance kant niet in. Zie mijn IOPS cijfers in de andere posts.

Van wat ik van jouw verhaal begrijp heb je om die performance te halen 8 (of 9 met OS disk) disks nodig, dat is direct een grotere server en die is dat ook (bijna) vol.
Ik denk dat het verschil zit in euro/iops denken en euro/GB denken. Tuxis lijkt ook te mikken op full-ssd ipv meer spinning disks. Zou de performance ook nog goed zijn met 2x spinning en 1x SSD cache?

Oorspronkelijk geplaatst door vDong

Van wat ik van jouw verhaal begrijp heb je om die performance te halen 8 (of 9 met OS disk) disks nodig, dat is direct een grotere server en die is dat ook (bijna) vol.
Ik denk dat het verschil zit in euro/iops denken en euro/GB denken. Tuxis lijkt ook te mikken op full-ssd ipv meer spinning disks. Zou de performance ook nog goed zijn met 2x spinning en 1x SSD cache?

Je zou met een supermicro (4 bay) kunnen werken, 1x SSD en 3x SATA/SAS. Dat is prijstechnische natuurlijk veel beter te behappen dan meteen 4x een SSD er in.

Oorspronkelijk geplaatst door CharlieRoot

Je zou met een supermicro (4 bay) kunnen werken, 1x SSD en 3x SATA/SAS. Dat is prijstechnische natuurlijk veel beter te behappen dan meteen 4x een SSD er in.

En dan het OS van een SD ? Ik heb daar met VMware in het verleden niet zulke goede ervaringen mee

Oorspronkelijk geplaatst door vDong

En dan het OS van een SD ? Ik heb daar met VMware in het verleden niet zulke goede ervaringen mee

Vmware is ook iets heel anders natuurlijk. Wij booten alle ceph OSD machines vanaf een SD kaart ja, ook journal staat er op. Helemaal top!

Tuxis lijkt ook te mikken op full-ssd ipv meer spinning disks.

Dat is helemaal waar.
Ik zet even onze gedachtegang en redeneringen op een rij:

Onder aan de streep is het nadeel van spinning disks toch ook wel een grotere kast terwijl je 1He kasten hebt voor een prikkie waar je 10 SSD's in kwijt kan.
Er is natuurlijk een grens waarbij je echt wel spinning moet gaan gebruiken en het is ook de vraag: Nu minder uitgeven, maar per maand meer betalen.

Een 1 TB SSD kost rond de € 400,00. En dat hakt hard in de aanschafprijs. Zeker als je zo een 7 Tb of meer netto wil hebben (dan heb je er dus als 15 nodig). 14Tb netto is het max wat je met 1He kasten kunt halen met 1 Tb SSD's. Met 2 Tb SSD's kom je verder. Prijs per Gb wordt dan snel hoger.
Maar een HE kost ook een maandelijks bedrag en de kast is duurder en spinning disks gebruiken ook wat meer stroom en dus heb je ook weer net een zwaardere voeding nodig.

Als je spinning doet moet je ook wel caching doen wil je de snelheid er een beetje in houden. Dus als je in een 1HE kast dan 4 disken kwijt wil kun je max 36 Tb halen tegen ongeveer hetzelfde geld als 7TB met SSD.

De gedachte is:
Een server mag uitvallen.
SSD is snel
Ruimte en stroom kosten geld.

1 He per server. Drie servers. Enkele voeding. SSD voor storage en OS. Geen Raid controllers. Heel eenvoudige servers, dus weinig onderdelen, minder vaak iets stuk, makkelijk te repareren, geen onderhoudscontracten. En liever 5 servers met enkele voeding dan 3 servers die tot in den treure redundant zijn met dikke 4 uur reparatiegarantie.

Maar we hebben ook klanten die hebben 50 Tb netto nodig. Willen het niet in één locatie hebben draaien. Snappen dat een server uit mag vallen maar willen dat liever ook niet.

Dan is het 3 (of meer x) 2HE servers met spinning disks, SSD cache, dubbele voedingen en de servers verdelen over 3 technisch gescheiden ruimtes. Het aantal keren dat je de data bewaard speelt dan ook een rol. In dit geval wilden we dat 1 server ook alle data had zodat we, als de poep de ventilator erg hard raakt, we op 1 node door kunnen draaien.

Dus hoeveel storage heb je nodig vandaag. Groeit het hard?
Dan de verschillende opties helemaal doorrekenen en kijken wat het totaal kost in 48 maanden.
Dan aan de klant vragen hoe zij tegen een investering aankijken en verrassend genoeg wordt er vaak gekozen voor hogere eenmalige kosten en lagere maandelijkse en dat resulteert vaak in SSD's.

Ook niet onbelangrijk: Meer disken en meer nodes is meer snelheid en meer redundantie.
In een 1HE kast kun je met spinning dus 24 Tb bruto per kast kwijt (4x 6Tb a € 350,00) en met SSD 10 Tb (10x 1 Gb a € 400,00) of 20 Tb (met 2 Gb SSD's)
Omdat je met SSD t.o.v. spinning weinig storage per node hebt, heb je eerder meer nodes nodig en dat is, gek genoeg, een voordeel voor SSD.

En dan even doorrekenen:
24Tb bruto per kast kost met spinning € 1400,00
10 Tb bruto per kast kost met SSD € 4000,00

Zo, dat ben ik kwijt :-)