Onderwerp: Advies gevraagd - hardware VM hosting

Ik wil een goedkope oplossing om een aantal VM's zelf te gaan hosten op servers die ik daarna zelf in een datacenter zal hosten.

Hiervoor heb ik ondertussen het volgende:

4x DELL R710 servers met voldoende ram en elk een intel X520 10Gb kaart.
1x 24x 2.5" enclosure. http://www.benl.ebay.be/itm/22209875...&sojTags=bu=bu

Ik zou 1x R710 willen configureren als shared storage. Dus deze zal een LSI 9200-8E kaart krijgen en een extra X520-DA2 kaart.
De server kan dan met 2x SFF 8088 verbonden worden met de disk enclosure en de 3 andere R710 servers kunnen elk op een 10Gbe poort verbonden worden. In de enclosure zal ik om te beginnen 12 SSD's van 480Gb stoppen.

Wat denken jullie hiervan? Ziet dat er oké uit, of is bijvoorbeeld die LSI 9200-8E echt geen goed idee i.c.m. SSD's ofzo?
Ik dacht zelf ook aan ZFS, maar ik geloof dat ZFS geen TRIM commando's kan sturen naar SSD's? Dus dat is dan eigenlijk ook geen oplossing want dat komt de SSD's niet ten goede.

Hoe doen jullie VM hosting? Gewoon op ext4? of LVM2?
Zouden jullie kiezen voor RAID10 of is het bij SSD's ook goed om voor RAID5+spare ofzo te kiezen?

Ik vraag me ook af of 2x SFF 8088 wel voldoende snel is als ik toch voor ZFS zou kunnen kiezen. Want gaat een ZFS scrub dan niet véél trager werken ofzo?

Ik hoor graag wat jullie ervan denken. Alle advies is meer dan welkom.

Indien je voor een SSD only ZFS array gaat zou ik wel SSD's van 2 verschillende merken kopen en in je keuze voor Mirrors/Raidz1/2/3) goed rekening houden dat je data altijd op 2 verschillende merken SSD staat. Kies daarnaast geen TLC SSDs en let goed op de endurance rating (TBW/PBW).

Ik dacht de Kingston Savage SSD's van 480Gb te gebruiken. Die hebben een TBW van 480Tb en ik kan niets groter vinden tussen consumer SSD's.
Enterprise SSD's zijn momenteel echt te duur voor mij.

Ik zat de denken aan de helft Samsung 850 PRO 512Gb en de andere helft Kingston 480Gb en daarover een raid10 (of zfs?) waarbij de mirror altijd over twee type SSD zou staan.

Maar is ZFS mogelijk met SSD's? Het heeft toch geen TRIM ondersteuning?

Hoe slaan jullie je VM's op?

Mogelijk is mdadm + ext4 de betere keuze?

Wat ik zou bouwen is een Ceph cluster met Proxmox. Moet je wel even schuiven met je hardware. maar het kan wel.
Ik heb er hier over geblogd: https://www.ispam.nl/bijdragen/een-p...-en-goedkoper/

Dat gaat je een hoop hardware en storage gezeur schelen. De colocatiekosten worden ook nog eens lager.

Kies bij de keuze van SSD's altijd voor enterprise versies. Deze zijn veel uitgebreider getest en hebben vaak een garantie van minimaal 5 jaar. Ik persoonlijk zal ver wegblijven van Proxmox en Ceph, er zijn betere pakketten beschikbaar. RAID 10 is over het algemeen sneller bij lezen en schrijven, maar is dit minder van belang dan kan RAID 5 + spare een kosteneffectieve oplossing zijn. Kijk voor het virtualisatie OS eens naar XenServer 7 eventueel in combinatie met XenOrchestra.

Het is vaak beter om de storage machines dubbel uit te voeren (High Availability) i.p.v. alleen maar HD's dubbel uitvoeren. Power supplies, moederborden en geheugen willen het bij oudere machines wel eens eerdere begeven, dan de gemiddelde harde schijf. Dit is natuurlijk alleen van belang als uptime belangrijk is. Ik maak voor mijn storage gebruik van Synology RackServer, omdat deze goed integreren met veel gangbare omgevingen. Daarnaast biedt het allerlei extra mogelijkheden en controles op de hardware. Dit moet bij veel andere systemen toch handmatig worden ingericht.

Van die SSD's is een goede. Wij zijn uiteindelijk op de PM series van Samsung uitgekomen.
Die PRO's van Samsung moet je echt vermijden. Afhankelijk van je storageoplossing kan je performance slecht worden. Zeker wanneer de caching op de disk niet gebruikt wordt door je storage oplossing. Vooral het geval wanneer je ze als journaling gebruikt.

De PM's zijn ietsje duurder maar altijd goed.

Ik weet natuurlijk niet of je Ceph en Proxmox een goed idee vind/vond en of je dat beheerst.

Maar als je daarmee zou rekenen:
Je hebt 4 x R710
In iedere R710 kunnen 6 disken? (correct me if i'm wrong)

2 voor OS gebruiken en dan hou je 4 sloten over.
Dat betekent dat je in iedere 4x 940Gb SSD kan zetten = 15 Tb. Tegen Ceph zeg je dat hij het 2x moet bewaren = ongeveer 7,5 Tb Netto storage.
Max. Je hoeft niet gelijk al die sloten vol te duwen natuurlijk. je kunt beginnen met 1 SSD per server waardoor je dan 1,4Tb netto hebt.

Alle voordelen op een rij:
- Schaalbare storage. Of disken erbij of een node erbij als de disksloten vol zitten.
- Redundante storage. Van Ceph mag er een disk of een hele node uitvallen
- HA cluster voor virtualisatie
- Geen licentiekosten
- De storage server heb je niet meer nodig.
- Colocatie kosten zijn lager.

Onderschat de colocatie kosten niet. Meer HE = duurder. Meer apparatuur = meer stroom.

@Tuxis_IE dit lijkt me wel een mooie oplossing.

Als er dan 1 node uitvalt (stuk gaat bijvoorbeeld) , dan gaan de VM wel even offline maar kunnen ze gewoon op een van de andere nodes weer opgestart worden. Dat klopt?

Ik heb nog nooit met Ceph gewerkt maar zo te horen kan het dus alle data twee maal bewaren (of meer) en zorgt het dus voor een soort van raid verdeeld over meerdere servers. Dus ik gok dat dit dan zo moet geconfigureerd worden dat het altijd de tweede kopie op een andere node zet (en dus nooit op een andere disk in dezelfde node want dat zou nogal nutteloos zijn dan).

De R710's hebben 8x 2.5" en ik zou 2x pci-e ssd kaart erin kunnen steken voor het OS. Dus zou ik er in principe wel 8 SSD's in krijgen voor storage.
Maar heb ik dan wel 4 servers nodig. Kan Ceph niet gewoon met 2 servers of 3 servers werken?

En hoe ziet dat achteraf. Stel ik zet in 2 servers 4x SSD's. Kan ik dan achteraf eenvoudig SSD's toevoegen en de ceph storage vergroten?
En als de servers vol zitten, kan ik dan een 3de server erbij zetten met SSD's en ceph vragen om te herorganiseren? Zodat die extra server+ssd's als extra storage gebruikt kunnen worden?

Als er dan 1 node uitvalt (stuk gaat bijvoorbeeld) , dan gaan de VM wel even offline maar kunnen ze gewoon op een van de andere nodes weer opgestart worden. Dat klopt?

Klopt. Dit kan zelfs automatisch.

De R710's hebben 8x 2.5" en ik zou 2x pci-e ssd kaart erin kunnen steken voor het OS. Dus zou ik er in principe wel 8 SSD's in krijgen voor storage.
Maar heb ik dan wel 4 servers nodig. Kan Ceph niet gewoon met 2 servers of 3 servers werken?

Ceph en Proxmox kunnen prima op drie servers werken. Op twee niet. Dan is het geen cluster meer.
Dus de 4e hoef je niet perse in te zetten.

En hoe ziet dat achteraf. Stel ik zet in 2 servers 4x SSD's. Kan ik dan achteraf eenvoudig SSD's toevoegen en de ceph storage vergroten?

Dat kan inderdaad. Heel klein beetje afhankelijk of de hardware extra disken als jbod ziet kan dat zelfs zonder een node down te halen. Het kan altijd zonder downtime van je VM's

En als de servers vol zitten, kan ik dan een 3de server erbij zetten met SSD's en ceph vragen om te herorganiseren? Zodat die extra server+ssd's als extra storage gebruikt kunnen worden?

Klopt. Aangezien je wel met drie moet beginnen zou je dus de 4e server erbij zetten. Tegen Ceph vertel je (met een crush map) dat er een vierde server bij is gekomen. De rest gaat vanzelf. Je ziet dan gelijk dat je storage gegroeid is.

@Tuxis_IE Hoe zit het met de Monitors en metadata servers?

"@Tuxis_IE Hoe zit het met de Monitors en metadata servers?"

Wat voor een probleem verwacht je? Kun je iets specifieker zijn?

Oorspronkelijk geplaatst door Tuxis_IE

"@Tuxis_IE Hoe zit het met de Monitors en metadata servers?"

Wat voor een probleem verwacht je? Kun je iets specifieker zijn?

Is het niet zo dat je naast je OSD's ook servers moet deployen voor monitoring en metadata? Ik heb het dan over fysieke bakken. Stel, ik wil mijn data op 3 nodes hebben, dan heb ik 3x OSD, 1-3x monitoring 1-3x metadata (kan zijn dat ik het verkeerd begrijp), dus in totaal zo'n 9 servers?

@Tuxis_IE

Ik lees dat Ceph monitors veel logs schrijven en hier en daar lees ik dat daarvoor SSD's het beste zijn.
Schrijft dat dan niet enorm veel data weg en zijn daardoor de SSD's sneller versleten?
Of valt dat nog goed mee , die hoeveelheid logs?
En nog een SSD voor de Ceph Journal las ik net... is Ceph op zich dan iets erg write intensive?

Oorspronkelijk geplaatst door sandermoors

Ik dacht de Kingston Savage SSD's van 480Gb te gebruiken. Die hebben een TBW van 480Tb en ik kan niets groter vinden tussen consumer SSD's.
Enterprise SSD's zijn momenteel echt te duur voor mij.

Ik zat de denken aan de helft Samsung 850 PRO 512Gb en de andere helft Kingston 480Gb en daarover een raid10 (of zfs?) waarbij de mirror altijd over twee type SSD zou staan.

Maar is ZFS mogelijk met SSD's? Het heeft toch geen TRIM ondersteuning?

Hoe slaan jullie je VM's op?

Mogelijk is mdadm + ext4 de betere keuze?

Kingston KC400 als alternatief? Deze heeft stroomverliesbescherming https://tweakers.net/pricewatch/4804...specificaties/

En 800TBW blijkbaar. Goede tip!