Onderwerp: Hardware voor CEPH

Ben momenteel aan het kijken naar uitbreiding op ons Ceph cluster. We gebruiken nu standaard HP DL380 servers met disken hiervoor maar ik vind dit nog best een dure oplossing.

Hoor daarom graag meningen van andere, welke hardware te gebruiken? Gaat allemaal om SAS met SSD caching.

Supermicro heeft hier geselecteerde hardware voor (http://www.supermicro.com/solutions/storage_ceph.cfm). Daarnaast werken veel Amerikaanse bedrijven met Quanta. Wij zelf hebben een (grootschalige) PoC gebouwt met de Huawei RH1288 server. Je wil eigenlijk de goedkoopste servers met 10G netwerk + dubbele voedingen. Die voedingen maken het vaak toch iets kostbaarder.

Oorspronkelijk geplaatst door SF-Jeroen

Je wil eigenlijk de goedkoopste servers met 10G netwerk + dubbele voedingen. Die voedingen maken het vaak toch iets kostbaarder.

Precies. Heb nu een offerte liggen van QCT (kende ik niet) maar qua prijzen kan ik dan net zo goed een HPDL380 nemen met 10G kaart. Per node vind ik het bedrag toch nog vrij fors.

Supermicro heb ik vanuit het verleden best slechte ervaring mee, maar dan heb ik het ook over 8-9 jaar terug. Ik moet een chassis met disken, verder geen poes pas. Dus al eens kijken naar SM.

Wij gebruiken Supermicro en dat gaat heel goed. We hebben voor klanten ook veel HP draaien.. Het gaat beide stuk en het een niet eens minder vaak, al zou je dat wel verwachten.

En kijk eens hiernaar: http://supermicro.nl/products/nfo/SATADOM.cfm
Voor caching, OS of andere dingen waar je geen slots voor wil gebruiken :-)

Hoi CharlieRoot,

Toch even een reactie op deze iets oudere thread, maar ik lees in andere posts dat je intussen wel redelijk wat ervaring hebt met Ceph.

Wij hebben momenteel nog zo goed als geen ervaring met Ceph, maar we hebben hier momenteel een 5-tal MD1200 met 3TB disks op overschot waar we iets mee willen doen.
Zou het interessant zijn om deze MD's te koppelen op HP DL380p machines via een HBA en zo een ceph cluster uit te testen? We wensen ook gebruik te maken van Proxmox, dus eventueel een hyper-converged oplossing, maar ikzelf ben eerder voorstander om de dingen toch nog wat "gescheiden" te houden in geval van problemen.

Wat denk je ? Gewoon uittesten en zien waar we uitkomen? HEb je eventueel enkel tips om rekening mee te houden?

Alvast enorm bedankt voor de feedback !

Mvg,
Wesley

Ben inderdaad ook erg benieuwd wat in deze de beste oplossing is.
Heb nu een aantal equallogics staan die toch langzaam aan vervanging toe zijn.

Oorspronkelijk geplaatst door Flexuro

Hoi CharlieRoot,

Toch even een reactie op deze iets oudere thread, maar ik lees in andere posts dat je intussen wel redelijk wat ervaring hebt met Ceph.

Wij hebben momenteel nog zo goed als geen ervaring met Ceph, maar we hebben hier momenteel een 5-tal MD1200 met 3TB disks op overschot waar we iets mee willen doen.
Zou het interessant zijn om deze MD's te koppelen op HP DL380p machines via een HBA en zo een ceph cluster uit te testen? We wensen ook gebruik te maken van Proxmox, dus eventueel een hyper-converged oplossing, maar ikzelf ben eerder voorstander om de dingen toch nog wat "gescheiden" te houden in geval van problemen.

Wat denk je ? Gewoon uittesten en zien waar we uitkomen? HEb je eventueel enkel tips om rekening mee te houden?

Alvast enorm bedankt voor de feedback !

Mvg,
Wesley

Hallo Wesley,

Ik heb er inderdaad veel tijd in gestoken omdat we op zoek waren naar storage en door de bomen het bos niet meer zagen. Iedere leverancier beloofd weer prachtige dingen maar ik ben echt iemand van de basic's. Als ik 75% van de functionaliteit niet gebruik, waarom zou ik het dan kopen? Ik wil gewoon snelle storage voor een goede prijs. Dat hebben we gevonden.

Ik zie geen reden waarom het niet zou werken met MD1200 aan een DL380, hoewel een 380 dan weer 2U is en je met en simpele 1U server af zou moeten kunnen toch? Maar dat is maar een detail (scheelt alleen wat ruimte) Ik zou dan wel elke MD1200 op een losse HP koppelen om zo te zorgen dat je voldoende spreiding hebt.

Ik ben voorstander van alles gescheiden houden;
- Public netwerk
- Storage netwerk
- Virtualisatie

Ik zou dus geen HP node combineren maar het is technische wel mogelijk. Het kan best tussen mijn oren zitten maar ik vind het altijd (voor mezelf) een veilig idee dat als iets stuk gaat ik meteen weet waar ik moet kijken. Combineer je rollen van een server dan is het lastiger te vinden. Ik zou dus gaan voor een Ceph cluster op basis van 10GBit, nodes met een MD1200 gekoppeld er aan. Alle HP's uitrusten met 2x 10GBIT (1x public en 1x storage). Hierna je Proxmox nodes koppelen over je public network.

Er zijn heel veel manieren om het in te richten dus je zult zeker een periode moeten spelen.

Hoi Charlie,

Bedankt voor de respons. We gaan hiermee alvast aan de slag. De testperiodes zijn over het algemeen de leukste