Onderwerp: Ceph als SAN

Oorspronkelijk geplaatst door Barend

Ik heb laatst gelezen (weet helaas niet meer waar) dat 10Gbit zelfs al wat te optimistisch is en dat je beter kunt gaan voor 20Gbit, 30Gbit of zelfs 40Gbit. Uiteraard hoe hoger hoe beter en hoe duurder.

Waar het op neer komt is het vooral nog heel veel zelfbouw (vinden veel mensen leuk) en dat het nog behoorlijk wat tijd en kennis kost eer je het stabiel krijgt. Wat wel als voordeel heeft dat het geheel behoorlijk is aan te passen naar eigen wensen in tegenstelling tot de commerciële kant en klare producten op de markt.

Bij storage gaat het vooral om latency. De latency van 10Gbit is gauw 4x zo laag als die van 1Gbit, maar 40Gbit is weer niet significant sneller dan 10Gbit.

De bandbreedte is het probleem eigenlijk nooit bij storage, latency, latency, latency.

Overigens kan je Ceph ook als product kant en klaar kopen. Fujitsu en SanDisk verkopen gewoon appliances.

Grote omgevingen zoals CERN en Yahoo! draaien inmiddels al op Ceph en nog velen gaan volgen. Het is een serieuze concurrent voor EMC, NetApp en EqualLogic.

Equallogic? Die komt in de verste verte niet in de buurt van Ceph als je het mij vraagt kwa functionaliteit. Je vergeet wel 3PAR naar mijn mening

Bumpje. Wist niet zo goed of ik hier een nieuw topic voor moest aanmaken.

Welke hardware gebruiken jullie voor Ceph en wat voor disks?

Volgens dit artikel: http://www.ispam.nl/archives/54967/s...van-pcextreme/

De cloudomgeving draait op hardware van Supermicro. Er wordt een mix gebruikt van HDD en SSD. Voor de HDD’s worden schijven van Western Digital en Seagate door elkaar gebruikt. Wat betreft de SSD’s wordt er weliswaar nog Samsung gebruikt maar hoofdzakelijk zijn ze van Intel. Dit merk blijkt het betrouwbaarst, aldus Den Hollander.

Hij vertelt verder dat dit geen enterprise drives zijn maar consumer grade producten. “De HDD’s zijn gewone 7200 rpm schijven van 3TB. De reden om consumentendrives te gebruiken is dat Ceph de opslag regelt. Ceph is gebouwd voor falende hardware en ondervangt het uitvallen van schijven. Daarom is ook geen dure RAID hardware nodig.” Het is duidelijk dat Ceph aanzienlijke besparingen op de investeringen
mogelijk maakt.

Oorspronkelijk geplaatst door Peter Bin

Bumpje. Wist niet zo goed of ik hier een nieuw topic voor moest aanmaken.

Welke hardware gebruiken jullie voor Ceph en wat voor disks?

Wij hebben een opstelling gemaakt met HP Proliant DL380Gen9 servers, hier passen SAS en SSD disken in. Wij gebruiken nu 900GB SAS en de performance is fenomenaal. Reden dat wij voor de 380 hebben gekozen is het aantal disken wat er in kan, zeer flexibel en uitbreidbaar. Daarnaast heeft dit model 4x 1Gbps ethernet die we als LACP trunk configureren. Andere optie is die vervangen voor 2x 10Gbps.

Bedankt voor jullie reacties.

Ik zit nog te twijfelen tussen SAS en normale SATA HDD's. Daarnaast gebruik maken van cache tiering met SSD's. Hoeveel IOPS haal je me die 900GB SAS in Ceph, @CharlieRoot ?

Oorspronkelijk geplaatst door Peter Bin

Bedankt voor jullie reacties.

Ik zit nog te twijfelen tussen SAS en normale SATA HDD's. Daarnaast gebruik maken van cache tiering met SSD's. Hoeveel IOPS haal je me die 900GB SAS in Ceph, @CharlieRoot ?

Ik heb nog geen test gedaan in het daadwerkelijk aantal IOPS. Zoals Wido- terecht noemt vond ik reactiesnelheid/latency meer van belang. Ik heb een vergelijk gemaakt tussen onze HP EVA (7200rpm disken), HP MSA (SAS15K) en Ceph (SAS15K). Ceph is overduidelijk winnaar in alle opzichten. Ter verduidelijking, wij draaien Xenapp/Terminal servers er op. De gebruiker(s) merken dus álle vertraging voor zover die er is.

Enige wat ik qua IOPS heb gezien (feiten die ik heb) is dat de EVA met 7200rpm schijven stikte bij 3000 iops. De hele load verplaatsen van de EVA naar Ceph zorgde voor éxtreem winst in snelheid/gebruikerservaring en inmiddels is de load minimaal 4 keer zo hoog geworden.

Oorspronkelijk geplaatst door Peter Bin

Bumpje. Wist niet zo goed of ik hier een nieuw topic voor moest aanmaken.

Welke hardware gebruiken jullie voor Ceph en wat voor disks?

Klopt, wij gebruiken gewone 3TB 7200RPM disks en gaan voor nieuwe servers naar 4TB. Gewoon de goedkope 7200RPM desktop disks. Faalt er 1, jammer dan, dan vervangen we die.

Oorspronkelijk geplaatst door Peter Bin

Bedankt voor jullie reacties.

Ik zit nog te twijfelen tussen SAS en normale SATA HDD's. Daarnaast gebruik maken van cache tiering met SSD's. Hoeveel IOPS haal je me die 900GB SAS in Ceph, @CharlieRoot ?

Ik zou geen SAS pakken, je kan beter voor die prijs 2x zo veel SATA kopen. Meer opslag en meer IOps. Houdt er wel rekening mee, bij Ceph moet je I/O parallel gaan draaien. Niet 1x bonnie++ starten en je daar op blind staren.

Verder is de cache tiering niet goed bruikbaar samen met de block devices, die vervuilen de cache te veel.

Bedankt voor de informatie!

Ik zit zelf te denken aan de Dell R320, 2x 10 Gbit en 2x Seagate 4 TB + 2x WD Red 4 TB. Mij lijkt de Dell R320 geschikt, iemand ervaring mee i.c.m. Ceph?

Ik zou voor zo goedkoop mogelijke servers gaan met dubbele voeding. WD Red is nu wel wat extreem budget, kies dan liever voor een 7200 rpm model. Wat Wido ook al zegt, Ceph is beter in parallele performance, niet in het behalen van maximale iops. Zeker op writes zal je niet veel meer dan 400 iops halen. Kies wel voor een SSD in elke node als journal met dergelijke trage disks. Dan profiteer je ook meteen van het sequentieel kunnen wegschrijven van data. Ik ben trouwens zelf geen groot fan van de Broadcom NICs van Dell. Ik kies zelf dan eerder voor een Intel of SolarFlare NIC.

Hmm, ik dacht dat de WD Red 7200 RPM had.. Bedankt voor de scherpe reactie!

Ook de journals op een SSD in elke node is goed om te weten. Ik ben zelf erg fan van Intel, dus er zullen waarschijnlijk Intel kaarten in komen.

Voor de servers moet ik nog even goed kijken.

De wd red is naar mijn weten een variabel toerental, de wd red pro is 7200 toeren.
Overigens een prima keuze, heb er bijna 100 van 4 TB in gebruik in leeftijd varierend
tussen de 1 en 2 jaar.
De eerste moet nog kapot gaan, dat gezegd hebbende zal ik wel een drukke week krijgen....

Oorspronkelijk geplaatst door Peter Bin

Hmm, ik dacht dat de WD Red 7200 RPM had.. Bedankt voor de scherpe reactie!

Ook de journals op een SSD in elke node is goed om te weten. Ik ben zelf erg fan van Intel, dus er zullen waarschijnlijk Intel kaarten in komen.

Voor de servers moet ik nog even goed kijken.

Zo veel mogelijk kleine servers, dáár komt je performance vandaan.

Je kan kijken naar de Intel S3500, S3700 of eventueel de Samsung SM836 SSD's. Beide kunnen goed overweg met veel writes, dat hebben journals nodig.

Een Ceph cluster draait naar mijn mening pas lekker vanaf 10 fysieke nodes (ex de monitors). Daarna wordt het alleen maar beter als het groter wordt.

Recentelijk een 180 nodes, 1800 disks Ceph cluster gemaakt. Daar voel je één node uit zetten gewoon nagenoeg niet.

Oorspronkelijk geplaatst door Wido

Zo veel mogelijk kleine servers, dáár komt je performance vandaan.

Je kan kijken naar de Intel S3500, S3700 of eventueel de Samsung SM836 SSD's. Beide kunnen goed overweg met veel writes, dat hebben journals nodig.

Een Ceph cluster draait naar mijn mening pas lekker vanaf 10 fysieke nodes (ex de monitors). Daarna wordt het alleen maar beter als het groter wordt.

Recentelijk een 180 nodes, 1800 disks Ceph cluster gemaakt. Daar voel je één node uit zetten gewoon nagenoeg niet.

Bedankt voor de informatie!

Heb je al die servers met 2x 10 Gbit aangesloten?

10 Gbps is wel een must. Wij hadden elke Ceph node met 2x 10 Gbps uitgerust en elke hypervisor met 4x 10 Gbps (apart storage netwerk). De switches onderling met 2x 40 Gbps. Wanneer Ceph gaat recoveren trek je de links zo vol.