11/12/15 11:31
Oke, ik vernam ook dat de latency met glas een groot verschil kan maken. Goed om te weten dat Ceph die links flink zal benutten.Oorspronkelijk geplaatst door SF-Jeroen
Voor de SSD; hebben jullie hier zowel journal als OS op staan? Als ik een server heb met ruimte voor vier 3.5" disks, kan ik drie benutten voor Ceph storage en dan één voor een SSD (OS+journaal).
11/12/15 13:11
Ja, alles is 10Gbit.
En vooral latency. De Latency over 10G is ongeveer 3 tot 4x lager dan via 1G. Dat is wat je wil.
Ceph, CloudStack en ZFS consultancy: 42on B.V.
Lees hier de webhostingtalk.nl forum regels en voorwaarden!
11/12/15 14:27
Wij draaien alle ceph nodes nu met 4x 1Gbps en tot op heden nog geen enkele issue mee gehad. Hangt natuurlijk wel van het aantal nodes af. Heb je ergens een voorbeeld van de performance winst als je naar 10Gbps gaat? Onze nodes komen nooit boven 2-3 Gbit aan traffic uit (nu)
Skynet ICT B.V. - The cause of the problem is: the printer thinks its a router.
11/12/15 14:42
Latency, latency, latency. Dat is het hele verhaal. Bandbreedte is niet zo boeiend, latency wel. Hoe lager, hoe beter
Ceph, CloudStack en ZFS consultancy: 42on B.V.
Lees hier de webhostingtalk.nl forum regels en voorwaarden!
11/12/15 17:17
Dit is een hele mooie topic! Er wordt veel over de disken gesproken en wat hierbij gebruikt wordt, maar wat ik mis is het netwerk gedeelte. Vandaar mijn volgende vraag:
Wat voor nics en switches gebruiken jullie? Gestacked?
Zelf zijn we bezig met het uitrollen van een ceph-clustertje met 22 osd nodes, 44 disken, 3 monitoring nodes en 1 management node.
Op dit moment gaat dit over 2gbit per node. Kan uitgebreid worden naar 4gbit of naar 10gbit. Waar ik hier bijvoorbeeld mee zit is het aantal switchpoorten en hoe dit het beste opgesteld kan worden. Momenteen heb ik hiervoor 2x 48 poorten gestacked.
@Wido & @SF-Jeroen , wat voor hardware gebruiken jullie voor het netwerk?
@CharlieRoot , hoe heb jij je gbit netwerk opgesteld?
11/12/15 17:44
Dat is nogal een vraag. Welk deel? :-)
Skynet ICT B.V. - The cause of the problem is: the printer thinks its a router.
11/12/15 22:40
Wij gebruiken Huawei CloudEngine CE6810-48S4Q-EI switches, deze zijn uitgerust met 48x 10 Gbps SFP+ poorten en 4x 40 Gbps QSFP+. Kosten de helft van een Juniper EX4550. Absoluut een aanrader, we hebben ze al maanden onder full load in productie hangen, nog geen enkele issue gezien. Wat betreft NICs, deze zijn vooral Intel 82599 gebaseerd.
12/12/15 10:38
Ik werk veelal als Ceph consultant, bijna de hele week door, dus ik heb nogal wat Ceph cluster gebouwd. Van enkele nodes tot honderden nodes groot.
Welke hardware? SuperMicro, Dell, HP, allemaal gebruikt. Switching zelfde, Cisco, Dell, Extreme Networks, Brocade, ook allemaal gezien.
Ik herhaal het nog een keer: latency, daar wil je op letten. Ook je failure domains. Verspreid je replica's in Ceph over failure domains.
Ceph, CloudStack en ZFS consultancy: 42on B.V.
Lees hier de webhostingtalk.nl forum regels en voorwaarden!
12/12/15 11:39
Het gedeelte van het netwerk tussen de cephnodes
Wat voor switches heb je er tussen hangen en hoe zijn deze opgesteld? maak je gebruik van pair bonding?
12/12/15 11:42
Dank je voor de info. dat ziet er inderdaad netjes uit. Ik begrijp dat jullie alles over glas hebben lopen.
Zit er veel verschil tussen 10gbps over glas en over koper?
Ik neem aan dat je de switches redundant hebt opgesteld. heb je deze gestackt?
13/12/15 14:50
Op dit moment:Het gedeelte van het netwerk tussen de cephnodes
Wat voor switches heb je er tussen hangen en hoe zijn deze opgesteld? maak je gebruik van pair bonding?
2x HP 5800 switches als stack (20G tussen de twee)
Alle servers aangesloten met:
4x 1Gbps op de twee stacked switches. Hierdoor kunnen we 4Gbps benutten maar bij uitval is altijd nog 2Gbps beschikbaar.
Skynet ICT B.V. - The cause of the problem is: the printer thinks its a router.
13/12/15 17:39
Ik heb zelf nog niet met Ceph gespeeld maar er al veel over gelezen..
Maar door het feit dat je zoveel nodes nodig hebt, wordt het toch ook een dure grap qua hardware , stroom en colocatie van het geheel? Of wordt dat dan weer goedgemaakt omdat het zo goed is ?
Xenius.be | Our solutions, our products, your success !
13/12/15 19:06
Ik heb geen ervaring met 10 Gbps over koper, dus dat antwoord moet ik je schuldig blijven. De switches zijn inderdaad gestacked, maar ze ondersteunen ook MLAG. Het is dat we alle andere switches ook als stack hebben draaien, maar anders was ik voor MLAG gegaan. Vooral omdat Juniper (die we ook een hoop hebben) NSSU "toch niet helemaal" blijkt te ondersteunen.
@bibawa : Als je nu maar een paar servertjes hebt is het inderdaad duur, maar als je nu al tientallen racks hebt met dure storage appliances dan is het juist heel goedkoop, en belangrijker: schaalbaar. Je NetApp / ZFS server schaalt namelijk niet door qua performance (en maar tot een bepaald getal als je kijkt naar capaciteit.). Ook qua redundancy zit je beter met Ceph. Dus eigenlijk 3 voordelenOverigens is het idee van Ceph dat je zo goedkoop mogelijke hardware gebruikt (maar wel met 2 voedingen!).
Laatst gewijzigd door SF-Jeroen; 13/12/15 om 19:08.
13/12/15 20:22
Ik vraag me af waarom er zo wordt gehamerd op twee voedingen. Als er een node uitvalt, is dat toch niet zo erg?Ik heb geen ervaring met 10 Gbps over koper, dus dat antwoord moet ik je schuldig blijven. De switches zijn inderdaad gestacked, maar ze ondersteunen ook MLAG. Het is dat we alle andere switches ook als stack hebben draaien, maar anders was ik voor MLAG gegaan. Vooral omdat Juniper (die we ook een hoop hebben) NSSU "toch niet helemaal" blijkt te ondersteunen.
@bibawa : Als je nu maar een paar servertjes hebt is het inderdaad duur, maar als je nu al tientallen racks hebt met dure storage appliances dan is het juist heel goedkoop, en belangrijker: schaalbaar. Je NetApp / ZFS server schaalt namelijk niet door qua performance (en maar tot een bepaald getal als je kijkt naar capaciteit.). Ook qua redundancy zit je beter met Ceph. Dus eigenlijk 3 voordelen
13/12/15 21:03
Likes: 
Quote