https://www.openworx.nl | Cloud diensten - IT - ERP - Odoo Hosting
Op dit moment draaien we met 4 storage nodes. Oh en, misschien ook leuk:
Ik wilde een manier om zowel met Fiberchannel als met ISCSI te kunnen werken. Deels om de flexibiliteit en deels omdat we nou eenmaal ook legacy hebben. Ook wilde ik redundancy naar Ceph toe.
Ik heb dit opgelost door twee nodes (ik noem ze altijd proxy) tussen onze Hypervisor servers en Ceph te plaatsen (ik noem ze CEPH-PRX01/02). Deze twee proxyservers gebruiken RBD om de disk te laden/mounten vanaf Ceph en deze te distribueren via targetcli over iscsi en DC.
Skynet ICT B.V. - The cause of the problem is: the printer thinks its a router.
Nog een vraagje
Is het mogelijk om 2 public networks aan te maken om zodoende switch redundantie te creëren tussen je CEPH cluster en je VM nodes?
Moet je dan meerdere monitors aanmaken op één machine met meerdere public IP's of hoe zou je dit kunnen doen?
In proxmox geef ik bij de RBD connectie de verschillende monitors op, verbind hij daarmee dus om de VM storage te doen? Of verbind hij direct met de OSD servers?
Waarom zou je 2 public networks willen aanmaken? Je kunt toch gewoon active-failover of MLAG gebruiken voor je redundantie? De CRUSH-map van je monitors wordt gesynced naar je clients, dus hij verbindt direct naar de OSD nodes bij een request.
Ik zoek eigenlijk een manier om redundantie te creëren naar de VM nodes toe met relatief simpele 10GBIT switches die geen stack mogelijkheden hebben of MLAG.
Vandaar dacht ik aan 2 public networks, of is er nog een andere optie?
Je hebt ook de mogelijkheid om switch independent te kiezen voor je LAG.
Skynet ICT B.V. - The cause of the problem is: the printer thinks its a router.
In mijn test servers voor Ceph zitten P410 raid controllers met 512MB cache.
Deze kunnen geen JBOD, maar je kunt wel één enkele schijf in RAID0 zetten.
Wanneer we de schijven los testen worden deze veel sneller door de cache van de raid controller ervoor dan wanneer je hem los aanstuurt. Ook bij SSD's heb je meer IOPS.
Is het slim om zoiets in de productie te gaan gebruiken? Dus geen JBOD maar RAID0 per schijf en zo extra performance behalen door de RAID controller caching?
Is de performance van de RAID controller nog steeds beter als je 4 disks tegelijk gaat belasten? Ik verwacht dat de cache voordelen dan te verwaarlozen worden.
Zou de raid controller de performance ook omlaag kunnen trekken of is het baat het niet dan schaad het niet?
Wat gebruiken jullie? Jbod of raid 0?
Uit mijn eigen benchmarks bleek niet veel verschil tussen de performance van JBOD t.o.v. (single-disk) RAID-0. Afhankelijk
van de exact gebruikte set-up was de ene keer JBOD sneller en de andere keer (single-disk) RAID-0. Het idee van Ceph
is zoveel mogelijk goedkope (commodity) hardware in te zetten. In mijn visie valt een (relatief dure) RAID-controller met
cache daar niet onder. Bovendien moet je dan ook weer een BBU/supercapacitor hebben.
Of het sneller is hangt denk ik heel erg van je set-up (replicated of erasure, cache tiering, journals, etc.) en workload af.
Skynet ICT B.V. - The cause of the problem is: the printer thinks its a router.
Als je server geen JBOD ondersteunt heb je niet veel andere keuze dan het zo te doen..
Wij draaien ook zo al een jaar in productie daar nog nooit op issues gelopen..
Xenius.be | Our solutions, our products, your success !
Heeft CEPH baat bij grote caching SSD's? Dus beter 960GB er in zetten dan 480GB als je cache tiering write back gebruikt? Of wordt er slechts een beperkt deel van de SSD gebruikt?