Onderwerp: Hoe het best een cluster bouwen?

Beste collega's

Ik zou graag wat hulp willen vragen.

Wij draaien inmiddels al enige tijd in 2 Datacentrums met een aantal van onze servers. Eindelijk hebben we nu een eigen subnet van Ripe gekregen en hebben we mooie BGP routers in onze kasten staan.

Nu willen we toch meer een cluster maken zodat het schakelen tussen de VM's een eitje moet worden.

Wat de setup nu is (huidige en straks oude situatie) hebben in beide locaties een aantal HP Proliants staan met de gratis versie van ESXi.

Eigenlijk kost het verplaatsen van een machine nu al teveel tijd, de vm moet eerst uit en dan kan die verplaatst worden naar een andere host. dit moet volgens mij simpeler kunnen.

vSphere hebben we naar gekeken, maar vind ik behoorlijk prijzig als ik per CPU en machine kijk.

Wat zijn jullie ervaringen met virtualisatie en het live migreren van vm's en zelfs naar andere locatie? HA?

Ik hoop dat jullie, jullie ervaringen willen delen die mij kan helpen in het maken van een keuze voor een stabiele en snelle oplossing.

Hartelijk dank alvast.

Wellicht naar Promox kijken als je VMware te duur is?

Een Proxmox cluster binnen 1 datacenter is de goedkoopste optie.

Als je een dual datacenter cluster wil bouwen heb je ook 2 darkfibers of 2 wavelengths nodig (geen ethernet diensten in ieder geval, latency te onvoorspelbaar) tussen beide datacenters. Daarnaast wil je dan nog iets van VXLAN omdat je layer2 stretchen over 2 datacenters geen goed idee is.

Een dual datacenter setup is officieel niet supported door Proxmox. Het kan wel, maar dan moet je wel weten wat je doet en alles goed testen.

Dank voor je antwoord!

Proxmox inderdaad wat over gelezen, ik zal het eens gaan testen.

Denk dat 2 losse clusters zal gaan worden, in beide DC's hebben we alles al redudant uitgevoerd.

IK denk dat het voor een aantal servers dan al voldoende zou zijn om meerdere keren per dag een snapshot te maken en die te repliceren naar de andere kant.

Zijn er goede backup/snapshot oplossingen voor Proxmox? we gebruiken nu bijvoorbeeld voor ESXi Nakivo en Active Backup van Synology dat werkt wel erg mooi, maar die opties zie ik zo nog niet voor P

Wat je beter eerst kan doen is opschrijven welke taken je wilt automatiseren, welke kosten je daardoor kan besparen (denk aan tijd, (extra) personeel, disaster recovery etc.). Leg vervolgens vsphere en proxmox naast elkaar en dan krijg je een beter beeld en kan je een beslissing nemen welke oplossing het beste bij jouw organisatie en klanten past. Bij ons was dat vsphere, betrouwbaarheid, snelheid en efficientie speelde daarbij een hoofdrol naar onze klanten toe.

ZFS of ceph sync? Dan kan je eventueel een sneller restore doen als disaster recovery.

Ik heb gewerkt aan een OpenStack + Ceph cluster gestretcht over 2 locaties. Werkt prima.
Ook een cluster gehad met oVirt + SAN (ISCSI) over 2 locaties. Werkt ook prima.

Een dual datacenter setup is officieel niet supported door Proxmox. Het kan wel, maar dan moet je wel weten wat je doet en alles goed testen.

Met Proxmox heb ik weinig gedaan (te lang geleden). Maar Proxmox hoeft helemaal niet te weten dat het om 2 fysieke locaties gaat, dus dit begrijp ik niet helemaal. Waarom moet je icm Proxmox & fysieke locaties weten wat je doet en hoeft dat bij een ander product niet?

Waar ben je specifiek naar op zoek? Welke informatie mis je?

Oorspronkelijk geplaatst door xaban

Met Proxmox heb ik weinig gedaan (te lang geleden). Maar Proxmox hoeft helemaal niet te weten dat het om 2 fysieke locaties gaat, dus dit begrijp ik niet helemaal. Waarom moet je icm Proxmox & fysieke locaties weten wat je doet en hoeft dat bij een ander product niet?

Het ligt aan het onderliggende systeem (Corosync) wat Proxmox gebruikt voor het bepalen welke nodes online/offline zijn.
Er moet een meerderheid (quorum) zijn aan votes om te bepalen welke nodes online zijn. In beide datacenters moet je daarom evenveel nodes hebben en minimaal 1 externe vote (Qdevice), of 3 datacenters met een gelijk aantal nodes.

Als Proxmox geen quorum heeft gaan alle nodes herstarten in beide datacenters.
Dat is iets wat je niet wil.

Meer info: https://pve.proxmox.com/wiki/Cluster_Manager

Zijn laatst toevallig mee bezig geweest.

Miss handige youtube linkje


Cluster replicatie was wel een bandwidth killer

Hartelijk dank allen voor jullie antwoorden.

Wat me wel opvalt in alle filmpjes en uitleg dat mensen identieke servers gebruiken.. ik heb in het DC verschillende Proliant DL360's Gen8, Gen9 en Gen10's staan met verschillende processeren.. dat kan ook prima in 1 cluster werken?

Oorspronkelijk geplaatst door rvdk92

Hartelijk dank allen voor jullie antwoorden.

Wat me wel opvalt in alle filmpjes en uitleg dat mensen identieke servers gebruiken.. ik heb in het DC verschillende Proliant DL360's Gen8, Gen9 en Gen10's staan met verschillende processeren.. dat kan ook prima in 1 cluster werken?

Uiteraard kan je je hypervisors mixen.

Mooi gaan we vandaag eens testen.

Uiteraard is niet zo vanzelfsprekend. Op bijvoorbeeld VMware wordt het afgeraden om verschillende hardware te mixen. Een cluster neemt namelijk de CPU instructieset aan van de oudste hardware en presenteert dat aan de virtuele servers. Virtuele servers die op nieuwere hardware/hosts draaien hebben daardoor geen profijt van nieuwere instructiesets. Dit mechanisme werkt zo om live migraties te ondersteunen en geen instabiliteit naar het guest OS te veroorzaken.

Ik weet niet hoe dit bij andere virtualisatie software werkt maar hou er rekening mee dat het iets is om goed uit te zoeken.

Oorspronkelijk geplaatst door DutchTSE

Uiteraard is niet zo vanzelfsprekend. Op bijvoorbeeld VMware wordt het afgeraden om verschillende hardware te mixen. Een cluster neemt namelijk de CPU instructieset aan van de oudste hardware en presenteert dat aan de virtuele servers. Virtuele servers die op nieuwere hardware/hosts draaien hebben daardoor geen profijt van nieuwere instructiesets. Dit mechanisme werkt zo om live migraties te ondersteunen en geen instabiliteit naar het guest OS te veroorzaken.

Ik weet niet hoe dit bij andere virtualisatie software werkt maar hou er rekening mee dat het iets is om goed uit te zoeken.

De betreffende HCL's van de hypervisorts nakijken is echt geen overbodige luxe inderdaad en gezond verstand gebruiken ook niet. Als je een failover krijgt en je hebt een cluster in een ander dc met niet genoeg ram, cpu of iops e.d. dan heb je gewoon 2 lokaties op zijn bek. Daarom dat vaak ook voor dezelfde setup wordt gekozen.

Oorspronkelijk geplaatst door DutchTSE

Uiteraard is niet zo vanzelfsprekend. Op bijvoorbeeld VMware wordt het afgeraden om verschillende hardware te mixen. Een cluster neemt namelijk de CPU instructieset aan van de oudste hardware en presenteert dat aan de virtuele servers. Virtuele servers die op nieuwere hardware/hosts draaien hebben daardoor geen profijt van nieuwere instructiesets. Dit mechanisme werkt zo om live migraties te ondersteunen en geen instabiliteit naar het guest OS te veroorzaken.

Ik weet niet hoe dit bij andere virtualisatie software werkt maar hou er rekening mee dat het iets is om goed uit te zoeken.

De vraag is of het in 1 cluster zal werken, ja uiteraard gaat dat werken. TS geeft aan dat VMWare te duur is. OpenStack en oVirt werken beide prima met mixed hardware. Ik ben benieuwd waarom VMWare het afraad, heb je een link waarin ze het afraden? Ben benieuwd wat hun beweegredenen zijn.

Oorspronkelijk geplaatst door systemdeveloper

De betreffende HCL's van de hypervisorts nakijken is echt geen overbodige luxe inderdaad en gezond verstand gebruiken ook niet. Als je een failover krijgt en je hebt een cluster in een ander dc met niet genoeg ram, cpu of iops e.d. dan heb je gewoon 2 lokaties op zijn bek. Daarom dat vaak ook voor dezelfde setup wordt gekozen.

HCL & Mixen van hardware staan los van elkaar. Ik neem aan dat als je een multi-DC cluster gaat bouwen, je rekening houd dat 1 DC kan falen en de ander dan wel voldoende capaciteit moet hebben. Dat je er op zijn minst over hebt nagedacht en het mogelijk een geaccepteerd risico is.

Vraag van TS is simpel, kan je een cluster bouwen met mixed hardware. Ja, uiteraard kan dat. Of het verstandig is is een 2e.

https://blogs.vmware.com/vsphere/201...explained.html

Afraden was misschien iets te overdreven, als je weet wat je doet als VMware beheerder dan kun je het veilig inzetten. Het gaat er ook niet om of het werkt maar of je de optimale performance uit je hardware haalt

Maar gezien er met gratis ESXi gewerkt wordt lijkt het operationele niveau voor stretched datacenter clusters en EVC mode optimalisatie nog een paar stappen verder weg. Er zijn nog zoveel factoren om rekening mee te houden.. denk eens aan je storage latency bijvoorbeeld.