Onderwerp: Mogelijkheden - schaalbaarheid en virtualisatie met VMware

Goedenavond,

Ik ben op het moment bezig met het omzetten van onze omgeving (alleen maar hardware en losse installaties) naar een virtualisatie platform "ESXI - Vmware".

wij hebben 1 HP proliant DL360 G5 waar ubuntu 12.04 LTS op draaid. ROLES: Mysql Database / Webserver / en DNS mail en ftp.
nu hebben wij nog een DL360 G5 die wij tijdelijk lenen om onze omgeving te kunnen virtualiseren tijdens onze omgeving gewoon up en running is.

ik heb nu een van de servers op ESXI 5.1. draaien en vroeg mij af:
optie 1 , optie 2 of optie 3?

ik weet verder niet of optie 3 wel mogelijk is en of hoe dit beter kan.
Alle tekeningen heb ik zelf gemaakt. De current is hoe het nu is.

de opzet is een Schaalbare webserver sql omgeving.
optie 1 kan maar is dit dan later uitvoerbaar in optie 3?
of is optie 2 dan beter (is wel duurder door de Shared storage / SAN).

Ik hoor graag als iemand tips heeft voor me.
Alvast bedankt. en zoals gewoonlijk elke reactie krijgt een Like.

Shared storage in combinatie met de juiste VMware licentie (http://www.vmware.com/nl/products/da...pare-kits.html) heeft een aantal voordelen, zoals bijvoorbeeld vSphere HA die je een automatische failover kan doen op het moment dat een van je ESXi hosts onderuit gaat, of bijvoorbeeld vMotion om een VM tussen hosts te verplaatsen zonder downtijd. Daarbij krijg je ook nog een licentie voor vCenter foundation waarmee je 3 hosts kunt managen in een centrale omgeving. Nu zul je los verbinden met de server via de vSphere client. Als je een tweede server erbij pakt zul je ook los verbinden. Via vCenter kan je centraal managen.

Of het echter de beste oplossing is voor jou durf ik zo niet te zeggen, misschien dat je er met 2 losse servers ook kunt komen. Alles staat of valt met je applicatie, en die setup van de 2 servers. Zonder shared storage krijg je dus gewoon losse virtuals die zelf de replicatie regelen, het zij via een DRDB of een MySQL master master setup. Ook dat brengt weer beheerskosten met zich mee, dus elke oplossing heeft voor en nadelen.

Ook de VMware oplossing heeft nadelen, want je hebt in principe maar 1 SAN. Nu is een goede SAN (zoals ook die HP's) standaard voor een deel redudant uitgevoerd, maar het blijft feitelijk 1 box. En om gebruik te kunnen maken van de VMware opties heb je minstens 2 hosts en een shared storage nodig, tesamen met de juiste licentie. Dat is in elk geval een stuk kostbaarder qua aanschaf, maar misschien wel makkelijker qua beheer, als je accepteert dat bij het uitvallen van een fysieke machine een aantal minuten downtijd is tot de omgeving weer volledig geboot is op de overlevende node.

Optie 2 aangepast:

2x esxi host
1x hp lefthand starter kit

Puur voor high availability wat verhaeg al aangeeft, je zal alleen even de juiste vmware licentie/pack moeten uitkiezen. Als je toch bezig bent, doe het dan meteen goed zou ik zeggen! Het geeft je veel flexibiliteit voor toekomstige uitbreidingen en/of onderhoudvensters.

Even buiten de productkeuze, zie je vaak dat virtualisatie het mogelijk maakt om verschillende services te scheiden in VPSsen.
Dit geeft buiten security voordelen, ook fijne performance voordelen.
Wisselen van optie 1 naar optie 2 of 3 is relatief eenvoudig als je eenmaal in vpssen denkt. Ik heb meer dan ik had gewild vpssen verhuist van storage, van datacenter, van ip, van hardware of alles tegelijkertijd dan me lief is.
Voorlopig zou ik je willlen meegeven, verhuis naar 1 vps waar je weer alles opbouwd wat je nu hebt, maar pak niet alle resources, zodat je ruimte hebt om dingen buiten je alles-in-1 oplossing te verplaatsen.

Goedenavond,

ik heb zojuist gelezen dat je een server niet kan spreiden over meerdere esxi hosts.
kan dit kloppen? en zo ja hoe doen datacenters zoals bij onze grote voorbeelden het dan met de SQL data en server load?

Oorspronkelijk geplaatst door menno192

Goedenavond,

ik heb zojuist gelezen dat je een server niet kan spreiden over meerdere esxi hosts.
kan dit kloppen? en zo ja hoe doen datacenters zoals bij onze grote voorbeelden het dan met de SQL data en server load?

Natuurlijk kan dat kloppen.
Als je nu wat meer detail gegeven had over wat je las en waar, hadden we wat beter kunnen uitleggen hoe dat zit.

En (op hoofd-hoofdlijnen) is wat grote voorbeelden doen om te schalen is een architectuur kiezen die niet afhankelijk is van een bottleneck die op een enkele server(instance) moet draaien.
Je kunt een 'server' natuurlijk een eind op hardware schalen (meer cores, meer cpus) terwijl het basis beeld voor software van een enkel os en shared memory in stand blijft.
Maar om nog verder te groeien moet je zien over te stappen naar een ontwerp waarin de makkelijke garantie die je van een enkele machine of van een enkele database 'automatisch' krijgt niet meer nodig is .
De grote groei van 'NoSQL' "databases" is daar ook een voorbeeld bij.

Die stap is niet makkelijk, en niet simpelweg 'kies nu de optie 'parallel' .

Oorspronkelijk geplaatst door menno192

Goedenavond,

ik heb zojuist gelezen dat je een server niet kan spreiden over meerdere esxi hosts.
kan dit kloppen? en zo ja hoe doen datacenters zoals bij onze grote voorbeelden het dan met de SQL data en server load?

Dat kan wel, met Fault Tolerance. Daarmee heb je een primary en een secondary VM, die in het geval van een failover meteen overspringen. Dan heb je nog steeds maar 1 active instance.

@verhaeg, klopt maar FT zorgt wel voor een vlekkeloze overgang wanneer een node omvalt, resultaat is dus 0% downtime (tenzij het hele datacenter op zijn gat gaat). Je kan maar een beperkt aantal FT per node aanmaken, zo uit mijn hoofd zijn dit er 8. Het vergt namelijk nogal veel werk om active/standby bij te houden real-time.

Tja Fault Tolerant met VMware bestaat al een tijdje en is best nuttig, maar er kleven wat haken en ogen aan en is zeker niet aan te raden voor iemand die vrij vers is met VMware en virtualisatie. Voor wat hij daar schetst lijkt me dat hij bedoeld "scale out" en dat doe je niet echt als je beperkt bent met 1 vCPU per guest. Aangezien FT nog steeds geen SMP ondersteund is de techniek vooral nuttig om SLA levels beter te kunnen garanderen, maar niet om de performance op te schroeven. En SLA levels garanderen kan je alleen als je echt intiem bent met de technologie anders vermoed ik dat het effect andersom is terwijl je leert hoe het werkt.

Ik vermoed dat TS zoekt naar een manier om zijn services te clusteren, al kijkende naar zijn "optie 3".
Maar clustering is een vak apart en is zoals visser al terecht opmerkt niet ergens een schakelaartje aanzetten. Wat hij wel kan doen is alles functioneel opdelen in aparte VMs zoals eerder is gesuggereerd en dan zijn VMs verdelen over meerdere hosts. Als hij 3 hosts neerzet en shared storage met 2 hosts actief, waarbij hij de load over die 2 hosts verdeeld, dan kan hij nog steeds opschalen op 2 hosts en voor fallback of tijdens onderhoud de 3e host gebruiken. Dat is een vrij flexibele setup. Dat kan eventueel zelfs met 2 hosts, maar wees dan voorzichtig dat je tijdens onderhoud echt wel alles op 1 host fatsoenlijk kan draaien, want anders gaat de performance er wel heel zwaar onder lijden.

Oorspronkelijk geplaatst door Pantsy

@verhaeg, klopt maar FT zorgt wel voor een vlekkeloze overgang wanneer een node omvalt, resultaat is dus 0% downtime (tenzij het hele datacenter op zijn gat gaat). Je kan maar een beperkt aantal FT per node aanmaken, zo uit mijn hoofd zijn dit er 8. Het vergt namelijk nogal veel werk om active/standby bij te houden real-time.

Max is 4 FT VM's per host.. Mijn punt was echter dat FT die functionaliteit aanzich wel biedt, met wat haken en ogen, SMP, thick disks, etc, je hebt er niet voor niets een aparte checkbox voor op je VMkernel ports . Dat even terzijde (gotta love VMware) denk ik dat het beter is om een deel van de HA in de applicatie te zetten. Dat houdt dus in dat de applicatie stateless moet zijn en om kan gaan met database failovers. Als je daar zelf beperkte kennis in hebt dan loont het misschien om hier iemand voor te vragen.

Oorspronkelijk geplaatst door T. Verhaeg

Als je daar zelf beperkte kennis in hebt dan loont het misschien om hier iemand voor te vragen.

Ik weet hoe je dit bedoelt, maar meestal is dat maar de vraag, loont het werkelijk om dit soort ingewikkelde omgevingen te willen bouwen en daar (dure) experts voor binnen te halen en wat levert dat werkelijk op?
Voor een hele groep kleine hosters zal die kosten/baten rekensom erg negatief uitvallen.

Denk er ook aan dat je om het HA te maken ook de storage goed uit moet voeren. Hiervoor zou ik (gezien de verhalen/situaties die ik tot nu toe bij derden heb gezien) toch echt kiezen voor een oplossing bestaande uit meerdere (minimaal 2) storage servers met automatische failover.

Mja, de maatjes Schaalbaarheid, Redundantie, Performance en Rendement zul je niet vaak aan 1 tafel in de kroeg tegenkomen

Het schalen van www, ftp, dns, mail e.d. stelt weinig voor. Het is handig als je daar een vpsplatform voor hebt maar nodig is het echt niet.

Het schalen van MySQL daarentegen is eigenlijk redelijk 'lastig' omdat mysql daar niet écht voor geschikt is: je kunt master/master setups gebruiken, partitioneren, dbs over servers verdelen en nog wel een paar truukjes, maar als puntje bij paaltje komt is het 1 core die je query uitvoert en als die niet snel genoeg met resultaat komt, dan is het vaak gewoon einde oefening. Dan kun je beter kijken naar een nosql variant en dat is geen kwestie van 'even' overschakelen. Dus je mysql op een vps gooien gaat je vrij weinig opleveren.
Uitgaande dat je nu alles op 1 server hebt draaien en je groeit niet in de xxx% per jaar, is het wellicht beter om nu en dan wat ram bij te prikken of een proc. te upgraden.

Wil je toch virtualiseren (als met doel om de boel HA te krijgen) dan kán dat weliswaar al met 2 servertjes en een beetje sterke sysadmin kung-fu, maar dan zou ik toch kijken naar een redundant san (niet 1 bakkie met 2 powerfeeds, maar 2 bakkies met een 10Gb ertussen voor de replicatie). Maar zelfs zonder storage of vps-node licenties spreek dan al heel snel van bedragen van 5 cijfers aan hardware.

Volgens mij staat dat gewoon nu niet in verhouding met die enkele server die je 'current' hebt.

Oorspronkelijk geplaatst door Mark17

Denk er ook aan dat je om het HA te maken ook de storage goed uit moet voeren. Hiervoor zou ik (gezien de verhalen/situaties die ik tot nu toe bij derden heb gezien) toch echt kiezen voor een oplossing bestaande uit meerdere (minimaal 2) storage servers met automatische failover.

Dat is wat Lefthand doet op storage level, is dan al opgepakt/opgelost.

FT is zeker geen clustering en ja er zitten zeker haken en ogen aan, dan nog steeds een nette oplossing.

Op software laag clustering gaan doen zoals met SQL of web servers lijkt mij aan te raden, kosten hiervan hoeven niet persé hoog te liggen.

Goedemiddag,
Wij hebben alles in eigen beheer.
ik ben nog aan het onderzoeken en vrij nieuw in het virtualiseren met Linux en Vmware.
zelf heb ik meer ervaring met Microsoft en Hyperv