Verschillen 'normale' VPS en VMWare ESXi met vSphere

Hallo allemaal,

Sinds ik over ben naar een virtuele HA VmWare server met vSphere, wat zeer goed werkt, ben ik geinterreseerd geraakt in het beheren en opzetten van een eigen virtuele vSphere omgeving. Nu probeer ik in dit stadium de verschillen tussen een 'normale' VPS (?) en de schijnbaar zeer geavanceerde techniek van huidige virtuele servers te achterhalen. Ik loop op dit gebied toch wat achter en als het gaat om een 'virtuele server' bedenk ik mij nog een beetje de instabiliteit van jaren geleden, waarbij toch vaak berichten in het nieuws waren van instabiele of onbereikbare virtuele servers.

Kan iemand uitleggen wat nu precies de verschillen zijn en waarom 50% van de systemen wereldwijd op virtuele machines draait (van horen zeggen)? Ik ga er op dit moment voornamelijk vanuit dat dezelfde techniek gebruikt wordt als jaren geleden, maar dat daaraan met name DRS en Fault Tolerance technieken aan zijn toegevoegd. Is de techniek betrouwbaar? Waarom zou je nog voor een dedicated server kiezen? Wat zijn verkoopargumenten om te gaan voor een vSphere omgeving? Zijn er nog wel nadelen te noemen?

Alvast bedankt!

Sinds een aantal maanden is ons VMware cluster vrijwel volledig redundant. De HighAvailability hebben we getest door willekeurig hardware er uit te trekken. Een enkele netwerkkaart is geen probleem, server heeft er meer. Storage of complete power van de node weg, geen probleem, de esxi servers overleggen onderling welke node welke vm's opstart. vCenter (managementsysteem van het complete clusteR) kan zelfs downgaan, als esxi deze vm opgestart heeft gaat alles automatisch weer verder. Zolang vCenter wel online is werkt ook DRS, als vCenter down gaat, werkt alleen HA wat automatisch alles opstart op een node als een node downgaat.

Zolang vCenter up is werkt ook DRS als een zonnetje. Servers hebben qua load ongeveer dezelfde cijfers. Wijkt er een server af, dan berekend vCenter automatisch de beste optie en gaat, indien nodig, servers verhuizen. Downtime is er niet, heel af en toe een pingverlies tijdens het overzetten maar door goed instellen is de truck. Servers die veel streaming doen of openstaande verbindingen hebben kan je vastzetten op een systeem. Zelfs streaming pakketten draaien perfect en worden alleen verplaatst als het niet anders kan.

Een Normale VPS bestaat eigenlijk niet. Een vps is een normale (virtuele)server die zijn hardware deelt met andere servers. Geavanceerde technieken zijn alleen maar de opties die je eventueel kan gebruiken. Het hoeft niet. Vraag je host wat ze doen want sommgen rekenen 30 euro voor dezelfde dienst waar iemand anders 290 euro voor vraagt per maand.

Zowel HA als DRS nog nooit problemen mee gehad. Je kan eventueel zelfs vCenter redundant uitvoeren maar aan alles zit een prijskaartje dus voor ons niet interessant. Hoevaak gaat een systeem nu down? Om daar zoveel geld per maand aan uit te geven..... Als we zo groot zijn dat we 10k fysieke servers hebben te beheren is het een ander verhaal. Nu nog niet.

Tussen esxi, Xen, HyperV en nog wel wat systemen zijn veel verschillen. De een is wat beter met Windows, de ander met Linux. Mijn ervaring is VMware toch wel het beste product. Wat voor jou goed is, wat vind jij lekker werken? Test het, dat antwoord kan je alleen zelf ontdekken. Niemand kan je dat vertellen.


Correct me if i'm wrong maar dit is een beetje mijn reden of vrijwel alles op vpssen op vmware te draaien.
Waarom 50% virtueel draait:
Geen idee of het zo is, stel dat: (grove schatting)
10000 servers.
5000 virtueel
dit draait makkelijk op 500 stevige fysieke servers.
4500 fysieke servers, 500 vpsservers en 5000 virtuele servers.
Dus 5% van je servers kan 50% van je serverbehoeftes draaien.

Het is gewoon goedkoper.

Even als toevoeging nog wat nadelen: VPSsen zijn theoretisch iets trager dan een server op dezelfde hardware omdat er een virtualisatielaag tussen zit. In de praktijk merk je dit vrijwel niet meer. Zo goed is de techniek al. Verder weet ik zo even geen nadelen. Sowieso, weegt dit op tegen voordelen als:

• Bij onderhoud de server gewoon uitzetten, vm's kunnen gewoon verplaatst worden.
• bij storingen geen downtime van je diensten, vm's draaien op een andere node verder
• Makkelijker beheer, Esxi wordt niet aangepast door instellingen dus start vrijwel altijd normaal op. Daarna beheer van de vm's met een webinterface en geen gedoe met cd in de lade doen als je net thuis op de bank zit. Kan allemaal via internet.
• Capaciteit is veel groter. Uitbreiden betekend niet direct hardware kopen maar misschien kan je nieuwe vm er wel gewoon bij.
• vast nog wel meer zaken....

OehTie, bedankt voor de zeer heldere globale uitleg. Dat geeft wel een goed beeld. Kosten blijft toch een belangrijk onderdeel. Ook iets waar ik me in ga verdiepen.

Verder helpt het gewoon enorm als je kan putten uit ervaringen van anderen; dat zou wat mij betreft een eerste selectie indicatie zijn om vervolgens te kijken of je er zelf makkelijk mee kan werken.

Waar ik nog wel benieuwd naar ben: hoeveel tweaking, testen en maken van instellingen is er nodig geweest om tot jullie huidige setup te komen? Kan me voorstellen dat je daar niet in details alles wil toelichten, maar zo ongeveer, in tijd? Of is een standaard setup al gauw draaiende?

Je moet vooral vooraf goed nadenken, achteraf dingen aanpassen is een stuk ingewikkelder.
Zo moet je netwerk goed ingericht zijn, je hebt een management vlan, vlans voor verkeer van de machines, een vlan voor live migration, een back-up vlan, heartbeat, etc. Als één van die onderdelen beïnvloedt dat weer de anderen en dan ben je soms problemen aan het oplossen die eigenlijk niks met de oorzaak te maken hebben.
Wie mag waar bij? Zomaar alle beheerders volledig toegang geven tot je virtualisatie platform is niet goed.

Dat is één van de nadelen van virtualisatie. Je hebt wel minder servers, echter de beheerkosten per fysieke server gaan omhoog. De omgeving wordt complexer en je hebt duurdere kennis (gecertificeerde virtualisatie mensen) nodig i.p.v. bijvoorbeeld iemand die weet hoe een Centos server in elkaar zit.

Wat gjtje aangeeft is ook zeker waar. Per fysieke server ga je meer betalen. Echter deel die kosten eens door het aantal servers wat je draait voor klanten. In onze optiek is het toch goedkoper om te virtualiseren. Cursussen kosten veel geld maar stroom en netwerk zijn ook niet goedkoop. Althans, relatief wel maar we verbruiken aardig wat dus de rekening is er naar. Als ik alles op fysieke servers draai ga ik zo duizenden euro's extra per maand aan stroom betalen. Daarnaast zal ik extra racks moeten huren. Een cursus en certificering is dus voor mij niet 'duur' maar eerder een investering die ik binnen een aantal maanden heb terugverdiend.

Andere punt van gjtje klopt ook. Vooraf goed plannen. Op kantoor heeft de setup in het klein gelegen en we zijn 4 maanden bezig geweest voor het helemaal perfect werkte. Voor het dus uberhaubt het rack inging. Uiteindelijk zijn we 3,5 maand aan het testen en proberen geweest en in slechts 2 weken hebben al die ervaringen geholpen bij het bouwen naar de (in onze ogen) perfecte setup. Uitbreiden kan nu in slechts enkele minuten.

Wat scheiden we wel, wat niet? Wij hebben bijvoorbeeld geen dedicated netwerkkaart voor vmotion traffic. Vmware limiteerd vmotion met onze instellingen tot 2 vm's per host en tot 1 netwerkkaart per vmotion actie. Er zijn dus ten alle tijden 2 kaarten beschikbaar voor overig traffic. Zeker vSphere 5 kan heel goed resources verdelen. Zowel netwerk, als geheugen, als iops. Ik ga er hier dan vanuit dat je 4 netwerkkaarten per host hebt, heb je er meer dan kan je dit zeker verhogen. Of juist minder als je minder kaarten hebt.

Hou wel rekening mee dat kooplicenties van VMware wel schrikbarend duur zijn. Als investering moet er zeker 30 tot 40k aan omzet tegenover staan om die te onderhouden. Sinds wij VSSP partner zijn is het wat makkelijker, dan wordt er betaald naar gebruik. (Minimaal 360 Vmware points (ongeveer 300 euro ex btw))

Citaat:

---

Oorspronkelijk geplaatst door oehTie

Storage of complete power van de node weg, geen probleem, de esxi servers overleggen onderling welke node welke vm's opstart.

---

Maar hoe redudant is je SAN storage?

Het is ook verstandig om vooraf onderzoek te doen of de servers die je wilt virtualiseren wel geschikt zijn voor virtualisatie. Neem bijvoorbeeld database servers of andere veel eisende applications, deze kan je niet zo maar 1 2 3 virtualiseren en ben je soms duurder uit dan dat je het fysiek laat.

De beheers kosten vallen reuze mee, althans dit hangt er vanaf hoeveel personeel je wilt trainen voor je platform. Bij een grote organisatie is dit te verwaarlozen, daar heb je al de vaste techies zoals network beheerders, systeems beheerders en security beheerders. Wat je dan enkel mist zijn certificeerde mensen die weten hoe een bepaalde techniek werkt, echter hangt dit er zwaar vanaf welke virtualisatie techniek je gaat gebruiken. Voor Citrix, Hyper-V, VMware is het duidelijk met de certificaten en trainingen.

Wij hebben de ervaring dat het beheer een stuk makkelijker is geworden, overzichtelijker, sneller uit te rollen (updates/uitbreidingen etc..) en uiteraard grote kosten besparingen op infrastructuur en stroom.

Als je echt een HA omgeving wilt opbouwen met vSphere, dan moet je inderdaad alles redundant hebben. Dit is een investering die je doet en schrik je van in het begin, bij ons heeft het zich inmiddels al ruimschoots terug verdient en klanten hebben een betere ervaring.

Struikel punten in een nutshell:

is een vaste server geschikt om te virtualiseren? (consolidatie)
iscsi netwerk moet je tip top in orde hebben (geoptimaliseerd)
nodes redundant uitrollen (minimaal 3)
I/O, hoeveel heb je nodig en hoeveel ruimte wil je hebben voor in de nabije toekomst? Dit is een probleem waar elke cloud boer tegen aanloopt.
san storage redundant uitrollen, hier zijn veel mogelijkheden voor en zal de grootste investering zijn.
beheer, wie gaat wat doen?
provisioning system gaan gebruiken? (á la vcloud of wat anders)

Sommige problemen heb ikzelf mogen ervaren in de afgelopen 6 jaar dat ik er mee bezig ben, het houd je altijd bezig.

Veel voorkomend probleem is inderdaad de onderliggende laag ten opzichte van wat je er mee wilt doen. Een database server draai je dan ook niet op een omgeving waarvan de I/O laag is, met een paar transacties valt het mee, maar met duizend per seconde zakt je hele infrastructuur in elkaar.

Daarnaast is het netwerk uiteraard ook belangrijk, zo heeft infiniband een ontzettend goede prestatie, maar kost het in aanschaf ook een stuk meer.

Storage is er in verschillende varianten, verschil in merk, performance, aansluitingen enzovoorts. Het is niet altijd zo dat virtualisatie beter is in mijn ogen, op het moment dat je een dermate zware node hebt draaien en verder geen backup nodes kun je beter voor meerdere kleine nodes kiezen.

Of je nu virtualiseert op basis van HyperV, VMWare, Xen of wat dan ook, bovenstaande bepaald een groot deel van het geheel. Het is zo dat tegenwoordig veel gevirtualiseerd wordt, zal ook nog wel meer worden, maar de behoefte aan een x aantal nodes blijf je sowieso houden.

Citaat:

---

Oorspronkelijk geplaatst door maxnet

Maar hoe redudant is je SAN storage?

---

Xen en HyperV heb ik eerlijk gezegd heel weinig ervaring mee. Wel iets maar te weinig. vSphere kan multipathing gebruiken. Neem een 2e san, sync die 2 met elkaar en van beide gaat een kabel naar de node. vSphere doet de bijna rest :)

Zoals Pathsy terecht aangeeft, initieel heb je aardig wat hardware aan te schaffen. Uiteindelijk verdient het zich echt wel terug. En een nieuwe server is secondewerk inplaats van bestellingen doen, kabels leggen, server in het rack inbouwen... Die stappen kan je allemaal overslaan. Je maakt een vm en gaat gelijk de linuxversie die je wilt installeren.

Wel moet ik zeggen dat met een beetje tweaking en extra geheugen voor een vm zelfs een microsoft sql server verschrikkelijk snel is. Door data te cachen en uiteindelijk in grotere blokken weg te schrijven kan het aantal iops omlaag waardoor trage storage wat minder erg is. Alleen dit kost wel weer ram. Linux mysql idem dito. Ik draai een aantal magento servers en zelfs onder zware belasting zijn ze niet te onderscheiden van de gespecialiseerde magento hosters die alles op ubermoderne dedicated quadcore machines met 48 gb ram doen. (dat zeggen ze ten minste, dat ze dat hebben :drunk:)

Het is dat klanten soms een dedi willen, anders had ik ze helemaal niet meer gehad. Van mijzelf draait alles, zowel Windows als Linux, zowel webserver als streamingserver als databaseserver virtueel. Tot volle tevredenheid van de klanten.

Citaat:

---

Oorspronkelijk geplaatst door oehTie

Xen en HyperV heb ik eerlijk gezegd heel weinig ervaring mee. Wel iets maar te weinig. vSphere kan multipathing gebruiken. Neem een 2e san, sync die 2 met elkaar en van beide gaat een kabel naar de node. vSphere doet de bijna rest :)

---

Maar gaat hij snel genoeg over op het andere path zonder dat het besturingssysteem er last van heeft?

Bedenk dat het besturingssysteem dat binnen de virtuele machine draait alleen maar de virtuele schijf ziet, en er vanuit gaat dat deze de eigenschappen van een normale schijf heeft.
Weet dat bijvoorbeeld FreeBSD een timeout van slechts iets van 5 seconden heeft. Duurt een IO opdracht langer dan dat, dan kan dat fataal zijn.

Citaat:

---

Oorspronkelijk geplaatst door maxnet

Maar gaat hij snel genoeg over op het andere path zonder dat het besturingssysteem er last van heeft?

Bedenk dat het besturingssysteem dat binnen de virtuele machine draait alleen maar de virtuele schijf ziet, en er vanuit gaat dat deze de eigenschappen van een normale schijf heeft.
Weet dat bijvoorbeeld FreeBSD een timeout van slechts iets van 5 seconden heeft. Duurt een IO opdracht langer dan dat, dan kan dat fataal zijn.

---

Tijdens mijn eigen testen praten we over enkele tiendes van seconden. geen 5 seconde in ieder geval.

Freebsd heeft een lagere timeout inderdaad dan linux distro's, dit moet je handmatig verhogen inderdaad. Windows heeft standaard ook een hoge timeout, alleen als je disk word verloren door je OS, dan betekend het simpelweg dat er iets niet goed is met je storage oplossing of je storage network.

Bedankt voor alle reacties zover! Ik merk wel dat het enkel interresant is voor bedrijven met een grote omzet en veel klanten die 1 of meerdere servers afnemen, en aangezien ik niet bekend ben met een 'reseller' opzet hiervoor :) denk ik dat het voor mijn eigen bedrijfje nog wat te klein is. In ieder geval om de nodige investeringen te doen.

@oehTie: jij zegt dus eigenlijk dat je voor elke server best wat tweaking kan uitvoeren om eigenlijk ALLE soorten servers te draaien?

Draaien jullie voor grote bedrijven met intensieve sites, echt drukke sites, of toch meer voor particulieren hobbyisten en MKB? Dat zal waarschijnlijk een mix zijn, maar het gaat mij natuurlijk om de ervaringen met de grote bedrijven met hele drukke sites.

Zeker VMware kan eigenlijk alles aan. Als een site heel erg druk wordt, neem een 2e vm voor die dienst die je in drs op een andere node laat zetten tenzij niet anders kan.

Je zal te klein zijn om het echt op te zetten, een minimale setup zit je sowieso richting de 20 000 euro eenmalig en 500 per maand voor de minimale licentie vmware en hosting van het hele spul. Daarnaast heb je echt wat kennis nodig om het goed op te zetten.

Ik draai vooral voor het mkb hun eigen webservers. Maar daarnaast voor klanten waar we compleet systeem beheer voor doen staat er ook een compleet exchange cluster, Windows AD cluster, SQL cluster, File Cluster en applicatieservers klaar.

Ook zonder san (wat een duur component is) kunnen dit soort tools al een handig management sausje toevoegen wat het beheer een stuk eenvoudiger maakt t.o.v. allemaal losse nodes. Je hebt dan misschien geen livemigration, je kunt bijvoorbeeld wel makkelijk machines heen en weer fietsen tussen nodes, of templates uitrollen, alle machines centraal beheren en de status zien.