PDA

Bekijk Volledige Versie : Ervaringen KVM linux



rackhost.be
07/10/09, 00:25
Aan het testen met KVM linux, lijkt mij interessant initiatief tegenover xen & vmware

Iemand nog ervaringen mee?
Stabiliteit/performantie ?
Welk host os?

baahmi
07/10/09, 10:17
Geen ervaring met KVM, maar kwam wel http://pve.proxmox.com/wiki/Main_Page tegen, die ook kvm's kan managen.. Is misschien een simpele start om er zelf wat ervaring mee op te doen (ondersteund overigens ook openvz). OS is debian zover ik heb gezien.

Mvgr,
Martin

Wido
07/10/09, 10:27
Wij zijn recent begonnen met de migratie van Xen naar KVM toe, dit vanwege diverse redenen:

* Betere en stabielere integratie met Linux kernel
* Gemakkelijker en transparanter beheer (elke VM is een "kvm" proces wat je kan killen, renicen, etc, etc)
* Het is de toekomst

Het is niet voor niets dat alle grote Linux distributies Xen de deur wijzen. Zo loopt Xen hopelijk achter met de kernel patches en zit het vol met maffe bugs wat betreft het netwerk (probeer maar eens 100 VM's op een Xen host te draaien).

Wij draaien inmiddels 35 VPS'en voor klanten op KVM en iedereen is super tevreden, verder gebruiken we het al enkele maanden voor private VM's en ook die draaien geweldig.

Hier gebruiken we overigens Ubuntu 9.04 voor, de KVM versie in 8.04 (LTS) is helaas te oud om lekker mee te draaien.

Sander-
07/10/09, 10:49
Zijn er al mensen met ervaringen kwa performance op gebied van Windows ondersteuning? Ik ben geïnteresseerd, aangezien Xen voor ons om bovengenoemde redenen ook tot de nodige problemen heeft geleid.

Vmware is erg duur kwa licenties, dus draaien we nu alleen op kantoor voor wat testdoeleinden met ESXi. Xen Enterprise biedt goede windows performance, maar is ook niet geheel tot onze tevredenheid.

Wido
07/10/09, 10:56
Windows 2003 en 2008 draaien super in KVM. Windows 2003 doet nog wat moeilijk met meerdere CPU's, maar 2008 lijkt (tot nu toe) daar geen last van te hebben.

Performance is erg goed, moet wel zeggen dat wij stevige CPU's gebruiken (2.54 Ghz (Xeon L5420)), heb geen ervaring met langzamere CPU's.

Verder moet je gewoon maar eens gaan spelen met KVM, heeft echt al een paar mooie tools (virsh, libvirt) die je het leven een stuk makkelijker maken.

Sander-
07/10/09, 11:03
Windows 2003 en 2008 draaien super in KVM. Windows 2003 doet nog wat moeilijk met meerdere CPU's, maar 2008 lijkt (tot nu toe) daar geen last van te hebben.

Performance is erg goed, moet wel zeggen dat wij stevige CPU's gebruiken (2.54 Ghz (Xeon L5420)), heb geen ervaring met langzamere CPU's.

Verder moet je gewoon maar eens gaan spelen met KVM, heeft echt al een paar mooie tools (virsh, libvirt) die je het leven een stuk makkelijker maken.

Mooi zal het eens doen, heb hier op kantoor nog wat speelgoed van Sun staan dat hiervoor klaar ligt! Zal zeker even laten weten hoe wij de performance ervaren.

jeffrey
07/10/09, 11:24
netwerk problemen met xen zijn nu toch verleden tijd ? tenminste met de laatste release geen last meer van.

hier nog een aardig artikeltje over de performance :

2007
http://www.phoronix.com/scan.php?page=article&item=623&num=1

artikeltje 2009:

http://www.phoronix.com/scan.php?page=article&item=linux_2631_kvm&num=1
zijn kwa performance aardig op vooruit gegaan!

Wido
07/10/09, 11:42
netwerk problemen met xen zijn nu toch verleden tijd ? tenminste met de laatste release geen last meer van.Kijk voor de grap eens naar:

* https://bugs.launchpad.net/ubuntu/+source/xen-3.2/+bug/341846
* https://bugs.launchpad.net/ubuntu/+source/xen-meta/+bug/376451

Dat begon ik aardig zat te worden met Xen. Wij ervaarden met veel domU's (> 70) heel wat netwerk problemen.

rackhost.be
07/10/09, 14:26
Hier eigenlijk wel tevreden van xen, enkel met uitzondering dat om een bizarre reden ineens vm's down gaan.
Is heel sporadisch (2x per jaar ofzo), maar mag toch niet gebeuren. Het bizarre is dat elke vm volgt (down) van de fysieke server in enkele uren tijd.
Afgelopen nacht opnieuw voorgehad, nu zelfs bij 2 fysieke xenservers met al hun onderliggende vm's. Inloggen op host (is wel citrix xenserver), en force reboot doen van elk vm lost het op. Gelukkig wordt alles goed gemonitord zodat downtime telkens maar enkele minuten was, maar toch, mag niet gebeuren ...

Nadeel vind ik ook aan xen dat het niet zo evident is om een VM van fysieke A server naar andere fysieke B te verplaatsen, tenzij je NAS gebruikt.

Ander nadeel is dat er nog steeds geen degelijk userbeheer is bij xenserver: klanten kunnen niet inloggen om status te bekijken of reboot ofzo te doen.

RedHat lijkt volkomen voor KVM te gaan sinds de release van RHEL 5.4.

Enorm tevreden over debian, maar dan lijkt mij de logische keuze om voor bv CentOS 5.4 te gaan (wordt eerstdaags uitgerold).

Kon niet wachten op centos 5.4 om het uit te testen, daarom maar Fedora 11 even op desktop geinstalleerd en KVM ziet er echt fantastisch uit. Nu nog ervaren omtrent stabiliteit & performantie.

Sander-
07/10/09, 14:50
Hier eigenlijk wel tevreden van xen, enkel met uitzondering dat om een bizarre reden ineens vm's down gaan.
Is heel sporadisch (2x per jaar ofzo), maar mag toch niet gebeuren. Het bizarre is dat elke vm volgt (down) van de fysieke server in enkele uren tijd.
Afgelopen nacht opnieuw voorgehad, nu zelfs bij 2 fysieke xenservers met al hun onderliggende vm's. Inloggen op host (is wel citrix xenserver), en force reboot doen van elk vm lost het op. Gelukkig wordt alles goed gemonitord zodat downtime telkens maar enkele minuten was, maar toch, mag niet gebeuren ...

Nadeel vind ik ook aan xen dat het niet zo evident is om een VM van fysieke A server naar andere fysieke B te verplaatsen, tenzij je NAS gebruikt.

Ander nadeel is dat er nog steeds geen degelijk userbeheer is bij xenserver: klanten kunnen niet inloggen om status te bekijken of reboot ofzo te doen.

RedHat lijkt volkomen voor KVM te gaan sinds de release van RHEL 5.4.

Enorm tevreden over debian, maar dan lijkt mij de logische keuze om voor bv CentOS 5.4 te gaan (wordt eerstdaags uitgerold).

Kon niet wachten op centos 5.4 om het uit te testen, daarom maar Fedora 11 even op desktop geinstalleerd en KVM ziet er echt fantastisch uit. Nu nog ervaren omtrent stabiliteit & performantie.

Debian en Ubuntu ondersteunen KVM ook :)

Randy
07/10/09, 17:10
CentOS komt binnenkort met KVM ondersteuning in de 5.4 versie, omdat zetoch achter Redhat aan lopen.

Ikzelf geef toch een voorkeur aan VMware. Een erg flexibel licentiemodel. Wel 'duur' (vanaf 8.80 per VM per maand) maar prima te schalen met zoals het SPLA model, waardoor je geen torenhoge kosten hebt, een zeer goede GUI en de rechten prima per VM of resource pool kunt delegeren.

Voor een homogene omgeving is Hypervising toch nog wel wat sneller. Ikzelf gebruik alleen Solaris, Linux en Windows door elkaar en dan wordt het toch wat minder. In mijn omgeving (~300 VM's) wil je dat alles lekker uniform is met beheertools. Misschien als deze er zijn voor KVM over een jaar, kan ik er wel eens naar kijken. Een en ander hangt natuurlijk mede af van MS voor de integratie met SCOM (http://www.microsoft.com/systemcenter/operationsmanager/en/us/default.aspx).

Jorem
07/10/09, 17:39
Heb hier PROXMOX VE draaien (sinds 4 maanden) en zeer tevreden. Ik heb 2 servers draaien met 3 KVM VM's CentOS per server. Kleine opstelling dus.

De "live" migratie (paar seconden down om geheugen status over te zetten) functie vind ik wel erg prettig. Heb je kapotte disk of ander probleem dan schuif je in enkele minuten de VM naar de 2e server en kan je op de eerste werkzaamheden verrichten.

ju5t
07/10/09, 17:40
Ikzelf geef toch een voorkeur aan VMware. Een erg flexibel licentiemodel. Wel 'duur' (vanaf 8.80 per VM per maand) maar prima te schalen met zoals het SPLA model, waardoor je geen torenhoge kosten hebt, een zeer goede GUI en de rechten prima per VM of resource pool kunt delegeren.

9 euro per maand is relatief goedkoop, maar dit bedrag is nieuw voor mij :-)
Heb je misschien een link? Voor dit bedrag is het meer dan interessant.

Edit: nm, VSSP verhaal. Eens contacten met onze leverancier.

rackhost.be
07/10/09, 17:41
De "live" migratie (paar seconden down om geheugen status over te zetten) functie vind ik wel erg prettig. Heb je kapotte disk of ander probleem dan schuif je in enkele minuten de VM naar de 2e server en kan je op de eerste werkzaamheden verrichten.

met een san dan toch?

dicktump
07/10/09, 17:45
Ik neem aan dat Proxmox ook zonder SAN wel live migraties kan, namelijk via DRBD, of niet?

We gaan hier ook ooit nog kijken naar KVM (en Proxmox), maar tot nu toe lijkt Xen toch wat meer volwassen te zijn. Overal op internet vindt je toch de opmerking terug dat KVM vooral leuk is voor desktop gebruik en Xen meer voor servergebruik.

Ook de performance tests zijn over het algemeen in het voordeel van Xen.

Jorem
07/10/09, 17:48
met een san dan toch?

Dat gaat met rsync.

Ik heb de servers in een cluster zitten. Dan kan je vanaf het control panel op de hoofdserver alles beheren en vm's van de ene naar de andere server zetten.

Jorem
07/10/09, 17:52
Ik neem aan dat Proxmox ook zonder SAN wel live migraties kan, namelijk via DRBD, of niet?

We gaan hier ook ooit nog kijken naar KVM (en Proxmox), maar tot nu toe lijkt Xen toch wat meer volwassen te zijn. Overal op internet vindt je toch de opmerking terug dat KVM vooral leuk is voor desktop gebruik en Xen meer voor servergebruik.

Ook de performance tests zijn over het algemeen in het voordeel van Xen.

Ik hou bij Hyperspin de performance van de server in de gaten en de VM's zijn echt net zo snel als de server die nog niet gevirtualiseerd is.

Hiervoor heb ik VMware gedraait en daar merkte ik wel echt verschil. Vandaar de overstap naar KVM en PROXMOX VE.

Randy
07/10/09, 17:55
9 euro per maand is relatief goedkoop, maar dit bedrag is nieuw voor mij :-)
Heb je misschien een link? Voor dit bedrag is het meer dan interessant.

Shure, maar NDA. Kan publiekelijk geen prijzen spammen hier. Google even op VSSP en bel Insight. Er zitten wel wat mitsen en maren aan en een klein verplicht CDR, maar iedere serieuze dienstverlener zal hier geen probleem mee hebben.

Wido
07/10/09, 18:15
Ik neem aan dat Proxmox ook zonder SAN wel live migraties kan, namelijk via DRBD, of niet?

We gaan hier ook ooit nog kijken naar KVM (en Proxmox), maar tot nu toe lijkt Xen toch wat meer volwassen te zijn. Overal op internet vindt je toch de opmerking terug dat KVM vooral leuk is voor desktop gebruik en Xen meer voor servergebruik.

Ook de performance tests zijn over het algemeen in het voordeel van Xen.Dat is het voor oordeel wat de meeste mensen over KVM hebben, daarnaast zijn de meeste testen ook al erg oud.

Je moet gewoon eens gaan spelen met KVM, ideaal.

Een groot voordeel (vind ik) is dat je voor elke VM een eigen "/usr/bin/kvm" proces hebt wat je kan killen wanneer nodig, je met renice rustig een drukke VM wat minder resources kan geven. Het is gewoon perfect in de Linux omgeving geintegreerd.

Met Xen zie je bijvoorbeeld de load van de dom0 op 0.00 liggen terwijl de machine erg druk is. Doordat de KVM processen allemaal in userspace draaien wordt de load ook netjes bijgehouden en zie je precies hoe druk/rustig je moedersysteem is.

En ik raad je aan gewoon op de CLI met libvirt/virsh en KVM te gaan spelen, Proxmox is leuk, maar zorg dat je zelf snapt hoe alles werkt :)

Als je virsh een beetje snapt kan je een console als deze maken: http://foto.pcextreme.nl/v/vps_console/

Die hele console bestaat uit: bash, dialog en virsh. Dat is alles wat je nodig hebt om wat VM's te bouwen.

Nee, voor mij geen Xen meer, ben erg blij met KVM / libvirt

dicktump
07/10/09, 18:48
@Wido: We zouden sowieso uiteindelijk voor een eigen beheer applicatie gaan. Proxmox zou meer zijn om het even snel binnen 2 minuten te kunnen installeren en om Proxmox te kennen, voor mochten er ooit klanten mee komen (kans is klein, maar goed).

Ik zal er binnenkort eens mee gaan spelen. Ben wel benieuwd :) Xen is niet altijd even stabiel. Vooral met nieuwere kernels hebben we soms vage problemen, zoals dat de kernel ineens compleet crasht op de 3ware module ofzo, terwijl dat met een niet-Xen kernel of een oudere kernel compleet probleemloos gaat. We draaien meestal dus nog 2.6.18, maar daarbij missen we andere belangrijke dingen, zoals een stateful firewall op IPv6.

Die console is overigens erg nice!

Wido
07/10/09, 19:15
Dat probleem had ik dus ook met Xen, crashen op de Areca drivers of ineens problemen geven met een e1000 (Intel NIC) driver.

Met KVM daar allemaal geen last meer van, dat is nou zo ideaal!

Piwi-Web
08/10/09, 13:19
Interessant topic omdat ik nog altijd niet weet wat voor virualisatiesoftware ik ga gebruiken omdat elk pakket wel een (groot) nadeel heeft.
- Vmware (is gewoon duur)
- OpenVZ (geen windows)
- Xen (niet stabiel genoeg)

Nu eens kijken wat KVM brengt :)

rackhost.be
08/10/09, 13:36
artikeltje 2009:
http://www.phoronix.com/scan.php?page=article&item=linux_2631_kvm&num=1
zijn kwa performance aardig op vooruit gegaan!

I/O lijkt niet zo performant, of is dat een vertekend beeld dmv gebruikte tests?

Wido
08/10/09, 14:30
Interessant topic omdat ik nog altijd niet weet wat voor virualisatiesoftware ik ga gebruiken omdat elk pakket wel een (groot) nadeel heeft.
- Vmware (is gewoon duur)
- OpenVZ (geen windows)
- Xen (niet stabiel genoeg)

Nu eens kijken wat KVM brengt :)Nadeel aan KVM? Ja, nog maar weinig mensen gebruiken het op servers.

Je gaat vooral veel mensen tegen komen die er leuk mee spelen op hun desktop, maar echt grote omgevingen draait bijna niemand er op.

Piwi-Web
08/10/09, 14:38
En nu nog een fatsoenlijk KVM paneltje die er niet is :)
Heb voor de gein eens dat proxmox geinstalleerd. Eens kijken wat je daar allemaal mee kan maar het lijkt erop dat ik zelf moet gaan knutselen :o

Wido
08/10/09, 14:42
En nu nog een fatsoenlijk KVM paneltje die er niet is :)
Heb voor de gein eens dat proxmox geinstalleerd. Eens kijken wat je daar allemaal mee kan maar het lijkt erop dat ik zelf moet gaan knutselen :oWaarom moet er _altijd_ maar een GUI zijn? De command-line is een van de sterkste en snelste GUI's die er is.

Stond laatst nog een erg leuk artikel in het Linux Magazine over, een command-line is niet eng en bijt ook niet.

En zeker als hoster is het een _must_ om met de command-line overweg te kunnen!

EDIT: Ik lees net die benchmark, maar ga daar niet al te veel van geloven. Ze hebben daar de randvoorwaarden van de benchmark namelijk totaal niet gedefinieerd.

Zo kan je IDE, SCSI en Virtio als blockdevice gebruiken binnen KVM waar Virtio VELE malen beter presteert dan IDE en SCSI, aangezien ze niet aangeven wat ze getest hebben lijkt het wel alsof ze IDE gebruikt hebben. Wat zij ervaren heb ik namelijk niet meegemaakt in de praktijk.

Tevens geld het zelfde voor de Apache benchmarks. Dit hebben ze denk ik met Apache bench gedaan, maar daar gaat ook alles over het netwerk, dat wordt weer beinvloed door de netwerk virtualisatie die je gebruikt. Ook daar is virtio weer de snelste.

Zodra je ziet dat ze CPU intensieve zaken gaan doen zie je gewoon dat er bijna geen verschil is.

WeServIT
08/10/09, 14:59
Wij maken gebruik van Citrix Xen, en heb al meerdere malen mee gemaakt dat de complete interface vast loopt, of je de consoles van VPSen niet meer kunt bereiken en vast gelopen zijn. Gister nood gedwongen de hele node moeten herstarten om het enig sinds stabiel te krijgen.

Zodra er een goed alternatief is voor Citrix, wat ook een goede windows ondersteuning heeft en een leuk panel voor klanten gaan we over.

WeServIT
08/10/09, 15:01
Zit net even te kijken, maar FluidVM is ook een zeer mooie oplossing lijkt me! Alleen de kosten hiervan liggen wel iets hoger. Je betaald er in euro's 340 per systeem voor (499Dollar). Niemand hier ervaring mee toevallig?

Verder net samen met Piwi even die proxmox getest, maar het is inderdaad zeer mager. Maar het werkt wel zeer goed en snel!

Piwi-Web
08/10/09, 15:30
Toevoeging op WeServIt:

Helaas zit in dat proxmox ook geen dataverkeermetertje :)

@Wido:
Klanten willen graag een interface ;) Van mij hoeft dat allemaal niet ook al is het vrij makkelijk. Cli is hier geen probleem :)

Randy
08/10/09, 16:47
Waarom moet er _altijd_ maar een GUI zijn? De command-line is een van de sterkste en snelste GUI's die er is.

Omdat ik zaken integreer in het bedrijfsleven waar veelal Windows beheerders zijn? :lovewht:

Waarom komt KVM nu pas eigenlijk echt op, terwijl de suppoer ervoor al in de 2.6.20 kernel zat?

Wido
08/10/09, 16:59
Omdat ik zaken integreer in het bedrijfsleven waar veelal Windows beheerders zijn? :lovewht:

Waarom komt KVM nu pas eigenlijk echt op, terwijl de suppoer ervoor al in de 2.6.20 kernel zat?Jij speelt ook met VMware ;)

Maar de performance van KVM was niet zo geweldig de afgelopen tijd, ook integreerde bijna geen een distro het. De laatste tijd wordt er echt hard gewerkt aan KVM en de komst van de Virtio drivers heeft het geheel een boost gegeven.

Randy
08/10/09, 17:11
Klopt, omdat het integreert met SCOM en andere tools. In beheer wil ik zo min mogelijk tijd kwijt zijn. Alex kost immers ook geld. Puppet voor Linux, SCOM voor de infra en Windows.

jeffrey
08/10/09, 18:19
Kijk voor de grap eens naar:

* https://bugs.launchpad.net/ubuntu/+source/xen-3.2/+bug/341846
* https://bugs.launchpad.net/ubuntu/+source/xen-meta/+bug/376451

Dat begon ik aardig zat te worden met Xen. Wij ervaarden met veel domU's (> 70) heel wat netwerk problemen.

wat een toeval ,

vandaag een hosting machine reageert niet meer.
reboot, kijk in de logs: kernel: netfront: rx->offset: 0, size: 4294967295

dit is met xen 5.5 van citrix..

kvm toch maar eens na kijken ;)

WeServIT
09/10/09, 10:54
Vandaag zijn we gaan kijken naar SolusVM. Dit pakket is zeer actief en brengt om de paar weken nieuwe updates uit. Tot nu toe is de ondersteuning er van OpenVZ en XEN. KVM gaat er deze maand in komen volgens de eigenaar.
Het heeft alle functies die je nodig hebt en kan bedenken. Wij gaan het komende maand testen zodat we tevens de KVM functionaliteit over een tijd mee kunnen nemen.
Een klant van ons maakt er momenteel al gebruik van en wil niks meer anders, maar hij draait als enigste linux vpse, als je Windows wil moet je het dus of onder Xen doen, of wachten op KVM.
Tevens zijn de kosten zeer laag, 10 dollar per machine per maand. Je mag dan zoveel vpsé draaien als je wil.

dicktump
09/10/09, 12:18
Dat probleem had ik dus ook met Xen, crashen op de Areca drivers of ineens problemen geven met een e1000 (Intel NIC) driver.

Met KVM daar allemaal geen last meer van, dat is nou zo ideaal!
Goed om te weten dat overstappen op Areca dat dus niet gaat oplossen :) Dat was daarvoor nog een serieuze overweging.

easy2host
09/10/09, 17:48
Omdat ik zaken integreer in het bedrijfsleven waar veelal Windows beheerders zijn? :lovewht:

Waarom komt KVM nu pas eigenlijk echt op, terwijl de suppoer ervoor al in de 2.6.20 kernel zat?

sluit ik me compleet bij aan.

De mogelijkheden die bijvoorbeeld vcenter bieden zijn geweldig, je kunt klanten gewoon rechten geven waardoor ze bijvoorbeeld hun eigen vm of vm's kunnen beheren.
Klanten kunnen zo makkelijk even rebooten, en zelfs installaties via hun eigen cd-rom speler of harddisk uitvoeren. Dit zijn maar 2 kleine voordelen, zo zijn er natuurlijk meer.

En ja, het kost meer geld maar het trekt ook klanten met wat meer budget aan, tenminste, dat is onze ervaring.

Tja, als je natuurlijk alleen diensten aanbied waarbij jij als bedrijf het onderhoud uitvoert en een klant geen login krijgt dan is een gui niet nodig natuurlijk ;-)

Randy
09/10/09, 19:14
Paint skilzz. Ik moest even wat censuur toepassen. Wie overigens een demo wil mag zich altijd een keer melden.

Spyder01
09/10/09, 20:11
Paint skilzz. Ik moest even wat censuur toepassen. Wie overigens een demo wil mag zich altijd een keer melden.

Als het is op de naam te doen verdwijnen, moet je ook nog even bovenin de titlebalk painten en een deel van het tabblad :)

pierce
09/10/09, 20:18
Als het is op de naam te doen verdwijnen, moet je ook nog even bovenin de titlebalk painten en een deel van het tabblad :)

En betere verf gebruiken ;)

Randy
09/10/09, 20:21
Vrijdagmiddag he, even snel @office wat dingen afwerken en naar huis. Scheelt dat het allemaal eigen zaken zijn.
Tijd om mijn pizza te virtualiseren in 8 slices :)

maxnet
09/10/09, 20:29
EDIT: Ik lees net die benchmark, maar ga daar niet al te veel van geloven. Ze hebben daar de randvoorwaarden van de benchmark namelijk totaal niet gedefinieerd.

Zo kan je IDE, SCSI en Virtio als blockdevice gebruiken binnen KVM waar Virtio VELE malen beter presteert dan IDE en SCSI, aangezien ze niet aangeven wat ze getest hebben lijkt het wel alsof ze IDE gebruikt hebben. Wat zij ervaren heb ik namelijk niet meegemaakt in de praktijk.


Heb de indruk dat Virtio nog een beetje experimenteel is.
Met Ubuntu 9.04 onder Proxmox 1.4b2 (ja, ben lui) doet hij het met name met de "random seeks" slechter dan IDE.


Host systeem zonder VMs:



Version 1.03e ------Sequential Output------ --Sequential Input- --Random-
-Per Chr- --Block-- -Rewrite- -Per Chr- --Block-- --Seeks--
Machine Size K/sec %CP K/sec %CP K/sec %CP K/sec %CP K/sec %CP /sec %CP
debian 16G 42738 98 80982 20 33531 8 43540 92 82022 6 7363 10
------Sequential Create------ --------Random Create--------
-Create-- --Read--- -Delete-- -Create-- --Read--- -Delete--
files /sec %CP /sec %CP /sec %CP /sec %CP /sec %CP /sec %CP
16 +++++ +++ +++++ +++ +++++ +++ +++++ +++ +++++ +++ +++++ +++
debian,16G,42738,98,80982,20,33531,8,43540,92,8202 2,6,7363.1,10,16,+++++,+++,+++++,+++,+++++,+++,+++ ++,+++,+++++,+++,+++++,+++


Seeker v2.0, 2007-01-15, http://www.linuxinsight.com/how_fast_is_your_disk.html
Benchmarking /dev/sda [61036MB], wait 30 seconds..............................
Results: 8278 seeks/second, 0.12 ms random access time


==============

Ubuntu 9.04 VM VirtIO:



Version 1.03e ------Sequential Output------ --Sequential Input- --Random-
-Per Chr- --Block-- -Rewrite- -Per Chr- --Block-- --Seeks--
Machine Size K/sec %CP K/sec %CP K/sec %CP K/sec %CP K/sec %CP /sec %CP
ubuntu904 16G 9616 41 27917 34 28269 9 41039 92 77316 14 954.8 7
------Sequential Create------ --------Random Create--------
-Create-- --Read--- -Delete-- -Create-- --Read--- -Delete--
files /sec %CP /sec %CP /sec %CP /sec %CP /sec %CP /sec %CP
16 +++++ +++ +++++ +++ +++++ +++ +++++ +++ +++++ +++ +++++ +++
ubuntu904,16G,9616,41,27917,34,28269,9,41039,92,77 316,14,954.8,7,16,+++++,+++,+++++,+++,+++++,+++,++ +++,+++,+++++,+++,+++++,+++


Seeker v2.0, 2007-01-15, http://www.linuxinsight.com/how_fast_is_your_disk.html
Benchmarking /dev/vda [32768MB], wait 30 seconds..............................
Results: 2216 seeks/second, 0.45 ms random access time


==============

Ubuntu 9.04 VM IDE:



Version 1.03e ------Sequential Output------ --Sequential Input- --Random-
-Per Chr- --Block-- -Rewrite- -Per Chr- --Block-- --Seeks--
Machine Size K/sec %CP K/sec %CP K/sec %CP K/sec %CP K/sec %CP /sec %CP
ubuntu904 16G 36565 96 42835 10 26516 7 33578 87 78293 10 2626 14
------Sequential Create------ --------Random Create--------
-Create-- --Read--- -Delete-- -Create-- --Read--- -Delete--
files /sec %CP /sec %CP /sec %CP /sec %CP /sec %CP /sec %CP
16 +++++ +++ +++++ +++ +++++ +++ +++++ +++ +++++ +++ +++++ +++
ubuntu904,16G,36565,96,42835,10,26516,7,33578,87,7 8293,10,2626.2,14,16,+++++,+++,+++++,+++,+++++,+++ ,+++++,+++,+++++,+++,+++++,+++


Seeker v2.0, 2007-01-15, http://www.linuxinsight.com/how_fast_is_your_disk.html
Benchmarking /dev/sda [32768MB], wait 30 seconds..............................
Results: 2414 seeks/second, 0.41 ms random access time


(testopstelling dual quadcore Opteron 2350, Mtron 7000, 6 gb ram voor 1 vm, 2 gb over voor host, swap uit, bonnie++ -s 16384 ; seeker /dev/schijf).


Begrijp dat het in je eigen opstelling wel goed werkt.
Aan wat voor snelheidswinsten moet ik dan denken?

Jimmy1987
12/10/09, 02:51
Iemand toevallig ervaring met Fluidvm? Deze schijnt op korte termijn ook KVM te gaan ondersteunen.
Ben nu beide aan het testen, voorlopig onder Xen nog ( FluidVM en SolusVM )

Het nadeel dat ik tot nu toe heb ondervonden aan FluidVM is dat als je deze wil draaien je minimaal 2 fysieke server nodig hebt omdat de backend niet draait op een server met de xen/openvz/kvm kernel.

WeServIT
12/10/09, 11:31
Iemand toevallig ervaring met Fluidvm? Deze schijnt op korte termijn ook KVM te gaan ondersteunen.
Ben nu beide aan het testen, voorlopig onder Xen nog ( FluidVM en SolusVM )

Het nadeel dat ik tot nu toe heb ondervonden aan FluidVM is dat als je deze wil draaien je minimaal 2 fysieke server nodig hebt omdat de backend niet draait op een server met de xen/openvz/kvm kernel.

Ik heb fluidVM nooit getest, dus misschien kan en mag ik niet mijn mening erover geven. Maar als je op andere websites kijkt over meningen en ondervindingen vond iedereen SolusVM vele malen beter en veel minder bugs. Tevens is Xen nog niet volledig ondersteunt door Solus, dat zou eind deze maand klaar moeten zijn dat ik eruit begreep.
En wat ik van de beheerder hoorde is dat KVM pas eind november volledig ondersteunt zou zijn. Dus dat word helaas nog even wachten, maar naar mijn mening ziet SolusVM er het beste uit. En met openVZ werkt het absoluut geweldig. Enigste nadeel is dat ik dus zeker geen openVZ wil aan gebruiken.

Wido
12/10/09, 12:47
(testopstelling dual quadcore Opteron 2350, Mtron 7000, 6 gb ram voor 1 vm, 2 gb over voor host, swap uit, bonnie++ -s 16384 ; seeker /dev/schijf).


Begrijp dat het in je eigen opstelling wel goed werkt.
Aan wat voor snelheidswinsten moet ik dan denken?
Bij mij werkt het gewoon erg goed, zo haal ik met een Ubuntu 9.04 host systeem erg hoge snelheden, moet zeggen dat ik ze niet gebenchmarked heb, maar het draait gewoon goed, VM's reageren snel en zoals het hoort.

Ik merkte bij het gebruik van IDE dat het soms wat minder lekker werkte, maar wellicht dat dit allemaal heel erg KVM versie afhankelijk is.

Welk kernel gebruikt jouw host?

maxnet
12/10/09, 14:49
Welk kernel gebruikt jouw host?

Het standaard ding van Proxmox, da's een beetje een mengelmoesje.
Om OpenVZ te kunnen ondersteunen is hij op 2.6.24 gebaseerd, maar daar hebben ze de KVM code van 2.6.30.1 naar gebackport.

Piwi-Web
13/10/09, 16:34
Proxmox werkt voor geen meter.
Hier aan het kijken naar solusVM (soluslabs). Misschien daar eens naar kijken verder ;)

maxnet
13/10/09, 17:03
Proxmox werkt voor geen meter.
Hier aan het kijken naar solusVM (soluslabs). Misschien daar eens naar kijken verder ;)

Op de IO performance na, ben ik nog geen grote problemen tegengekomen.
Is deze bij solusVM beter?


Verder ben ik een beetje huiverig om systeem software van een bedrijf te huren dat nog geen 3 maanden bestaat, en waarbij ook owned licenties verlengd moeten worden:



Name & Registered Office:
SOLUSLABS LIMITED

[...]

Status: Active
Date of Incorporation: 29/08/2009




2.2. License Automatic Update and Expiration.
Your license may include an expiration date that can result in the termination of the license. For permanent (non-lease) license keys, the license updates automatically except if SolusLABS determines that a license is used in violation of the terms of this Agreement.

Wido
13/10/09, 18:15
Het standaard ding van Proxmox, da's een beetje een mengelmoesje.
Om OpenVZ te kunnen ondersteunen is hij op 2.6.24 gebaseerd, maar daar hebben ze de KVM code van 2.6.30.1 naar gebackport.Wij draaien op het 2.6.28 kernel, krijg morgen wat Intel SSD's binnen, zal dan eens wat gaan benchmarken.

Heb dan van de week denk ik wat resultaten wat ik op de host haal en via virtio.

Piwi-Web
13/10/09, 23:28
Op de IO performance na, ben ik nog geen grote problemen tegengekomen.
Is deze bij solusVM beter?

solusVM is enkel een panel wat je moet installeren op een CentOS systeem.


Verder ben ik een beetje huiverig om systeem software van een bedrijf te huren dat nog geen 3 maanden bestaat, en waarbij ook owned licenties verlengd moeten worden:

Op dit moment vind ik het best ondersteunende panel op fluidVM na. Echter is fluidVM veels te duur naar mijn mening zeker omdat ook daar nog geen KVM support is. SolusVM ook nog niet (helaas) echter willen ze wel de moeite doen om het z.s.m. te integreren nadat Xen volledig werkt.

Heb hier mijn VPS diensten even uitgesteld totdat ik weet welk panel nu een beetje te vertrouwen is. Ik heb namelijk totaal geen zin in downtime wanneer het eenmaal draait.

@Wido ik ben benieuwd naar de benchmarks !

maxnet
14/10/09, 00:00
solusVM is enkel een panel wat je moet installeren op een CentOS systeem.

Verschilt in dat opzicht niet zoveel met Proxmox.
I.p.v. de automatisch installatie cd te gebruiken, kan je als je al Debian draait, Proxmox ook gewoon met apt-get installeren.


Wel gebruiken ze dus een eigen kernel package om zowel OpenVZ als een recente versie van KVM tegelijk te kunnen gebruiken.

De CentOS kernel ondersteund dat standaard al?
Anders moeten ze bij solusVM ook een eigen kernel gaan samenstellen.
En het zou wel interessant zijn om te kijken hoe die twee presteren.
Verschil is dan dus niet alleen het panel.

mikeh
14/10/09, 00:17
Iedereen aan het patchen geweest ?

http://cve.mitre.org/cgi-bin/cvename.cgi?name=CVE-2008-5714
http://cve.mitre.org/cgi-bin/cvename.cgi?name=CVE-2009-3290

Zowieso zouden zogenoemde sysadmins wat 8- passwoord lengte een nekschot moeten krijgen. Daarom gebruiken we pwgen -1 12 (man pwgen voor meer info)

Randy
14/10/09, 00:39
Op dit moment vind ik het best ondersteunende panel op fluidVM na. Echter is fluidVM veels te duur naar mijn mening zeker omdat ook daar nog geen KVM support is.

Volgens de website zit er wel KVM ondersteuning in? En te duur... Als jij $0.50 per VM te duur vindt, zegt dat meer over je bedrijfsvoering of marktsegment dan de prijs van het product denk ik. Ik betaal ongeveer het 20-voudige aan licentiekosten per VM. De vanaf prijs...

Edit: KVM komt in de volgende versie pas zie ik...

Randy
14/10/09, 00:41
Zowieso zouden zogenoemde sysadmins wat 8- passwoord lengte een nekschot moeten krijgen.

Ik gebruik altijd 12345678 als password. Dat is samen toch nog 36 :lovewht:

Denk dat iedereen wel een generator met rand() functie in gebruik heeft opdat de wachtwoorden sterk genoeg zijn nu de dag.

Piwi-Web
14/10/09, 14:22
Volgens de website zit er wel KVM ondersteuning in? En te duur... Als jij $0.50 per VM te duur vindt, zegt dat meer over je bedrijfsvoering of marktsegment dan de prijs van het product denk ik. Ik betaal ongeveer het 20-voudige aan licentiekosten per VM. De vanaf prijs...

Edit: KVM komt in de volgende versie pas zie ik...

$0,50 is niet duur inderdaad als je het ook per VM kon kopen maar dat is dus niet het geval. Je bent al minimaal $25,- kwijt wil je 1 VM draaien en dat zint mij niet niet echt ;)
Ik vind het pas het overwegen waard wanneer ik mijn platform klaar heb en vind het te duur om het testen (want ik kan niks vinden over demo licenties etc.)

KVM support zit er trouwens niet in hoor ;) (of ik ben scheel)

WeServIT
14/10/09, 19:13
Edit: KVM komt in de volgende versie pas zie ik...

Daarom zei randy het bovenstaande.


Maar idd, er is ook niet eens een test versie aan te vragen. Maar ik zie op vele forums dat de meeste de overstap van Fluid naar Solus gemaakt hebben. Dit vanwege 't feit dat Fluid teveel bugs had. Ergens een topic op webhostingtalk.com dacht ik.

blieb
15/10/09, 01:39
Hmm veel positive reacties over kvm zo te lezen. Misschien moet ik er ook maar eens mee gaan testen. is migratie van XEN naar KVM makkelijk?

KVM doet toch alleen volledige virtualisatie? en XEN ook para (geloof ik) waar alle vpssen bij ons nu op draaien :P

Jorem
15/10/09, 02:31
Proxmox werkt voor geen meter.

Doe je toch echt iets verkeerd. Je server moet wel aan bepaalde eisen voldoen (cpu en hardware raid kaart). Als je die hebt kan er gewoon niks misgaan en werkt het juist meteen out of the box.
Als er dingen zijn waar je op vastloopt, stuur me even een pm. Kan je het waarschijnlijk zo uitleggen.

Piwi-Web
15/10/09, 12:34
Doe je toch echt iets verkeerd. Je server moet wel aan bepaalde eisen voldoen (cpu en hardware raid kaart). Als je die hebt kan er gewoon niks misgaan en werkt het juist meteen out of the box.
Als er dingen zijn waar je op vastloopt, stuur me even een pm. Kan je het waarschijnlijk zo uitleggen.

Met "het werkt voor geen meter" bedoel ik dus dat ik er niet tevreden over ben omdat:
- Geen gebruikersinterface
- Niet gebruiksvriendelijk

En dat zijn de 2 punten die mij tegenhouden dat panel te gebruiken. Ik weet dat in de roadmap staat dat ze aan beide gaan werken maar de demo van solusVM beviel mij vele malen beter :) Nu alleen nog wachten totdat hun KVM support krijgen maar ik heb nog even tijd :)

Wido
15/10/09, 14:39
Bij deze de beloofde benchmarks en bij mij doet virtio het toch echt snel.

Zie de bijlage. Ruwe bonnie++ resultaten op aanvraag, kan hier geen ODS (OpenOffice) attachen.

Zoals in de PDF staat, dit is getest op een RAID-5 set van 4 Intel 80GB SSD's. De CPU van de Areca is hier alleen een bottleneck...

@ blieb, van Xen para naar KVM full virt kan gewoon, je zal alleen het kernel moeten installeren en een bootloader (GRUB) moeten aanbrengen op de disk.

EDIT: Een randvoorwaarde die ik vergeet, hierbij draaide de VM direct vanaf LVM, ik heb dus geen qcow image gebruikt of iets dergelijks, daar gaat namelijk veel performance in verloren.

Stukje config:

<disk type='block' device='disk'>
<source dev='/dev/VolGroup01/fileserver-disk0'/>
<target dev='vda' bus='virtio'/>
</disk>
<disk type='block' device='disk'>
<source dev='/dev/VolGroup02/fileserver-disk1'/>
<target dev='vdb' bus='virtio'/>
</disk>

Hier is de bench op "disk1" gedraaid.

frenkel
15/10/09, 14:40
Bij deze de beloofde benchmarks en bij mij doet virtio het toch echt snel.

Zie de bijlage. Ruwe bonnie++ resultaten op aanvraag, kan hier geen ODS (OpenOffice) attachen.

Zoals in de PDF staat, dit is getest op een RAID-5 set van 4 Intel 80GB SSD's. De CPU van de Areca is hier alleen een bottleneck...

Verkeerde bijlage? :huh:

Wido
15/10/09, 14:41
Verkeerde bijlage? :huh:Ah, zie het. Files stonden onder elkaar.... Staat nu de goede bij!

maxnet
15/10/09, 19:24
Bij deze de beloofde benchmarks en bij mij doet virtio het toch echt snel.


Bij het lezen/seeks zelfs sneller dan local.

Wel getest met een grootte ("-s <aantal MB>") die minimaal 2x de hoeveelheid geheugen van het hostsysteem + de cache van de Areca is?

Wido
15/10/09, 19:48
Bij het lezen/seeks zelfs sneller dan local.

Wel getest met een grootte ("-s <aantal MB>") die minimaal 2x de hoeveelheid geheugen van het hostsysteem + de cache van de Areca is?Ja, ik heb tests gedraaid met een fileset van 10GB.

Wat ik denk is dat de performance zo hoog wordt omdat het host systeem en het guest systeem caching kunnen toepassen.

maxnet
15/10/09, 20:03
Ja, ik heb tests gedraaid met een fileset van 10GB.

Wat ik denk is dat de performance zo hoog wordt omdat het host systeem en het guest systeem caching kunnen toepassen.

Ok.

Maar toch apart.
Zou zelf verwachten dat dubbele caching juist ongunstig is.
Dan heb je 2x een kleine cache, en is er het risico dat er in beide caches dezelfde gegevens voorkomen.
Met alleen het host systeem (waar verder niets op draait), heb je 1x een grote cache waar niets dubbel in staat.

vDong
18/10/09, 13:35
Heb hier PROXMOX VE draaien (sinds 4 maanden) en zeer tevreden. Ik heb 2 servers draaien met 3 KVM VM's CentOS per server. Kleine opstelling dus.

De "live" migratie (paar seconden down om geheugen status over te zetten) functie vind ik wel erg prettig. Heb je kapotte disk of ander probleem dan schuif je in enkele minuten de VM naar de 2e server en kan je op de eerste werkzaamheden verrichten.

Naar aanleiding van dit topic draait het bij ons nu op 2 desktop-hardware dozen.
Het ziet er leuk uit, live migratie lijkt niet goed te werken, maar dat hoeft geen issue te zijn.

Ben jij nog dingen tegen gekomen die je tegen vielen met deze opstelling? of juist mee vielen?
Kortgezegt dus, kan je iets meer vertellen over je ervaringen hiermee?

vDong
18/10/09, 13:50
Als er dingen zijn waar je op vastloopt, stuur me even een pm. Kan je het waarschijnlijk zo uitleggen.
Kan dat ook gewoon in dit topic? Zodat wij er ook van kunnen leren :)

avanmessen
20/10/09, 14:30
Ben zelf erg tevreden over KVM, had getest met Proxmox VE
maar heb nu besloten om uitsluitend KVM te gaan gebruiken
voor virtualisatie.

Draait zelfs vlotjes op een DRBD cluster, de performantie hangt
natuurlijk af van het aantal VMs die je besluit op één cluster of
server te draaien.

Ik post ook wel mijn bevindingen.

dicktump
22/10/09, 10:57
Ik heb inmiddels Proxmox 1.4 met KVM getest versus Debian Lenny met standaard Xen (paravirtualisatie). Ik ben alleen niet echt tevreden over de I/O performance van KVM. Vooral met sequenteel lezen zie je dit ook wel terug.

Met KVM heb ik een maximum van 80 MB/s gehaald, terwijl Xen ruim 140 haalt. De dom0 haalt zelfs 207 MB/s, dus ook Xen heeft nog wel een redelijk groot verlies. Ook voelt KVM wel net wat langzamer aan. Dus ik heb verder geen uitgebreide tests gedaan, gezien dit al wel aardig tegenviel.

Deze snelheden zijn op een Xeon 3330 systeem met Areca 1200 kaart met 2xSamsung F3 500 GB HDD's.

Hebben meer mensen dit probleem, of is er gewoon iets heel simpels aan KVM te tweaken waarmee het ineens een stuk beter gaat?

frenkel
22/10/09, 11:00
Ik heb inmiddels Proxmox 1.4 met KVM getest versus Debian Lenny met standaard Xen (paravirtualisatie). Ik ben alleen niet echt tevreden over de I/O performance van KVM. Vooral met sequenteel lezen zie je dit ook wel terug.

Met KVM heb ik een maximum van 80 MB/s gehaald, terwijl Xen ruim 140 haalt. De dom0 haalt zelfs 207 MB/s, dus ook Xen heeft nog wel een redelijk groot verlies. Ook voelt KVM wel net wat langzamer aan. Dus ik heb verder geen uitgebreide tests gedaan, gezien dit al wel aardig tegenviel.

Deze snelheden zijn op een Xeon 3330 systeem met Areca 1200 kaart met 2xSamsung F3 500 GB HDD's.

Hebben meer mensen dit probleem, of is er gewoon iets heel simpels aan KVM te tweaken waarmee het ineens een stuk beter gaat?

Gebruikte je virtio disk drivers? Gebruikte je images, partities, of lvm partities?

Serveo
22/10/09, 11:02
Ik ben voor onze nieuwe cluster ook enorm aan het twijfelen tussen KVM en Xen. Vooral omdat KVM nog niet echt een goede UI (SolusVM) heeft.

dicktump
22/10/09, 11:06
Gebruikte je virtio disk drivers? Gebruikte je images, partities, of lvm partities?
Ik heb getest met IDE, SCSI en Virtio. IDE haalde de hoogste snelheid. SCSI zat rond de 40 MB/s en Virtio rond de 20-25 MB/s. Vooral van Virtio had ik wat meer verwacht.

De schijven waren verder totaal niks aan het doen.

Met Xen gebruik ik LVM. Ik weet eigenlijk niet wat ik met Proxmox heb gebruikt. Heb gewoon de standaard instellingen voor de lokale storage gepakt.

frenkel
22/10/09, 11:07
Ik ben voor onze nieuwe cluster ook enorm aan het twijfelen tussen KVM en Xen. Vooral omdat KVM nog niet echt een goede UI (SolusVM) heeft.

Als je linux draait op je eigen bak, kun je er ook voor kiezen om virt-manager te gebruiken. Vooral de nieuwste versie werkt erg goed, je kunt er nieuwe vm's mee maken, bestaande aanpassen e.d.


Ik heb getest met IDE, SCSI en Virtio. IDE haalde de hoogste snelheid. SCSI zat rond de 40 MB/s en Virtio rond de 20-25 MB/s. Vooral van Virtio had ik wat meer verwacht.

De schijven waren verder totaal niks aan het doen.

Met Xen gebruik ik LVM. Ik weet eigenlijk niet wat ik met Proxmox heb gebruikt. Heb gewoon de standaard instellingen voor de lokale storage gepakt.

Weet je zeker dat virtio goed was ingesteld? Virtio is echt onwaarschijnlijk traag bij je, normaal gesproken zou die alles moeten overwinnen...

dicktump
22/10/09, 11:11
Weet je zeker dat virtio goed was ingesteld? Virtio is echt onwaarschijnlijk traag bij je, normaal gesproken zou die alles moeten overwinnen...
Ik heb er niks aan ingesteld. Ik ging er eigenlijk vanuit dat Proxmox al goede instellingen had voor virtio. Meestal als iets een interface heeft, probeer ik zo min mogelijk zelf te hacken eraan :)

Als gastsysteem draaide ik Debian Lenny, welke gewoon virtio drivers in de kernel heeft. Kan daar ook nog aan liggen natuurlijk, maar ik vind het wel belangrijk dat het vrij standaard al vrij goed werkt.

Wido
22/10/09, 11:22
Heel raar, heb je mijn PDF hier boven al gezien? Ik haal dus juist goede snelheden!

Serveo
22/10/09, 11:24
Als je linux draait op je eigen bak, kun je er ook voor kiezen om virt-manager te gebruiken. Vooral de nieuwste versie werkt erg goed, je kunt er nieuwe vm's mee maken, bestaande aanpassen e.d.

Ik had inderdaad al gekeken naar http://www.virt-manager.org/. Alleen is het de bedoeling dat hier ook klanten op komen. Vandaar dat ik liever zoiets heb als solusVM.

frenkel
22/10/09, 11:25
Ik heb er niks aan ingesteld. Ik ging er eigenlijk vanuit dat Proxmox al goede instellingen had voor virtio. Meestal als iets een interface heeft, probeer ik zo min mogelijk zelf te hacken eraan :)

Als gastsysteem draaide ik Debian Lenny, welke gewoon virtio drivers in de kernel heeft. Kan daar ook nog aan liggen natuurlijk, maar ik vind het wel belangrijk dat het vrij standaard al vrij goed werkt.

Ik denk dat een van je kernels (guest of host) simpelweg te oud is en daardoor nog niet de "beste" virtio code bevat.
Ik zie dat proxmox kernel 2.6.24 gebruikt, toen was kvm net begonnen met virtio ontwikkelingen volgens mij. Als ik jou was zou ik de nieuwste Red Hat/Fedora/Ubuntu even proberen, aangezien zij voorop lopen in KVM ontwikkelingen.

dicktump
22/10/09, 11:30
Heel raar, heb je mijn PDF hier boven al gezien? Ik haal dus juist goede snelheden!
Ja, heb ik gezien, daarom vind ik het ook raar.

Ik denk dat ik toch even ga wachten met verder gaan met KVM. Ik blijf het zeker wel in de gaten houden, want ik betwijfel of Xen echt de toekomst gaat zijn. Citrix XenServer draait wel soepeltjes hier altijd, maar Xen onder bijv. Debian Lenny vind ik niet altijd even stabiel.

Ik denk dat een van je kernels (guest of host) simpelweg te oud is en daardoor nog niet de "beste" virtio code bevat.
Ik zie dat proxmox kernel 2.6.24 gebruikt, toen was kvm net begonnen met virtio ontwikkelingen volgens mij. Als ik jou was zou ik de nieuwste Red Hat/Fedora/Ubuntu even proberen, aangezien zij voorop lopen in KVM ontwikkelingen.
We willen eigenlijk graag bij Debian blijven, maar ik zal binnenkort wel eens met Ubuntu gaan testen. En Lenny heeft ook al niet een heel recente KVM waarschijnlijk.

frenkel
22/10/09, 13:00
Ja, heb ik gezien, daarom vind ik het ook raar.

Ik denk dat ik toch even ga wachten met verder gaan met KVM. Ik blijf het zeker wel in de gaten houden, want ik betwijfel of Xen echt de toekomst gaat zijn. Citrix XenServer draait wel soepeltjes hier altijd, maar Xen onder bijv. Debian Lenny vind ik niet altijd even stabiel.

We willen eigenlijk graag bij Debian blijven, maar ik zal binnenkort wel eens met Ubuntu gaan testen. En Lenny heeft ook al niet een heel recente KVM waarschijnlijk.

Ik zie dat Proxmox 1.4 pas een paar dagen oud is. Volgens dit artikel (http://www.linux-kvm.com/content/proxmox-14-released-adds-kvm-storage-features) zijn de KVM modules gebackport vanuit 2.6.30. Als je dus 1.4 gebruikt, zou virtio goed snel moeten werken. Ik denk wel dat je guest os ook nieuw genoeg moet zijn.

maxnet
22/10/09, 14:44
Volgens dit artikel (http://www.linux-kvm.com/content/proxmox-14-released-adds-kvm-storage-features) zijn de KVM modules gebackport vanuit 2.6.30. Als je dus 1.4 gebruikt, zou virtio goed snel moeten werken.

Heb nog niet met 1.4-release getest, maar in 1.4-beta2 waar de nieuwe modules ook al bij zaten, waren de resultaten van VirtIO nog steeds slechter dan IDE.
Zie de bonnie resultaten (http://www.webhostingtalk.nl/virtualisatie-vps/153894-ervaringen-kvm-linux-3.html#post1091275) eerder in de thread.

Iemand die met Proxmox wel goede IO resultaten heeft gehaald?

Wido
23/10/09, 18:40
Testen jullie allemaal met QCOW2 images? Ik namelijk niet, al mijn VM's hebben een directe LV waar ze toegang tot hebben.

Wellicht dat dat het verschil maakt?

maxnet
23/10/09, 19:02
Testen jullie allemaal met QCOW2 images? Ik namelijk niet, al mijn VM's hebben een directe LV waar ze toegang tot hebben.

Wellicht dat dat het verschil maakt?

Tenzij je het anders instelt, zijn het bij Proxmox standaard 'raw' images op een ext bestandssysteem.

Dat dit meer overhead geeft dan een LVM opstelling begrijp ik.
Maar de overhead zou gelijk moeten zijn voor zowel IDE als voor VIRTIO.

Zal eens testen met een volledige aparte schijf voor de VM.

maxnet
27/10/09, 17:24
LVM gebruiken hielp niet, het vervangen van de IO scheduler wel.
Met "deadline" op het hostsysteem doet VirtIO het wel goed.


Ubuntu 9.10-beta VM op LVM storage (aparte schijf) met VirtIO, standaard CFQ scheduler:



Version 1.03c ------Sequential Output------ --Sequential Input- --Random-
-Per Chr- --Block-- -Rewrite- -Per Chr- --Block-- --Seeks--
Machine Size K/sec %CP K/sec %CP K/sec %CP K/sec %CP K/sec %CP /sec %CP
ubuntu910 16G 39209 96 45383 3 29984 6 33996 73 90472 8 636.5 1
------Sequential Create------ --------Random Create--------
-Create-- --Read--- -Delete-- -Create-- --Read--- -Delete--
files /sec %CP /sec %CP /sec %CP /sec %CP /sec %CP /sec %CP
16 +++++ +++ +++++ +++ +++++ +++ 23837 56 +++++ +++ +++++ +++
ubuntu910,16G,39209,96,45383,3,29984,6,33996,73,90 472,8,636.5,1,16,+++++,+++,+++++,+++,+++++,+++,238 37,56,+++++,+++,+++++,+++


Ubuntu 9.10-beta VM op LVM storage (aparte schijf) met VirtIO, deadline scheduler:



Version 1.03c ------Sequential Output------ --Sequential Input- --Random-
-Per Chr- --Block-- -Rewrite- -Per Chr- --Block-- --Seeks--
Machine Size K/sec %CP K/sec %CP K/sec %CP K/sec %CP K/sec %CP /sec %CP
ubuntu910 16G 38776 97 61414 5 32451 7 34711 73 95325 9 7174 23
------Sequential Create------ --------Random Create--------
-Create-- --Read--- -Delete-- -Create-- --Read--- -Delete--
files /sec %CP /sec %CP /sec %CP /sec %CP /sec %CP /sec %CP
16 +++++ +++ +++++ +++ +++++ +++ +++++ +++ +++++ +++ +++++ +++
ubuntu910,16G,38776,97,61414,5,32451,7,34711,73,95 325,9,7174.2,23,16,+++++,+++,+++++,+++,+++++,+++,+ ++++,+++,+++++,+++,+++++,+++


Scheelt bij random seeks maar liefst een factor 11.


Host systeem zonder VMs met deadline:



Version 1.03e ------Sequential Output------ --Sequential Input- --Random-
-Per Chr- --Block-- -Rewrite- -Per Chr- --Block-- --Seeks--
Machine Size K/sec %CP K/sec %CP K/sec %CP K/sec %CP K/sec %CP /sec %CP
debian 16G 43057 99 86893 21 37319 7 36366 78 81760 6 10713 13
------Sequential Create------ --------Random Create--------
-Create-- --Read--- -Delete-- -Create-- --Read--- -Delete--
files /sec %CP /sec %CP /sec %CP /sec %CP /sec %CP /sec %CP
16 +++++ +++ +++++ +++ +++++ +++ +++++ +++ +++++ +++ +++++ +++
debian,16G,43057,99,86893,21,37319,7,36366,78,8176 0,6,10712.8,13,16,+++++,+++,+++++,+++,+++++,+++,++ +++,+++,+++++,+++,+++++,+++

Wido
28/10/09, 14:59
Kijk, ziet er goed uit! Tnx voor de tip!

frenkel
28/10/09, 15:01
LVM gebruiken hielp niet, het vervangen van de IO scheduler wel.
Met "deadline" op het hostsysteem doet VirtIO het wel goed.


Ubuntu 9.10-beta VM op LVM storage (aparte schijf) met VirtIO, standaard CFQ scheduler:



Version 1.03c ------Sequential Output------ --Sequential Input- --Random-
-Per Chr- --Block-- -Rewrite- -Per Chr- --Block-- --Seeks--
Machine Size K/sec %CP K/sec %CP K/sec %CP K/sec %CP K/sec %CP /sec %CP
ubuntu910 16G 39209 96 45383 3 29984 6 33996 73 90472 8 636.5 1
------Sequential Create------ --------Random Create--------
-Create-- --Read--- -Delete-- -Create-- --Read--- -Delete--
files /sec %CP /sec %CP /sec %CP /sec %CP /sec %CP /sec %CP
16 +++++ +++ +++++ +++ +++++ +++ 23837 56 +++++ +++ +++++ +++
ubuntu910,16G,39209,96,45383,3,29984,6,33996,73,90 472,8,636.5,1,16,+++++,+++,+++++,+++,+++++,+++,238 37,56,+++++,+++,+++++,+++


Ubuntu 9.10-beta VM op LVM storage (aparte schijf) met VirtIO, deadline scheduler:



Version 1.03c ------Sequential Output------ --Sequential Input- --Random-
-Per Chr- --Block-- -Rewrite- -Per Chr- --Block-- --Seeks--
Machine Size K/sec %CP K/sec %CP K/sec %CP K/sec %CP K/sec %CP /sec %CP
ubuntu910 16G 38776 97 61414 5 32451 7 34711 73 95325 9 7174 23
------Sequential Create------ --------Random Create--------
-Create-- --Read--- -Delete-- -Create-- --Read--- -Delete--
files /sec %CP /sec %CP /sec %CP /sec %CP /sec %CP /sec %CP
16 +++++ +++ +++++ +++ +++++ +++ +++++ +++ +++++ +++ +++++ +++
ubuntu910,16G,38776,97,61414,5,32451,7,34711,73,95 325,9,7174.2,23,16,+++++,+++,+++++,+++,+++++,+++,+ ++++,+++,+++++,+++,+++++,+++


Scheelt bij random seeks maar liefst een factor 11.


Host systeem zonder VMs met deadline:



Version 1.03e ------Sequential Output------ --Sequential Input- --Random-
-Per Chr- --Block-- -Rewrite- -Per Chr- --Block-- --Seeks--
Machine Size K/sec %CP K/sec %CP K/sec %CP K/sec %CP K/sec %CP /sec %CP
debian 16G 43057 99 86893 21 37319 7 36366 78 81760 6 10713 13
------Sequential Create------ --------Random Create--------
-Create-- --Read--- -Delete-- -Create-- --Read--- -Delete--
files /sec %CP /sec %CP /sec %CP /sec %CP /sec %CP /sec %CP
16 +++++ +++ +++++ +++ +++++ +++ +++++ +++ +++++ +++ +++++ +++
debian,16G,43057,99,86893,21,37319,7,36366,78,8176 0,6,10712.8,13,16,+++++,+++,+++++,+++,+++++,+++,++ +++,+++,+++++,+++,+++++,+++

Is deadline niet meer default in Ubuntu 9.10 dan? Op Hardy (8.04) server is het default scheduler...

maxnet
28/10/09, 15:09
Is deadline niet meer default in Ubuntu 9.10 dan? Op Hardy (8.04) server is het default scheduler...

Het gaat niet om de scheduler van de VM, maar om het host systeem.
In Debian/Proxmox stond ie eerst op CFQ

Yourwebhoster
19/11/09, 00:02
Om dit topic maar een kickje te geven: Lijkt er op dat SolusVM pas in februari 2010 ondersteuning krijgt voor KVM volgens dit topic: http://forum.soluslabs.com/showpost.php?p=1974&postcount=18. En de XEN release die uit gaat komen heeft alleen ondersteuning voor Linux en nog niet voor Windows, dus dat is wel eventjes minder helaas...

Randy
30/11/09, 09:47
Voor wie een paneel en management interface voor KVM zoekt, met HA, Live migration en support: RHEV (http://www.redhat.com/virtualization/rhev/) ($499.- / socket / jaar).

rensariens
30/11/09, 10:02
Voor wie een paneel en management interface voor KVM zoekt, met HA, Live migration en support: RHEV (http://www.redhat.com/virtualization/rhev/) ($499.- / socket / jaar).

Kwamen hier niet nog kosten bij voor RHE zelf? Zie wel wat beperkingen op gebied van guest hosts en er is weinig informatie beschikbaar over de exacte mogelijkheden van het admin paneel en het guest paneel. Verder is dit natuurlijk erg vreemd:

System Requirements

Management server: x86 server running US English
language version of Windows Server 2003 R2 with SP2,
.Net 3.5 or later, Application Server role installed Windows
Server 2008 not supported
Management console: x86 desktop or server running
Windows XP SP2 or later, Windows Vista, Windows 7,
Windows Server 2003 or later, and Internet Explorer 6-8

Randy
30/11/09, 10:08
Kwamen hier niet nog kosten bij voor RHE zelf?

Dat is inderdaad wat ik me nog afvraag. Scheelt zomaar 2,5K...

De grote vraag is natuurlijk wat Oracle gaat doen. Zij lopen met hun Linux aardig mee met Redhat en ver vooruit op CentOS. Bovendien is het stukken goedkoper én heb je goede support. (Ze heben Virtual Iron een paar maand terug overgenomen)

maxnet
30/11/09, 14:25
Management server: x86 server running US English
language version of Windows Server 2003 R2 with SP2,
.Net 3.5 or later

Tja, dat krijg je als je een bedrijf overneemt dat de management interface in .NET heeft geschreven :chinese:

Aan de documentatie (http://www.redhat.com/docs/en-US/Red_Hat_Enterprise_Virtualization/) te zien, gebruiken ze verder MS SQL Express als database, is er een active-x component nodig om de webinterface te kunnen bekijken, en zit er alleen een Powershell API bij.
De kans dat er nog een Linux/Mono versie van uitkomt, lijkt me dus niet erg groot.

Beetje jammer.

vincentvdk
30/11/09, 23:59
Ik heb al een aantal presentaties van Red Hat bijgewoond ivm KVM, en ze zijn de RHEV-M aan het herwerken naar een Java/JBOSS app met Postgres.
Uiteraard wordt dit ook als Opensource vrij gegeven.

Randy
01/12/09, 01:08
Ik heb al een aantal presentaties van Red Hat bijgewoond ivm KVM, en ze zijn de RHEV-M aan het herwerken naar een Java/JBOSS app met Postgres.
Uiteraard wordt dit ook als Opensource vrij gegeven.

Ik ben benieuwd... Java is geen probleem, evenzo geldt voor Postgres. Lkker stabiele systemen.

maxnet
01/12/09, 01:46
Ik heb al een aantal presentaties van Red Hat bijgewoond ivm KVM, en ze zijn de RHEV-M aan het herwerken naar een Java/JBOSS app met Postgres.
Uiteraard wordt dit ook als Opensource vrij gegeven.

Is dan ook al bekend wat ze vervolgens met de huidige software gaan doen?

oVirt (geschreven in Ruby) was toch ook van Red Hat?
Kan me niet voorstellen dat ze graag drie verschillende implementaties blijven onderhouden.

Jethro
30/12/09, 17:36
I
oVirt (geschreven in Ruby) was toch ook van Red Hat?


Jah oVirt word ook door die jongens van Red Hat gemaakt.

Iemand dit wel eens lekker werkend gekregen? Ben wel eens bezig geweest om het op te zetten samen met glusterfs (http://www.gluster.com/community/documentation/index.php/GlusterFS_oVirt_Setup_Guide) maar liep tegen alleen maar problemen aan toen.

paul999
30/12/09, 18:08
Heeft iemand anders ook problemen met een lenny guest onder KVM? Ik heb nu al de afgelopen dagen diverse freezes gehad met een debian lenny guest, en daarna kernel foutmeldingen. Vraag me toch af of meerdere personen hiervan last hebben.
Het lijkt erop dat dit voornamelijk optreed bij veel I/O tegelijk

Serveo
30/12/09, 20:38
Heeft iemand anders ook problemen met een lenny guest onder KVM? Ik heb nu al de afgelopen dagen diverse freezes gehad met een debian lenny guest, en daarna kernel foutmeldingen. Vraag me toch af of meerdere personen hiervan last hebben.
Het lijkt erop dat dit voornamelijk optreed bij veel I/O tegelijk

Denk dat de heren van pc extreme je hier wel opheldering over kunnen geven. Zoals eerder gemeld gebruiken die al vol op KVM en zover ik weet gebruiken ze voornamelijk debian.

Wido
30/12/09, 23:03
Heeft iemand anders ook problemen met een lenny guest onder KVM? Ik heb nu al de afgelopen dagen diverse freezes gehad met een debian lenny guest, en daarna kernel foutmeldingen. Vraag me toch af of meerdere personen hiervan last hebben.
Het lijkt erop dat dit voornamelijk optreed bij veel I/O tegelijkJup, wij zien met Debian Lenny ook véél crashes.

Het is dat bij ons bijna alles Ubuntu draait en incidenteel wat Debian, maar daar is het ook goed raak.

Of je nu virtio of scsi gebruikt, de crashes komen op de meest vervelende tijden. Ik heb alleen nog niet kunnen vinden waar het fout gaat....

Stina
31/12/09, 02:44
Jup, wij zien met Debian Lenny ook véél crashes.

Het is dat bij ons bijna alles Ubuntu draait en incidenteel wat Debian, maar daar is het ook goed raak.

Of je nu virtio of scsi gebruikt, de crashes komen op de meest vervelende tijden. Ik heb alleen nog niet kunnen vinden waar het fout gaat....

Op dit moment heb ik eigenlijk nog geen enkel probleem gehad met Lenny guests. Op ons KVM platform draaien momenteel alleen maar Debian Lenny guest. Weliswaar zonder veel load, maar ze draaien al een tijdje zonder problemen. Alles draait vanaf een SAN.

We hebben in Amerika ook nog een KVM omgeving staan die in gebruik is met verschillende distro's (RHEL5 en Debian5), ook daar nog geen issues over vernomen. Dat platform draait wel op lokale storage. Zal eens navraag doen bij de mensen daar.

Heb zojuist op verschillende guests disk load gesimuleerd en tot dusver geen issues.

We draaien alle guests met virtio en LVM op een ubuntu 9.04 host..

Als jullie meer weten, of weten hoe het te reproduceren valt dan hoor ik dat graag. Dan duik ik er ook in.

Wido
31/12/09, 10:33
We draaien er niet meer dan DirectAdmin in, dat is juist het rare, het is niet exotisch wat er in draait.

Host is ook Ubuntu 9.04 met LVM.

Serveo
31/12/09, 11:29
We draaien er niet meer dan DirectAdmin in, dat is juist het rare, het is niet exotisch wat er in draait.

Host is ook Ubuntu 9.04 met LVM.

Wido, wat ik me dan afvraag of dit enkel met Debian is of ook met redhat / centos?

Wido
31/12/09, 11:43
Hoewel we wel CentOS/RedHat aanbieden zou ik niet weten hoe veel er van draaien bij ons, de meeste VPS'en zijn unmanaged.

Ik hoor in ieder geval geen klachten er over, dus ik heb er geen antwoord op.

Stina
31/12/09, 13:04
bij ons zijn de meeste Lenny guests overigens wel 32bit. Verder niets bijzonders, zijn vrijwel allemaal kale app servers met Tomcat erop.

paul999
31/12/09, 14:01
In mijn geval is het puur een mysql VM, met verder niets anders erop. Als ik op de console inlog is het enige wat ik krijg een aantal kernel messages. Het lijkt erop dat het een bug in de lenny kernel is, http://bugs.debian.org/cgi-bin/bugreport.cgi?bug=516374 (Zie ook mijn laatste email in die bug daar)

Met de 2.6.32 kernel heb ik weer een andere bug, plus die komt uit unstable, dus die heb ik ook liever niet in productie nog. Het is momenteel echter wel heel vervelend, het gebeurd inderdaad op de meeste vervelende tijden, en het lijkt ook complete random voor te komen.
In mijn geval draait het ook op lokale storage, dus dat moet het probleem volgens mij niet zijn (Ik neem tenminste aan dat het bij Wido niet lokaal draait?)
Op een andere VM met Direct Admin heb ik het nog niet kunnen waarnemen, echter heeft die het nog niet zo ontzettend druk, omdat de machine net nieuw is, en ik hem nog niet veel gebruik, mede door dit probleem.

Bart L
18/01/10, 12:12
We zijn bijna 2 weken verder, hebben jullie het e.a. al stabiel draaien? En zo, hoe?
Ik test op dit moment zelf met de debian installatie van Proxmox, en dan de test versie.

Bewust een wat extreme installatie:

- 2x VM Windows 2008 (1x Web / 1x SBS)
- 1x m0n0wall (om SBS 2008 zo "natuurlijk" mogelijk te laten fuctioneren)
- 2x Centos DA
- 1x ASSP (veel CPU!)

Ik moet zeggen, dat ik tevreden ben over de test op dit moment.

Dit gebeurd nu op een 4 x Intel(R) Xeon(R) CPU L5508 @ 2.00GHz / 800 GB HW Raid / 6 GB.

Lokale storage dus, en backup naar externe NFS.

Geen rare stabiliteit problemen op dit moment.

paul999
18/01/10, 19:24
Ik kan het nog niet echt stabiel noemen nee :).
Ook al moet ik zeggen dat de kernel uit unstable wel stabieler is met debian, het gebeurd nog steeds dat of mysql, of iets anders, ervoor zorgt dat hij helemaal freezed. Met de stable kernel kon ik dan nog op de console van de VM, maar met de unstable kernel gaat ook dat helaas niet meer.
Ook op diverse andere VMs begint het probleem nu op te treden, en ik zit op het moment te plannen om alle VMs om te zetten naar ubuntu, of in ieder geval de mysql VM, welke momenteel het meeste probleem geeft.

Wido
19/01/10, 12:47
Hier draaien we nog steeds alles op Ubuntu 9.04, nu al enkele honderden VM's online en draait echt super.

Ben aan het overwegen op onze blades (2x SuperMicro chassis) RHEV te zetten: http://www.redhat.com/virtualization/rhev/server/

Krijg binnenkort 4 test licenties om eens te kijken hoe dat werkt / presteert.

mikeh
22/01/10, 20:06
Heeft iemand anders ook problemen met een lenny guest onder KVM? Ik heb nu al de afgelopen dagen diverse freezes gehad met een debian lenny guest, en daarna kernel foutmeldingen. Vraag me toch af of meerdere personen hiervan last hebben.
Het lijkt erop dat dit voornamelijk optreed bij veel I/O tegelijk

Ja, daarom maken wij gebruik van de kernel van backports.

De guest:

$ uname -a
Linux euro-guest 2.6.30-bpo.2-amd64 #1 SMP Tue Oct 27 09:12:19 UTC 2009 x86_64 GNU/Linux

De host:

$ uname -a
Linux euro-host 2.6.30-bpo.2-amd64 #1 SMP Tue Oct 27 09:12:19 UTC 2009 x86_64 GNU/Linux


$ uptime
19:04:13 up 67 days, 9:15, 1 user, load average: 0.10, 0.10, 0.09

Je moet overigens op de host als op de guest dezelfde kernel uit backports draaien om Debian/Lenny stabiel te houden.

Groet,
Mike

bbytes
27/01/10, 00:54
KVM is leuk en erg goed voor de toekomst. Wil je het nu gebruiken en je hebt nog hardware zonder VT processoren, zet die dan lekker buiten de deur en koop servers met VT support. Ik heb namelijk nog niks gelezen over support voor paravirtualization. Maar zeer begrijpelijk, daar dit niet de roadmap voor KVM is.

Mark17
27/01/10, 00:57
paravirtualization is mogelijk dacht ik, hoewel ik dit niet getest heb.

Bart L
27/01/10, 01:00
Paravirtualization wordt meestal OpenVZ voor gebruikt, maar KVM ondersteuning hiervoor heb ik nog nergens gelezen e.d.

Randy
27/01/10, 02:35
Paravirtualization wordt meestal OpenVZ voor gebruikt, maar KVM ondersteuning hiervoor heb ik nog nergens gelezen e.d.

OpenVZ is geen paravirtualisatie maar softwarevirtualisatie (opgefokte chroots).

dicktump
27/01/10, 10:50
Op het testcluster hier geen problemen met de standaard Lenny kernel. Hosts draaien Ubuntu 9.10. De gastkernel is overigens wel 32 bits, gezien het gemigreerde 32 bits systeempjes zijn en een herinstallatie even teveel werk was voor tests enzo :)

We hebben o.a. ons hele Cacti spul al op het testcluster draaien en dat genereert echt wel heel veel I/O.

rackhost.be
11/03/10, 12:24
nog nieuwe ervaringen bij ?

rackhost.be
11/03/10, 13:02
ga zodadelijk een kvm testen op een nieuwe machine

een hdparm op een xen machine geeft wel goede resultaten (merkwaardig dat disk reads in een VM sneller is dan op de feitelijke host

3Ware RAID1 en 2x Samsung F3 500GB

HOST /dev/sda:
Timing cached reads: 30736 MB in 1.99 seconds = 15419.62 MB/sec
Timing buffered disk reads: 316 MB in 3.00 seconds = 105.17 MB/sec
[root@xenserver3-deca ~]# hdparm -Tt /dev/sda


XEN VM /dev/xvda:
Timing cached reads: 16694 MB in 1.99 seconds = 8381.52 MB/sec
Timing buffered disk reads: 572 MB in 3.01 seconds = 190.08 MB/sec

t.bloo
11/03/10, 15:05
merkwaardig dat disk reads in een VM sneller is dan op de feitelijke host

je test zo ook niet je disk maar het cache geheugen van het host systeem

avanmessen
11/03/10, 15:25
Zoals ik reeds in een vorige reply schreef, hier mijn
bevindingen over KVM na een aantal weken tests !

Alle VMs draaien inmiddels op KVM, zegt dit genoeg ?

Platform bestaat uit twee servers met elk een 80GB
disk voor de KVM installatie en een 250GB disk voor
een DRBD storage. Deze draait in active/active mode
wat toelaat om live migraties te doen, werkt erg vlot.

LVM op de DRBD laat toe snapshots te maken, je kan
deze als cron draaien en zelfs via NFS exporteren naar
een "betere" storage bvb ... backups ...

Simpele setup, goed voor kleinere providers zoals mezelf.

:thumbup:

rackhost.be
11/03/10, 15:32
Zoals ik reeds in een vorige reply schreef, hier mijn
bevindingen over KVM na een aantal weken tests !

Alle VMs draaien inmiddels op KVM, zegt dit genoeg ?

Platform bestaat uit twee servers met elk een 80GB
disk voor de KVM installatie en een 250GB disk voor
een DRBD storage. Deze draait in active/active mode
wat toelaat om live migraties te doen, werkt erg vlot.

LVM op de DRBD laat toe snapshots te maken, je kan
deze als cron draaien en zelfs via NFS exporteren naar
een "betere" storage bvb ... backups ...

Simpele setup, goed voor kleinere providers zoals mezelf.

:thumbup:

welk os gebruik je ervoor?

avanmessen
11/03/10, 16:09
Debian Lenny

Bart L
11/03/10, 16:12
En ik sluit me daarbij aan ;) Mocht je wat meer informatie willen kun je ook even mailen e.d.

t.bloo
11/03/10, 16:14
wat heeft je voorkeur voor de guest disks?

rackhost.be
12/03/10, 23:43
aan het testen
proxmox is qua UI wel ok, maar momenteel slechte performance met KVM


1. Host OS


Version 1.03d ------Sequential Output------ --Sequential Input- --Random-
-Per Chr- --Block-- -Rewrite- -Per Chr- --Block-- --Seeks--
Machine Size K/sec %CP K/sec %CP K/sec %CP K/sec %CP K/sec %CP /sec %CP
proxmox 16G 43256 86 98548 27 45054 9 37183 97 110565 9 273.1 0
------Sequential Create------ --------Random Create--------
-Create-- --Read--- -Delete-- -Create-- --Read--- -Delete--
files /sec %CP /sec %CP /sec %CP /sec %CP /sec %CP /sec %CP
16 +++++ +++ +++++ +++ +++++ +++ +++++ +++ +++++ +++ +++++ +++
proxmox,16G,43256,86,98548,27,45054,9,37183,97,110 565,9,273.1,0,16,+++++,+++,+++++,+++,+++++,+++,+++ ++,+++,+++++,+++,+++++,+++

2. Proxmox OpenVz


Version 1.03d ------Sequential Output------ --Sequential Input- --Random-
-Per Chr- --Block-- -Rewrite- -Per Chr- --Block-- --Seeks--
Machine Size K/sec %CP K/sec %CP K/sec %CP K/sec %CP K/sec %CP /sec %CP
test 2G 36183 94 249252 51 432086 48 48923 99 +++++ +++ +++++ +++
------Sequential Create------ --------Random Create--------
-Create-- --Read--- -Delete-- -Create-- --Read--- -Delete--
files /sec %CP /sec %CP /sec %CP /sec %CP /sec %CP /sec %CP
16 +++++ +++ +++++ +++ +++++ +++ +++++ +++ +++++ +++ +++++ +++
test,2G,36183,94,249252,51,432086,48,48923,99,++++ +,+++,+++++,+++,16,+++++,+++,+++++,+++,+++++,+++,+ ++++,+++,+++++,+++,+++++,+++



3. Proxmox KVM Virtio & RAW image



Version 1.03c ------Sequential Output------ --Sequential Input- --Random-
-Per Chr- --Block-- -Rewrite- -Per Chr- --Block-- --Seeks--
Machine Size K/sec %CP K/sec %CP K/sec %CP K/sec %CP K/sec %CP /sec %CP
localhost.locald 2G 3716 29 5901 15 38190 16 22951 91 237847 55 3150 42
------Sequential Create------ --------Random Create--------
-Create-- --Read--- -Delete-- -Create-- --Read--- -Delete--
files /sec %CP /sec %CP /sec %CP /sec %CP /sec %CP /sec %CP
16 9397 97 +++++ +++ +++++ +++ 11991 95 +++++ +++ +++++ +++
localhost.localdomain,2G,3716,29,5901,15,38190,16, 22951,91,237847,55,3149.5,42,16,9397,97,+++++,+++, +++++,+++,11991,95,+++++,+++,+++++,+++

t.bloo
12/03/10, 23:50
interessant, kun je die code in [ code ] tags zetten, dat leest makkelijker

rackhost.be
12/03/10, 23:53
interessant, kun je die code in [ code ] tags zetten, dat leest makkelijker

sorry aangepast

Randy
12/03/10, 23:54
OpenVZ vs KVM is virualisatie op softwarenveau (opgefokte chroots) vs echte virtualisatie. Ik denk dat dit ook verre van een goede vergelijking is.
Iemand al meer nieuws van Redhat, anders neem ik die volgende week op WHD mee waar Redhat nog een presentaie houdt over virtualsatie.

rackhost.be
12/03/10, 23:57
OpenVZ vs KVM is virualisatie op softwarenveau (opgefokte chroots) vs echte virtualisatie. Ik denk dat dit ook verre van een goede vergelijking is.
Iemand al meer nieuws van Redhat, anders neem ik die volgende week op WHD mee waar Redhat nog een presentaie houdt over virtualsatie.

ja maar aangezien proxmox eveneens openvz ondersteunt dacht ik kan ik net zo goed een testje bijdraaien daarop :)

heb de benchmark ook op het host os uitgevoerd, en toegevoegd

t.bloo
13/03/10, 00:11
andere belasting van de server? wat zijn je precieze test instellingen? die openvz container lijkt weer een cache test

ik heb van de week wat getest met netwerk performance en daar was ik juist heel erg over te spreken

rackhost.be
13/03/10, 00:13
andere belasting van de server? wat zijn je precieze test instellingen? die openvz container lijkt weer een cache test

ik heb van de week wat getest met netwerk performance en daar was ik juist heel erg over te spreken

laat gewoon de default bonnie++ erop los zonder verdere paramters

maxnet
13/03/10, 00:28
laat gewoon de default bonnie++ erop los zonder verdere paramters

Dat is niet betrouwbaar, omdat deze de totale hoeveelheid geheugen niet kan detecteren binnen een VM.

Doe de testen binnen de VM nog eens, maar dan met: "bonnie++ -s 16384" (er vanuitgaand dat je alleen 8 GB geheugen hebt, en GEEN cache op je raid kaart, anders moet deze hoger).

rackhost.be
13/03/10, 00:32
Doe de testen binnen de VM nog eens, maar dan met: "bonnie++ -s 16384"

voor 1 gig ram?

hij is nu nog even aan het lopen na een kernel update,
met de iso was 2.6.18, na update 2.6.32
kijken of dit al iets zal opleveren

maxnet
13/03/10, 00:34
voor 1 gig ram?

De hoeveelheid die in het HOST systeem zit telt, omdat ook het totale beschikbare geheugen van het HOST systeem als cache wordt gebruikt.
Hoeveelheid waarmee je test moet minimaal 2 * (geheugen host systeem + cache geheugen RAID kaart) zijn.

rackhost.be
13/03/10, 00:54
met de nieuwe 2.6.32 kernel:


Version 1.03c ------Sequential Output------ --Sequential Input- --Random-
-Per Chr- --Block-- -Rewrite- -Per Chr- --Block-- --Seeks--
Machine Size K/sec %CP K/sec %CP K/sec %CP K/sec %CP K/sec %CP /sec %CP
localhost.locald 2G 1287 11 3093 5 42063 19 52092 95 541936 90 8581 88
------Sequential Create------ --------Random Create--------
-Create-- --Read--- -Delete-- -Create-- --Read--- -Delete--
files /sec %CP /sec %CP /sec %CP /sec %CP /sec %CP /sec %CP
16 20614 98 +++++ +++ +++++ +++ 13136 99 +++++ +++ +++++ +++
localhost.localdomain,2G,1287,11,3093,5,42063,19,5 2092,95,541936,90,8580.6,88,1$





met 16gig parameter volgt zodadelijk

rackhost.be
13/03/10, 02:32
Doe de testen binnen de VM nog eens, maar dan met: "bonnie++ -s 16384" (er vanuitgaand dat je alleen 8 GB geheugen hebt, en GEEN cache op je raid kaart, anders moet deze hoger).


Version 1.03c ------Sequential Output------ --Sequential Input- --Random-
-Per Chr- --Block-- -Rewrite- -Per Chr- --Block-- --Seeks--
Machine Size K/sec %CP K/sec %CP K/sec %CP K/sec %CP K/sec %CP /sec %CP
localhost.local 16G 13910 68 6306 8 20223 17 25078 84 56290 19 136.6 1
------Sequential Create------ --------Random Create--------
-Create-- --Read--- -Delete-- -Create-- --Read--- -Delete--
files /sec %CP /sec %CP /sec %CP /sec %CP /sec %CP /sec %CP
16 9386 65 +++++ +++ +++++ +++ 21097 96 +++++ +++ +++++ +++
localhost.localdomain,16G,13910,68,6306,8,20223,17 ,25078,84,56290,19,136.6,1,16$

maxnet
13/03/10, 03:29
Version 1.03c ------Sequential Output------ --Sequential Input- --Random-
-Per Chr- --Block-- -Rewrite- -Per Chr- --Block-- --Seeks--
Machine Size K/sec %CP K/sec %CP K/sec %CP K/sec %CP K/sec %CP /sec %CP
localhost.local 16G 13910 68 6306 8 20223 17 25078 84 56290 19 136.6 1
------Sequential Create------ --------Random Create--------
-Create-- --Read--- -Delete-- -Create-- --Read--- -Delete--
files /sec %CP /sec %CP /sec %CP /sec %CP /sec %CP /sec %CP
16 9386 65 +++++ +++ +++++ +++ 21097 96 +++++ +++ +++++ +++
localhost.localdomain,16G,13910,68,6306,8,20223,17 ,25078,84,56290,19,136.6,1,16$


Dat ziet er wat realistischer uit, dan de eerdere resultaten, waarbij de seeks in de VM 10x sneller gingen dan op het host systeem.


Lezen is dus ongeveer een factor 2 slomer in de VM dan bare metal.
En block writes maar liefst een factor 16.

Je zou nog even met de IO schedulers kunnen spelen, om te kijken of dat wat op te krikken valt.

Op het host systeem:



Kijk wat er nu gebruikt wordt:

cat /sys/block/sda/queue/scheduler

Als hij daar nog niet op staat, zet hem op deadline:

echo deadline > /sys/block/sda/queue/scheduler

(er vanuitgaand dat /dev/sda je schijf is)

rackhost.be
13/03/10, 09:47
Dat ziet er wat realistischer uit, dan de eerdere resultaten, waarbij de seeks in de VM 10x sneller gingen dan op het host systeem.

is dit niet logisch omdat VM disk maar 50GB tegenover 250GB van de host?

scheduler is deadline:


proxmox:~# cat /sys/block/sda/queue/scheduler
noop anticipatory deadline [cfq]

ga vandaag nog eens testen op IDE ipv virtio


nog niet goed wakker: had scheduler op host nagekeken ipv VM, maar VM blijkt niet meer willen te starten, ofwel had ik hem vorige nacht gewist

ga nu een nieuwe aanmaken op IDE ipv virtuo, en ook kijken wat er default geinstalleerd wordt van scheduler

rackhost.be
13/03/10, 10:30
maar VM blijkt niet meer willen te starten, ofwel had ik hem vorige nacht gewist

Niet gewist. Afgelopen nacht heb ik de machine uitgezet met de power knop (prima stroomonderbreking testje :) ), en de VM wilt niet meer opstarten: nog zoeken naar logs en tools om dit te kunnen herstellen: zo snel corrupte VM maakt mij toch ook zorgen

rackhost.be
13/03/10, 11:23
en nu op IDE ipv virtuo:


ersion 1.03c ------Sequential Output------ --Sequential Input- --Random-
-Per Chr- --Block-- -Rewrite- -Per Chr- --Block-- --Seeks--
Machine Size K/sec %CP K/sec %CP K/sec %CP K/sec %CP K/sec %CP /sec %CP
localhost.local 16G 26800 83 26574 22 26839 23 30884 89 97885 29 186.6 5
------Sequential Create------ --------Random Create--------
-Create-- --Read--- -Delete-- -Create-- --Read--- -Delete--
files /sec %CP /sec %CP /sec %CP /sec %CP /sec %CP /sec %CP
16 5111 57 +++++ +++ +++++ +++ 10132 87 +++++ +++ +++++ +++
localhost.localdomain,16G,26800,83,26574,22,26839, 23,30884,89,97885,29,186.6,5,$

rackhost.be
13/03/10, 13:40
dezelfde machine ook eens met Citrix Xenserver geinstalleerd en zelfde test uitgevoerd in een VM:


Version 1.03 ------Sequential Output------ --Sequential Input- --Random-
-Per Chr- --Block-- -Rewrite- -Per Chr- --Block-- --Seeks--
Machine Size K/sec %CP K/sec %CP K/sec %CP K/sec %CP K/sec %CP /sec %CP
server.test.be 16G 43382 86 58993 9 31864 3 24041 36 108317 6 106.9 0
------Sequential Create------ --------Random Create--------
-Create-- --Read--- -Delete-- -Create-- --Read--- -Delete--
files /sec %CP /sec %CP /sec %CP /sec %CP /sec %CP /sec %CP
16 +++++ +++ +++++ +++ +++++ +++ +++++ +++ +++++ +++ +++++ +++

maxnet
13/03/10, 14:54
is dit niet logisch omdat VM disk maar 50GB tegenover 250GB van de host?

Nee, dat zou niet een factor 10 mogen schelen.
bonnie++ reserveert aan het begin van de test een stuk schijf van 16 GB (of wat je ingesteld hebt).
Of deze nu 16 GB pakt van 50 GB of 16 GB van 250 GB, maakt niet gigantisch veel uit, tenzij je weinig vrije ruimte hebt en het bestandssysteem erg gefragmenteerd is.


Het probleem is het vrije geheugen van het host systeem, dat als (2e) cache gebruikt wordt.
Als je testgrootte te klein is, krijg je resultaten die laten zie hoe snel er uit dat geheugen gelezen kan worden, niet hoe snel echte IO acties zijn.

Zoveel vrij geheugen als je nu in je testopstelling hebt, zul je in de praktijk niet meer hebben, op het moment dat je meerdere VM's op die server zet.

Als je testen met 16 GB te lang vindt duren kan je eventueel ook de hoeveelheid geheugen die in de server zit halveren (bij het opstarten in grub de optie "mem=4G" aan de kernel geven) en met 8 GB testen.




scheduler is deadline:


proxmox:~# cat /sys/block/sda/queue/scheduler
noop anticipatory deadline [cfq]


Hij laat alle ondersteunde schedulers zien.
Welke daadwerkelijk ingesteld staat, is het ding waar haakjes omheen staan.

In dit geval stond die dus op "cfq". Stel deadline eens in op de host, en kijk of de VM dan beter presteert.

rackhost.be
13/03/10, 15:06
Hij laat alle ondersteunde schedulers zien.
Welke daadwerkelijk ingesteld staat, is het ding waar haakjes omheen staan.

oeps over het hoofd gezien

staat nu wel al citrix xen op, maar zal terug nog even verder testen met promox

rackhost.be
13/03/10, 16:46
opnieuw getest met deadline schedulers: minimaal verschil

het zal nog even xen blijven ...

t.bloo
14/03/10, 21:49
host: quad core, 4GB, kernel 2.6.32, 80GB LVM, meerdere kleine kvm running maar niet druk
guest: debian lenny, kaal, 1GB geheugen, 32GB virtio raw disk, virtio network, 1 CPU



bonnie:~# cat /sys/block/sda/queue/scheduler
noop anticipatory deadline [cfq]

bonnie:~# bonnie++ -m host -r 4g -s 16g -u root
Using uid:0, gid:0.
Writing with putc()...done
Writing intelligently...done
Rewriting...done
Reading with getc()...done
Reading intelligently...done
start 'em...done...done...done...
Create files in sequential order...done.
Stat files in sequential order...done.
Delete files in sequential order...done.
Create files in random order...done.
Stat files in random order...done.
Delete files in random order...done.
Version 1.03d ------Sequential Output------ --Sequential Input- --Random-
-Per Chr- --Block-- -Rewrite- -Per Chr- --Block-- --Seeks--
Machine Size K/sec %CP K/sec %CP K/sec %CP K/sec %CP K/sec %CP /sec %CP
host 16G 53842 85 86796 20 47653 9 60388 82 100970 9 279.5 1
------Sequential Create------ --------Random Create--------
-Create-- --Read--- -Delete-- -Create-- --Read--- -Delete--
files /sec %CP /sec %CP /sec %CP /sec %CP /sec %CP /sec %CP
16 24623 36 +++++ +++ +++++ +++ +++++ +++ +++++ +++ +++++ +++
host,16G,53842,85,86796,20,47653,9,60388,82,100970 ,9,279.5,1,16,24623,36,+++++,+++,+++++,+++,+++++,+ ++,+++++,+++,+++++,+++


bonnie:~# bonnie++ -m kvm -r 4g -s 16g -u root
Using uid:0, gid:0.
Writing with putc()...done
Writing intelligently...done
Rewriting...done
Reading with getc()...done
Reading intelligently...done
start 'em...done...done...done...
Create files in sequential order...done.
Stat files in sequential order...done.
Delete files in sequential order...done.
Create files in random order...done.
Stat files in random order...done.
Delete files in random order...done.
Version 1.03d ------Sequential Output------ --Sequential Input- --Random-
-Per Chr- --Block-- -Rewrite- -Per Chr- --Block-- --Seeks--
Machine Size K/sec %CP K/sec %CP K/sec %CP K/sec %CP K/sec %CP /sec %CP
kvm 16G 13679 33 14600 11 24881 9 44756 74 66222 12 180.2 1
------Sequential Create------ --------Random Create--------
-Create-- --Read--- -Delete-- -Create-- --Read--- -Delete--
files /sec %CP /sec %CP /sec %CP /sec %CP /sec %CP /sec %CP
16 28597 71 +++++ +++ +++++ +++ +++++ +++ +++++ +++ +++++ +++
kvm,16G,13679,33,14600,11,24881,9,44756,74,66222,1 2,180.2,1,16,28597,71,+++++,+++,+++++,+++,+++++,++ +,+++++,+++,+++++,+++



Het viel me op dat de ksmd erg veel processor gebruikte tijdens deze testen in de vm.

Ik ben wel tevreden met Sequential Create (~100%), Random Seeks (~65%), Sequential Input (~65%). Sequential Output is met ~25% een beetje een tegenvaller. Maar hou er wel rekening mee dat dit hele grote bestanden zijn waar de host geen cache voor speelt.

rackhost.be
14/03/10, 22:07
@t.bloo: ik denk dat je moet opletten als je momenteel virtuo al gebruikt (tenzij je BBU gebruikt)

bij een test met uitschakelen van de power was virtuo corrupt

kon misschien wel héééél echt toevallig geweest zijn maar toch,
daarom ook eens gedaan met standaard raw en daar geen probs,
zelfs I/O laten stressen en ondertussen power laten failen, en de disk image was nog steeds ok

maxnet
14/03/10, 22:15
Ik ben wel tevreden met Sequential Create (~100%), Random Seeks (~65%), Sequential Input (~65%). Sequential Output is met ~25% een beetje een tegenvaller. Maar hou er wel rekening mee dat dit hele grote bestanden zijn waar de host geen cache voor speelt.

Heb met deadline ook met sequential output 70% gehaald (zie eerdere post (http://www.webhostingtalk.nl/virtualisatie-vps/153894-ervaringen-kvm-linux-6.html))
Maar wellicht dat dit erg afhankelijk is van de kernel versie van de host en VM.
Destijds getest met de oude standaard kernel van Proxmox 1.4.