Xen en NFS performance in de guests

[ju5t]

We hebben op dit moment VMware draaien via NFS. Dit is overigens een mix van versie 4 en versie 5 clusters maar op beide is de performance OK. Nu zijn we aan het testen met Xen maar hebben hier en daar toch wat performance issues.

We zitten met name met het probleem binnen de guests van Xen. Performance vanaf de node zelf op een NFS mount is goed, maar zodra we testen binnen de guest is de performance vele malen lager en zien we de IOPS binnen onze storage groeien.

Binnen de guest zijn de snelheden ongeveer 7 MB/s (simpele dd test, block size van 512k). Maakt verder weinig uit of we --nonsparse gebruiken. Binnen de guest hebben we de kernel parameter elevator=noop toegevoegd wat ook geen snelheidswinst gaf. Het lijkt beter te draaien op iSCSI luns maar het moet toch ook werken op NFS? Ook de CPU priority verhogen heeft geen zin. Nu is het geen gigantisch probleem wanneer het via iSCSI werkt maar ik ben toch wel nieuwsgierig waarom we deze performance zien.

We gebruiken overigens VHD's. Het enige wat we volgens mij nog niet hebben getest is gebruik maken van LVM. Is dat iets wat jullie aan raden?

[redbeenl]

Ik heb een tijdje geleden een vergelijking gedaan tussen KVM en Xen. Xen lijkt een stuk minder te performen met NFS als backend. Heel vreemd maar wel opvallend. De details kun je vinden op: http://rogierm.redbee.nl/blog/2010/06/28/storage-performance-difference-between-kvm-and-xen/
Ik heb het nooit meer echt verder uitgezocht.

De vormgeving heeft de tabel verpest, maar met copy/paste moet het nog wel leesbaar zijn.

[sander]

De mount is dat met async ?

[redbeenl]

ik heb de tests gedaan met de mount op async en de share op sync.

[ju5t]

We hebben getest met verschillende mount options; async is volgens mij default in NFS2 en 3 (en wij gebruiken 3). We hebben verschillende wsize en rsizes geprobeerd. Ook actimeo en noatime zijn gepasseerd. Maar iedere keer krijgt de storage de volle laag. Hoge IOPs en lage throughput. Met iSCSI lijkt het probleem er niet te zijn. Volgens onze storage vendor zit er een bug in Xen waardoor deze soms met 4k block sizes data verstuurt. Dat kan ik alleen nog niet bevestigd krijgen.