Onderwerp: RAID10 / DRBD / NFS -> Low read speeds on VM !?

Beste WHT'ers,

Ik zit hier met een vreemd fenomeen en graag had ik jullie input hieromtrent !

Als test draai ik twee CentOS 6 servers met elk 4x 1TB SATA2 7.2K rpm disks.
Deze disks zijn geconfigureerd als software RAID10 met één md device welke
gesync'd wordt naar de andere server mits DRBD over een dedicated Gbit link.
Deze leveren NFS aan een test xenserver 6.


Op de "actieve" NFS server haal ik volgende performance :

Timing buffered disk reads: 1084 MB in 3.01 seconds = 360.70 MB/sec

Op een VM haal ik echter deze performance :

Timing buffered disk reads: 200 MB in 3.03 seconds = 66.00 MB/sec


Wat kan volgens jullie zo een enorm verschil veroorzaken ?

En wat krijg je op een fysieke server ipv een VM?

Zet flow-control aan op je switch(poorten) voor storage.

Heb je ook minimaal een 4GB lijntje tussen je storage en xenserver hangen? Anders ga je die 360MB/s sowieso nooit halen

Oorspronkelijk geplaatst door systemdeveloper

Heb je ook minimaal een 4GB lijntje tussen je storage en xenserver hangen? Anders ga je die 360MB/s sowieso nooit halen

Lijntje is dual gbit round-robin ...

Oorspronkelijk geplaatst door avanmessen

Lijntje is dual gbit round-robin ...

Dan ga je waarschijnlijk niet met een enkel proces boven de 100Mb/s (1Gb) komen. 66 is dan alsnog een beetje laag, maar dat kan veel oorzaken hebben. hdparm is niet de beste tool om te testen. Beter kun je met dd een file aanmaken die 3-4 keer zo groot is als je ram in je vm. Daarnaast kun je met ioseek.c ook eens kijken hoeveel iops je ongeveer hebt. Dat is belangrijker dan raw throughput.

Oorspronkelijk geplaatst door Randy

Zet flow-control aan op je switch(poorten) voor storage.

Flow-control stond aan, heb dit net even getest zonder flow-control, performance is identiek.

Oorspronkelijk geplaatst door systemdeveloper

Dan ga je waarschijnlijk niet met een enkel proces boven de 100Mb/s (1Gb) komen. 66 is dan alsnog een beetje laag, maar dat kan veel oorzaken hebben. hdparm is niet de beste tool om te testen. Beter kun je met dd een file aanmaken die 3-4 keer zo groot is als je ram in je vm. Daarnaast kun je met ioseek.c ook eens kijken hoeveel iops je ongeveer hebt. Dat is belangrijker dan raw throughput.

Nu geraak ik regelmatig aan 130MB/s !?
Ik doe een paar dd tests vanavond ...

Oorspronkelijk geplaatst door avanmessen

Nu geraak ik regelmatig aan 130MB/s !?
Ik doe een paar dd tests vanavond ...

Kan iets hoger uitkomen omdat je ram een deel cached. Stel je hebt 1gb ram in je vm en test een 4gb file. Dan kom 1gb (na een keer testen) uit je ram, de andere 3 gaan direct naar disk zodat je op ~130mb/s uitkomt.

Oorspronkelijk geplaatst door systemdeveloper

Kan iets hoger uitkomen omdat je ram een deel cached. Stel je hebt 1gb ram in je vm en test een 4gb file. Dan kom 1gb (na een keer testen) uit je ram, de andere 3 gaan direct naar disk zodat je op ~130mb/s uitkomt.

Ja, als ik het met dd test ... Hier heb ik het nog steeds over hdparm ...

Haal nu consistent ~120MB/s, idem dito met dd hoewel dit iets lager ligt.
Average load is vrij hoog (3-6) en zie veel wait time, waarschijnlijk NFS
en niet zozeer de disks daar deze probleemloos 360MB/s geven ?

Heb je jumbo frames aanstaan op de switch en op alle interfaces? Dit kan soms ook schelen. Daarnaast neem ik aan dat multipath is ingesteld en werkt (met ten minste 2 actieve paden).

Multipath voor NFS? Nieuw voor mij. Bonding kan wel maar geeft niet zoveel snelheidswinst in deze situatie tenzij je LACP gebruikt.

Oorspronkelijk geplaatst door Netbulae

Multipath voor NFS? Nieuw voor mij. Bonding kan wel maar geeft niet zoveel snelheidswinst in deze situatie tenzij je LACP gebruikt.

Van NFS weet ik niet zeker of het kan, de meeste ethernet gebaseerde oplossingen bieden echter wel een dergelijk iets aan. Vaak is het daarbij ook nog hoe meer paden hoe sneller (mits de overige hardware het aan kan).

Oorspronkelijk geplaatst door Mark17

Heb je jumbo frames aanstaan op de switch en op alle interfaces? Dit kan soms ook schelen. Daarnaast neem ik aan dat multipath is ingesteld en werkt (met ten minste 2 actieve paden).

Jumbo frames staan inderdaad overal geconfigureerd.