Onderwerp: Hoge CPU latency met Virtuozzo, load hierdoor hoog

Hallo,

Al een tijdje zijn wij aan het stoeien met een Virtuozzo omgeving die soms een erg hoge load krijgt.

Nu is Virtuozzo nogal nieuw voor me, maar uiteraard hebben we een aantal zaken gecontroleerd:
* Disk I/O is niet het probleem
* RAM is voldoende beschikbaar

Nu lijken we in een nieuw terrein terecht te komen, namelijk de CPU scheduler latency.

Met vzstat is namelijk het volgende te zien:

Code:

CTNum 91, procs 4840: R  21, S 4813, D   0, Z   6, T   0, X   0
CPU [CRIT]: CTs 100%, CT0   0%, user  13%, sys   4%, idle  78%, lat(ms) 12967/4
Mem [ OK ]: total 64303MB, free 493MB/0MB (low/high), lat(ms) 3/1
Swap [ OK ]: tot 66431MB, free 66358MB, in 0.000MB/s, out 0.000MB/s
Net [ OK ]: tot: in  3.719MB/s 7909pkt/s, out  7.077MB/s 8256pkt/s
Disks [ OK ]: in 0.000MB/s, out 0.000MB/s

Hier valt direct de CRIT bij CPU op, daar is echter wel te zien dat de CPU's veelal idle zijn, de load is echter:

Code:

 13:33:42 up 1 day, 6 min,  4 users,  load average: 26.30, 22.80, 19.65

vmstat zegt het zelfde:

Code:

procs -----------memory---------- ---swap-- -----io---- --system-- -----cpu------
 r  b   swpd   free   buff  cache   si   so    bi    bo   in   cs us sy id wa st
33  0  74872 561460 2647572 38647300    0    0   304   170    1    3 11  5 77  7  0

Daarnaast zegt vzcpucheck dat ik niet meer power gebruik dan er is:

Code:

Current CPU utilization: 231000
Power of the node: 1640530

Het betreft hier een Dell R715 met daarin 64GB RAM en twee AMD 6128 (8-core) systemen met dus in totaal 16 CPU cores. De vele CPU cores is dus ook direct de hoek waar ik het probleem zoek.

De AMD 6128 CPU's zijn behoorlijk nieuw, echter gebruikt Virtuozzo nog steeds (ookal zwaar gepatched) het 2.6.18 kernel (2.6.18-028stab091.2).

Ik zoek het probleem dus in de hoek van de CPU's, danwel de communicatie tussen de CPU's of de scheduling van het kernel, echter weet ik dit niet zeker.

Iemand hier met meer ervaring met Virtuozzo en die het op zulke machines draait? Zo ja, herkennen jullie dit probleem?

Niet met Virtuozzo, wel met OpenVZ, maar dat scheelt niet veel qua techniek.
Bij ons was het kernelupgrade voldoende om het probleem te verhelpen.

Weet je zeker dat virtuozzo helemaal up-to-date is? (vzup2date)

Ja, daar ben ik zeker van. Er is geen nieuwer kernel beschikbaar.

is er misschien een proces die maar één core mag gebruiken waardoor de wachtrij van de cpu vol komt (heb dat probleem ooit met DRBD gehad)? Wat is de output van ps aux (bovenste paar processen)?

Nee, dat is ook het probleem niet. Inmiddels is Parallels er naar aan het kijken en zij vinden de latency ook niet normaal die er op treed. Ik ben benieuwd.