Onderwerp: Debian 5 (lenny) xen probleem

Ik heb een probleem met xen op debian.
Heb de laatste versie en updates draaien maar mijn servers houden op met reageren.

Ze draaien op een 2x quadcores dus 8 vcpu's met 4096 Ram.

Op random tijden stopt bv de webserver, als ik dan kijk met xm top zie ik dat deze 700% t/m 800% cores max gebruikt.
Kan ook niet via de console inloggen.

Is dit een bekende bug? toen ik op debian 4 draaide heb ik dit niet meegemaakt.

CPU load zit normaal tussen de 1,5 en 3

Wat laten je domU logs zien of xm dmesg op dom0?

xm top geeft dit aan:

Code:

web02 -----r     223387  792.5    4194304   25.0    4194304      25.0     8    1 26002589 38170204    3        4    75685   567349 2149627072

XM dmesg:

Code:

(XEN) Xen version 3.2-1 (Debian 3.2.1-2) (waldi@debian.org) (gcc version 4.3.1 (Debian 4.3.1-2) ) Sat Jun 28 09:32:18 UTC 2008
(XEN) Command line:
(XEN) Video information:
(XEN)  VGA is text mode 80x25, font 8x16
(XEN)  VBE/DDC methods: V2; EDID transfer time: 2 seconds
(XEN) Disc information:
(XEN)  Found 1 MBR signatures
(XEN)  Found 1 EDD information structures
(XEN) Xen-e820 RAM map:
(XEN)  0000000000000000 - 000000000009a000 (usable)
(XEN)  000000000009a000 - 00000000000a0000 (reserved)
(XEN)  00000000000cc000 - 00000000000d4000 (reserved)
(XEN)  00000000000e4000 - 0000000000100000 (reserved)
(XEN)  0000000000100000 - 00000000cff50000 (usable)
(XEN)  00000000cff50000 - 00000000cff65000 (ACPI data)
(XEN)  00000000cff65000 - 00000000cff80000 (ACPI NVS)
(XEN)  00000000cff80000 - 00000000d0000000 (reserved)
(XEN)  00000000e0000000 - 00000000f0000000 (reserved)
(XEN)  00000000fec00000 - 00000000fec10000 (reserved)
(XEN)  00000000fee00000 - 00000000fee01000 (reserved)
(XEN)  00000000ff000000 - 0000000100000000 (reserved)
(XEN)  0000000100000000 - 0000000430000000 (usable)
(XEN) System RAM: 16382MB (16776104kB)
(XEN) Xen heap: 14MB (14536kB)
(XEN) Domain heap initialised: DMA width 32 bits
(XEN) Processor #0 7:7 APIC version 20
(XEN) Processor #4 7:7 APIC version 20
(XEN) Processor #1 7:7 APIC version 20
(XEN) Processor #5 7:7 APIC version 20
(XEN) Processor #2 7:7 APIC version 20
(XEN) Processor #6 7:7 APIC version 20
(XEN) Processor #3 7:7 APIC version 20
(XEN) Processor #7 7:7 APIC version 20
(XEN) IOAPIC[0]: apic_id 8, version 32, address 0xfec00000, GSI 0-23
(XEN) IOAPIC[1]: apic_id 9, version 32, address 0xfec80000, GSI 24-47
(XEN) Enabling APIC mode:  Flat.  Using 2 I/O APICs
(XEN) Using scheduler: SMP Credit Scheduler (credit)
(XEN) Detected 2333.508 MHz processor.
(XEN) HVM: VMX enabled
(XEN) CPU0: Intel(R) Xeon(R) CPU           E5410  @ 2.33GHz stepping 0a
(XEN) Booting processor 1/4 eip 8c000
(XEN) CPU1: Intel(R) Xeon(R) CPU           E5410  @ 2.33GHz stepping 0a
(XEN) Booting processor 2/1 eip 8c000
(XEN) CPU2: Intel(R) Xeon(R) CPU           E5410  @ 2.33GHz stepping 0a
(XEN) Booting processor 3/5 eip 8c000
(XEN) CPU3: Intel(R) Xeon(R) CPU           E5410  @ 2.33GHz stepping 0a
(XEN) Booting processor 4/2 eip 8c000
(XEN) CPU4: Intel(R) Xeon(R) CPU           E5410  @ 2.33GHz stepping 0a
(XEN) Booting processor 5/6 eip 8c000
(XEN) CPU5: Intel(R) Xeon(R) CPU           E5410  @ 2.33GHz stepping 0a
(XEN) Booting processor 6/3 eip 8c000
(XEN) CPU6: Intel(R) Xeon(R) CPU           E5410  @ 2.33GHz stepping 0a
(XEN) Booting processor 7/7 eip 8c000
(XEN) CPU7: Intel(R) Xeon(R) CPU           E5410  @ 2.33GHz stepping 0a
(XEN) Total of 8 processors activated.
(XEN) ENABLING IO-APIC IRQs
(XEN)  -> Using new ACK method
(XEN) Platform timer overflows in 234 jiffies.
(XEN) Platform timer is 3.579MHz ACPI PM Timer
(XEN) Brought up 8 CPUs
(XEN) xenoprof: Initialization failed. Intel processor model 23 for P6 class family is not supported
(XEN) AMD IOMMU: Disabled
(XEN) *** LOADING DOMAIN 0 ***
(XEN)  Xen  kernel: 64-bit, lsb, compat32
(XEN)  Dom0 kernel: 64-bit, lsb, paddr 0x200000 -> 0x631918
(XEN) PHYSICAL MEMORY ARRANGEMENT:
(XEN)  Dom0 alloc.:   000000041c000000->0000000420000000 (4084403 pages to be allocated)
(XEN) VIRTUAL MEMORY ARRANGEMENT:
(XEN)  Loaded kernel: ffffffff80200000->ffffffff80631918
(XEN)  Init. ramdisk: ffffffff80632000->ffffffff81b11c00
(XEN)  Phys-Mach map: ffffffff81b12000->ffffffff83a5b598
(XEN)  Start info:    ffffffff83a5c000->ffffffff83a5c4a4
(XEN)  Page tables:   ffffffff83a5d000->ffffffff83a7e000
(XEN)  Boot stack:    ffffffff83a7e000->ffffffff83a7f000
(XEN)  TOTAL:         ffffffff80000000->ffffffff83c00000
(XEN)  ENTRY ADDRESS: ffffffff80200000
(XEN) Dom0 has maximum 8 VCPUs
(XEN) Initrd len 0x14dfc00, start at 0xffffffff80632000
(XEN) Scrubbing Free RAM: .done.
(XEN) Xen trace buffers: disabled
(XEN) Std. Loglevel: Errors and warnings
(XEN) Guest Loglevel: Nothing (Rate-limited: Errors and warnings)
(XEN) Xen is relinquishing VGA console.
(XEN) *** Serial input -> DOM0 (type 'CTRL-a' three times to switch input to Xen)
(XEN) Freed 104kB init memory.
(XEN) traps.c:1996:d0 Domain attempted WRMSR 000000000000019a from 00000000:00000002 to 00000000:00000000.
(XEN) traps.c:1996:d0 Domain attempted WRMSR 000000000000019a from 00000000:00000002 to 00000000:00000000.
(XEN) traps.c:1996:d0 Domain attempted WRMSR 000000000000019a from 00000000:00000002 to 00000000:00000000.
(XEN) traps.c:1996:d0 Domain attempted WRMSR 000000000000019a from 00000000:00000002 to 00000000:00000000.
(XEN) traps.c:1996:d0 Domain attempted WRMSR 000000000000019a from 00000000:00000002 to 00000000:00000000.
(XEN) traps.c:1996:d0 Domain attempted WRMSR 000000000000019a from 00000000:00000002 to 00000000:00000000.
(XEN) traps.c:1996:d0 Domain attempted WRMSR 000000000000019a from 00000000:00000002 to 00000000:00000000.
(XEN) traps.c:1996:d0 Domain attempted WRMSR 000000000000019a from 00000000:00000002 to 00000000:00000000.

Server reageert niet en kan ook niet meer via console inloggen.

Niemand met dit probleem die xen onder lenny draait?
Ik heb nu problemen met een 5tal server's. Allemaal Lenny en de guests lopen onder hoge load allemaal vast op een willekeurig tijdstip.
Ben nu weer terug aan het gaan naar etch en heb het probleem hier niet.

is dit een productie machine of voor testen?

anders zou je kunnen overwegen om een upstream versie (bijvoorbeeld 3.4.0 (laatste stable)) te testen om te kijken of deze het probleem verhelpt.

de error meldingen ...Domain attempted WRMSR... etc zijn gewoon meldingen van xen waarbij de guest niet de rechten heeft de cpu frequenties/ram snelheden op te vragen en hebben bij deze niet te maken met jouw probleem zover ik kan zien

Wij hebben een stuk of 20 machines op Debian 5.0 draaien, allemaal ingericht als DomU met debian stock XEN kernel, en deze problemen komen mij zeer onbekend voor eigenlijk. Blijft je bak wel reageren als je DomU's uit staan? Misschien eens even met de non-Xen kernel booten en testen om uit te sluiten of het probleem in de Xen kernel/configs zit. (wel even je DomU's op een andere machine live gooien als het een productie omgeving is natuurlijk)

Het zijn productie machines waar het op gebeurt. De test machine draait gewoon zonder problemen.
De HOST Dom0 blijft wel beschikbaar en werkend. even een destroy en create en ze draaien weer.
Ik maak gebruik van de standaard debian xen kernel met 3.2 als ik me niet vergis.

Kan me echter niet permiteren om ze weer om te zetten om te kijken of het fout gaat.

Die 20 machines hebben een grote load?
Mijn virtuele machines met 8 cores draaien met een load tussen de 1,5 en 3.

draaien wel xen via xenserver van citrix,
tot op heden nog allemaal debian4

staat morgen wel op de planning om een test vm te upgraden naar debian5 om de stabiliteit te testen

hou je op de hoogte