XEN hypervisor gecrashed

[Boyke]

Heb vandaag een crash gehad van een XEN hypervisor (Dom0), heb het volgende in de logs terug gevonden:

May 10 15:06:39 hypervisor01 kernel: qemu-dm invoked oom-killer: gfp_mask=0x201d2, order=0, oomkilladj=0
May 10 15:06:40 hypervisor01 kernel:
May 10 15:06:40 hypervisor01 kernel: Call Trace:
May 10 15:06:41 hypervisor01 kernel:  [<ffffffff802bf7fb>] out_of_memory+0x8b/0x203
May 10 15:06:41 hypervisor01 kernel:  [<ffffffff8020f949>] __alloc_pages+0x27f/0x308
May 10 15:06:41 hypervisor01 kernel:  [<ffffffff8025cca8>] getnstimeofday+0x10/0x28
May 10 15:06:41 hypervisor01 kernel:  [<ffffffff802138dd>] __do_page_cache_readahead+0xc6/0x1ab
May 10 15:06:41 hypervisor01 kernel:  [<ffffffff802141c9>] filemap_nopage+0x14c/0x360
May 10 15:06:41 hypervisor01 kernel:  [<ffffffff80208e8c>] __handle_mm_fault+0x442/0x1445
May 10 15:06:41 hypervisor01 kernel:  [<ffffffff80264931>] _spin_lock_irqsave+0x9/0x14
May 10 15:06:41 hypervisor01 kernel:  [<ffffffff8026769a>] do_page_fault+0xf7b/0x12e0
May 10 15:06:41 hypervisor01 kernel:  [<ffffffff80288e6c>] default_wake_function+0x0/0xe
May 10 15:06:41 hypervisor01 kernel:  [<ffffffff80264931>] _spin_lock_irqsave+0x9/0x14
May 10 15:06:41 hypervisor01 kernel:  [<ffffffff8026082b>] error_exit+0x0/0x6e
May 10 15:06:47 hypervisor01 kernel:
May 10 15:06:51 hypervisor01 kernel: Mem-info:
May 10 15:06:51 hypervisor01 kernel: DMA per-cpu:
May 10 15:06:51 hypervisor01 kernel: cpu 0 hot: high 186, batch 31 used:16
May 10 15:06:51 hypervisor01 kernel: cpu 0 cold: high 62, batch 15 used:53
May 10 15:06:51 hypervisor01 kernel: cpu 1 hot: high 186, batch 31 used:30
May 10 15:06:51 hypervisor01 kernel: cpu 1 cold: high 62, batch 15 used:51
May 10 15:06:52 hypervisor01 kernel: cpu 2 hot: high 186, batch 31 used:10

Hij geeft dus een melding "out of memory", maar dat moet in mijn ogen niet kunnen.

De vraag is echter hoe ik kan achter wie/wat hem uit zijn geheugen heeft laten lopen en hoe het voorkomen kan worden.

Daarnaast is er 1 machine corrupt geraakt, zijn bestanden verdwenen in /etc en een checkdisk mag niet baten, iemand een suggestie buiten een herinstallatie?

Ook hebben sommige VM's problemen met het netwerk, na "service network restart" geeft die aan dat het adres al in gebruik is, maar dat is niet het geval.

Het gaat om Xen 3.1.2-194.32.1.el5

[wonko]

een out-of-memory kan natuurlijk altijd, je moet maar één op hol geslagen lus hebben met ergens een malloc in, en huppa.

dat je /etc/ en zo hierdoor beinvloed wordt, is echter niet correct, en doet me vermoeden dat de OOM maar een sideeffect was. Onderzoek maar zeker eens als je dom0 niet geroot of gehacked was.

[Bart L]

En suggestie buiten herinstallatie? Service voor service starten en kijken welke niet wil en die handmatig herstellen?

[wonko]

Afhankelijk van de schade en de skillz als sysadmin, is het ofwel herinstallatie, ofwel opruimen en herstellen... Of je zet gewoon een backup terug, want die er is toch, neem ik aan... of als je een deployment plan hebt, reprovision je de kist gewoon (het is toch maar een virtualisatienode).

[Boyke]

Out of memory werd waarschijnlijk veroorzaakt door dat de hypervisor zelf geen vast/minimaal aantal geheugen had.

Voor een machine hebben we uiteindelijk een nieuwe virtuele machine aangemaakt en een backup van de data teruggezet. Een VM heeft nog problemen met het netwerk, die blijft "zeuren" dat het adres al in gebruik is... iemand een suggestie?