Onderwerp: oom-killer: gfp_mask=0xd0 ?

Hallo heren,

Sinds Afgelopen zaterdag spuit mijn servert hetvolgende:

Code:

Apr  2 00:30:56 fiction kernel: oom-killer: gfp_mask=0xd0
Apr  2 00:30:56 fiction kernel: DMA per-cpu:
Apr  2 00:30:56 fiction kernel: cpu 0 hot: low 2, high 6, batch 1
Apr  2 00:30:56 fiction kernel: cpu 0 cold: low 0, high 2, batch 1
Apr  2 00:30:56 fiction kernel: cpu 1 hot: low 2, high 6, batch 1
Apr  2 00:30:56 fiction kernel: cpu 1 cold: low 0, high 2, batch 1
Apr  2 00:30:56 fiction kernel: Normal per-cpu:
Apr  2 00:30:56 fiction kernel: cpu 0 hot: low 32, high 96, batch 16
Apr  2 00:30:56 fiction kernel: cpu 0 cold: low 0, high 32, batch 16
Apr  2 00:30:56 fiction kernel: cpu 1 hot: low 32, high 96, batch 16
Apr  2 00:30:56 fiction kernel: cpu 1 cold: low 0, high 32, batch 16
Apr  2 00:30:56 fiction kernel: HighMem per-cpu:
Apr  2 00:30:56 fiction kernel: cpu 0 hot: low 14, high 42, batch 7
Apr  2 00:30:56 fiction kernel: cpu 0 cold: low 0, high 14, batch 7
Apr  2 00:30:56 fiction kernel: cpu 1 hot: low 14, high 42, batch 7
Apr  2 00:30:56 fiction kernel: cpu 1 cold: low 0, high 14, batch 7
Apr  2 00:30:56 fiction kernel:
Apr  2 00:30:56 fiction kernel: Free pages:      109584kB (108640kB HighMem)
Apr  2 00:30:56 fiction kernel: Active:3274 inactive:1252 dirty:1 writeback:0 unstable:0 free:27396 slab:224522 mapped:1369 pagetables:237
Apr  2 00:30:56 fiction kernel: DMA free:16kB min:16kB low:32kB high:48kB active:0kB inactive:0kB present:16384kB
Apr  2 00:30:56 fiction kernel: protections[]: 0 0 0
Apr  2 00:30:56 fiction kernel: Normal free:928kB min:936kB low:1872kB high:2808kB active:192kB inactive:152kB present:901120kB
Apr  2 00:30:56 fiction kernel: protections[]: 0 0 0
Apr  2 00:30:56 fiction kernel: HighMem free:108640kB min:128kB low:256kB high:384kB active:12904kB inactive:4856kB present:129984kB
Apr  2 00:30:56 fiction kernel: protections[]: 0 0 0
Apr  2 00:30:56 fiction kernel: DMA: 2*4kB 1*8kB 0*16kB 0*32kB 0*64kB 0*128kB 0*256kB 0*512kB 0*1024kB 0*2048kB 0*4096kB = 16kB
Apr  2 00:30:56 fiction kernel: Normal: 78*4kB 31*8kB 11*16kB 4*32kB 1*64kB 0*128kB 0*256kB 0*512kB 0*1024kB 0*2048kB 0*4096kB = 928kB
Apr  2 00:30:56 fiction kernel: HighMem: 152*4kB 1398*8kB 1331*16kB 873*32kB 448*64kB 128*128kB 10*256kB 0*512kB 0*1024kB 0*2048kB 0*4096kB = 108640kB
Apr  2 00:30:56 fiction kernel: Swap cache: add 2705794, delete 2704880, find 2019156/2516374, race 0+433
Apr  2 00:30:56 fiction kernel: Out of Memory: Killed process 918 (httpd).

Dit heeft ze een halve dag vol gehouden totdat niks meer werkte en ik het alleen nog kon pingen.
Nu zijn we dus een reboot request verder en bekijk ik de logs ( hierboven )

Nu zie ik in dit geval dat het op het einde httpd is, er komt ook voor in het log dat dit andere processen zijn.

Anyways, ik denk dat ik hier uit moet concluderen dat er een programma is wat z'n beetje al de servers resources weg eet.
Zit ik in de richting , of moet ik aan iets totaal anders denken? ( bv memory errors )

Niemand die hier iets van af weet?

Als de OOM-killer bezig gaat, is dat inderdaad een teken dat er iets al het geheugen (inclusief swap) in gebruik heeft, de OOM-killer gaat dan wanhopig van alles afsluiten, om maar te proberen te voorkomen dat het systeem helemaal vastloopt.

Als ik 't goed zie, zit er 1 GB ram in die server, die bijna volledig in gebruik was. Ook de swap van, zo te zien zo'n ruime 2 GB, was helemaal vol. Dat is over het algemeen een vrij duidelijk teken dat er inderdaad een of ander misbaksel trek in geheugen heeft. Helaas kom je er achteraf volgens mij niet meer achter wat nou precies 't geheugen in beslag nam. Als 'ie 't vaker gaat doen, zou je met een stukje software eens in de gaten moeten houden welk programma nou hoeveel geheugen gebruikt. Hopelijk kan je dan de boosdoener vinden en voorkomen dat 't weer gebeurt.

Kijk daar heb ik wat aan, ik wist namelijk niet zeker wat het inhield.
Maar even een vraag.
Als je resources vollopen door 1 process, waarom killed oomkiller dat process niet?

Ik weet bijna zeker dat mijn gameserver het probleem is, deze heeft af en toe de neiging om 99% cpu te gaan gebruiken.
Geen idee overigens hoe ik dat kan oplossen, zal em misschien eens moeten herinstalleren.

99% CPU gebruik is niet iets waar de OOM-killer iets aan doet, de OOM-killer (OOM = Out Of Memory) gaat pas af als 't geheugen (bijna) op is.

Een vrij standaard oplossing is om resource limieten in te stellen. Dit doe je met het commando "ulimit", zie: "help ulimit" voor meer info. Dit moet je doen voordat je gameserver start, anders heeft 't geen effect.

Hoe de OOM-killer precies besluit wat 'ie gaat killen weet ik niet, maar ik meen me te herinneren dat 'ie random processen killed, niet het process dat 't meeste geheugen opeet. Dit waarschijnlijk met reden dat het uitzoeken wel process nou zo vriendelijk bezig is, ook geheugen kost, wat dus op is. De OOM-killer is een wanhopige poging van de kernel om het systeem draaiend te houden. En zoals we allemaal weten, als je wanhopig ben doe je niet altijd het meest logische ;p

Hoe dan ook, resource limits zijn heel belangrijk om te zorgen dat je systeem niet heel simpel plat te halen is door iemand met shell toegang.

Ik ben de enige met shell toegang dus dat is niet het probleem
Naja out of memory gebeurt ook waarschijnlijk door dezelfde gameserver, de rest is namelijk redelijk idle.

Maarja ik ga even dit ulimit uitzoeken, bedankt jurian.