W server-status

[Robert Esseveld]

Beste WHT'ers,

Één van onze webservers toont heel willekeurig kuren.
Soms twee keer in drie dagen, soms één keer in de week is de load 120 en staat top helemaal vol met httpd processen.
Doordat we mod_ruid gebruiken zou je zeggen dat je dan gelijk kunt zien bij welke user dat vandaan komt, maar niets is minder waar.
Zo ongeveer alle users komen in de lijst met processen voor.

Nu is het makkelijk om dit op te lossen, maar we willen graag weten hoe we dit kunnen voorkomen en waar dit dus zit.
Het lijkt erop dat op het moment dat dit probleem ontstaat, httpd gewoonweg geen processen afhandeld maar in behandeling laat staan.

server-status gaf aan dat op moment van het probleem aan: 181 requests currentle being processed, 8 idle workers, 4,61 requests/sec en vier rijen "W"
Normaal is die 181 dus ~5.
In logs is ook niets te vinden.

Enig idee waar te beginnen?

Groet,
Robert

[Mark17]

Is het mogelijk om op dat moment een screenshot van top te maken waar met name de eerste regels in zitten (RAM/CPU/load)?

[SF-Jeroen]

Of atop een nachtje laten draaien. Maar wat was de state van die 181 processen? Ik neem aan niet running, maar sleeping? Heb je de logs nagekeken of bing / baidu o.i.d. niet toevallig net langskwam?

[t.bloo]

1. installeer inderdaad atop, zet de snelheid van 600 naar 60 seconden in /etc/init.d, restart atop, kijk achteraf met atop -r naar wat er met de server gebeurde
2. beperk het aantal httpd processen op iets dat wel in het geheugen past
3. restart httpd automatisch als het ondanks alle maatregelen toch nog om onverklaarbare wijze foutloopt

Meestal is het overigens haperende disk-IO wat er in dergelijke gevallen mis gaat.

[Robert Esseveld]

@Mark17 Ga ik doen, al kan het even duren

@SF-Jeroen Klopt, helaas stond er niks geks in de logs!

@t.bloo 1. Bedankt, atop geinstalleerd en daar duik ik vanavond eens in!
2. Dat had ik gedaan, blijkbaar ging dat toch niet goed. Dus die stel ik nog even bij.
3. Ik krijg altijd een 'houtje touwtje' gevoel als ik scripts schrijf die checken wat de load is, als die te hoog is services gaat herstarten. Al lijkt het me voor de lange termijn geen oplossing, voor nu is het misschien wel een goed idee!

Bedankt voor de antwoorden zover!

[t.bloo]

@houtje touwtje: helemaal mee eens. Maar soms is symptoombestrijding best een aardige oplossing. Als het tijdelijk is natuurlijk. Succes!

[dreamhost_nl]

@TS: Installeer CSF/LFD als firewall en laat je hierdoor een e-mail sturen met de processen die op het moment lopen indien de server load een bepaade waarde heeft bereikt.

[Robert Esseveld]

CSF/LFD is geinstalleerd. Om welke processen het gaat weet ik wel, dat is HTTPD en nagios mailt mij wel dat de load hoog is.

Om op t.bloo terug te komen omtrent disk io is dit wel interessant:
We virtualiseren onze webservers. Nu zie ik inderdaad op de node dat rond die tijd de disk IO huge was.
Maar verklaar dan maar eens waarom een andere webserver op die node geen enkel probleem had, terwijl daar vele malen meer websites op draaien.

[t.bloo]

Tegen de tijd dat je een oplossing hebt, kun je die dan effe uitleggen Heb namelijk ook 1 oude (oudste?) KVM machine met twee nagenoeg identieke VPS-en en 1 heeft dit probleem dagelijks en 1 bijna nooit. Het moet iets simpels zijn, maar op een productiemachine is het zo lastig experimenteren...

[Mark17]

@t.bloo het gaat om dezelfde storage bij de 2 VPSen die er achterligt met de data op dezelfde hardeschijf/raidset? Anders zou dit het kunnen zijn, te weinig geheugen en verkeerde instellingen kunnen overigens ook problemen geven.

[vDong]

We virtualiseren onze webservers. Nu zie ik inderdaad op de node dat rond die tijd de disk IO huge was.
Maar verklaar dan maar eens waarom een andere webserver op die node geen enkel probleem had, terwijl daar vele malen meer websites op draaien.

Redelijk simpel, als jij ineens heel veel meer apache processen gaat starten, ga je vet veel geheugen nodig hebben. Dan ga je bakken met geheugen wegswappen. Dat zorgt voor flink io gebruik. Dit is waarschijnlijk ook de load.

[Ramon Fincken]

apache met keepalive toevallig ?

[Yourwebhoster]

Wat ik mij af vraag is hoeveel workers in de read state zaten? Met 181 processed en maar 4 being processed lijkt dit aardig op een aanval en misbruik van een simpele bug. Er zijn verschillende methodes beschikbaar om dit tegen te gaan zoals het aantal verbindingen per IP adres limiteren met CSF of een module voor Apache. Een aantal voorbeelden kan je hier vinden: http://help.directadmin.com/item.php?id=302 .


Mocht dit niet zo zijn, heb je toevallig de server-status opgeslagen?