High server load

[cwf]

Beste WHT-members,

Laatste tijd zit ik met een probleempje. Het gaat hier om een server van één klant welke zo nu en dan opeens extreme load vertoont [10 t/m 200+]. Wanneer ik op zo'n moment de 'top' bekijk [als het niet vastloopt] zie ik dat Apache veel CPU zuipt.

Normaal [zoals nu] draait het rond de 0.20 en opeens gaat de load zo extreem omhoog.

Zou het kunnen dat er te weinig geheugen in de server zit? Het zit namelijk wel aan het Swap geheugen [zie bijlage].

Alvast bedankt voor jullie reacties !

EDIT: het gebeurde net weer. Zie top2.jpg

[sp-services]

load dat er dan is te halen maar 200 :s

je bent aan het swappen maar niet extreem. wat staat er op die bak ?

[cwf]

load dat er dan is te halen maar 200 :s

je bent aan het swappen maar niet extreem. wat staat er op die bak ?

Jep. 230 is het hoogste wat is behaald. Uiteraard werkt er dan bijna niets meer en ben ik blij als ik het nog via SSH kan rebooten.

Er draait één website op met audio/video content.

[royen99]

Jep. 230 is het hoogste wat is behaald. Uiteraard werkt er dan bijna niets meer en ben ik blij als ik het nog via SSH kan rebooten.

Er draait één website op met audio/video content.

Toevallig iets dat gebruik maakt van o.a. ffmpeg i.c.m. avi files ? Zelfde hier gehad en enige oplossing was alle avi's verwijderen.

p.s. load kan nog (veel) hoger.

[ErikKosters]

wat zijn de specs eigenlijk?

[E-Projects]

Uhm bij een load van 200 kan alles nog werken. Ik heb ook weleens een tijd gehad dat ik load van 300+ had en alles werkte prima. Het hangt er vanaf wat de hoge load veroorzaakt.

Zotezien via de screens kan je misschien beter in httpd.conf "MaxClients" verlagen. Standaard was dat volgens mij 450 denk ik.

[IceHosting]

Effe httpd-status enablenen?
Zodat preciese proces waar apache mee bezig is herkend kan worden?

Kan namelijk ook een apache get attack zijn door een scriptkiddie. Hier hebben wij regelmatiglast van, maar zijn de servers gelukkig tegenbeveiligd.

[cwf]

Bedankt voor jullie reacties!!

@ royen99: .wmv files die je vanaf de website kunt afspelen.

@ErikKosters: Amd Ahtlon 3000+ / 1024 DDR / 2 x 160 GB + 1 x 80 GB

@E-Projects: Who knows. Ik heb het even verlaagd naar 250.

@IceHosting: service httpd status?

Thnx!

[gjtje]

httpd-status is een module van Apache, kan je aanzetten in de config.

[wonko]

Ik vermoed dat het de io zal zijn die enorme load veroorzaakt. Kan het zijn dat, wanneer je ingelogd bent via ssh op zo een hoge load, je gemakkellijk nog commando's kan intikken en dat het systeem nog vrij snel reageert op eenvoudige zaken zonder IO (bvb, commando 'uptime' of 'w'), maar niet wanneer je bvb een 'ls' doet?).

Als het dat is, even in de gaten houden met iostat (man iostat voor uitleg). Oplossing is bvb hardware raid controller.

Eens je begint te swappen, is io meestal de bottleneck. Swapping moet ten alle tijde verkomen worden (extra geheugen steken)

[snaaps]

Kleine tip:
Installeer ook eens mrtg, hiermee kan je het verbruik van je cpu, memory, swap, etc etc nalopen.

Zoals Icehosting al zei kan het een attack zijn (http dos), controleer netstat.
Het kan ook een geheugen probleem zijn, hoeveel geheugen zit er in de server?
Contoleer de apache status, op die manier kan je zien welke domein dit veroorzaakt.
http://www.ccchosting.nl/dedicated-s...chestatus.html

[Stina]

Ik vermoed dat het de io zal zijn die enorme load veroorzaakt. Kan het zijn dat, wanneer je ingelogd bent via ssh op zo een hoge load, je gemakkellijk nog commando's kan intikken en dat het systeem nog vrij snel reageert op eenvoudige zaken zonder IO (bvb, commando 'uptime' of 'w'), maar niet wanneer je bvb een 'ls' doet?).

Als het dat is, even in de gaten houden met iostat (man iostat voor uitleg). Oplossing is bvb hardware raid controller.

Eens je begint te swappen, is io meestal de bottleneck. Swapping moet ten alle tijde verkomen worden (extra geheugen steken)

Als het een IO probleem was dan zouden er processen in status 'WA' (waiting) moeten komen staan.
Als ik zo snel ff de screenshot bekijk staan er geen processen in WA.

Geheugen gebruik is tot dusver niet extreem gek, veel van dat geheugen zal waarschijnlijk als diskcache gebruikt worden waardoor je om en nabij de 100% van het geheugen gebruikt (linux 2.6.x).

[londoneye]

[root@server03 root]# cat /etc/httpd/conf.d/status.conf
ExtendedStatus On

<Location /server-status>
    SetHandler server-status
    Order deny,allow
    Deny from all
    Allow from 82.192.82.192
</Location>
[root@server03 root]#

Vervangen door jou ip + service httpd reload en kijk op http://SERVERIP/server-status

Daar zie je alle processen waar Apache momenteel mee bezig is.

[joriz]

Kan ook zijn dat je mod security ofzo wat te zwaar is.

[cwf]

@ wonko: Nee. dat is niet het geval

@ snaaps: Zit 1 GB in. Zal dat zeker proberen.

@ londoneye: zal dat ook ff checken!

@ joriz: hoezo denk je dat? thnx!