Onderwerp: Hoe achterhalen waar de hoge load vandaan komt ?

Ik heb een probleem. De laatste dagen loopt onze apache server zo nu en dan traag of is onbereikbaar. Als ik dan via SSH wil inloggen gaat dit ook zeer traag. Als ik dan er wil inkom en gebruik het top commando dan is de load erg hoog (180, 110, 50) en de CPU en Geheugen zijn ook redelijk hoog 60% cpu en 5GB geheugen gebruik.

Hoe kan ik achterhalen waar deze hoge load vandaan komt ? We draaien Vbulletin,vBGallery,Subdreamer en een paar mods bij deze producten. Daarnaast hebben we +- 1000 unieke bezoekers per dag dus de server zou het makkelijk moeten kunnen hebben ?

Iemand die me kan helpen het probleem te vinden ?

De servers zelf zijn zo ingedeeld:

Dell R200
Quad Core Intel® Xeon® X3330
4 * 2 GB (8 GB) Geheugen
2 * 500 GB WD in Hardware Raid 1

Esxi 4.1 met 3 servers

Apache server (2 Cores 5 GB Geheugen)
Mysql server (2 Cores 2 GB Geheugen)
Terminal 2k3 (1 Core 1 GB Geheugen)

De mysql server is doormiddel een vlan binnen esxi verbonden met de apache server en is niet vanaf buiten te berijken.

Op de apache server draait alleen Apache,FTP,Firewall

De terminal server staat alleen aan als ik backups maak. Deze staat dus 99% van de tijd uit.

een mogelijkheid is om het programma atop te installeren en daarmee achteraf of realtime te kijken waar de load vandaan komt

In apache kan je ook de status bekijken.
http://httpd.apache.org/docs/2.0/mod/mod_status.html

Ik zou monitoring software, zoals bijv. munin installeren, weet je tenminste waar je het moet zoeken

Een hoge load op een multicore bak krijg je meestal doordat je a) een duf script ergens hebt, b) je disk io niet in orde is of c) je mysql db gelocked is door bv. een mysqldump of concurrent cronjobs terwijl je wel een zooi bezoekers/seachbots hebt. Die gaan dan http processen starten die weer op de mysql wachten en dat stapelt zich snel op.
Maar zoals mijn collega hierboven al zegt... inloggen en realtime kijken

Bedankt voor de tips ik zal het morgen gaan instaleren moet zometeen helaas weg . Verder zie ik wel dat er 20+ processen apache2 draaien klopt dit ?

Verder was er zonet ook weer een vertraging toen ik toen bij de netwerk stats ging kijken binnen esx(i) zag ik dat netwerk adapter 99% werd belast dus zou ook eens wel kunnen zijn dat er iemand aan het ddosen is. Of de netwerk kaart stuk/niet goed is.

Esx(i) console is wel gewoon snel te bereiken. Deze zit dan ook op een andere netwerk poort. Tijdens traagheid is de terminal server ook niet te bereiken deze heeft een ander IP maar wel zelfde netwerk kaart als de apache server.

Maar ik ga vanavond/morgen jullie tips uitvoeren.

Heb je zoals Hendrik al zegt iets van Munin of Cacti draaien? Dan kun je bijna altijd het probleem wel achterhalen, eventueel in combinatie met logs.

De specs van de hardware zouden echt meer dan voldoende moeten zijn voor 1000 unieke bezoekers/dag, mits alles goed is geconfigureerd.

IK heb nu data van Munin en Cacti echter waar moet ik precies naar kijken ? De server liep zonet weer vast en zag in Munin dat CPU/Memory hoog was en veel io meldingen (hd ?).

Als de apache server vastloopt lopen ook de andere servers vast (geen verbinding) zodra ik de apache uitzet zijn direct alle andere servers weer berijkbaar.

Lijkt dus op een inefficiënt script ?

Een script welk gewoon in een oneindige loop zit? Check mod_status imo. Je HD wordt niet intussen volgetankt (webdav, chmod 777, anonymous ftp)?

Leek uiteindelijk in de apache server te zitten waar weet ik nog niet. Maar omdat de site nu in het Hoog seizoen zit was snelste oplossing nieuwe server opzetten. Deze direct extra goed beveiligd (geen ftp, ssh alleen vanaf thuis ed) en zindsdien is de max load 23 geweest ip 200+.

Waarschijnlijk dus een security issue maar dat moet ik nog uitzoeken. De site zelf draait nu weer als een zonnetje.

In ieder geval bedankt voor jullie tips en heb nu Munin erbij als vaste tool