Bekijk Volledige Versie : Vraag over system load
Tussendoor
29/11/11, 13:12
Wij zijn onlangs overgestapt van Plesk naar DirectAdmin. Iets wat ik bij Plesk miste en nu ook enigszins bij DA is een overzicht als het gaat om cpu/systeem/memory/sql load en alles wat daar in de buurt komt.
Als ik onderstaande berichten krijg is het voor mij lastig te achterhalen welk proces zorgt voor de problemen/hoge load. Zo viel de website onlangs ook uit om 4 uur 's nachts maar dus totaal niet inzichtelijk wie of wat dit veroorzaakt.
Kan iemand hieruit iets opmaken?
This is an automated message notifying you that the 5 minute load average on your system is 13.34.
This has exceeded the 10 threshold.
One Minute - 23.4
Five Minutes - 13.34
Fifteen Minutes - 5.39
top - 11:06:02 up 3 days, 12:23, 0 users, load average: 23.40, 13.34, 5.39
Tasks: 145 total, 1 running, 143 sleeping, 0 stopped, 1 zombie
Cpu(s): 2.2%us, 0.5%sy, 0.0%ni, 96.8%id, 0.5%wa, 0.0%hi, 0.0%si, 0.0%st
Mem: 2046636k total, 1448348k used, 598288k free, 912k buffers
Swap: 0k total, 0k used, 0k free, 34768k cached
PID USER PR NI VIRT RES SHR S %CPU %MEM TIME+ COMMAND
1508 root 20 0 22936 848 384 S 1.9 0.0 0:01.63 dovecot/auth [0 wait, 0 passdb, 0 userdb]
29788 root 20 0 14928 1156 840 R 1.9 0.1 0:00.02 /usr/bin/top -c -b -n 1
1 root 20 0 19112 256 4 S 0.0 0.0 0:00.48 /sbin/init
2 root 20 0 0 0 0 S 0.0 0.0 0:00.00 [kthreadd]
3 root RT 0 0 0 0 S 0.0 0.0 0:00.00 [migration/0]
4 root 20 0 0 0 0 S 0.0 0.0 0:00.28 [ksoftirqd/0]
5 root RT 0 0 0 0 S 0.0 0.0 0:00.00 [watchdog/0]
27 root 20 0 0 0 0 S 0.0 0.0 0:00.02 [events/0]
35 root 20 0 0 0 0 S 0.0 0.0 0:00.00 [cpuset]
36 root 20 0 0 0 0 S 0.0 0.0 0:00.00 [khelper]
37 root 20 0 0 0 0 S 0.0 0.0 0:00.00 [netns]
38 root 20 0 0 0 0 S 0.0 0.0 0:00.00 [async/mgr]
39 root 20 0 0 0 0 S 0.0 0.0 0:00.00 [pm]
40 root 20 0 0 0 0 S 0.0 0.0 0:00.00 [xenwatch]
41 root 20 0 0 0 0 S 0.0 0.0 0:00.00 [xenbus]
77 root 20 0 0 0 0 S 0.0 0.0 0:00.00 [sync_supers]
78 root 20 0 0 0 0 S 0.0 0.0 0:00.00 [bdi-default]
79 root 20 0 0 0 0 S 0.0 0.0 0:00.00 [kintegrityd/0]
80 root 20 0 0 0 0 S 0.0 0.0 0:00.85 [kblockd/0]
81 root 20 0 0 0 0 S 0.0 0.0 0:00.00 [ata/0]
82 root 20 0 0 0 0 S 0.0 0.0 0:00.00 [ata_aux]
83 root 20 0 0 0 0 S 0.0 0.0 0:00.00 [ksuspend_usbd]
84 root 20 0 0 0 0 S 0.0 0.0 0:00.00 [khubd]
patrickekkel
29/11/11, 14:03
Zo wat ik hier zie, zie ik geen gekke dingen die voor een hoge CPU load zorgen
dreamhost_nl
30/11/11, 19:51
Ik denk dat het bericht net iets te laat is gegenereerd om nog iets over de (oorzaak van de hoge) server load te zeggen.
Ik denk dat het bericht net iets te laat is gegenereerd om nog iets over de (oorzaak van de hoge) server load te zeggen.
Naast dat, vraag ik me af of dit de totale 'top' output is?
Ik zie dat er een xen proces draait, wellicht dat dit de hoge load veroorzaakt?
Tussendoor
01/12/11, 12:03
En vannacht weer. Rond 3 uur kreeg ik weer een mail van hyperspin dat de server onbereikbaar was. Geen idee of er een reboot heeft plaatsgevonden maar 5 minuten later werkte deze weer.
Weer een log uit DirectAdmin waar ik niks uit kan halen.
This is an automated message notifying you that the 5 minute load average on your system is 85.17.
This has exceeded the 10 threshold.
One Minute - 131.42
Five Minutes - 85.17
Fifteen Minutes - 37.63
top - 21:15:01 up 1 day, 12:15, 0 users, load average: 120.78, 84.42, 37.89
Tasks: 206 total, 39 running, 166 sleeping, 0 stopped, 1 zombie
Cpu(s): 2.4%us, 0.6%sy, 0.0%ni, 96.4%id, 0.5%wa, 0.0%hi, 0.0%si, 0.0%st
Mem: 2046636k total, 2013868k used, 32768k free, 348k buffers
Swap: 0k total, 0k used, 0k free, 7372k cached
PID USER PR NI VIRT RES SHR S %CPU %MEM TIME+ COMMAND
11823 apache 20 0 130m 39m 616 R 2.4 2.0 0:00.29 /usr/sbin/httpd -k start -DSSL
11858 apache 20 0 128m 37m 420 R 2.4 1.9 0:00.33 /usr/sbin/httpd -k start -DSSL
88 root 20 0 0 0 0 R 1.6 0.0 4:24.58 [kswapd0]
11768 apache 20 0 223m 38m 808 S 1.6 1.9 0:00.39 /usr/sbin/httpd -k start -DSSL
11770 apache 20 0 222m 37m 724 S 1.6 1.9 0:00.40 /usr/sbin/httpd -k start -DSSL
11771 apache 20 0 222m 37m 816 S 1.6 1.9 0:00.39 /usr/sbin/httpd -k start -DSSL
11773 apache 20 0 222m 37m 816 S 1.6 1.9 0:00.37 /usr/sbin/httpd -k start -DSSL
11777 apache 20 0 132m 42m 940 R 1.6 2.1 0:00.86 /usr/sbin/httpd -k start -DSSL
11814 apache 20 0 130m 41m 1608 R 1.6 2.1 0:00.36 /usr/sbin/httpd -k start -DSSL
11820 apache 20 0 130m 39m 420 R 1.6 2.0 0:00.26 /usr/sbin/httpd -k start -DSSL
11826 apache 20 0 130m 39m 420 R 1.6 2.0 0:00.31 /usr/sbin/httpd -k start -DSSL
11827 apache 20 0 128m 37m 420 R 1.6 1.9 0:00.31 /usr/sbin/httpd -k start -DSSL
11836 apache 20 0 130m 39m 420 R 1.6 2.0 0:00.33 /usr/sbin/httpd -k start -DSSL
11837 apache 20 0 130m 39m 420 R 1.6 2.0 0:00.32 /usr/sbin/httpd -k start -DSSL
11839 apache 20 0 130m 39m 420 R 1.6 2.0 0:00.26 /usr/sbin/httpd -k start -DSSL
11840 apache 20 0 128m 37m 420 R 1.6 1.9 0:00.32 /usr/sbin/httpd -k start -DSSL
11844 apache 20 0 128m 37m 420 R 1.6 1.9 0:00.30 /usr/sbin/httpd -k start -DSSL
11854 apache 20 0 125m 35m 1308 R 1.6 1.8 0:00.29 /usr/sbin/httpd -k start -DSSL
11862 apache 20 0 123m 33m 1240 D 1.6 1.7 0:00.27 /usr/sbin/httpd -k start -DSSL
11872 apache 20 0 123m 33m 1240 D 1.6 1.7 0:00.24 /usr/sbin/httpd -k start -DSSL
11873 apache 20 0 123m 33m 1240 D 1.6 1.7 0:00.25 /usr/sbin/httpd -k start -DSSL
11877 apache 20 0 123m 33m 1240 D 1.6 1.7 0:00.21 /usr/sbin/httpd -k start -DSSL
11766 apache 20 0 227m 44m 2176 R 0.8 2.2 0:00.34 /usr/sbin/httpd -k start -DSSL
Waarom is er eigenlijk geen swap geheugen toegewezen? Dat is eigenlijk een beetje raar, want het proces kswapd0 draait wel.
patrickekkel
01/12/11, 12:17
Wat ik zo kan zien heb je last van veel httpd aanvragen
heb je veel website's draaien ?
Is dit een dedicated server, of bijv. een OpenVZ/Virtuozzo machine? Bij die laatste zie je wel vaker dat er geen swap is en is de load vaak de load van het gehele systeem, ipv alleen van de VM.
Het rare is namelijk dat de load erg hoog is, het CPU gebruik erg laag, maar I/O wait is eigenlijk ook erg laag. Er draaien dan wel veel Apache processen, maar die lijken dan ook niet zo'n load te veroorzaken.
crossplatform
01/12/11, 12:55
We hebben het hier alleen over Directadmin. Heb je ook de mogelijkheid om shell access te krijgen tot de server?
Denk dat je een "out-of-memory" probleem heb... Maar om daar zeker van te zijn is een blik in de logfiles wel vereist.
Buiten dat... 2GB is niet veel voor een productie webserver!
Tussendoor
01/12/11, 13:01
Waarom is er eigenlijk geen swap geheugen toegewezen? Dat is eigenlijk een beetje raar, want het proces kswapd0 draait wel.
Geen idee. Ik zal hier achteraan.
Wat ik zo kan zien heb je last van veel httpd aanvragen
heb je veel website's draaien ?
Niet veel. Momenteel draaien er 32 websites op deze server. Ongeveer 25 hiervan zijn WordPress installaties. Dit zijn geen zware websites ook al neemt WordPress natuurlijk meer dan standaard php websites.
Is dit een dedicated server, of bijv. een OpenVZ/Virtuozzo machine? Bij die laatste zie je wel vaker dat er geen swap is en is de load vaak de load van het gehele systeem, ipv alleen van de VM.
Het rare is namelijk dat de load erg hoog is, het CPU gebruik erg laag, maar I/O wait is eigenlijk ook erg laag. Er draaien dan wel veel Apache processen, maar die lijken dan ook niet zo'n load te veroorzaken.
Het betreft hier een VPS server volgens mij idd OpenVZ/Virtuozzo oid, met de volgende details:
Intel(R) Xeon(R) CPU E31230 @ 3.20GHz, Processor Speed (MHz) 3200.022, Total Memory 2046636 kB
We hebben het hier alleen over Directadmin. Heb je ook de mogelijkheid om shell access te krijgen tot de server?
Denk dat je een "out-of-memory" probleem heb... Maar om daar zeker van te zijn is een blik in de logfiles wel vereist.
Buiten dat... 2GB is niet veel voor een productie webserver!
Die toegang heb ik zelf niet omdat het een managed vps betreft. Ik kan die toegang wel krijgen maar ik ben zelf geen held in shell access dus ga hier liever niet in. Welk commando moet hier gegeven worden voor meer info? Wellicht kan ik dit opvragen?
Is dit een dedicated server, of bijv. een OpenVZ/Virtuozzo machine? Bij die laatste zie je wel vaker dat er geen swap is en is de load vaak de load van het gehele systeem, ipv alleen van de VM.
Het rare is namelijk dat de load erg hoog is, het CPU gebruik erg laag, maar I/O wait is eigenlijk ook erg laag. Er draaien dan wel veel Apache processen, maar die lijken dan ook niet zo'n load te veroorzaken.
Ik zou zeggen een Xen vps (40 root 20 0 0 0 0 S 0.0 0.0 0:00.00 [xenwatch]
41 root 20 0 0 0 0 S 0.0 0.0 0:00.00 [xenbus] )
patrickekkel
01/12/11, 13:04
Geen idee. Ik zal hier achteraan.
Niet veel. Momenteel draaien er 32 websites op deze server. Ongeveer 25 hiervan zijn WordPress installaties. Dit zijn geen zware websites ook al neemt WordPress natuurlijk meer dan standaard php websites.
Het betreft hier een VPS server volgens mij idd OpenVZ/Virtuozzo oid, met de volgende details:
Intel(R) Xeon(R) CPU E31230 @ 3.20GHz, Processor Speed (MHz) 3200.022, Total Memory 2046636 kB
Die toegang heb ik zelf niet omdat het een managed vps betreft. Ik kan die toegang wel krijgen maar ik ben zelf geen held in shell access dus ga hier liever niet in. Welk commando moet hier gegeven worden voor meer info? Wellicht kan ik dit opvragen?
als het een maanaged vps is Zal ik maar zo snel mogelijk contact op nemen met je hoster
zodat hij het probleem voor je kan oplossen
Daar betaal je toch elke maand voor
Buiten dat... 2GB is niet veel voor een productie webserver!
Dat is grote kolder, zelfs 1GB kan al ruim voldoende zijn op een productieserver. Het is maar net wat de TS er exact op draait, of er scripts met veel geheugen consumptie draaien enzovoorts. Over het algemeen is het zo dat wanneer een server echt out of memory is en dus flink begint te swappen, dat alleen een reboot helpt. Het systeem probeert wel zelf geheugen vrij te maken, maar dat is over het algemeen veel te weinig waardoor het systeem blijft swappen.
Tussendoor
01/12/11, 13:31
Dat is grote kolder, zelfs 1GB kan al ruim voldoende zijn op een productieserver. Het is maar net wat de TS er exact op draait, of er scripts met veel geheugen consumptie draaien enzovoorts. Over het algemeen is het zo dat wanneer een server echt out of memory is en dus flink begint te swappen, dat alleen een reboot helpt. Het systeem probeert wel zelf geheugen vrij te maken, maar dat is over het algemeen veel te weinig waardoor het systeem blijft swappen.
als het een maanaged vps is Zal ik maar zo snel mogelijk contact op nemen met je hoster
zodat hij het probleem voor je kan oplossen
Daar betaal je toch elke maand voor
Al paar x gedaan. We zijn ook overgestapt van Plesk op DA, mede juist vanwege de zware load die Plesk veroorzaakte. Toch blijven de problemen aanhouden op de nieuwe DA server. De beheer geeft aan moeilijk te kunnen achterhalen waar de problemen door worden veroorzaakt. Vermoedelijk zijn er weinig logging tools beschikbaar. Zoals ik al eerder zei draaien wij geen rare websites of scripts. Toch lijkt er 1 website/script/proces te zorgen voor de hoge load midden in de nacht.
patrickekkel
01/12/11, 13:33
Als je mod_ruid2 installeerd weet je gelijk welke website het probleem is !
Tussendoor
01/12/11, 14:43
Als je mod_ruid2 installeerd weet je gelijk welke website het probleem is !Ik kan dit op zoek verzoek laten installeren. Op welke wijze geeft dit inzage in de website/het proces die/wat de problemen veroorzaakt?
patrickekkel
01/12/11, 15:05
dan staat er bij de top output geen apache meer maar de gebruikers acount van die website
en het is gelijk een stuk veiliger
Als je mod_ruid2 installeerd weet je gelijk welke website het probleem is !
uncommit
# ExtendedStatus On
and allow your own IP in /etc/httpd/conf/extra/httpd-info and visit http://ip/server-status.
En vannacht weer. Rond 3 uur kreeg ik weer een mail van hyperspin dat de server onbereikbaar was. Geen idee of er een reboot heeft plaatsgevonden maar 5 minuten later werkte deze weer.
Dat doet me eerder denken aan een cron of backup die op dit tijdstip uitgevoerd wordt, ik zou hier dus eerst even op zoeken.
Weer een log uit DirectAdmin waar ik niks uit kan halen.
Dat is eigenlijk geen log maar gewoon een informatie e-mail, in de log bestanden kun je wel wat meer vinden ;)