SCS
19/06/06, 15:51
We hebben de laatste 2 weken een zeer raar probleem op één van onze webservers, wat ik tot op heden nog niet heb weten op te lossen..
Het gaat om een Dual-Xeon 2.8ghz met 4GB intern geheugen (Dell poweredge 1850).
Hierop is geinstalleerd een Debian 3.1. Alle packages zijn handmatig gecompiled van de source door een voorganger die niet van documenteren hield.. Maar goed, we draaien 1 apache met php4 en 1 apache met php5 + 1 mysql versie 4 en 1 mysql5 (draait bijna niets op).
Het draaide altijd perfect, draaien wel 300-400 websites op maar eigenlijk altijd zonder problemen qua snelheid e.d. en de snelheid is nu in 1 klap zo ontiechelijk omlaag gegaan dat ik niet denk dat het aantal websites het probleem is, maar mochten jullie daar anders over denken hoor ik het natuurlijk graag..
Het probleem is dat het op willekeurige tijdstippen enorm traag wordt. Niet echt een regelmaat in te vinden. Echter waarom het traag wordt kan ik in geen enkel log-bestand terugvinden.
"top" geeft vaak per proces 0-1 % cpu op (httpd en mysql), geheugen voor elke httpd deamon zo rond de 3-4% en mysql 30% (de mysql4 die vooral gebruikt word). De CPU's (SMP) zien er zo uit (nu in dit overzicht is het snel, maar met ongeveer dezelfde waarden kan het ook traag zijn):
Cpu0 : 37.8% us, 8.7% sy, 0.3% ni, 52.2% id, 0.0% wa, 0.3% hi, 0.7% si
Cpu1 : 20.2% us, 10.1% sy, 1.0% ni, 68.7% id, 0.0% wa, 0.0% hi, 0.0% si
Cpu2 : 27.9% us, 16.5% sy, 2.7% ni, 52.9% id, 0.0% wa, 0.0% hi, 0.0% si
Cpu3 : 30.4% us, 34.4% sy, 0.3% ni, 34.8% id, 0.0% wa, 0.0% hi, 0.0% si
Ik heb ook de module server-status van apache maar eens geïnstalleerd, maar kan daar eigenlijk niet veel relevante informatie uit opmaken. Lijken allemaal vrij normale connecties, alleen de overzichten geven wat rare waarden aan soms (340% cpu...). Zodra hij weer even traag word zal ik dat overzicht hier ook even posten.
Omdat deze standaard commando's me niet veel wisten te vertellen ben ik met apt-get nog wat meer check-tools tegengekomen. Met name "atop" wist mij te vertellen als ik sorteerde op cpu dat httpd wel degelijk veel cpu gebruikte (dit zag ik dus niet in top..):
30963 100% httpd
11698 9% httpd
31262 2% mysqld
31552 1% httpd
11704 1% httpd
31561 1% httpd
25802 0% mysqld
Ik heb uiteraard de apache error-logs uitgebreid bekeken, zie ik niets raars. De mysql lijkt ook allemaal niet enorme queries te moeten behandelen. Dmesg geeft geen rare fouten aan. Ook heb ik gekeken naar de disk en network traffic, beiden maximaal 1-2MB/s dus zou ook voor geen problemen moeten veroorzaken dacht ik zo..
Nog even wat versies van belangrijke componenten:
Apache: 2.0.54
Mysql: 4.1.14-standard
Kernel: Linux *.*.nl 2.6.8-11-em64t-p4-smp #1 SMP Wed Jun 1 01:23:42 CEST 2005 x86_64 GNU/Linux
Ik vroeg me metname af of er een mogelijkheid is om te achterhalen of er een slecht geschreven php script draait. Die misschien de resources opslurpt (vind het dan alleen wel vreemd dat ik dit nergens terugzie..). Of een tool waarmee ik kan kijken waarme een httpd PID zo druk mee is (het is ook maar 1 deamon van de zoveel..). Ook andere suggesties om te lokaliseren waar de traagheid ontstaat zijn enorm welkom, ik heb zo'n beetje alles wat in mij opkomt nu wel geprobeerd..
Ik hoop dat iemand mij uit de brand kan helpen, in ieder geval super bedankt voor het meedenken..
Het gaat om een Dual-Xeon 2.8ghz met 4GB intern geheugen (Dell poweredge 1850).
Hierop is geinstalleerd een Debian 3.1. Alle packages zijn handmatig gecompiled van de source door een voorganger die niet van documenteren hield.. Maar goed, we draaien 1 apache met php4 en 1 apache met php5 + 1 mysql versie 4 en 1 mysql5 (draait bijna niets op).
Het draaide altijd perfect, draaien wel 300-400 websites op maar eigenlijk altijd zonder problemen qua snelheid e.d. en de snelheid is nu in 1 klap zo ontiechelijk omlaag gegaan dat ik niet denk dat het aantal websites het probleem is, maar mochten jullie daar anders over denken hoor ik het natuurlijk graag..
Het probleem is dat het op willekeurige tijdstippen enorm traag wordt. Niet echt een regelmaat in te vinden. Echter waarom het traag wordt kan ik in geen enkel log-bestand terugvinden.
"top" geeft vaak per proces 0-1 % cpu op (httpd en mysql), geheugen voor elke httpd deamon zo rond de 3-4% en mysql 30% (de mysql4 die vooral gebruikt word). De CPU's (SMP) zien er zo uit (nu in dit overzicht is het snel, maar met ongeveer dezelfde waarden kan het ook traag zijn):
Cpu0 : 37.8% us, 8.7% sy, 0.3% ni, 52.2% id, 0.0% wa, 0.3% hi, 0.7% si
Cpu1 : 20.2% us, 10.1% sy, 1.0% ni, 68.7% id, 0.0% wa, 0.0% hi, 0.0% si
Cpu2 : 27.9% us, 16.5% sy, 2.7% ni, 52.9% id, 0.0% wa, 0.0% hi, 0.0% si
Cpu3 : 30.4% us, 34.4% sy, 0.3% ni, 34.8% id, 0.0% wa, 0.0% hi, 0.0% si
Ik heb ook de module server-status van apache maar eens geïnstalleerd, maar kan daar eigenlijk niet veel relevante informatie uit opmaken. Lijken allemaal vrij normale connecties, alleen de overzichten geven wat rare waarden aan soms (340% cpu...). Zodra hij weer even traag word zal ik dat overzicht hier ook even posten.
Omdat deze standaard commando's me niet veel wisten te vertellen ben ik met apt-get nog wat meer check-tools tegengekomen. Met name "atop" wist mij te vertellen als ik sorteerde op cpu dat httpd wel degelijk veel cpu gebruikte (dit zag ik dus niet in top..):
30963 100% httpd
11698 9% httpd
31262 2% mysqld
31552 1% httpd
11704 1% httpd
31561 1% httpd
25802 0% mysqld
Ik heb uiteraard de apache error-logs uitgebreid bekeken, zie ik niets raars. De mysql lijkt ook allemaal niet enorme queries te moeten behandelen. Dmesg geeft geen rare fouten aan. Ook heb ik gekeken naar de disk en network traffic, beiden maximaal 1-2MB/s dus zou ook voor geen problemen moeten veroorzaken dacht ik zo..
Nog even wat versies van belangrijke componenten:
Apache: 2.0.54
Mysql: 4.1.14-standard
Kernel: Linux *.*.nl 2.6.8-11-em64t-p4-smp #1 SMP Wed Jun 1 01:23:42 CEST 2005 x86_64 GNU/Linux
Ik vroeg me metname af of er een mogelijkheid is om te achterhalen of er een slecht geschreven php script draait. Die misschien de resources opslurpt (vind het dan alleen wel vreemd dat ik dit nergens terugzie..). Of een tool waarmee ik kan kijken waarme een httpd PID zo druk mee is (het is ook maar 1 deamon van de zoveel..). Ook andere suggesties om te lokaliseren waar de traagheid ontstaat zijn enorm welkom, ik heb zo'n beetje alles wat in mij opkomt nu wel geprobeerd..
Ik hoop dat iemand mij uit de brand kan helpen, in ieder geval super bedankt voor het meedenken..