Onderwerp: [spoed] problemen met httpd

Hey,

Ik heb op dit moment op 1 van de servers gigantische problemen met apache..
Zodra apache online komt, stijgt het serverload als een gek en crasht de hele server :-/

iemand een idee? Ik heb al vrij veel geprobeert en word er niet echt vrolijk van op dit moment.

06-25051130


Ruud

Direct als Apache online komt of pas nadat een aantal bezoekers een site hebben bezocht?

iemand in de buurt van amsterdam met verstand van zaken zou ook een oplossing zijn. Ik rij over 10 minuten zelf weg en denk er om een uur of 18:30 te zijn, ik sta in Schuberg philis. Ik ben bereid te betalen voor eventuele oplossingen..

MVG,
ruud Goedhart

06-25051130

Origineel geplaatst door Triloxigen
Direct als Apache online komt of pas nadat een aantal bezoekers een site hebben bezocht?

vrij snel begint de load te stijgen.. HEEL snel zelfs.

ik heb geprobeert alle virtualhost entries van alle domeinenen op de server te verwijderen.. geen succes, crashed nogsteeds.


Ruud

ps.. wat KUT zeg.. op mijn verjaardag

ik rij nu door naar amsterdam, bel me AUB op mijn GSM als je een oplossing denkt te hebben of zeker weet het ter plekke te kunnen oplossen..

06-25051130

(schuberg philis)

Ruud

gefeliciteerd met je verjaardag :P

Iets corrupt gelopen op de hd?

1ste stap is alle sources te downen heel apache+php+... opnieuw te compile en dan te starten om te en zien of het solved is.

Ik zou eens met 'vmstat 1' kijken waar hij nou zo druk mee bezig is.

Mijn eerste gok zou zijn dat je MaxClients te hoog staat voor de hoeveelheid geheugen in je machine en dat'ie daardoor hard gaat swappen, waardoor hij meer requests tegelijk moet afhandelen, waardoor hij meer daemons spawned, meer geheugen nodig heeft, meer gaat swappen, etc...

Origineel geplaatst door ChemicalWH
ps.. wat KUT zeg.. op mijn verjaardag

Vast een geintje van je ISP om je naar het datacenter toe te lokken waar ze op je wachten met drank en hapjes

Toen ik in A.dam aankwam was het probleem vlot verholpen, apache en php opnieuw gecompiled en alles werkte weer prima. Nog even contact gehad met iemand die er nog meer vanaf weet als mij en helaas hebben we beide niet kunnen vinden wat de oorzaak was van het probleem.. Wellicht was apache gewoon vernacheld op de een of andere manier maar het voelt nooit echt lekker als je een probleem kunt oplossen maar niet weet wat de oorzaak is. Voor het zelfde geld gebeurt exact het zelfde vanacht weer.

Iemand nog ideeen hoe ik zou kunnen terugvinden wat de werkelijke oorzaak was?

Zojuist crashte de hele server weer:

TOP gegevens op het moment van de crash:

top - 03:19:30 up 8:01, 2 users, load average: 7.41, 5.19, 5.31
Tasks: 133 total, 5 running, 128 sleeping, 0 stopped, 0 zombie
Cpu(s): 0.8% us, 50.1% sy, 0.0% ni, 0.0% id, 48.9% wa, 0.0% hi, 0.2% si
Mem: 2071836k total, 1958424k used, 113412k free, 81224k buffers
Swap: 4192956k total, 376k used, 4192580k free, 1423488k cached


7382 root 34 19 12792 10m 2124 R 99.9 0.5 1:52.94 cpanellogd
3285 nobody 16 0 27136 18m 4700 S 1.3 0.9 0:31.76 httpd
1 root 16 0 3248 552 472 S 0.0 0.0 0:01.24 init
2 root RT 0 0 0 0 R 0.0 0.0 0:00.12 migration/0
3 root 34 19 0 0 0 S 0.0 0.0 0:00.00 ksoftirqd/0
4 root RT 0 0 0 0 S 0.0 0.0 0:00.12 migration/1
5 root 34 19 0 0 0 S 0.0 0.0 0:00.00 ksoftirqd/1
6 root 10 -5 0 0 0 R 0.0 0.0 0:02.82 events/0
7 root 10 -5 0 0 0 S 0.0 0.0 0:02.16 events/1
8 root 11 -5 0 0 0 S 0.0 0.0 0:00.00 khelper
13 root 11 -5 0 0 0 S 0.0 0.0 0:00.00 kthread
23 root 20 -5 0 0 0 S 0.0 0.0 0:00.00 kacpid
119 root 10 -5 0 0 0 S 0.0 0.0 0:00.00 kblockd/0
120 root 10 -5 0 0 0 S 0.0 0.0 0:00.00 kblockd/1
185 root 15 0 0 0 0 S 0.0 0.0 0:06.16 pdflush
186 root 15 0 0 0 0 D 0.0 0.0 0:06.69 pdflush
188 root 13 -5 0 0 0 S 0.0 0.0 0:00.00 aio/0
189 root 13 -5 0 0 0 S 0.0 0.0 0:00.00 aio/1
187 root 15 0 0 0 0 S 0.0 0.0 0:09.45 kswapd0
128 root 15 0 0 0 0 S 0.0 0.0 0:00.00 khubd
283 root 20 0 0 0 0 S 0.0 0.0 0:00.00 kseriod
472 root 10 -5 0 0 0 S 0.0 0.0 0:00.00 ata/0
473 root 11 -5 0 0 0 S 0.0 0.0 0:00.00 ata/1
477 root 15 0 0 0 0 S 0.0 0.0 0:00.00 scsi_eh_0
478 root 22 0 0 0 0 S 0.0 0.0 0:00.00 scsi_eh_1
501 root 15 0 0 0 0 S 0.0 0.0 0:00.47 kjournald
1510 root 11 -5 1820 456 376 S 0.0 0.0 0:00.03 udevd
1933 root 16 0 0 0 0 S 0.0 0.0 0:08.81 kjournald
1934 root 15 0 0 0 0 S 0.0 0.0 0:00.00 kjournald
1935 root 15 0 0 0 0 S 0.0 0.0 0:00.98 kjournald
1936 root 15 0 0 0 0 S 0.0 0.0 0:00.20 kjournald
1937 root 15 0 0 0 0 D 0.0 0.0 0:01.47 kjournald
1938 root 15 0 0 0 0 D 0.0 0.0 0:03.90 kjournald
2935 named 18 0 49396 4648 2236 S 0.0 0.2 0:04.36 named
3005 root 16 0 3048 468 400 S 0.0 0.0 0:00.00 irqbalance
3061 root 16 0 4792 1008 844 S 0.0 0.0 0:00.00 rpc.idmapd
3126 nobody 16 0 5816 2036 1520 S 0.0 0.1 0:00.05 proftpd
3144 root 19 0 2304 548 480 S 0.0 0.0 0:00.00 acpid
4536 root 16 0 8596 2116 1600 S 0.0 0.1 0:00.03 cupsd
4610 root 16 0 5580 1564 1348 S 0.0 0.1 0:00.24 sshd
4620 root 15 0 2644 856 716 S 0.0 0.0 0:00.05 xinetd
4849 root 16 0 5756 1116 724 S 0.0 0.1 0:00.05 crond


Vmstat 1 output op de tijd van de crash:

procs -----------memory---------- ---swap-- -----io---- --system-- ----cpu----
r b swpd free buff cache si so bi bo in cs us sy id wa
4 11 376 109764 81312 1423400 0 0 0 0 1018 34 0 50 0 50
3 11 376 109764 81312 1423400 0 0 0 0 1013 37 0 50 0 50
3 11 376 109764 81312 1423400 0 0 0 0 1006 34 0 50 0 50
3 11 376 109764 81312 1423400 0 0 0 0 1005 32 0 50 0 50
3 11 376 109764 81312 1423400 0 0 0 0 1006 32 0 50 0 50
3 11 376 109764 81312 1423400 0 0 0 0 1007 30 0 50 0 50
3 13 376 109764 81312 1423400 0 0 0 0 1052 76 2 51 0 48
3 13 376 109764 81312 1423400 0 0 0 0 1005 32 0 50 0 50
3 13 376 109764 81312 1423400 0 0 0 8 1006 32 0 50 0 50
3 13 376 109764 81312 1423400 0 0 0 0 1005 32 0 50 0 50
3 13 376 109828 81312 1423400 0 0 0 0 1006 32 0 50 0 50
3 13 376 109828 81312 1423400 0 0 0 0 1005 32 0 50 0 50
3 13 376 109636 81312 1423400 0 0 0 0 1027 65 0 50 0 50
3 13 376 108740 81316 1423396 0 0 0 4 1009 43 0 50 0 50
3 13 376 108740 81316 1423396 0 0 0 0 1007 32 0 50 0 50
3 14 376 108548 81316 1423656 0 0 20 0 1019 49 0 51 0 50
3 15 376 108036 81316 1423656 0 0 28 0 1014 46 0 50 0 50
3 15 376 108036 81316 1423656 0 0 0 0 1008 39 0 50 0 50
3 15 376 107716 81316 1423656 0 0 0 412 1043 49 0 50 0 50
5 15 376 99716 81316 1423656 0 0 0 0 1037 62 9 51 0 40
3 15 376 99716 81316 1423656 0 0 0 0 1015 49 0 50 0 50
3 16 376 98948 81316 1423656 0 0 4 0 1016 47 0 50 0 49
3 16 376 98948 81316 1423656 0 0 4 0 1016 56 0 51 0 49
3 17 376 98116 81320 1423652 0 0 4 28 1011 44 0 52 0 48
3 17 376 98116 81320 1423652 0 0 0 0 1006 38 0 50 0 50
3 17 376 98116 81320 1423652 0 0 0 0 1005 31 0 50 0 50
3 17 376 96900 81320 1423652 0 0 0 0 1015 37 1 50 0 49
3 17 376 96900 81320 1423652 0 0 0 0 1005 32 0 50 0 50
3 17 376 95364 81324 1423648 0 0 0 4 1030 50 2 51 0 47
3 17 376 95364 81324 1423648 0 0 0 0 1008 34 0 50 0 50
3 17 376 95364 81324 1423648 0 0 0 0 1009 30 0 50 0 50
3 17 376 94852 81324 1423648 0 0 0 0 1011 39 0 50 0 50
3 19 376 94276 81324 1423648 0 0 0 0 1054 76 2 50 0 47
3 19 376 93892 81328 1423644 0 0 0 4 1010 39 0 52 0 48
3 20 376 93636 81328 1423644 0 0 16 0 1017 50 0 50 0 50
3 20 376 93572 81328 1423644 0 0 0 0 1010 37 0 50 0 50
3 20 376 93380 81328 1423644 0 0 0 0 1016 35 1 50 0 49
3 20 376 91972 81328 1423644 0 0 0 0 1011 41 1 50 0 49
3 20 376 92164 81332 1423640 0 0 0 4 1010 41 0 51 0 50
3 21 376 91932 81336 1423636 0 0 4 0 1050 40 1 50 0 49
3 21 376 91932 81336 1423636 0 0 0 0 1011 35 0 50 0 50
3 21 376 91932 81336 1423636 0 0 0 0 1007 33 0 50 0 50
3 21 376 91932 81336 1423636 0 0 0 0 1010 31 0 50 0 50
3 21 376 91932 81336 1423636 0 0 0 8 1010 36 0 50 0 50
3 21 376 91932 81336 1423636 0 0 0 0 1013 35 0 50 0 50
3 21 376 91932 81336 1423636 0 0 0 0 1011 37 0 50 0 50
3 21 376 91036 81336 1423636 0 0 0 0 1014 32 1 50 0 50
3 21 376 91036 81336 1423636 0 0 0 0 1013 46 0 50 0 50
3 21 376 91036 81336 1423636 0 0 0 0 1013 33 0 50 0 50
3 21 376 90588 81336 1423636 0 0 0 0 1012 40 0 50 0 50
3 21 376 90524 81336 1423636 0 0 0 0 1012 31 0 50 0 50
3 21 376 90524 81336 1423636 0 0 0 0 1017 41 0 50 0 50



Ik word hier een beetje moe van :-(

Ruud

Side note, de load is zo hoog omdat hij backups aan het maken was..


Ruud

doe is ff netstat -n | grep tcp om te zien hoeveel connecties er zijn. Cpanellogd lijkt anders ook wel heet te lopen misschien daar ook eens een kijkje naar nemen.

Verder is kijken of je hd's het niet aan het begeven zijn (corrupte toestanden).

Origineel geplaatst door luser
doe is ff netstat -n | grep tcp om te zien hoeveel connecties er zijn. Cpanellogd lijkt anders ook wel heet te lopen misschien daar ook eens een kijkje naar nemen.

Verder is kijken of je hd's het niet aan het begeven zijn (corrupte toestanden).

wat is een programma om dat goed te testen ? (sata)

Ruud

Worden gezien als scsi disken (/dev/sdX) of via libsata in ide (/dev/hdX)?