PDA

Bekijk Volledige Versie : Red5 server hoge load



Ahmed
18/04/10, 20:33
Voor een klant heb ik red5 server (Versie 0.9.1) geïnstalleerd op een VPS.

Hij draait een webchat (http://www.gchats.com/products/24_visichat.html) en deze gebruikt dus de red5 server.

nu komt het voor dat na een x tijd. Kan uren zijn, dagen of weken. (op dit moment uren), schiet de load naar de >20 en is de server (http) niet meer bereikbaar. Wanneer ik tijdens zo'n situatie een top uitvoer, zie ik Java veel CPU gebruiken.

Na een restart van red5, daalt de load geleidelijk aan weer.

Op de server draait voor de rest Directadmin en 1 (Joomla)website

ATM zijn er 10 mensen in de chat (met audio) en staat de load op 0.45. Normaal ligt het aantal bezoekers ook rond dit getal. Dit gaat dus een tijdje goed, totdat de load uitschiet naar boven.

Ik wil graag weten of iemand ervaring heeft met dit fenomeen, of, iemand die weet waardoor dit komt, of die me op weg kan helpen het probleem op te lossen.

Dank!

Arie.
18/04/10, 20:35
Ik neem aan dat je de meest recente versies van webchat, Joomla en componenten gebruikt !?
Welke services draaien er tijdens die problemen (top).

Ahmed
18/04/10, 20:40
Ja, alles is up-to-date

De normale services draaien er dan; apache (veel httpd), dovecot, exim, java, mysql, directadmin etc..

Arie.
18/04/10, 20:57
Je kunt via TOP zien welke het meeste processor gebruik heeft ?!

Ahmed
18/04/10, 21:13
%CPU en %MEM

cyberbootje
18/04/10, 21:44
Wat je ook zou kunnen doen is het proces tracen.
Dat kan met bijvoorbeeld htop en strace.

Eigenlijk een fancy kleurtjes versie van top met de mogelijkheid om een trace per proces te doen, dan zie je precies welke bestanden benaderd worden en wat er gebeurt met die java.

Herbert
19/04/10, 12:34
Ik ben ook uren bezig geweest voor iemand die RED5 had.
Deze server kreeg dagelijks ddos aanvallen, het probleem van jou komt me bekend voor.
Kijk is in je log files of je geen last van ddos hebt?

Apoc
19/04/10, 13:22
Ahmed,

Heb je het ram verbruik al gechecked? Java heeft nogal de neiging om erg veel ram te gebruiken, en als de VPS niet voldoende ram beschikbaar heeft, zou deze kunnen gaan swappen (hetgeen de load ook zou verklaren).

Ahmed
19/04/10, 13:47
Vps heeft 1 Gig ram-geheugen, deze is inderdaad altijd in gebruik. Op de server is swap en buffers niet beschikbaar. Ik kan ook helaas niet zelf swap toevoegen.

Ik zal eens de logs checken voor ddos.

Het is raar, maar hij draait nu gewoon stabiel sinds gisteravond (chatbox wordt vooral 's nachts gebruikt). Er gebeurt -iets- waardoor de server over de zeik gaat.

xaban
19/04/10, 16:16
Vps heeft 1 Gig ram-geheugen, deze is inderdaad altijd in gebruik. Op de server is swap en buffers niet beschikbaar. Ik kan ook helaas niet zelf swap toevoegen.

Ik zal eens de logs checken voor ddos.

Het is raar, maar hij draait nu gewoon stabiel sinds gisteravond (chatbox wordt vooral 's nachts gebruikt). Er gebeurt -iets- waardoor de server over de zeik gaat.

Heb je de logs al gecheckt, geen aanval?
Wat geeft 'free -m' op het moment van problemen?

Ahmed
19/04/10, 16:24
Ik heb de logs gecheckt; ik merk geen vreemde dingen op.

Klant belde net op. Red5 is gewoon uitgevallen 'red5 dead but pid exists'. Na een herstart van red5 werkte de chat gewoon weer.

Ik krijg trouwens dit te zien:



14762 root 20 0 202m 57m 8464 S 0 5.6 0:14.31 /usr/bin/java -Dpython.home=lib -Dred5.root=/opt/red5/dist -Dlogback.ContextSelector=org.red5.logging.Logging


Zou het eraan kunnen liggen dat red5 blijkbaar om de x seconden gaat loggen?

Ahmed
19/04/10, 16:26
Heb je de logs al gecheckt, geen aanval?
Wat geeft 'free -m' op het moment van problemen?

uitvoer is dat er ongv. +/-96xM in gebruik is en +/-50M vrij



[root@vps1 ~]# -bash: fork: Cannot allocate memory
[root@vps1 ~]# -bash: fork: Cannot allocate memory
[root@vps1 ~]# 15:28:02 up 18:57, 1 user, load average: 0.14, 0.21, 0.24
[root@vps1 ~]# total used free shared buffers cached
Mem: 1024 1009 14 0 0 0
-/+ buffers/cache: 1009 14
Swap: 0 0 0
[root@vps1 ~]# 15:28:25 up 18:58, 1 user, load average: 0.10, 0.19, 0.23

Apoc
19/04/10, 16:46
[root@vps1 ~]# -bash: fork: Cannot allocate memory

Lijkt me vrij duidelijk waar het probleem ligt.. Je hebt meer RAM nodig.

Ahmed
19/04/10, 17:03
Mja, dat lijkt mij idd ook. Toch even zeker weten of er niets anders aan de hand kan zijn.
Even kijken wat 'ie doet met nog 1 gig erbij.

Bedankt iedereen voor de nodige hulp!

xaban
19/04/10, 18:03
uitvoer is dat er ongv. +/-96xM in gebruik is en +/-50M vrij



[root@vps1 ~]# -bash: fork: Cannot allocate memory
[root@vps1 ~]# -bash: fork: Cannot allocate memory
[root@vps1 ~]# 15:28:02 up 18:57, 1 user, load average: 0.14, 0.21, 0.24
[root@vps1 ~]# total used free shared buffers cached
Mem: 1024 1009 14 0 0 0
-/+ buffers/cache: 1009 14
Swap: 0 0 0
[root@vps1 ~]# 15:28:25 up 18:58, 1 user, load average: 0.10, 0.19, 0.23



Probleem is zeer duidelijk.
Je hebt geen geheugen vrij, alles is in gebruik, omdat je geen swap hebt kan je ook niet swappen, dit resulteert in een crash.

Ahmed
20/04/10, 11:20
Yes, in principe was er theoretisch genoeg geheugen. Maar hij zweefde net op 't randje steeds. Er is nu 2 gig beschikbaar, en het draait erg goed tot nu toe.

Nogmaals bedankt voor het meedenken!