Red5 server hoge load

[Ahmed]

Voor een klant heb ik red5 server (Versie 0.9.1) geïnstalleerd op een VPS.

Hij draait een webchat (http://www.gchats.com/products/24_visichat.html) en deze gebruikt dus de red5 server.

nu komt het voor dat na een x tijd. Kan uren zijn, dagen of weken. (op dit moment uren), schiet de load naar de >20 en is de server (http) niet meer bereikbaar. Wanneer ik tijdens zo'n situatie een top uitvoer, zie ik Java veel CPU gebruiken.

Na een restart van red5, daalt de load geleidelijk aan weer.

Op de server draait voor de rest Directadmin en 1 (Joomla)website

ATM zijn er 10 mensen in de chat (met audio) en staat de load op 0.45. Normaal ligt het aantal bezoekers ook rond dit getal. Dit gaat dus een tijdje goed, totdat de load uitschiet naar boven.

Ik wil graag weten of iemand ervaring heeft met dit fenomeen, of, iemand die weet waardoor dit komt, of die me op weg kan helpen het probleem op te lossen.

Dank!

[Arie.]

Ik neem aan dat je de meest recente versies van webchat, Joomla en componenten gebruikt !?
Welke services draaien er tijdens die problemen (top).

[Ahmed]

Ja, alles is up-to-date

De normale services draaien er dan; apache (veel httpd), dovecot, exim, java, mysql, directadmin etc..

[Arie.]

Je kunt via TOP zien welke het meeste processor gebruik heeft ?!

[Ahmed]

%CPU en %MEM

[cyberbootje]

Wat je ook zou kunnen doen is het proces tracen.
Dat kan met bijvoorbeeld htop en strace.

Eigenlijk een fancy kleurtjes versie van top met de mogelijkheid om een trace per proces te doen, dan zie je precies welke bestanden benaderd worden en wat er gebeurt met die java.

[Herbert]

Ik ben ook uren bezig geweest voor iemand die RED5 had.
Deze server kreeg dagelijks ddos aanvallen, het probleem van jou komt me bekend voor.
Kijk is in je log files of je geen last van ddos hebt?

[Apoc]

Ahmed,

Heb je het ram verbruik al gechecked? Java heeft nogal de neiging om erg veel ram te gebruiken, en als de VPS niet voldoende ram beschikbaar heeft, zou deze kunnen gaan swappen (hetgeen de load ook zou verklaren).

[Ahmed]

Vps heeft 1 Gig ram-geheugen, deze is inderdaad altijd in gebruik. Op de server is swap en buffers niet beschikbaar. Ik kan ook helaas niet zelf swap toevoegen.

Ik zal eens de logs checken voor ddos.

Het is raar, maar hij draait nu gewoon stabiel sinds gisteravond (chatbox wordt vooral 's nachts gebruikt). Er gebeurt -iets- waardoor de server over de zeik gaat.

[xaban]

Vps heeft 1 Gig ram-geheugen, deze is inderdaad altijd in gebruik. Op de server is swap en buffers niet beschikbaar. Ik kan ook helaas niet zelf swap toevoegen.

Ik zal eens de logs checken voor ddos.

Het is raar, maar hij draait nu gewoon stabiel sinds gisteravond (chatbox wordt vooral 's nachts gebruikt). Er gebeurt -iets- waardoor de server over de zeik gaat.

Heb je de logs al gecheckt, geen aanval?
Wat geeft 'free -m' op het moment van problemen?

[Ahmed]

Ik heb de logs gecheckt; ik merk geen vreemde dingen op.

Klant belde net op. Red5 is gewoon uitgevallen 'red5 dead but pid exists'. Na een herstart van red5 werkte de chat gewoon weer.

Ik krijg trouwens dit te zien:

14762 root      20   0  202m  57m 8464 S    0  5.6   0:14.31 /usr/bin/java -Dpython.home=lib -Dred5.root=/opt/red5/dist -Dlogback.ContextSelector=org.red5.logging.Logging

Zou het eraan kunnen liggen dat red5 blijkbaar om de x seconden gaat loggen?

[Ahmed]

Heb je de logs al gecheckt, geen aanval?
Wat geeft 'free -m' op het moment van problemen?

uitvoer is dat er ongv. +/-96xM in gebruik is en +/-50M vrij

[root@vps1 ~]# -bash: fork: Cannot allocate memory
[root@vps1 ~]# -bash: fork: Cannot allocate memory
[root@vps1 ~]#  15:28:02 up 18:57,  1 user,  load average: 0.14, 0.21, 0.24
[root@vps1 ~]#              total       used       free     shared    buffers     cached
Mem:          1024       1009         14          0          0          0
-/+ buffers/cache:       1009         14
Swap:            0          0          0
[root@vps1 ~]#  15:28:25 up 18:58,  1 user,  load average: 0.10, 0.19, 0.23

[Apoc]

[root@vps1 ~]# -bash: fork: Cannot allocate memory

Lijkt me vrij duidelijk waar het probleem ligt.. Je hebt meer RAM nodig.

[Ahmed]

Mja, dat lijkt mij idd ook. Toch even zeker weten of er niets anders aan de hand kan zijn.
Even kijken wat 'ie doet met nog 1 gig erbij.

Bedankt iedereen voor de nodige hulp!

[xaban]

uitvoer is dat er ongv. +/-96xM in gebruik is en +/-50M vrij

[root@vps1 ~]# -bash: fork: Cannot allocate memory
[root@vps1 ~]# -bash: fork: Cannot allocate memory
[root@vps1 ~]#  15:28:02 up 18:57,  1 user,  load average: 0.14, 0.21, 0.24
[root@vps1 ~]#              total       used       free     shared    buffers     cached
Mem:          1024       1009         14          0          0          0
-/+ buffers/cache:       1009         14
Swap:            0          0          0
[root@vps1 ~]#  15:28:25 up 18:58,  1 user,  load average: 0.10, 0.19, 0.23

Probleem is zeer duidelijk.
Je hebt geen geheugen vrij, alles is in gebruik, omdat je geen swap hebt kan je ook niet swappen, dit resulteert in een crash.