Onderwerp: Hoge server-load door perl-scripts

Hoe kan ik erachter komen wat deze gekke perl-pid's nu precies doen?

Top:

Code:

  PID USER      PR  NI  VIRT  RES  SHR S %CPU %MEM    TIME+  COMMAND
 8293 apache    25   0 36112 6772 1296 R   99  0.2   1634:21 perl
 7913 apache    25   0 36108 6764 1296 R   98  0.2   1635:30 perl
 8592 apache    25   0 36112 6764 1288 R   98  0.2   1632:10 perl

ps -aux:

Code:

[root@server06 conf.d]# ps aux | grep perl
apache   18795  0.0  0.2  41244 11280 ?        S    20:59   0:00 [perl]
apache   18796  0.0  0.2  41240 11268 ?        S    20:59   0:00 [perl]
apache   18800  0.0  0.2  41248 11280 ?        S    20:59   0:00 [perl]
root     18802  0.0  0.0  60276   724 pts/1    S+   20:59   0:00 grep perl
root     32023  0.0  0.0  79576  2496 ?        S    20:00   0:00 /usr/bin/perl /usr/sbin/sendmail -FCronDaemon -i -odi -oem 

-oi -t
[root@server06 conf.d]# ps aux | grep perl
apache   18808  0.0  0.2  41244 11280 ?        S    20:59   0:00 [perl]
apache   18809  0.0  0.2  41240 11268 ?        S    20:59   0:00 [perl]
apache   18810  0.0  0.2  41248 11280 ?        S    20:59   0:00 [perl]
root     18812  0.0  0.0  60276   720 pts/1    S+   20:59   0:00 grep perl
root     32023  0.0  0.0  79576  2496 ?        S    20:00   0:00 /usr/bin/perl /usr/sbin/sendmail -FCronDaemon -i -odi -oem 

-oi -t
[root@server06 conf.d]# ps aux | grep perl
apache   18813  0.0  0.2  41244 11280 ?        S    20:59   0:00 [perl]
apache   18814  0.0  0.2  41240 11268 ?        S    20:59   0:00 [perl]
apache   18815  0.0  0.2  41248 11280 ?        S    20:59   0:00 [perl]
root     18820  0.0  0.0  60276   724 pts/1    S+   20:59   0:00 grep perl
root     32023  0.0  0.0  79576  2496 ?        S    20:00   0:00 /usr/bin/perl /usr/sbin/sendmail -FCronDaemon -i -odi -oem 

-oi -t
[root@server06 conf.d]#

Verandert steeds! Kan dus nooit een lsof -p pid doen om te kijken welke files worden gebruikt.

De pid's uit top blijven wel hetzelfde. Deze zijn te lsof -p'en:

Code:

HEEEEL VEEEL REGELS
logs/access_log
perl    8293 apache  286w   REG              253,0         0 53773051 

/home/httpd/vhosts/vidbergen.nl/statistics/logs/access_ssl_log
perl    8293 apache  287w   REG              253,0     58171 53678269 

/home/httpd/vhosts/zos.nl/statistics/logs/access_log
perl    8293 apache  288w   REG              253,0   2440392 53511389 /home/httpd/vhosts/kk.nl/statistics/logs/access_log
perl    8293 apache  289w   REG              253,0   2061095 53477891 /home/httpd/vhosts/mt.nu/statistics/logs/access_log
perl    8293 apache  290w   REG              253,0      5543 53446060 

/home/httpd/vhosts/krting.nl/statistics/logs/access_log
perl    8293 apache  291w   REG              253,0    108089 53446044 /home/httpd/vhosts/iie.nl/statistics/logs/access_log
perl    8293 apache  292w   REG              253,0         0 53446045 

/home/httpd/vhosts/iti.nl/statistics/logs/access_ssl_log
perl    8293 apache  293w   REG              253,0     65383 53414217 /home/httpd/vhosts/ii.nl/statistics/logs/access_log
perl    8293 apache  294w   REG              253,0     30979 53346991 

/home/httpd/vhosts/fum.nl/statistics/logs/access_log
perl    8293 apache  295w   REG              253,0     32784 53315617 

/home/httpd/vhosts/crtfrum.nl/statistics/logs/access_log
perl    8293 apache  296w   REG              253,0       129 53313783 

/home/httpd/vhosts/cbox.nu/statistics/logs/access_log
perl    8293 apache  297w   REG              253,0         0 53313784 

/home/httpd/vhosts/chx.nu/statistics/logs/access_ssl_log
perl    8293 apache  298w   REG              253,0         0 52365726 /var/log/httpd/ssl_access_log
perl    8293 apache  299w   REG              253,0         0 52365727 /var/log/httpd/ssl_request_log
perl    8293 apache  300r  FIFO                0,6            9912915 pipe
perl    8293 apache  301w  FIFO                0,6            9912915 pipe
perl    8293 apache  302r  FIFO                0,6            9912916 pipe
perl    8293 apache  303w  FIFO                0,6            9912916 pipe
perl    8293 apache  304w   REG              253,0      1024 52366761 /var/log/httpd/mod_jk.log
perl    8293 apache  305u   REG              253,0     67584 52364120 /var/log/httpd/jk-runtime-status
perl    8293 apache  306u   REG              253,0         1 52365014 /var/log/httpd/jk-runtime-status.lock
perl    8293 apache  307u   REG              253,0         0 19890180 /tmp/ZCUDGGrmCi (deleted)
perl    8293 apache  308r  0000               0,10         0  9912930 eventpoll
perl    8293 apache  311u  unix 0xffff8100c5f44140           10760708 socket
[root@server06 conf.d]#

Weinig boeiends verder dus.

Via /server-status zie ik geen uitgevoerde perl-scripts.

Hoe achterhaal ik welke perl-scripts en wat er precies wordt uitgevoerd? Er zijn maar 10 requests per seconde. De load zou nooit zo hoog moeten kunnen zijn.

Check eerst eens in /tmp of er gekke dingen bijstaan.

En de crontabs van deze user, daarnaast kan susexec log uitkomst bieden.

Zo te zien draaid er een script welke de server onderdeel maakt van een botnet.
Traceer eens aan de hand van het pid welke sessie er naar buiten open staat....
Waarschijnlijk een verbinding met een irc server

Oorspronkelijk geplaatst door Ryan Kalkhoven

Zo te zien draaid er een script welke de server onderdeel maakt van een botnet.
Traceer eens aan de hand van het pid welke sessie er naar buiten open staat....
Waarschijnlijk een verbinding met een irc server

Op wat voor manier wil je met perl een botnet draaien op irc?

Oorspronkelijk geplaatst door xabin

Op wat voor manier wil je met perl een botnet draaien op irc?

Wat ik te weten ben gekomen van een dergelijk script:

Via lekken in bekende mambo en joomla versies worden de scripts op de server geplaatst. Het script wordt vervolgens vanuit de temp directory gestart met perl.
Het script maakt vervolgens verbinding met een irc server, terwijl hij het process verbergt achter een ander bekend process (zoals httpd/mysql/etc).
Hetzelfde script gaat daarna aan de slag met google om nog meer websites op te sporen welke een mogelijk lek hebben in de gebruikte scripts. De gevonden websites worden via het lek ook voorzien van het script en zo verspreid het script zichzelf.

Het is me niet exact duidelijk waarvoor de irc verbinding exact voor wordt gebruikt, maar gezien het script wordt in ieder geval die server daar aangemeld. Met die vermelding en de bekende lekken leggen ze wellicht de basis voor een vervolg actie?

Oorspronkelijk geplaatst door Caspar Gomez

Top:

Code:

  PID USER      PR  NI  VIRT  RES  SHR S %CPU %MEM    TIME+  COMMAND
 8293 apache    25   0 36112 6772 1296 R   99  0.2   1634:21 perl
 7913 apache    25   0 36108 6764 1296 R   98  0.2   1635:30 perl
 8592 apache    25   0 36112 6764 1288 R   98  0.2   1632:10 perl

Doe eens "ps -o lstart,args 7913" en kijk in de access log welke website/pagina er op dat exacte tijdstip werd opgevraagd.

Oorspronkelijk geplaatst door Ryan Kalkhoven

Zo te zien draaid er een script welke de server onderdeel maakt van een botnet.
Traceer eens aan de hand van het pid welke sessie er naar buiten open staat....
Waarschijnlijk een verbinding met een irc server

Okee. Je doet de constatering wel op basis van heel weinig gegevens. Heb je ook enig idee hoe ik hierachter kom?

Huidige situatie:

Code:

  PID USER      PR  NI  VIRT  RES  SHR S %CPU %MEM    TIME+  COMMAND
17795 apache    25   0 41244  10m  428 R   78  0.3 187:09.42 perl
17798 apache    25   0 41240  10m  428 R   46  0.3 189:09.74 perl
21803 apache    25   0 41240  10m  428 R   45  0.3  21:45.69 perl
 8592 apache    25   0 36112 6764 1288 R   34  0.2   2416:52 perl
 7913 apache    25   0 36108 6764 1296 R   34  0.2   2422:43 perl
17799 apache    25   0 41244  10m  428 R   33  0.3 189:34.91 perl
25013 apache    25   0 41244  10m  428 R   33  0.3  42:07.12 perl
25116 apache    25   0 41116  10m  428 R   33  0.3 520:22.15 perl
 8293 apache    25   0 36112 6772 1296 R   33  0.2   2421:28 perl
17506 apache    15   0  445m  68m 8904 S    2  1.7   1:05.82 httpd
17504 apache    15   0  440m  63m 8772 S    2  1.6   1:05.34 httpd
17522 apache    15   0  436m  59m 7936 S    2  1.5   1:06.28 httpd
 2477 apache    25   0 41244  10m  428 S    1  0.3   0:07.86 perl
23381 mysql     15   0  399m 139m 5904 S    1  3.5  64:48.20 mysqld
  508 root      10  -5     0    0    0 S    0  0.0   9:39.40 kjournald
11514 qmails    17   0  3804  516  400 S    0  0.0   0:00.21 qmail-send
19994 root      15   0 12704 1140  796 R    0  0.0   0:00.02 top

[1]+  Stopped                 top
[root@server06 ~]#
[root@server06 ~]# ps -o lstart,args 17795
                 STARTED COMMAND
Mon Feb 11 22:49:05 2008 /usr/sbin/httpd
[root@server06 ~]#

Ik kan moeilijk alle access_logs gaan doorzoeken op entries rond deze tijd. Dit zijn er 250. Load is momenteel 10!

Ik vind /tmp er momenteel ook niet apart uitzien. Erg veel files.

[root@server06 tmp]# ls -al
total 388
drwxrwxrwt 3 root root 16384 Feb 12 13:14 .
drwxr-xr-x 27 root root 4096 Feb 6 12:37 ..
-rw------- 1 apache apache 0 Feb 5 04:50 GDAfAjrY
-rw------- 1 apache apache 0 Feb 5 04:49 GDIkhHmz
-rw------- 1 apache apache 0 Feb 5 17:47 GDKLrIiF
-rw------- 1 apache apache 0 Feb 5 04:49 GDYDIAxw
drwxrwxrwt 2 root root 4096 Feb 6 12:37 .ICE-unix
-rw-rw-rw- 1 apache apache 6580 Feb 11 01:53 local.c
-rw-rw-rw- 1 apache apache 6580 Feb 11 01:53 local.c.1
-rw-rw-rw- 1 apache apache 6580 Feb 11 01:53 local.c.2
-rw-r--r-- 1 tomcat tomcat 305888 Feb 5 22:28 naming-resources-5.5.17.jar.soschqf2.so
-rw------- 1 root root 0 Feb 12 04:43 psa-installer.lock
-rwxrwxrwx 1 apache apache 8688 Feb 10 18:20 root
srw-rw-rw- 1 root root 0 Feb 6 13:10 spamd_full.sock
srwxrwxrwx 1 postgres postgres 0 Feb 12 12:32 .s.PGSQL.5432
-rw------- 1 postgres postgres 26 Feb 12 12:32 .s.PGSQL.5432.lock
-rw-r--r-- 1 root root 108 Feb 4 02:00 up.tst14784
-rw-r--r-- 1 root root 108 Feb 10 02:00 up.tst20300
-rw-r--r-- 1 root root 108 Feb 7 02:00 up.tst21648
[root@server06 tmp]#

Enige map die met . begint is /tmp/.ICE-unix. Ook niet verdacht dus.

Oorspronkelijk geplaatst door Caspar Gomez

Ik kan moeilijk alle access_logs gaan doorzoeken op entries rond deze tijd. Dit zijn er 250.

Je loopt liever het risico dat je aansprakelijk wordt gesteld indien er een DDoS vanaf jouw bak plaatsvindt?

Grep de access_log bestanden even op de starttijd van het oudste perl process.

Je kan met een netstat -anp zien of er vreemde verbindingen naar buiten open staan.

(re)mount je /tmp in noexec-mode, hoort standaard eigenlijk al, zeker in een shared omgeving!

Randy een noexec op /tmp dir is enkel een kleine edit aan het systeem en bied je geen enkele beveiliging.

Wil je weten wat het perlscript allemaal doet ga dan werken in "lsof"

lsof |grep perl

zoek naar de pid's en voer die dan in:

lsof -p pid

Dit geeft je de meeste informatie, "ps aux |grep perl" en "top" verschaffen eigenlijk niets.

local.c in je /tmp voorspelt niet veel goeds. Beestjes, beestjes, allemaal beestjes.

ps xfau zal de volledige lijst met lopende processen weergeven en de argumenten waarmee ze gestart zijn, waarschijnlijk zal je hier mee al meer informatie aan hebben. En ik wil wel eens die local.c zien dat in je /tmp staat.

Code:

-rw-rw-rw- 1 apache apache 6580 Feb 11 01:53 local.c
-rw-rw-rw- 1 apache apache 6580 Feb 11 01:53 local.c.1
-rw-rw-rw- 1 apache apache 6580 Feb 11 01:53 local.c.2

Gooi deze directories/bestanden 'ns weg (of hernoem ze als je op *safe* wilt spelen) en herstart daarna je web server.