Spam problemen

[donkervoort]

Zo, mijn eerste bericht op webhostingtalk!:thumbup:

Ik heb al enige tijd een unmanaged dedicated server welke ik gebruik voor het hosten van mijn eigen projecten.
Ik kreeg enkele dagen geleden een abuse mail binnen dat mijn server spam stond te versturen, en ondertussen op verschillende blacklists is gekomen.

Nu ben ik dus op onderzoek uit gegaan, en het bleek dat mijn hele mail queue vol stond met berichten welke niet afgeleverd konden worden.
Hieronder een voorbeeld bericht:

Header:

1N4bUc-0004Cg-T5-H
mail 8 12
<>
1257085998 0
-ident mail
-received_protocol local
-body_linecount 34
-allow_unqualified_recipient
-allow_unqualified_sender
-frozen 1257086000
-localerror
XX
1
manigley@swissonline.ch

149P Received: from mail by mijnservernaam.nl with local (Exim 4.67)
id 1N4bUc-0004Cg-T5
for manigley@swissonline.ch; Sun, 01 Nov 2009 15:33:18 +0100
105 X-Failed-Recipients: jan_abdul@adni.net,
jan_aberg@adni.net,
jan_ahlen@adni.net,
jan_alan@adni.net
029 Auto-Submitted: auto-replied
063F From: Mail Delivery System <Mailer-Daemon@mijnservernaam.nl>
028T To: manigley@swissonline.ch
059 Subject: Mail delivery failed: returning message to sender
052I Message-Id: <E1N4bUc-0004Cg-T5@mijnservernaam.nl>
038 Date: Sun, 01 Nov 2009 15:33:18 +0100

Body:

1N4bUc-0004Cg-T5-D
This message was created automatically by mail delivery software.

A message that you sent could not be delivered to one or more of its
recipients. This is a permanent error. The following address(es) failed:

jan_abdul@adni.net
all relevant MX records point to non-existent hosts
jan_aberg@adni.net
all relevant MX records point to non-existent hosts
jan_ahlen@adni.net
all relevant MX records point to non-existent hosts
jan_alan@adni.net
all relevant MX records point to non-existent hosts

------ This is a copy of the message, including all the headers. ------

Return-path: <manigley@swissonline.ch>
Received: from [127.0.0.1] (helo=mijnservernaam.nl)
by mijnservernaam.nl with smtp (Exim 4.67)
(envelope-from <manigley@swissonline.ch>)
id 1N4bUc-0004Ce-Q3; Sun, 01 Nov 2009 15:33:18 +0100
Date: Sun, 1 Nov 2009 15:26:54 -0200
From: <manigley@swissonline.ch>
Reply-To: <manigley@swissonline.ch>
X-Priority: 3
Message-ID: <01ca5aff.0bbe0a64@mijnservernaam.nl>
To: <jan_abdul@adni.net>
Subject: we had to say
MIME-Version: 1.0
Content-Type: text/plain; charset=us-ascii
Content-Transfer-Encoding: 7bit

A rose for you
http://spamurl.com

Log:

2009-11-01 15:33:18 Received from <> R=1N4bUc-0004Ce-Q3 U=mail P=local S=1721 T="Mail delivery failed: returning message to sender"
2009-11-01 15:33:20 SMTP error from remote mail server after RCPT TO:<manigley@swissonline.ch>: host mx.hispeed.ch [213.46.255.2]: 550 5.1.1 <manigley@swissonline.ch> recipient rejected MIJNIP is in RBL
2009-11-01 15:33:20 manigley@swissonline.ch F=<> R=lookuphost T=remote_smtp: SMTP error from remote mail server after RCPT TO:<manigley@swissonline.ch>: host mx.hispeed.ch [213.46.255.2]: 550 5.1.1 <manigley@swissonline.ch> recipient rejected MIJNIP is in RBL
*** Frozen (delivery error message)

Nu heb ik zelf even zitten rondkijken in het geheugen, en heb daar geen rare processen kunnen vinden.
In de map /tmp zitten ook geen scripts, en heb ik noexec gemount.
Er worden gigantisch veel spam mails verzonden dat ik niet de complete exim logs hier kan posten.

Wel heb ik een paar kleine voorbeeld van hoe de exim log eruit ziet:

2009-11-01 14:39:45 1N4aen-0007aX-Io ** ogwuf5@school.edu.ru F=<staff@aessepi.it>: all relevant MX records point to non-existent hosts
2009-11-01 14:39:45 1N4aen-0007aX-Io ** odipe17@school.edu.ru F=<staff@aessepi.it>: all relevant MX records point to non-existent hosts
2009-11-01 14:39:45 1N4aen-0007aX-Io ** ogoja@school.edu.ru F=<staff@aessepi.it>: all relevant MX records point to non-existent hosts
2009-11-01 14:39:45 1N4aen-0007aX-Io ** oddeh@school.edu.ru F=<staff@aessepi.it>: all relevant MX records point to non-existent hosts
2009-11-01 14:39:47 1N4aen-0007ac-NQ ** staff@aessepi.it F=<> R=lookuphost T=remote_smtp: SMTP error from remote mail server after RCPT TO:<staff@aessepi.it>: host mail.aessepi.it [64.5.53.193]: 550 <staff@aess$
2009-11-01 14:39:47 1N4aen-0007ac-NQ Frozen (delivery error message)
2009-11-01 14:40:02 H=hsi-kbw-091-089-137-002.hsi2.kabel-badenwuerttemberg.de (master) [91.89.137.2] incomplete transaction (connection lost) from <bushelqm@elsevier.com>
2009-11-01 14:40:02 unexpected disconnection while reading SMTP command from hsi-kbw-091-089-137-002.hsi2.kabel-badenwuerttemberg.de (master) [91.89.137.2] (error: Connection reset by peer)
2009-11-01 14:40:02 H=bard.polly.com.ua (streettuning) [91.214.16.42] incomplete transaction (connection lost) from <leanuu@gamblingplanet.org>
2009-11-01 14:40:02 unexpected disconnection while reading SMTP command from bard.polly.com.ua (streettuning) [91.214.16.42]

Het gaat allemaal over domeinen welke niet op mijn server draaien.

Ik heb wel even mijn eigen IP veranderd naar "MIJNIP" en mijn serverhostname naar "mijnservernaam.nl".

Iemand enig idee wat het zou kunnen zijn, ik denk dat er wel wat meer aan de hand is. :(

[Spyder01]

Begin eens met spamassassin installeren en het gebruiken van RBL's. Dat scheelt een hele hoop troep in je mail queue.

[donkervoort]

Begin eens met spamassassin installeren en het gebruiken van RBL's. Dat scheelt een hele hoop troep in je mail queue.

Bedankt voor de snelle reactie!
SpamAssassin is al geinstalleerd sinds ik de server gebruik, RBL's heb ik volgens mij niet ingeschakeld maar dat ga ik even controleren

[chielsen]

Heb je ook mail op bounce staan? Kan zijn dat ze naar niet bestaande accounts van je mail sturen met een nep adres zodat jij bounced naar de nep adressen.

[Spyder01]

Bedankt voor de snelle reactie!
SpamAssassin is al geinstalleerd sinds ik de server gebruik, RBL's heb ik volgens mij niet ingeschakeld maar dat ga ik even controleren

Het scheelt je weer een paar commando's als spamassassin al geinstalleerd is. RBL's activeren (wel relevante gebruiken) scheelt je dan sowieso al een hoop meuk.

[Geert-Jan]

Begin eens met spamassassin installeren

Hoe?
Spamassassin geinstalleerd is nog niet spamassassin geactiveerd....

[Spyder01]

Hoe?
Spamassassin geinstalleerd is nog niet spamassassin geactiveerd....

Hij heeft een unmanaged server, dus mag aannemen dat de TS toch wel enige kennis heeft.

En geinstalleerd wil nog niet zeggen geactiveerd nee. Maar ik heb wel het idee dat de TS onderzoekend is en die dingen dus ook checkt. Komt de TS er niet uit, kunnen we hem altijd verder helpen.

Voorkauwen van alles gaat niet echt helpen :)

[DutchTSE]

TS geeft aan dat zijn server spam aan het versturen is.. dat los je dus niet op met RBL/spamassassin.

Dat de mailqueue vol staat met berichten die niet afgeleverd kunnen worden KAN door bounces komen, kan ook door de spammer zijn die naar niet-afleverbare adressen stuurt.

[donkervoort]

Ik ben net even bezig geweest, en heb de RBL's geactiveerd. SpamAssassin is geinstalleerd, en is enabled.
Verder heb ik de volgende regel toegevoegd aan exim.conf:

bounce_return_message = false

Sinds de RBL's zijn geactiveerd en de bounce regel is toegevoegd, is het mailverkeer een heel stuk rustiger geworden.
Toch blijft er nog steeds het een en ander verschijnen in de mailqueue:

E-mail Header:

1N4dSy-0006av-Pb-H
mail 8 12
<>
1257093584 0
-ident mail
-received_protocol local
-body_linecount 8
-allow_unqualified_recipient
-allow_unqualified_sender
-frozen 1257093586
-localerror
XX
1
clairesears@holtrenfrew.com

153P Received: from mail by mijnservernaam.nl with local (Exim 4.67)
id 1N4dSy-0006av-Pb
for clairesears@holtrenfrew.com; Sun, 01 Nov 2009 17:39:44 +0100
051 X-Failed-Recipients: wordmill@striker.ottawa.on.ca
029 Auto-Submitted: auto-replied
063F From: Mail Delivery System <Mailer-Daemon@mijnservernaam.nl>
032T To: clairesears@holtrenfrew.com
059 Subject: Mail delivery failed: returning message to sender
052I Message-Id: <E1N4dSy-0006av-Pb@mijnservernaam.nl>
038 Date: Sun, 01 Nov 2009 17:39:44 +0100

Body:

1N4dSy-0006av-Pb-D
This message was created automatically by mail delivery software.

A message that you sent could not be delivered to one or more of its
recipients. This is a permanent error. The following address(es) failed:

wordmill@striker.ottawa.on.ca
all relevant MX records point to non-existent hosts

Log:

2009-11-01 17:39:44 Received from <> R=1N4dSy-0006aW-O2 U=mail P=local S=777 T="Mail delivery failed: returning message to sender"
2009-11-01 17:39:46 SMTP error from remote mail server after RCPT TO:<clairesears@holtrenfrew.com>: host mail.global.frontbridge.com [216.32.180.22]: 550 5.4.1 clairesears@holtrenfrew.com: Recipient address rejected: Access Denied
2009-11-01 17:39:46 clairesears@holtrenfrew.com F=<> R=lookuphost T=remote_smtp: SMTP error from remote mail server after RCPT TO:<clairesears@holtrenfrew.com>: host mail.global.frontbridge.com [216.32.180.22]: 550 5.4.1 clairesears@holtrenfrew.com: Recipient address rejected: Access Denied
*** Frozen (delivery error message)

Zoals hierboven te zien is; de e-mail body is nu "leeg" en bevat niet meer de orginele e-mail (dankzij de bounce regel die ik heb toegevoegd in de exim conf).

[DiedX]

from mail by mijnservernaam.nl

Je eigen server staat te pompen, vermoedelijk via de gebruiker "send mail" ;)

Kijk als de wiedeweer naar je /tmp, /var/tmp, en check de logfiles van je apache na.

Het is al wat laat, en ik heb een dag erop zitten, anders had ik wel kort willen kijken...

[donkervoort]

Helaas....het probleem is niet opgelost :(

@DiedX:
Ik heb gekeken in de tmp mappen, maar daar is helemaal niks te vinden. Ook geen verborgen files die er niet thuis zouden moeten horen.

In de apache logs kijken gaat wat lastig, aangezien elk domein zijn eigen logfile heeft (nu zijn het enkele honderden domeinen wat het vrij lastig maakt).

Iemand nog een idee?

[DiedX]

Ik neem aan dat je gekeken hebt met ls -la?

En inzake de logfiles. Da's typisch k#t vanuit "ons" vakgebied: dit hoort erbij. Uitgaande van bijvoorbeeld Plesk is het typisch

grep POST /var/www/vhosts/*/logs/access.log. Daarmee doe je greppen op alle logfiles. (voor de lezer: ongetwijfeld zullen de paden alweer veranderd zijn, maar het idee lijkt me duidelijk?

[donkervoort]

Heb zitten rond kijken in de output van "grep post access.log", echter helaas niet veel duidelijker van geworden.
Ook in de apache error logs staat niet veel bijzonders :(

Toch blijft de spam maar komen en komen.

[Oliver]

2009-11-01 17:39:44 Received from <> R=1N4dSy-0006aW-O2 U=mail P=local S=777 T="Mail delivery failed: returning message to sender"



Een beetje apache zal geen lege afzender tonen, maar iets in de zin van apachegebruiker@systeemnaam.tld (en als je slim doet zorg je dat iedere virtualhost een eigen afzender gebruikt)

Je probleem zit toch echt in een lokaal script/bestand dat draait onder de gebruiker "mail". Kijk (indien aanwezig) in diens home directory en zoek op eerdergenoemde locaties naar bestanden van de gebruiker mail.

en schroef je beveiliging sowieso op

[WIPANederland]

- Greylisting
- Mailscanner (clam/spamd)
- RBL listing

Dan heb je een aardige berg tegengehouden denk ik zo.

In je apache log zoeken naar mails die door PHP verzonden worden, of je zet bijv mail helemaal uit in je php.ini

[donkervoort]

Ik heb wat verder.
Na een tijdje de running processen in de gaten te houden, verscheen er op bepaalde momenteel "perl" in mijn beeld, welke draait onder user "apache".
Ik maak nog geen gebruik van suphp (omdat een paar websites dan niet soepel werken), dus het is wat lastig om te achterhalen waar alles vandaan komt.


apache 7586 2.8 0.0 10568 6136 ? Ss Nov02 37:05 ./f.pl
root 8842 0.0 0.0 3896 752 pts/2 S+ 16:57 0:00 grep .pl
apache 12187 1.4 0.1 22380 13976 ? Ss Oct28 124:07 ./movgig.pl
apache 20002 2.9 0.0 12096 7416 ? Ss 14:58 3:29 ./fima.pl
apache 26798 1.5 0.0 13344 7876 ? Ss Oct30 84:31 ./g.pl

Dit zijn dus de boosdoeners... echter, hoe achterhalen vanuit welk pad de files gerunt worden?
Ik heb gezocht naar de filename, echter kan er niks gevonden worden

[DiedX]

doe nogmaals:

ls -la /tmp
ls -la /var/tmp
ls -la /dev/shm

check heel goed voor ... bestanden.

Mijn vermoeden op dit moment is dat je attacker shell-toegang heeft. Dit vanwege de aanroep via ./ ...

Ook goed om te doen:

updatedb

locate <naam van script>

[Spyder01]

Hoe heb je gezocht? Met welk commando?

locate movgig.pl

Of op een andere manier. Draai eventueel eerst even:

updatedb

Om de database indexering up2date te maken. Vaak zijn het verborgen bestanden in de /var/tmp.


Edit: ik moet sneller tikken... zie ook de post hierboven.

[donkervoort]

Met locate komt er helaas niet veel boven water.

Ik heb voor de zekerheid SSH op een andere poort gezet, en passwords veranderd. Naderhand alle processen gekilled, en het leek eventjes rustig te zijn. Toch waren er opeens weer 4x perl filetjes actief.

Zoeken naar *.pl had trouwens ook geen zin :bored:

[RayManZ]

doe eerste:

updatedb

en daarna locate.

Verder neem ik aan dat je in top die processen ziet? Druk eens op "c" in top. Dan komt het pad te voorschijn waarschijnlijk.

[Geert-Jan]

hey brabo,

apache status al enabled and checked?
(er van uitgaande dat je geen apache 0.0.1 meer draait)

[donkervoort]

Geert-Jan:
Met Apache status is er eigenlijk niks "raars" te zien

RayManz:
Alsnog komt er met locate niks naar buiten (dus ook niet na updatedb).
Wanneer ik "c" gebruik icm top is dit de output:

20048 apache 15 0 64304 37m 4168 S 2.3 0.5 0:00.14 /usr/sbin/httpd -k start -DSSL
20349 apache 16 0 69296 45m 4092 S 1.7 0.6 0:00.44 /usr/sbin/httpd -k start -DSSL
29142 apache 15 0 10652 6076 1460 R 2.6 0.1 1:35.52 ./avyt.pl
29145 apache 15 0 10784 6344 1492 S 2.6 0.1 3:56.58 ./avyt.pl

Er draaien gewoon weer 4 scriptjes, welke niet zijn te locaten. Ik had zelf een vermoeden dat deze ergens in de root zouden kunnen draaien, maar ook daar niks te vinden:bored:

[Randy]

Ze zijn wel te locaten. Gebruik alleen lsof op het processnummer.

lsof -a -p 29145

(We zijn nu twee dagen verder. Zou het niet verstandiger zijn hulp in te roepen voor je straks weken op allerlei blacklists staat?)

[donkervoort]

Bedankt voor je tip Randy! Helaas stond de server al dezelfde dag op een aantal blacklists (waaronder sorbs). Het is dus helaas al te laat :(

Ik weet dat ik hulp in kan schakelen, echter probeer ik het liever eerst zelf op te lossen. Op die manier leer ik er zelf namelijk ook wat van:lovewht:


perl 28250 apache cwd DIR 253,3 4096 2 /
perl 28250 apache rtd DIR 253,3 4096 2 /
perl 28250 apache txt REG 253,3 11236 34220238 /usr/bin/perl
perl 28250 apache mem REG 253,3 21876 35029028 /lib/libnss_dns-2.5.so
perl 28250 apache mem REG 253,3 46680 35032954 /lib/libnss_files-2.5.so
perl 28250 apache mem REG 253,3 20180 34311278 /usr/lib/perl5/5.8.8/i386-linux-thread-multi/auto/Socket/Socket.so
perl 28250 apache mem REG 253,3 115084 34317088 /usr/lib/perl5/5.8.8/i386-linux-thread-multi/auto/POSIX/POSIX.so
perl 28250 apache mem REG 253,3 56422160 34224491 /usr/lib/locale/locale-archive
perl 28250 apache mem REG 253,3 1608148 35029014 /lib/libc-2.5.so
perl 28250 apache mem REG 253,3 127700 35029038 /lib/libpthread-2.5.so
perl 28250 apache mem REG 253,3 13420 35029046 /lib/libutil-2.5.so
perl 28250 apache mem REG 253,3 43544 35029018 /lib/libcrypt-2.5.so
perl 28250 apache mem REG 253,3 206380 35032951 /lib/libm-2.5.so
perl 28250 apache mem REG 253,3 14644 35032950 /lib/libdl-2.5.so
perl 28250 apache mem REG 253,3 99660 35032952 /lib/libnsl-2.5.so
perl 28250 apache mem REG 253,3 74616 35032956 /lib/libresolv-2.5.so
perl 28250 apache mem REG 253,3 16016 34311104 /usr/lib/perl5/5.8.8/i386-linux-thread-multi/auto/IO/IO.so
perl 28250 apache mem REG 253,3 1240200 34310909 /usr/lib/perl5/5.8.8/i386-linux-thread-multi/CORE/libperl.so
perl 28250 apache mem REG 253,3 124432 35029007 /lib/ld-2.5.so
perl 28250 apache 0r CHR 1,3 1549 /dev/null
perl 28250 apache 1w CHR 1,3 1549 /dev/null
perl 28250 apache 2w CHR 1,3 1549 /dev/null
perl 28250 apache 3w FIFO 0,6 524113736 pipe
perl 28250 apache 4u IPv4 531699382 TCP serverhostname.nl:51907->mail-pz0-f84.google.com:smtp (ESTABLISHED)
perl 28250 apache 5w FIFO 0,6 531682200 pipe
perl 28250 apache 6r FIFO 0,6 531682201 pipe
perl 28250 apache 7u IPv4 531699404 TCP serverhostname.nl:51908->mail-pz0-f84.google.com:smtp (ESTABLISHED)
perl 28250 apache 8u IPv4 531699381 TCP serverhostname.nl:51906->mail-pz0-f84.google.com:smtp (ESTABLISHED)
perl 28250 apache 9u IPv4 531699413 TCP serverhostname.nl:51909->mail-pz0-f84.google.com:smtp (ESTABLISHED)
perl 28250 apache 10u IPv4 531699414 TCP serverhostname:51910->mail-pz0-f84.google.com:smtp (ESTABLISHED)
perl 28250 apache 2747u REG 7,0 0 45 /tmp/ZCUDtsntpS (deleted)

Als ik het correct heb, lijkt de file tijdelijk weggeschreven te worden in /tmp, en daarna deleted.
Is hier nog wat aan te doen? /tmp is namelijk al noexec gemounted (wat blijkbaar niks helpt in dit geval).

[Randy]

Post je /etc/fstab eens hier?

[donkervoort]

Hierbij de /etc/fstab:


/dev/VolGroup00/LogVol00 / ext3 defaults,usrquota,grpquota 1 1
LABEL=/boot /boot ext3 defaults 1 2
tmpfs /dev/shm tmpfs defaults 0 0
devpts /dev/pts devpts gid=5,mode=620 0 0
sysfs /sys sysfs defaults 0 0
proc /proc proc defaults 0 0
/dev/VolGroup00/LogVol01 swap swap defaults 0 0
/dev/tmpMnt /tmp ext2 loop,noexec,nosuid,rw 0 0

[cfmweb]

Ik weet dat ik hulp in kan schakelen, echter probeer ik het liever eerst zelf op te lossen. Op die manier leer ik er zelf namelijk ook wat van
En een aantal mensen die meelezen ook :thumbup: