Onderwerp: CPU Load VPS erg hoog

Op 9 juni is onze Blade VPS X4 doelwit geweest een redelijk heftige brute force aanval. De VPS en websites waren zeer slecht te bereiken, CPU load was tegen de 200% en het dataverkeer was voor ons extreem hoog. Ik heb er toen meteen CSF opgezet en verschillende IPs geblokkeerd, daarna nam het dataverkeer af en de IO ook.
Alleen is nu al 2 dagen de CPU load voortdurend tegen de 200%, als we de vps herstarten schiet hij na 5min weer omhoog.
Hieronder een copy+paste van top command.

Mijn kennis hierover is niet heel groot, weet iemand wat de oorzaak kan zijn en hoe ik dit probleem moet aanpakken?

Op onze VPS draaien wij CentOS 6.5 met DirectAdmin.

top - 12:53:46 up 24 min, 1 user, load average: 31.84, 20.63, 9.63
Tasks: 174 total, 2 running, 172 sleeping, 0 stopped, 0 zombie
Cpu(s): 12.7%us, 83.8%sy, 0.0%ni, 2.8%id, 0.0%wa, 0.0%hi, 0.3%si, 0.3%st
Mem: 3922748k total, 1280284k used, 2642464k free, 134500k buffers
Swap: 2064376k total, 0k used, 2064376k free, 588816k cached

PID USER PR NI VIRT RES SHR S %CPU %MEM TIME+ COMMAND
2338 apache 20 0 1394m 3096 952 S 198.5 0.1 15:10.35 host
2777 admin 20 0 55360 2660 1404 D 4.0 0.1 0:05.13 directadmin
2256 apache 20 0 224m 31m 4316 R 1.3 0.8 0:01.90 httpd
22 root 20 0 0 0 0 S 0.3 0.0 0:00.50 kblockd/0
2706 root 20 0 15028 1300 940 R 0.3 0.0 0:00.84 top
1 root 20 0 19356 1500 1196 S 0.0 0.0 0:00.92 init

Dit ene process doet het hem allemaal:

2338 apache 20 0 1394m 3096 952 S 198.5 0.1 15:10.35 host

Dit ga je moeten onderzoeken wat hier achter draait, ik gok één of ander gek script dat de server aan het misbruiken is (ddos, scanning, mailing of bitcoin/litecoin mining)

Hoe kan ik dit dan onderzoeken?

mag ik het zeggen? aah toe?

Komt ie:
systeembeheerder inschakelen / inhuren aangenomen dat je een unmanaged VPS hebt. Als hij managed is dan zou dit al voor je ontzorgd horen te zijn.

Oorspronkelijk geplaatst door Tim.Bracquez

Dit ene process doet het hem allemaal:

Dit ga je moeten onderzoeken wat hier achter draait, ik gok één of ander gek script dat de server aan het misbruiken is (ddos, scanning, mailing of bitcoin/litecoin mining)

Gezien de CPU usage (en de rest dat meevalt) zou ik vrijwel zeker mining zeggen.

Oorspronkelijk geplaatst door vDong

Gezien de CPU usage (en de rest dat meevalt) zou ik vrijwel zeker mining zeggen.

Vermoed ik ook.

TS: In ieder geval, dit process moet je (laten) onderzoeken wat er gaande is, en hoe dit er op komt. Gewoon stoppen heeft geen zin want dan zullen ze dit terug starten.

Even een simpel server-status?

httpd.conf

ExtendedStatus on
<Location /server-status>
SetHandler server-status
Order deny,allow
Deny from all
Allow from xx.xx.xx.xx

Ik zou eerst even kijken wat het precies doet. Afhankelijk van hoe het werkt zou je kunnen stracen. (strace -p PID).

Oorspronkelijk geplaatst door SF-Jeroen

Ik zou eerst even kijken wat het precies doet. Afhankelijk van hoe het werkt zou je kunnen stracen. (strace -p PID).

Als ik dit doe krijg ik deze output:

nanosleep({1, 0}, 0x7fffe075f620) = 0
rt_sigprocmask(SIG_SETMASK, [HUP INT TERM], NULL, 8) = 0
gettimeofday({1402494702, 159353}, NULL) = 0
rt_sigprocmask(SIG_BLOCK, [CHLD], [HUP INT TERM], 8) = 0
rt_sigaction(SIGCHLD, NULL, {SIG_IGN, [CHLD], SA_RESTORER|SA_RESTART, 0x32c9432920}, 8) = 0

Toen ik de trace uitvoerde, kwam dit vreemde bericht ook voorbij

Code:

sendto(84, "\24\0\0\0\26\0\1\3hl\230S\0\0\0\0\0\0\0\0", 20, 0, {sa_family=AF_NETLINK, pid=0, groups=00000000}, 12) = 20
recvmsg(84, {msg_name(12)={sa_family=AF_NETLINK, pid=0, groups=00000000}, msg_iov(1)=[{"0\0\0\0\24\0\2\0hl\230S\4\n\0\0\2\10\200\376\1\0\0\0\10\0\1\0\177\0\0\1"..., 4096}], msg_controllen=0, msg_flags=0}, 0) = 108
recvmsg(84, {msg_name(12)={sa_family=AF_NETLINK, pid=0, groups=00000000}, msg_iov(1)=[{"@\0\0\0\24\0\2\0hl\230S\4\n\0\0\n\200\200\376\1\0\0\0\24\0\1\0\0\0\0\0"..., 4096}], msg_controllen=0, msg_flags=0}, 0) = 192
recvmsg(84, {msg_name(12)={sa_family=AF_NETLINK, pid=0, groups=00000000}, msg_iov(1)=[{"\24\0\0\0\3\0\2\0hl\230S\4\n\0\0\0\0\0\0\1\0\0\0\24\0\1\0\0\0\0\0"..., 4096}], msg_controllen=0, msg_flags=0}, 0) = 20
close(84)                               = 0
futex(0x32c97915f0, FUTEX_WAKE_PRIVATE, 1) = 0
futex(0x32c97915f0, FUTEX_WAKE_PRIVATE, 1) = 0
open("/etc/hosts", O_RDONLY|O_CLOEXEC)  = 84
fstat(84, {st_mode=S_IFREG|0644, st_size=330, ...}) = 0
mmap(NULL, 4096, PROT_READ|PROT_WRITE, MAP_PRIVATE|MAP_ANONYMOUS, -1, 0) = 0x7fdeb25af000
read(84, "# Do not remove the following li"..., 4096) = 330
read(84, "", 4096)                      = 0
close(84)                               = 0
munmap(0x7fdeb25af000, 4096)            = 0
socket(PF_INET, SOCK_DGRAM|SOCK_NONBLOCK, IPPROTO_IP) = 84
connect(84, {sa_family=AF_INET, sin_port=htons(53), sin_addr=inet_addr("80.69.67.66")}, 16) = 0
gettimeofday({1402498152, 897226}, NULL) = 0
poll([{fd=84, events=POLLOUT}], 1, 0)   = 1 ([{fd=84, revents=POLLOUT}])
sendto(84, "c\306\1\0\0\1\0\0\0\0\0\0\fmy-top-games\4info\0\0"..., 35, MSG_NOSIGNAL, NULL, 0) = 35
poll([{fd=84, events=POLLIN|POLLOUT}], 1, 5000) = 1 ([{fd=84, revents=POLLOUT}])
sendto(84, "\0225\1\0\0\1\0\0\0\0\0\0\fmy-top-games\4info\0\0"..., 35, MSG_NOSIGNAL, NULL, 0) = 35
gettimeofday({1402498152, 897428}, NULL) = 0
poll([{fd=84, events=POLLIN}], 1, 4999) = 1 ([{fd=84, revents=POLLIN}])
ioctl(84, FIONREAD, [150])              = 0
recvfrom(84, "c\306\201\200\0\1\0\1\0\5\0\0\fmy-top-games\4info\0\0"..., 2048, 0, {sa_family=AF_INET, sin_port=htons(53), sin_addr=inet_addr("80.69.67.66")}, [16]) = 150
gettimeofday({1402498152, 897848}, NULL) = 0
poll([{fd=84, events=POLLIN}], 1, 4999) = 1 ([{fd=84, revents=POLLIN}])
ioctl(84, FIONREAD, [89])               = 0
recvfrom(84, "\0225\201\200\0\1\0\0\0\1\0\0\fmy-top-games\4info\0\0"..., 1898, 0, {sa_family=AF_INET, sin_port=htons(53), sin_addr=inet_addr("80.69.67.66")}, [16]) = 89
close(84)                               = 0
socket(PF_INET, SOCK_STREAM, IPPROTO_TCP) = 84
connect(84, {sa_family=AF_INET, sin_port=htons(80), sin_addr=inet_addr("89.45.14.210")}, 16) = 0
gettimeofday({1402498152, 935142}, NULL) = 0
write(84, "POST /kuku/theend.php HTTP/1.0\r\n"..., 218) = 218
read(84, "HTTP/1.1 200 OK\r\nDate: Wed, 11 J"..., 32768) = 193
read(84, "", 32768)                     = 0
close(84)                               = 0

Doe eens lsof -p PID, als ik het goed zag is je pid 2338

Maak je gebruik van Joomla? Als ik zoek op "kuku/theend.php" kom ik dit tegen:

http://blog.malwaremustdie.org/2014/...linux-elf.html

Oorspronkelijk geplaatst door Pnin.

Maak je gebruik van Joomla? Als ik zoek op "kuku/theend.php" kom ik dit tegen:

http://blog.malwaremustdie.org/2014/...linux-elf.html

Ja wij hosten inderdaad een aantal Joomla websites. Ik heb geprobeerd om kuku/theend.php te zoeken maar zonder resultaat. Zou het kunnen dat deze zich bevind ergens anders dan op een domein met joomla? Ergens in Directadmin of CentOS zelf?

Oorspronkelijk geplaatst door roelvde

Ja wij hosten inderdaad een aantal Joomla websites. Ik heb geprobeerd om kuku/theend.php te zoeken maar zonder resultaat. Zou het kunnen dat deze zich bevind ergens anders dan op een domein met joomla? Ergens in Directadmin of CentOS zelf?

Als je doet wat er in mijn post staat kom je in de meeste gevallen een stuk meer te weten.

Stuur anders een pb met je ssh gegevens dan wil ik wel even kijken wat het is


Sent from my iPhone using webhostingtalk mobile app