Netwerk probleem: ARP Flood

[stevendb]

Wij zitten met een ernstig probleem in ons netwerk.

Sinds een 3tal weken hebben wij last van enorme pieken (tot 98Mbit) zowel inkomend als uitgaand verkeer.

Vreemd genoeg zijn deze pieken niet te zien op de grafieken die wij krijgen van onze uplink.

Telkens er zo'n piek optreed, kan mrtg niet naar de server snmp'en.
Zo heb ik ook eens 1 piek proberen te loggen met tcpdump, het blijkt allemaal arp traffiek te zijn...

(Note: Onze naam en IP werd vervangen om slechte publiciteit te voorkomen.)

MRTG Stats:
http://users.pandora.be/klavertjevier.breendonk/mrtg/

MRTG Errorlog:
http://users.pandora.be/klavertjevie...k/mrtg_log.txt

TCP DUMP (small - first 1000 lines)
http://users.pandora.be/klavertjevie.../small_log.txt


TCP Full (6.3Mb)
http://users.pandora.be/klavertjevie...k/full_log.txt

Ik hoop echt dat iemand ons kan helpen want we zijn ten einde raad.

Mvg,

Steven

[sleeps]

leaseweb eens mailen?

[stevendb]

Reeds gedaan. Hieronder hun reply:

"Wij hebben geen idee. We zullen kijken op onze coreswitch of we dit ook
ergens anders zien (tot nu toe nog niet tegen gekomen). De ARP request
kloppen in ieder geval wel (zonder zou je niet bereikbaar zijn)."

[Mog]

Address Resolution Protocol als ik het goed herinner uit de cisco testjes gebruikt tcpip arp en rarp ivm met mac adressen (die ook terugkomen in tcp/ip log.

ip adressen werken op software basis, hardware werkt met mac adressen, arp is een soort brugje hiertussen.

als je ifconfig op een unix machine uitvoert kun je een combi van ip en mac wel zien

stel een ip wil een connectie leggen met een ander ip terwijl die alleen het ip kent stuurt die naar alle lokale adresjes een arp request mee om een reply met mac adres te krijgen.

geen idee hoe je zo'n probleem hiermee kan krijgen arp stuurt maar klein pakketje data rond. het aantal arp requests lijkt me overigens wel giga te veel, wat zei leaseweb daarover ?

[stevendb]

Niets....

Zou het echt dataverkeer zijn? Het rare is dat dit ook op onze Local Lan poorten gebeurd (speciale VLAN).


Misschien heeft iemand een scriptje geinstalleerd op 1 van de www servers en verspreidt hiermee deze arp pakketjes... ? Of misschien bestaan deze pieken gewoon niet en zijn deze een gevolg van die foutmelding in mrtg (error: no response received) ?

Wij tasten echt in het duister...

We twijfelen eraan om een nieuwe switch te kopen, maar of het daarmee zou ophouden...weten we niet...

Die 3Com SuperStack3 3300XM heeft steeds goed gewerkt, nooit problemen mee gekend....

[Mog]

mrtg kan soms erg misleidend zijn, maak eens een 2e mrtg install die diezelfde poorten uitleest

[stevendb]

Jah, dat hebben we reeds gedaan.

Mrtg stond vroeger op www1. Toen die pieken optraden (en ze tevens niet te zien waren op de mrtg van leaseweb) dacht ik dat er iets mis moest zijn met mrtg.

Bijgevolg heb ik mrtg opnieuw geinstalleerd op een FreeBSD 4.9 box (fresh install).

Wat het nog vreemder maakt is dat, die pieken op poort 1 te zien zijn, terwijl poort 1 (www1) disabled was in de switch.

[Mikey]

Origineel geplaatst door stevendb
Niets....

Zou het echt dataverkeer zijn? Het rare is dat dit ook op onze Local Lan poorten gebeurd (speciale VLAN).


Misschien heeft iemand een scriptje geinstalleerd op 1 van de www servers en verspreidt hiermee deze arp pakketjes... ? Of misschien bestaan deze pieken gewoon niet en zijn deze een gevolg van die foutmelding in mrtg (error: no response received) ?

Wij tasten echt in het duister...

We twijfelen eraan om een nieuwe switch te kopen, maar of het daarmee zou ophouden...weten we niet...

Die 3Com SuperStack3 3300XM heeft steeds goed gewerkt, nooit problemen mee gekend....

Vraag anders aan leaseweb of je voor een maand een switch bij hun kunt huren, dan kun je zelf zien waar het aan lag.

[Phobos]

http://www.chkrootkit.org

Installeer dit eens en test al je bakken.

[Domenico]

Of anders rootkit hunter op www.rootkit.nl

[funraiser]

Mja, en wat met onze colocated servers?

[Phobos]

Aan je klanten vragen of ze het ook willen draaien lijkt mij

[stevendb]

Mzz

Kan iedereen dit overkomen of hebben wij gewoon pech :q ?
Bestaan er veiligheidsmaatregelen die dit kunnen voorkomen?

We zijn een groeiende internet hosting mpij, als we dit in de toekomst nog eens meemaken dan zou ik daar niet mee kunnen lachen om dit aan al onze klanten te vragen....

[Beyonder]

Des te meer servers er onbeveiligd of onvoldoende beveiligd in je netwerk hangen, te meer dit zal voorkomen. Servers worden gehacked en als DDOS nodes gebruikt.

Lever je klanten gewoon managed services bij hun servers en dan kun je zelf de beveiliging instellen. Chkrootkit + dagelijkse controle mail lijken me wel de minimaalste intrusion detection die je zou moeten instellen.

Bijvoorbeeld wij leveren voor een eenmalige fee:

- SIM (System Integrity Monitor) - It reboots services that have failed within 5 minutes
- SPRI – (System Priority) - Sets priority to current processes being run on your server, decreasing load 10-25%
- PMON - (Port Monitor) – Monitors network connections and sends emails when new ports have been opened.
- PRM - (Process Resource Monitor) – Monitors all resources used by all processes and if a process is being flooded or causing high load on the server, it is killed.
- BFD - (Brute Force Detection) – Detects brute force connections and automatically enters the offending Ips into the firewall to be blocked.
- MailScanner and Clam-Antivirus – Detect emails containing viruses or spam and discard them so your server is not the origin of the spread of today’s common viruses or spam emails.
- /tmp hardening – We harden /tmp so no malicious scripts can be executed from the commonly used directory.
- Optimize FTP Server for faster connections.
- Optimize MySQL to reduce load and speed up MySQL connections.
- Optimize Apache to significantly reduce load and page loading times.
- IDS (Intrusion Detection System) – Detects attempts to connect to the server and blocks the offending IP addresses.
- Host.conf Hardening – Prevents IP spoofing and prevents DNS poisoning.
- CHKRootKIt – Simple script that detects software used by hackers. It scans once a day and emails the client if any suspicious scripts are found.
- Disabling Unused Services – We disable unused services to prevent them from being exploited.
- Firewall Installation - (APF, Kiss, Bastille)
- TCP/IP Hardening – Prevents DDOS and SYN-Flood attacks.
- Logwatch – Sends a daily report to the client with all activity that has taken place on the server for that day.
- Operating System Optimization – Optimize the OS for faster operation and load reduction.
- Remove unused software – We remove unneeded software to prevent this software from being exploited.

Ik mag en zal je geen aanbieding doen, maar een dergelijk iets lijkt me zeer handig voor je

[KDISS]

Kun je wat specifieker de ARP requesten posten.
Naar welk IP bijvoorbeeld? En van welk IP?
Vraag aan de provider (leaseweb) hoe ze jullie poort
open hebben staan? Geswitch of geroute?