Bekijk Volledige Versie : Netwerk probleem: ARP Flood
Wij zitten met een ernstig probleem in ons netwerk.
Sinds een 3tal weken hebben wij last van enorme pieken (tot 98Mbit) zowel inkomend als uitgaand verkeer.
Vreemd genoeg zijn deze pieken niet te zien op de grafieken die wij krijgen van onze uplink.
Telkens er zo'n piek optreed, kan mrtg niet naar de server snmp'en.
Zo heb ik ook eens 1 piek proberen te loggen met tcpdump, het blijkt allemaal arp traffiek te zijn...
(Note: Onze naam en IP werd vervangen om slechte publiciteit te voorkomen.)
MRTG Stats:
http://users.pandora.be/klavertjevier.breendonk/mrtg/
MRTG Errorlog:
http://users.pandora.be/klavertjevier.breendonk/mrtg_log.txt
TCP DUMP (small - first 1000 lines)
http://users.pandora.be/klavertjevier.breendonk/small_log.txt
TCP Full (6.3Mb)
http://users.pandora.be/klavertjevier.breendonk/full_log.txt
Ik hoop echt dat iemand ons kan helpen want we zijn ten einde raad.
Mvg,
Steven
Reeds gedaan. Hieronder hun reply:
"Wij hebben geen idee. We zullen kijken op onze coreswitch of we dit ook
ergens anders zien (tot nu toe nog niet tegen gekomen). De ARP request
kloppen in ieder geval wel (zonder zou je niet bereikbaar zijn)."
Address Resolution Protocol als ik het goed herinner uit de cisco testjes gebruikt tcpip arp en rarp ivm met mac adressen (die ook terugkomen in tcp/ip log.
ip adressen werken op software basis, hardware werkt met mac adressen, arp is een soort brugje hiertussen.
als je ifconfig op een unix machine uitvoert kun je een combi van ip en mac wel zien
stel een ip wil een connectie leggen met een ander ip terwijl die alleen het ip kent stuurt die naar alle lokale adresjes een arp request mee om een reply met mac adres te krijgen.
geen idee hoe je zo'n probleem hiermee kan krijgen arp stuurt maar klein pakketje data rond. het aantal arp requests lijkt me overigens wel giga te veel, wat zei leaseweb daarover ?
Niets....
Zou het echt dataverkeer zijn? Het rare is dat dit ook op onze Local Lan poorten gebeurd (speciale VLAN).
Misschien heeft iemand een scriptje geinstalleerd op 1 van de www servers en verspreidt hiermee deze arp pakketjes... ? Of misschien bestaan deze pieken gewoon niet en zijn deze een gevolg van die foutmelding in mrtg (error: no response received) ?
Wij tasten echt in het duister...
We twijfelen eraan om een nieuwe switch te kopen, maar of het daarmee zou ophouden...weten we niet...
Die 3Com SuperStack3 3300XM heeft steeds goed gewerkt, nooit problemen mee gekend....
mrtg kan soms erg misleidend zijn, maak eens een 2e mrtg install die diezelfde poorten uitleest
Jah, dat hebben we reeds gedaan.
Mrtg stond vroeger op www1. Toen die pieken optraden (en ze tevens niet te zien waren op de mrtg van leaseweb) dacht ik dat er iets mis moest zijn met mrtg.
Bijgevolg heb ik mrtg opnieuw geinstalleerd op een FreeBSD 4.9 box (fresh install).
Wat het nog vreemder maakt is dat, die pieken op poort 1 te zien zijn, terwijl poort 1 (www1) disabled was in de switch.
Origineel geplaatst door stevendb
Niets....
Zou het echt dataverkeer zijn? Het rare is dat dit ook op onze Local Lan poorten gebeurd (speciale VLAN).
Misschien heeft iemand een scriptje geinstalleerd op 1 van de www servers en verspreidt hiermee deze arp pakketjes... ? Of misschien bestaan deze pieken gewoon niet en zijn deze een gevolg van die foutmelding in mrtg (error: no response received) ?
Wij tasten echt in het duister...
We twijfelen eraan om een nieuwe switch te kopen, maar of het daarmee zou ophouden...weten we niet...
Die 3Com SuperStack3 3300XM heeft steeds goed gewerkt, nooit problemen mee gekend....
Vraag anders aan leaseweb of je voor een maand een switch bij hun kunt huren, dan kun je zelf zien waar het aan lag.
http://www.chkrootkit.org
Installeer dit eens en test al je bakken.
Of anders rootkit hunter op www.rootkit.nl
Mja, en wat met onze colocated servers?
Aan je klanten vragen of ze het ook willen draaien lijkt mij :)
Mzz
Kan iedereen dit overkomen of hebben wij gewoon pech :q ?
Bestaan er veiligheidsmaatregelen die dit kunnen voorkomen?
We zijn een groeiende internet hosting mpij, als we dit in de toekomst nog eens meemaken dan zou ik daar niet mee kunnen lachen om dit aan al onze klanten te vragen....
Des te meer servers er onbeveiligd of onvoldoende beveiligd in je netwerk hangen, te meer dit zal voorkomen. Servers worden gehacked en als DDOS nodes gebruikt.
Lever je klanten gewoon managed services bij hun servers en dan kun je zelf de beveiliging instellen. Chkrootkit + dagelijkse controle mail lijken me wel de minimaalste intrusion detection die je zou moeten instellen.
Bijvoorbeeld wij leveren voor een eenmalige fee:
- SIM (System Integrity Monitor) - It reboots services that have failed within 5 minutes
- SPRI – (System Priority) - Sets priority to current processes being run on your server, decreasing load 10-25%
- PMON - (Port Monitor) – Monitors network connections and sends emails when new ports have been opened.
- PRM - (Process Resource Monitor) – Monitors all resources used by all processes and if a process is being flooded or causing high load on the server, it is killed.
- BFD - (Brute Force Detection) – Detects brute force connections and automatically enters the offending Ips into the firewall to be blocked.
- MailScanner and Clam-Antivirus – Detect emails containing viruses or spam and discard them so your server is not the origin of the spread of today’s common viruses or spam emails.
- /tmp hardening – We harden /tmp so no malicious scripts can be executed from the commonly used directory.
- Optimize FTP Server for faster connections.
- Optimize MySQL to reduce load and speed up MySQL connections.
- Optimize Apache to significantly reduce load and page loading times.
- IDS (Intrusion Detection System) – Detects attempts to connect to the server and blocks the offending IP addresses.
- Host.conf Hardening – Prevents IP spoofing and prevents DNS poisoning.
- CHKRootKIt – Simple script that detects software used by hackers. It scans once a day and emails the client if any suspicious scripts are found.
- Disabling Unused Services – We disable unused services to prevent them from being exploited.
- Firewall Installation - (APF, Kiss, Bastille)
- TCP/IP Hardening – Prevents DDOS and SYN-Flood attacks.
- Logwatch – Sends a daily report to the client with all activity that has taken place on the server for that day.
- Operating System Optimization – Optimize the OS for faster operation and load reduction.
- Remove unused software – We remove unneeded software to prevent this software from being exploited.
Ik mag en zal je geen aanbieding doen, maar een dergelijk iets lijkt me zeer handig voor je ;)
Kun je wat specifieker de ARP requesten posten.
Naar welk IP bijvoorbeeld? En van welk IP?
Vraag aan de provider (leaseweb) hoe ze jullie poort
open hebben staan? Geswitch of geroute?
Hmmmm
We hebben de oorzaak gevonden.
Het blijkt één van onze Windows2003 servers te zijn. Als we deze uitzetten verloopt alles normaal.
Toch blijf ik het spijtig vinden dat dit gebeurd is.
Mocht iemand raad hebben hoe ik in't vervolg dit beter kan opsporen, mag iemand die ons steeds geven. Die tcpdump van FreeBSD gaf nooit een source-address op bij die "arp broadcasts" (of wat het ook mocht zijn)
Eveneens zijn we van plan onze switch uit te breiden en evt nieuw materiaal aan te kopen. Het zou voor mij intressant zijn moest ik een aantal tips krijgen van ervaren netwerkbeheerders van enkele noodzakelijke kenmerken die onze switch moet hebben. (*)
De diensten die Beyonder aanraadt zijn zeer intressant, maar onze meeste klanten denken niet echt aan zulke scherpe veiligheidsmaatregelen.
Tevens vermoed ik dat als jullie deze diensten aanbieden, jullie daar heel veel tijd in zouden steken en de kosten hoog zullen oplopen (waar ons clienteel net niet geintresseerd in is).
(*) Hierbij vooral kenmerken met betrekking op beveiliging. Op school heb ik veel tijd gespendeerd met het configureren van cisco routers, maar op het vlak van beveiliging trekt die CCNA op geen zak.
Een paar voorbeelden van dingen die we met onze 3Com switch niet kunnen beveiligen:
- mac address filtering (is altijd handig)
- IP conflicts:
Als een dedicated klant zijn ifconfig instelt om het IP van een andere dedicated klant te gebruiken, dan kan dit blijkbaar zomaar... en als je dan geen local lan hebt, dan is het uitgesloten dat je je server nog terugziet (zonder reboot / netstart via console)
Dank bij voorbaat.
hij lijkt uit je logs te zien te arpen'send/reply met een nt5 server van leaseweb zelf (doe maar eens poort 80 scan op dat ip in je tcpdump
Ik heb hier hetzelfde probleem op 2 verschillende switches (plaatje bijgevoegd).
In de uplink stats van Leaseweb is er niks over terug te vinden.
Ik heb hier exact hetzelfde probleem, en ook op de 3Com 3300XM. Ding heeft het zo'n twee jaar prima gedaan en vertoont sinds een maand precies dezelfde trekjes. Enorme spikes op alle ports, zelfs als deze disabled zijn of in een ander VLAN zitten. Wij hangen niet bij Leaseweb maar bij TrueServer.
Ik heb de firmware al geupgrade maar dat verhielp het niet. Mijn vermoeden ligt heel sterk bij een probleem met deze switch, en aangezien het beestje zowiezo al vrij oud is en te krap bemeten begon te worden is zijn vervanger al onderweg (HP ProCurve 2650, geen 3Com meer dus :P )