Onderwerp: Onverklaarbaar dataverkeer

Beste WHT'ers,

Ik zie sinds enkele weken verkeer richting enkele VM's van ons welke ik voor 2 van de 3 VM's niet thuis kan brengen.



De blauwe pieken zijn te verklaren (backups) echter de groene blokjes (van 06:30 tot 11:30) voor 2 van de 3 VM's niet. Ik heb reeds diverse cronjobs / logs enzovoorts gecontroleerd, maar ik kan niets ontdekken wat telkens die 1mbit upload richting de VM kan verklaren. Tevens ook snmp daemon herstart en VM's toegevoegd aan een andere Cacti server (ter vergelijking).

Iemand enig idee hoe er achter kan komen wie / wat het dataverkeer veroorzaakt? Alvast bedankt!

Aangezien het steeds met dezelfde interval gaat ongeveer even een tail -f op diverse logs doen zoals access.log en wat system logs? En op dat moment even je processen bekijken.

Oorspronkelijk geplaatst door Boyke

Beste WHT'ers,

Ik zie sinds enkele weken verkeer richting enkele VM's van ons welke ik voor 2 van de 3 VM's niet thuis kan brengen.



De blauwe pieken zijn te verklaren (backups) echter de groene blokjes (van 06:30 tot 11:30) voor 2 van de 3 VM's niet. Ik heb reeds diverse cronjobs / logs enzovoorts gecontroleerd, maar ik kan niets ontdekken wat telkens die 1mbit upload richting de VM kan verklaren. Tevens ook snmp daemon herstart en VM's toegevoegd aan een andere Cacti server (ter vergelijking).

Iemand enig idee hoe er achter kan komen wie / wat het dataverkeer veroorzaakt? Alvast bedankt!

Gewoon even een paar minuten sniffen als het aan de gang is ?
(en/of kijken met netstat op moment dat het loopt).
Aangezien het mooi voorspelbaar is, kun je dat kijken ook in een cronjobje zetten als het op een moment is waar je niet handig bij kunt zijn.

als ze allemaal exact op hetzelfde moment dat patroon hebben zou je zowat denken aan een broadcast storm of iets dergelijks.
Kan je zien of het exact gelijk is en zitten ze in hetzelfde vlan?

Als of de duivel ermee speelt, nu zie ik op andere tijdstippen andere pieken... In de Apache logs kan ik niks vreemds vinden, ik denk dat ik op het moment zelf gewoon even e.e.a. moet analyseren met ntop o.i.d.

Servers zitten in hetzelfde VLAN ja, maar er zijn ook servers in hetzelfde VLAN die er geen last van hebben.

Oorspronkelijk geplaatst door Boyke

Servers zitten in hetzelfde VLAN ja, maar er zijn ook servers in hetzelfde VLAN die er geen last van hebben.

En die hebben allemaal dezelfde kernel geïnstalleerd, werken met dezelfde hardware en hetzelfde controle paneel en zijn daarmee vrijwel identiek aan elkaar?

Oorspronkelijk geplaatst door Boyke

Als of de duivel ermee speelt, nu zie ik op andere tijdstippen andere pieken... In de Apache logs kan ik niks vreemds vinden, ik denk dat ik op het moment zelf gewoon even e.e.a. moet analyseren met ntop o.i.d.

Servers zitten in hetzelfde VLAN ja, maar er zijn ook servers in hetzelfde VLAN die er geen last van hebben.

Je zegt al dat het inbound verkeer is naar die servers.
Dan verwacht je weinig in de apache logs, want een webserver doet gewoonlijk heel weinig inbound verkeer.
(Alleen als je files met POST upload of zo iets).

Wellicht is het multicast of broadcast verkeer. het is maar 1 Mb aan verkeer.

heb je iets van Microsoft NLB draaien ofzo .. of een cisco met HSRP ?

Oorspronkelijk geplaatst door Rubra

Wellicht is het multicast of broadcast verkeer. het is maar 1 Mb aan verkeer.

heb je iets van Microsoft NLB draaien ofzo .. of een cisco met HSRP ?

"Maar" 1 Mbit , maar voor HSRP of NLB is dat mega veel.
Plus dat je daarmee niet zo makkelijk die reguliere blokken kunt verklaren, want HSRP/NLB e.d. verwacht je 7x24 in veel lager volume.

Leuk speculeren, maar OP heeft gewoon elke dag een paar uur de kans om te sniffen.

Oorspronkelijk geplaatst door dreamhost_nl

En die hebben allemaal dezelfde kernel geïnstalleerd, werken met dezelfde hardware en hetzelfde controle paneel en zijn daarmee vrijwel identiek aan elkaar?

Correct, allemaal Tomcat hosting zonder control panel. Verder draait er niets van Microsoft / Cisco dat ik weet.

Minder klantvriendelijke oplossing:
Op het moment dat je de traffic ziet even iptraf draaien (linux). Kijken vanaf welk IP het verkeer komt en daarna in de firewall blokkeren. Komt er vanzelf wel iemand contact zoeken als iets plots niet meer werkt

Of anders het IP even door wat logs halen en kijken of je er een account aan kunt koppelen zodat je contact op kan nemen met de klant.

Misschien is het een cronjob ergens die een data import/export doet van/naar jouw server.

Het lijkt erop dat het verkeer van de switch uitgelezen wordt i.p.v. per VM... althans net even iets van een VM naar een storage server gekopieerd en opeens zie ik bij alle VM's een traffic piek.

Raar gedrag, maar ik bedenk nu, deze VMs zitten achter een bridge? Dus de traffic ook al is die niet voor hun bedoeld komt wel bij ze aan?
Op zich verwacht je dit niet, maar het kan wel.

Oorspronkelijk geplaatst door vDong

Raar gedrag, maar ik bedenk nu, deze VMs zitten achter een bridge?

Nee wij maken gebruik van Open vSwitch i.p.v. Linux bridge als je dat bedoeld?