Bekijk Volledige Versie : Hoge Mbits pieken
Erikcreative
20/10/08, 22:53
Hallo,
Ik zit de afgelopen maanden op 1 van onze server met onverklaarbare hoge pieken in het dataverkeer. Wij nemen per server 2 Mbit af. De server schiet echter af en toe door naar 10 Mbit en soms zelfs tot 40 Mbit. Aan het einde van de maand komen wij ruim boven de 2 Mbit en krijgen wij dus een leuke factuur.
Het probleem is dat ik op de server nergens terug kan vinden waar dit hoge verbruik vandaan komt. Het emailverkeer lijkt rustig, geen websites met extreme pieken, geen overige services die op de achtergrond draaien. Kortom voor ons redelijk onverklaarbaar maar toch zien wij dit graag opgelost.
Is er voor deze Windows server een goede manier op dit te loggen/traceren? Of wellicht een optie om het vast te zetten op maximaal 2 mbit. Op deze manier kan de server vollopen maar voorkomen wij extra hoge facturen tot het probleem is opgelost. Volgens onze netwerkprovider kan dit laatste alleen op bijvoorbeeld 10 Mbit. Blokken op 2 Mbit is niet mogelijk. Wellicht op server basis?
Tips & adviezen zijn welkom.
Vastzetten op max 2mbit wil je niet aangezien je dan niet kan bursten als
het eens nodig is en de boel dan traahaag zal worden vanuit de gebruikers.
Cappen op 2mbit kunnen ze niet? Zeker alleen maar in staat om een switchport
van 100 naar 10 te zetten ;) Maar goed, eerst eens kijken wanneer die pieken
plaatsvinden en alle gehoste website statistieken daartegen afzetten heb je
neem ik aan al gedaan?
http://www.windowsnetworking.com/articles_tutorials/Analyzing-Traffic-Network-Monitor.html
Daar kan je ook eens naar kijken en ik ga er van uit dat er meer dan genoeg aan
traffic loggers en analyzers te vinden is voor windows.
http://www.tamos.com/products/commview/
Ik gebruik het al jaren en werkt gewoon super.
Wireshark (http://www.wireshark.org/) is er ook al jaren en is gratis.
MediaServe
21/10/08, 00:44
Wireshark (http://www.wireshark.org/) is er ook al jaren en is gratis.
Inderdaad, die kan ik ook adviseren :)
En met bijvoorbeeld netmeter realtime het verkeer in de gaten houden.
http://www.metal-machine.de/readerror/
Verkeer dat in of out is (en dan op de grafiek van je provider die waarschijnlijk andersom is, in = out en out=in)?
grote externe backups draaien? die willen namelijk graag bursten als je naar een andere 100mbit/gbit server overzet, en afhankelijk van de grootte hiervan kan dat je verkeer behoorlijk vermeerderen
Magnetronkip
21/10/08, 11:32
Je hebt iets van cacti draaien? waar je het kan uitlezen of alleen de grafieken van je host?
En even ter informatie wel Windows Server draait er? en welke services draaien op de bak?
Erikcreative
22/10/08, 12:18
grote externe backups draaien? die willen namelijk graag bursten als je naar een andere 100mbit/gbit server overzet, en afhankelijk van de grootte hiervan kan dat je verkeer behoorlijk vermeerderen
Er staan wel backups te draaien op de server. Dit gaat automatisch via de standaard Windows backup tool en wordt weggeschreven naar de "D" schijf. Dit zou toch niet voor een verhoging in de Mbit's kunnen zorgen? Ook omdat het allemaal op de server zelf gebeurt.
Je hebt iets van cacti draaien? waar je het kan uitlezen of alleen de grafieken van je host?
En even ter informatie wel Windows Server draait er? en welke services draaien op de bak?
De provider heeft idd cacti stats. Ik zal ze hieronder even posten. Betreft een Windows 2003 server. Standaard services als web, ftp, mail, etc. Geen exotische programma's, poorten en services.
Of netlimiter (http://www.netlimiter.com/download.php)..
Al eens een poort scan gedaan? Dat je een service niet ziet betekent niet dat ie er niet is.
Dit probleem hebben wij ook eens gehad met een Dedicated server van een klant van ons. Wij hebben toen de Firewall aangezet en sinds toen hebben wij geen last meer gehad van pieken.
Misschien is dit een oplossing voor je?
Erikcreative
22/10/08, 16:06
Dit probleem hebben wij ook eens gehad met een Dedicated server van een klant van ons. Wij hebben toen de Firewall aangezet en sinds toen hebben wij geen last meer gehad van pieken.
Misschien is dit een oplossing voor je?
De firewall staat aan en heeft alleen de volgende poorten open staan.
DNS (TCP)
DNS (UDP)
FTP (Data)
FTP (Server)
Helm (8086)
MySQL
FT Passive poort (5001 t/m 5201)
Remote desktop
Smartermail (webapi)
SMTP alternate
Gebeurd het op bepaalde tijdstippen of is dit altijd verschillend?
Erikcreative
22/10/08, 16:15
Gebeurd het op bepaalde tijdstippen of is dit altijd verschillend?
Daar lijkt niet echt logica in te zitten. In de grafiek is wel iets te zien van vaste uren maar soms ook weer een dag niet. Voor mij gevoel ook wel vaak in de avond uren tussen 22:00 uur en 02:00 uur.
Erikcreative
22/10/08, 16:20
Hier de grafiek van de afgelopen uren.
Magnetronkip
22/10/08, 16:43
Hier de grafiek van de afgelopen uren.
het is een piek van een aantal minuten 10 ofzo? vergelijk je apache logs met de tijden van de grafiek.
Erikcreative
22/10/08, 17:20
het is een piek van een aantal minuten 10 ofzo? vergelijk je apache logs met de tijden van de grafiek.
Vaak zo'n 10 a 15 minuten met uitschieters tot 60 minuten.
Hier de grafiek van de afgelopen uren.
Zijn dit graphs van de server zelf, of van de switch? Als het op de server zelf draait, hou er dan rekening mee dat dit INBOUND verkeer is (verkeer van het internet (of elders op het netwerk), naar je server). Zou dus een aanval of iets dergelijks kunnen zijn.
Als het graphs zijn van de switch, dan is het outbound verkeer (van je server, naar het internet).
Deze vraag is redelijk cruciaal om dit probleem op te lossen. Ik zou sowieso een applicatie installeren om te kijken om welk protocol het gaat, dat zou je al een stuk op weg moeten helpen.
Erikcreative
22/10/08, 18:16
Zijn dit graphs van de server zelf, of van de switch? Als het op de server zelf draait, hou er dan rekening mee dat dit INBOUND verkeer is (verkeer van het internet (of elders op het netwerk), naar je server). Zou dus een aanval of iets dergelijks kunnen zijn.
Als het graphs zijn van de switch, dan is het outbound verkeer (van je server, naar het internet).
Deze vraag is redelijk cruciaal om dit probleem op te lossen. Ik zou sowieso een applicatie installeren om te kijken om welk protocol het gaat, dat zou je al een stuk op weg moeten helpen.
Dit zijn de statistieken van de switch. Deze meet in dit geval alleen deze server waar de pieken vandaan komen.
Wireshark is nu actief om te zien waar het verkeerd vandaan komt. De app crasht echter af en toe dus urenlang aan laten is geen optie. En er is nu natuurlijk geen piek dus moeilijk vast te leggen.
ik zit eerder te denken aan een af ander bagger script. Toevallig geen klant die mega mailings doet?
Erikcreative
22/10/08, 18:37
ik zit eerder te denken aan een af ander bagger script. Toevallig geen klant die mega mailings doet?
Dat was ook mijn eerste ingeving. Heb de mail statistieken al diverse malen bekeken maar die komen a. totaal niet overeen en b. betreft relatief lage in- en uitgaande emails.
baggerscript kan natuurlijk zelf ook voor mail programma spelen, dan komt het niet in je logs
Mocht je er met de gratis tooltjes niet uitkomen dan zou je ook het aanschaffen van de Windows editie van ntop kunnen overwegen: http://www.ntop.org/
Die heeft een mooi overzicht van dataverkeer per IP-adres.
Erikcreative
22/10/08, 20:12
Mocht je er met de gratis tooltjes niet uitkomen dan zou je ook het aanschaffen van de Windows editie van ntop kunnen overwegen: http://www.ntop.org/
Die heeft een mooi overzicht van dataverkeer per IP-adres.
Wow dit ziet er goed uit!!! Ik ga een piek afwachten en de resultaten hierin proberen uit te lezen. Zodra ik meer weet zal ik het hier posten.
Als ik het topic zo doorlees klinkt t als "dat er andere mensen" actief zijn op je servers. Op de piekmomenten moet je zien waar het verkeer heengaat en vanaf welke poorten het komt. Je kan eventueel met netstat -n vanaf de command line ook snel wat info krijgen over wat er nu aan verbindingen is
Erikcreative
22/10/08, 20:32
Als ik het topic zo doorlees klinkt t als "dat er andere mensen" actief zijn op je servers. Op de piekmomenten moet je zien waar het verkeer heengaat en vanaf welke poorten het komt. Je kan eventueel met netstat -n vanaf de command line ook snel wat info krijgen over wat er nu aan verbindingen is
Probleem hierin is dat de 'cacti' stats 2 uur achterlopen. Op deze manier is het niet makkelijk te achterhalen.
Dat is idd behoorlijk lastig, dan zal je toch op de server zelf wat stats moeten krijgen, succes iig!
Commview en ik denk WireShark ook laten gewoon alle IP adressen zien waarmee de server iets aan het doen is. Met Commview kun je dit laten loggen en ook zien welk ip hoeveel dataverkeer etc. Ik ken de opties van WireShark (nog) niet.
Wel even in de options max lines in latest IP conections verhogen (dit kan makkelijk 999 voor een paar dagen). Dan zet je hem bij Rules op Protocols & Direction -> Capture Inboud/Outbound (welke van de 2 je nu moet hebben). Als je hem dan een tijdje laat lopen zal er bij Latest IP Connections opeens een staan die wel erg veel in/oud heeft.
Voorbeeld (http://vazon.org/cv.png)
Je kunt zelfs nog een Warning instellen met bv Bytes per second > dan email, popup, start logging etc.
Overigens; het zou natuurlijk ook kunnen dat er hacks op je server draaien. Ik zou om te beginnen eens in "C:\System Volume Information" en de recycle bin directories zoeken, dat zijn vrij populaire plaatsen om hacks te "verstoppen".
Mocht je er uiteindelijk niet uitkomen, dan zou ik je aanraden om iemand in te huren die dit voor je kan oplossen (desnoods no-cure no-pay). Kost hoogstwaarschijnlijk een stuk minder dan die bandwidth overage bills. Je kunt natuurlijk een aanvraag in de advertentie forums hiervoor plaatsen.
Daar zat ik ook direct aan te denken.
Ga na of je geen oneigenlijk gebruikte ftp (stro) draait.
Nu heb ik zelf geen ervaring met windows hosting, maar op lekke linux servers gebruiken ze indien er een kernel source aanwezig is vaak een kernelmodule waarmee ze buiten je firewall om connecties kunnen maken en root kunnen spelen, niet in de logs staan etc.
Ook willen dergelijke figuren wel eens scripts gebruiken om de stro down te brengen wanneer er een admin inlogt op de server.
Verder zal de ftp niet als proces zichtbaar zijn. dmv rootkit achtige code kan deze verborgen worden maar wel actief zijn in het geheugen.
Ik zou dus heel erg diep gaan spitten op die machine en indien je er niet achterkomt datgene doen wat je te doen staat, misschien kun je alles overschieten naar een andere machine en die machine met onverklaarbaar verkeer opnieuw opzetten vanaf 0.
Wel direct alles updaten dan, het ergste is dan namelijk nog steeds dat je niet weet waar het lek zat en of het nog steeds een lek is.
Ik heb zelf ook met dergelijk figuren te maken gehad in het verleden, door een niet up to date joomla module op een website van een klant.
Ze maakten echter de fout de server in de soep te laten draaien waardoor ik er direct bovenop zat.
Door passief live te analyseren wat de heren aan het doen waren, waar ze toegang tot hadden en waar hun zooi stond, kon ik het toen in de kiem smoren. Ik hield er nog een directory met allerlei tools aan over waarmee ik de security van onze servers daarna nog eens extra kon checken en kan nu wel zeggen dat zelfs wanneer er iemand toegang heeft door lekke code, er nu in ieder geval veel minder mogelijk is.
Je kunt alles nog zo mooi in aparte zandbakjes laten draaien, je security is soms zo goed als je naiefste klanten. :)
Magnetronkip
23/10/08, 09:03
Ik zou idd ook is in je server gaan spitten, Windows update zal het waarschijnlijk niet zijn daar heb je het te vaak voor. eerder iemand die je back aan het vol leechen is...
Erikcreative
23/10/08, 23:06
Met Commview kom ik 1 IP adres tegen dan constant gebruik maakt van process 'inetinfo.exe'. Deze heeft de afgelopen uren flink wat bytes heen en weer gezonden.
Als ik op zoek ga naar dit IP adres lijkt het een FTP verbinding te zijn. Als ik de FTP-logs er vervolgens bij zoek zie ik dat dit IP adres de hele dag 'webcam.jpg' aan het uploaden is. Dit vreet natuurlijk dataverkeer.
Het aparte is echter dat deze klant gebruik maakt van FTP account 'X'. Deze heb ik echter verwijderd. Toch blijft het verkeer doorgaan. Het blokkeren van dit IP adres lijkt mij echter niet mogelijk in de Windows firewall. Ook niet in IIS -> FTP.
Verder valt op dat het volgende proces veel gebruikt worden maar lastig te achterhalen is: svchost.exe
svchost.exe is een windows proces (zolang het uitgevoerd wordt door "System" of "netwerkservice", door een user is dus niet goed :).
IP door je provider laten nullrouten?
Erikcreative
23/10/08, 23:22
svchost.exe is een windows proces (zolang het uitgevoerd wordt door "System" of "netwerkservice", door een user is dus niet goed :).
IP door je provider laten nullrouten?
Dat is het geval. System, network services & local services.
Zie hier een overzicht van Commview. Wellicht dat iemand advies kan geven op basis van onderstaand screenshot.
Met Commview kom ik 1 IP adres tegen dan constant gebruik maakt van process 'inetinfo.exe'. Deze heeft de afgelopen uren flink wat bytes heen en weer gezonden.
Totaal 6,4 MB volgens je screenshot.
Denk niet dat het de piek is waar je naar op zoek bent.
Lijkt me meer iemand die een webcam op zijn pc heeft aangesloten, en een programma'tje heeft draaien dat om de zoveel tijd een foto maakt en deze naar zijn website FTP'd.
Erikcreative
24/10/08, 00:31
Totaal 6,4 MB volgens je screenshot.
Denk niet dat het de piek is waar je naar op zoek bent.
Lijkt me meer iemand die een webcam op zijn pc heeft aangesloten, en een programma'tje heeft draaien dat om de zoveel tijd een foto maakt en deze naar zijn website FTP'd.
Klopt maar dit was in 10 minuten. Gebruikt dus best veel en komen niet terug in FTP stats. Zelfs na het verwijderen van deze ftp gebruiker loopt het verkeer door :bored:
Klopt maar dit was in 10 minuten. Gebruikt dus best veel en komen niet terug in FTP stats. Zelfs na het verwijderen van deze ftp gebruiker loopt het verkeer door :bored:
Da's dan een apart probleem.
Het levert in ieder geval geen pieken van 40 mbit op.
FTP stats zoals weergegeven in een control panel zijn doorgaans niet real-time.
Die lezen eens in de zoveel tijd een keer het logbestand in, en tellen dan het dataverkeer op.
svchost.exe is een windows proces (zolang het uitgevoerd wordt door "System" of "netwerkservice", door een user is dus niet goed :).
Dat het uitgevoerd wordt door system of netwerk betekent niet dat het proces niet geinfecteerd is.
Erik; Wat betreft het uploaden van webcam.jpg; als je niet in staat bent om dat zelf te traceren, niet weet wat svchost.exe doet en niet weet hoe je een specifieke poort op een specifiek IP moet blokken, dan moet je deze machine niet zelf beheren als je er klanten op hebt draaien. Oefenen moet je niet op een productiemachine doen. Niet persoonlijk bedoeld, is puur advies. Je zou er goed aan doen om iemand in te huren die dit voor je regelt. Kost wat, maar met dit soort dingen verdien je dat dubbel en dwars terug.
Dat is het geval. System, network services & local services.
Zie hier een overzicht van Commview. Wellicht dat iemand advies kan geven op basis van onderstaand screenshot.
Ik zie in het plaatje op de eerste regel iemand die verbinding heeft met je MySQL server. Heb je externe toegang daarvoor aanstaan voor je klanten?
Kan het niet zijn dat dat een backupscript van je klant is welke via zijn eigen server verbinding maakt. Timmer die MySQL anders eens dicht en kijk wat er dan gebeurt..