PDA

Bekijk Volledige Versie : [IIS W3C Log Files] TrafficLogger v0.1



MediaServe
25/01/05, 03:40
TrafficLogger v0.1

Ik heb een script gemaakt voor mijn hosting activiteiten, die van al mijn websites het dataverbruik gaat analyseren en opslaan in een Microsoft Access database.

Ik wou er niet al teveel tijd in stoppen, daarom zijn de mogelijkheden erg beperkt (in deze versie in ieder geval). Ik heb er wel een mooie installatie omheen gemaakt zodat jullie het ook kunnen gebruiken.

Wat doet dit programma?
Het is een script, door mij gemaakt, dat elke nacht om 04:00 uur begint met analyseren van de logbestanden van de vorige dag. Hij doet er grofweg 1 tot 5 seconde per standaard website over. Grotere websites doet hij uiteraard langer over. Uit de logbestanden haalt hij de up- en downstream van de betreffende website, over de vorige dag. Die informatie slaat hij op in een Microsoft Access database. Zo kun je dus zelf iets doen met de verzamelde informatie, daardoor zijn de mogelijkheden oneindig! Het script analyseert alle websites op de server!

Let op voordat je gaat installeren:
- Draait alleen op Windows Server 2003 en Windows XP.
- Je moet hem installeren met Administrator rechten.
- Iedereen mag dit programma vrij gebruiken, maar uiteraard niet doorverkopen.
- Als je verstand hebt van Windows Scripting, sleutel er dan gerust aan!
- Stel IIS in zoals hieronder beschreven.

Zo moet je IIS instellen: (op alle websites!)
- Zorg dat de logbestanden in het formaat 'W3C Extended Log File Format' worden opgeslagen. (bekijk (http://www.mediacreations.nl/files/TrafficLogger/pic01.gif))
- Zorg dat alle logbestanden in C:\WINDOWS\system32\LogFiles\ komen te staan. (bekijk (http://www.mediacreations.nl/files/TrafficLogger/pic02.gif))
- Zorg dat IIS zo is ingesteld dat alle mogelijke informatie wordt opgeslagen. Dus alles aanvinken! (bekijk (http://www.mediacreations.nl/files/TrafficLogger/pic03.gif))

Belangrijke informatie:
Ik heb het script getest op twee Windows Server 2003 machines, zonder problemen uiteraard. Maar het gebruik van dit script is uiteraard op eigen risico! Je kunt het beste eerst testen op een kale testmachine

Op de testmachine hoeft geen IIS te draaien, je kunt gewoon de LogFiles kopieren van de productie server naar je testmachine.

Ik ben bereid om enige support en ondersteuning te geven, dat kan bij voorkeur via dit topic. Verder zijn tips/bugs en opmerkingen meer dan welkom! Natuurlijk is het fijn als je even een berichtje achterlaat als je het script gaat gebruiken. Dan krijg ik ook zin om het script beter te maken in de toekomst! Zolang je het script van mijn server download (link staat hieronder), weet je zeker dat er geen virussen of spyware in zit! Als je liever een andere tijd kiest dan 4:00 uur 's nachts, dan kun je dit in de Scheduled Tasks Manager aanpassen.

Ik ben benieuwd wat jullie ervan vinden ;) :p


Download:
http://www.mediacreations.nl/files/TrafficLogger/Setup.zip

The MAzTER
25/01/05, 03:48
tip: misschien handig dat je in jouw programma de locatie van logfiles kan opgeven.

Voor de rest: leuk dat je zo iets gemaakt hebt en met andere wil delen

Glenn
25/01/05, 10:41
Thanks Thomas, ik ga dit eens even uitproberen!

MediaServe
25/01/05, 13:57
Helaas moet ik nu al met een kleine bug komen :p
Er zat namelijk een typefout in de installer waardoor 's nachts om vier uur het script niet kon worden gevonden. Ik heb dat even gefixed en de verbeterde versie staat online. Dus voor diegenen die het al hadden geprobeerd, je moet het programma even uninstallen, opnieuw downloaden en opnieuw installeren..

Sorry :rolleyes:

Glenn
01/02/05, 15:46
Net geinstalleerd en werkt goed zo te zien. Graag wil ik eten of het mogelijk is om ipv van een vage website ID de websitenaam er aan te koppelen in de database?

MediaServe
01/02/05, 17:21
Hoi Glenn,
Bedankt voor je interesse :D

Wat je vraagt is zeker mogelijk, ik zal dat er vandaag even bij in bouwen. Tevens zal ik maken dat hij bij houd wat het maandelijkse dataverkeer is per website, lijkt me ook wel handig :)

Glenn
01/02/05, 17:23
Origineel geplaatst door MediaCreations
Hoi Glenn,
Bedankt voor je interesse :D

Wat je vraagt is zeker mogelijk, ik zal dat er vandaag even bij in bouwen. Tevens zal ik maken dat hij bij houd wat het maandelijkse dataverkeer is per website, lijkt me ook wel handig :)
Thanks ;)

Maar het maandelijkse verbruik kan je dmv een query zelf toch ook optellen?

Glenn
02/02/05, 12:52
En, zit het er al in? ;)

Glenn
02/02/05, 12:58
Trouwens, ik heb gisteren alle logopties aangezet en ik krijg keurig de W3C_identifiers maar m'n kilobytes staan allemaal op 0. Enig idee hoe dat kan?

MediaServe
02/02/05, 14:14
Origineel geplaatst door Glenn
Trouwens, ik heb gisteren alle logopties aangezet en ik krijg keurig de W3C_identifiers maar m'n kilobytes staan allemaal op 0. Enig idee hoe dat kan? Ik denk dat dat komt doordat de oude log bestanden nog niet alles aangevinkt hadden. Kijk het maar even een paar dagen aan, als het dan nog niet werkt wil ik je er met alle plezier even mee helpen!

Je kunt de update hier downloaden:
http://www.mediacreations.nl/files/TrafficLogger/update0.3.zip

Deze update voegt kolommen toe aan de databases en zorgt dat de website naam (IIS Description) voortaan wordt opgeslagen. Ook zoekt hij de website naam bij de huidige velden.

Voor de zekerheid even de databases backupen :)

Glenn
02/02/05, 14:26
Bedankt maar weer ;) Ik kijk het nog even aan :)

Eva
29/03/05, 14:34
Het lijkt me een goed programma, alleen ik heb op de server, windows 2000 server staan, heb je daar ook wat voor?

MediaServe
29/03/05, 14:53
Origineel geplaatst door Eva
Het lijkt me een goed programma, alleen ik heb op de server, windows 2000 server staan, heb je daar ook wat voor? Hoi Eva, bedankt voor je interesse! :)
Ik heb niet de mogelijkheid om het script te testen op Windows 2000 machines. Ik bedenk mij nu opeens dat Windows 2000 gebruik maakt van C:\WINNT\ in plaats van C:\WINDOWS\. Dat zou dus problemen opleveren. Dus ik ben bang dat dit script niet gaat werken op een Windows 2000 machine. Ik ben van plan om het script om te zetten naar een .NET-applicatie, dan moet het in ieder geval werken op Windows 2000 Server (en 2003 uiteraard). Nu blijkt dat er meer interesse voor is zal ik daar wat meer haast van maken :) Ik houd je op de hoogte ;)

@Glenn
Werkt het script naar behoren? Als je nog tips of vragen hebt dan hoor ik die graag!

Eva
29/03/05, 15:09
Dat zou wel super zijn, ja ik moet even kijken of het een beetje aan de eisen voldoet enz, van wat ik in de log wilt hebben.

Zoals de zoekresultaten van mijn webpagina, wat de gebruikers opzoeken op welk tijdstip en dat soort dingen, maar als je zou willen kijken zou ik dat wel super vinden.

Alvast bedankt, en ik hoor het wel dan.

PS: Als je wat gevonden hebt of weet wil je dat dan e-mailen?

MediaServe
29/03/05, 15:11
Origineel geplaatst door Eva
Dat zou wel super zijn, ja ik moet even kijken of het een beetje aan de eisen voldoet enz, van wat ik in de log wilt hebben.

Zoals de zoekresultaten van mijn webpagina, wat de gebruikers opzoeken op welk tijdstip en dat soort dingen, maar als je zou willen kijken zou ik dat wel super vinden.

Alvast bedankt, en ik hoor het wel dan. In eerste instantie gaat het om het verbruik van dataverkeer. Maar als het programmeren lekker verloopt kan ik die extra functies ook wel in programmeren.
PS: Als je wat gevonden hebt of weet wil je dat dan e-mailen? Geen probleem ;)

Eva
29/03/05, 15:24
okee dan....

Dus als ik opties aan je doorgeef, dan kan jij dat erin verwerken?

Maar bedankt dat je het even laat weten.
Hopelijk heb je het wel snel, want binnen een paar dagen moet het rond zijn...hehe...

Ik zal alvast even een korte beschrijving weergeven zoals het er moet uit zien:

Ik heb een log file (text bestand), die wordt automatisch aangemaakt, omdat ik een stuk script in een php bestand heb gemaakt. In dit log filetje staan de zoekopdrachten die gebruikers hebben ingevoerd.

En dan heb ik nog een log bestandje die wordt aangemaakt door de IIS, en daar staat de gebruiker in die heeft ingelogd op welk tijdstip enz. Dus nu moet ik deze 2 samen krijgen zodat het naast elkaar komt te staan in een mooie tabel of zoiets in Access....

Is dit mogelijk allemaal?
Ik hoor het allemaal wel, alvast bedankt....
Gr.

MediaServe
29/03/05, 15:44
Het was niet mijn bedoeling om er maatwerk van te maken ;)
Ik wil graag een applicatie maken waarmee webhosters kunnen bijhouden hoeveel dataverkeer hun klanten gebruiken. Daarnaast kan ik nog wel wat meer gegevens van website bijhouden, maar datgene wat je mij vraagt is (voor zover ik het begrijp) te specifiek.

Bovendien is 'een paar dagen' een te korte termijn, het moet wel hobby blijven en ik heb natuurlijk ook nog gewoon mijn dagelijkse werk ;)

Eva
29/03/05, 15:48
Dat is wel zonde....

Want dit is een opdracht zeg maar, en vrijdag ga ik weg, dus ja....maar helaas.

Bedankt in ieder geval dat je het wilde doen....

Gr.
Eva