Onderwerp: Dataverkeer meten per website

Beste lezer,

Ik vroeg mij af of het mogelijk is om in mrtg of een andere traffic programma ipv per IP adres per domeinnaam of per virtualhost te zien wat de dataverkeer is per domein of virtualhost

mijn control panel heeft geen dataverkeer support inbegrepen helaas

De reden dat ik dit wil weten is omdat mijn upload opeens gelijk is aan mijn download 75/75 GB
maar ik kan niet achterhalen van welke website(s) de traffic afkomstig is

Wie kan mij helpen?

Bij voorbaat dank

indien van belang draai ik de volgende software
control panel : webcp
traffic prog : mrtg
webserver : apache
distro : debian woody

MRTG grafiekje wat het verschil opeens is

Je kunt ntop installeren om te kijken wie / wat en waarheen er ineens zoveel upload is.

Hier is een oplossing voor je apache vhost: http://www.snert.com/Software/mod_watch/index.shtml

Maar daarnaast heb je natuurlijk ook nog email verkeer en ftp verkeer. Ik weet niet zo 123 hoe je aan de andere data kan komen en deze bij elkaar op kan tellen. Ik zal wel eens kijken of ik daar nog wat op kan vinden.

Succes,
Maurice

Thanx voor de hulp

ik zal eens even kijken of ik die dingen kan installeren
anders na de vakantie maar andere control panel erop

Ik denk persoonlijk eigenlijk dat het aan je switch (of wat je ook uitleest) ligt, het is wel heel toevallig dat ineens upload en download omgedraaid zijn als je meerdere websites op die server host. Ze kunnen moeilijk allemaal geen bezoekers meer hebben ineens en als een gek RSS feeds ofzo aan het downloaden zijn.

De MRTG configuatie is lokaal op de bak zelf
hij leest dus niet van de switch af

die van me ISP is precies hetzelfde dus daar zou het niet aan kunnen liggen volgens BWM bandwith meter is er ook echt constant verbinding van 80 KB up en down

ik dacht aan phpBB hacks enzo maarja was het ook niet
streaming kan ik ook niets vinden

er draaien ook geen games voorzover ik weet :P

torrent programmas draaien er ook niet
het is echt overdag alleen

En wat zegt iptraf? Is het verkeer naar 1 andere host / server of is het heel verspreid verkeer?

Origineel geplaatst door ToolZ
Hier is een oplossing voor je apache vhost: http://www.snert.com/Software/mod_watch/index.shtml

Maar daarnaast heb je natuurlijk ook nog email verkeer en ftp verkeer. Ik weet niet zo 123 hoe je aan de andere data kan komen en deze bij elkaar op kan tellen. Ik zal wel eens kijken of ik daar nog wat op kan vinden.

Succes,
Maurice

Toevallig ook een tool beschikbaar voor apache1.3 ?

is mod_throttle geen oplossing voor jullie ?

http://www.snert.com/Software/mod_throttle/

This Apache module is intended to reduce the load on your server & bandwidth generated by popular virtual hosts, directories, locations, or users according to supported polices (see below) that decide when to delay or refuse requests. Also mod_throttle can track and throttle incoming connections by IP address or by authenticated remote user.

Sinan,
Als je het wilt meten onder apache 1.3, zul je een customlog moeten aanmaken voor de gehele server, met daarin de datum, de request en het aantal bytes, dan is het daarna eenvoudig om met een perl proggie per periode op tellen hoeveel data er is verzonden. Ik weet niet precies meer wat apache 1.3 uitspuugt, maar met een paar testjes en http://httpd.apache.org/docs/1.3/logs.html moet je er wel uit kunnen komen.

Succes, Maurice

Origineel geplaatst door Sinan


Toevallig ook een tool beschikbaar voor apache1.3 ?

mod_log_bytes... is extreem weinig info over tevinden, en werkt, voor zover ik tot nu toe heb uitgevonden, alleen op apache1.3, CPanel gebruikt dit ook, dus evt. zou je in de virtual host file van een CPanel install kunnen kijken hoe het gebruikt moet worden ect... [source is ook tevinden op Cpanel site, 1ste hit op google "mod_log_bytes" meen ik]

Hier is een oplossing die werkt in apache 1.3 en 2.x, maar deze telt alleen de verzonden bytes en telt de http-headers niet mee.

Voeg dit toe in je httpd.conf:
LogFormat "%t %v %B" traffic
CustomLog logs/traffic_log traffic


Dan krijg je zo'n logbestand
[28/Jul/2005:14:50:18 +0200] sub1.domain1.nl 4734
[28/Jul/2005:14:50:18 +0200] sub2.domain1.nl 608
[28/Jul/2005:14:50:18 +0200] sub1.domain2.nl 12998
[28/Jul/2005:14:50:18 +0200] sub2.domain2.nl 10207
[28/Jul/2005:14:50:18 +0200] sub2.domain2.nl 430
[28/Jul/2005:14:50:18 +0200] sub1.domain1.nl 10207


En gebruik het volgende perlscriptje vanaf de commandline
#!/usr/bin/perl

# Voer hier de naam van het logbestand in
$trafficlog = "/var/log/httpd/traffic_log";

@datum = ( );
@host = ( );
@data = ( );

open TRAFFIC, "<$trafficlog";

while (<TRAFFIC>) {
($dat,$nvt,$hst,$trf) = split(' ',$_);
push(@datum, $dat);
push(@host, $hst);
push(@data, $trf);

}
close TRAFFIC;

%seen = ( );
@uniq = ( );
foreach $item (@host) {
unless ($seen{$item}) {
$seen{$item} = 1;
push(@uniq, $item);
}
}
$entries = $#data;
$hosts = $#uniq;

for ($i = 0; $i <= $hosts; $i++) {
$$uniq[$i] = 0;
}

$tmp = $hosts+1;

print "entries: $entries\nhosts: $tmp\n------------\n";

for ($j = 0; $j <= $entries; $j++) {
for ($i = 0; $i <= $hosts; $i++) {
if($uniq[$i] eq $host[$j]) {
$$uniq[$i] = $$uniq[$i] + int($data[$j]);
}
}
}

for ($i = 0; $i <= $hosts; $i++) {
$kb = int($$uniq[$i]/1024);
$mb = $kb/1024;
print "$uniq[$i]:\t$$uniq[$i]\t$kb Kb\t$mb Mb\n";
}

print "\n";
exit(0);


Je krijgt dan de volgende output:
entries: 88
hosts: 4
------------
sub1.domain1.nl: 70345 68 Kb 0.06640625 Mb
sub2.domain1.nl: 25236 24 Kb 0.0234375 Mb
sub1.domain2.nl: 106745 104 Kb 0.1015625 Mb
sub2.domain2.nl: 352595 344 Kb 0.3359375 Mb

Let wel op, bij grote logs kan dit proggie flink wat geheugen vreten.

Succes,
Maurice