Onderwerp: inconsistente user-agent log

Ik zag het volgende in mijn logfiles:

x.x.x.x - - [18/Mar/2004:15:02:17 +0100] "GET /asperger/werkweek.html HTTP/1.0" 200 1609 "http://topjaklont.student.utwente.nl/" "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.0)"
x.x.x.x - - [18/Mar/2004:15:02:17 +0100] "GET /asperger/next.png HTTP/1.0" 200 209 "-" "Mozilla/3.01 (compatible"

Oftewel, deze browser geeft voor html een andere User-Agent dan voor png.
Kent iemand dit gedrag?
Is er een goede reden voor?

Gerrit.

--
Ervaringen met het Syndroom van Asperger:
http://topjaklont.student.utwente.nl
Socialistische Partij:
http://www.sp.nl/

Gerrit schreef:
>
> x.x.x.x - - [18/Mar/2004:15:02:17 +0100] "GET /asperger/werkweek.html HTTP/1.0" 200 1609 "http://topjaklont.student.utwente.nl/" "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.0)"
> x.x.x.x - - [18/Mar/2004:15:02:17 +0100] "GET /asperger/next.png HTTP/1.0" 200 209 "-" "Mozilla/3.01 (compatible"
>
> Oftewel, deze browser geeft voor html een andere User-Agent dan voor png.
> Kent iemand dit gedrag?
> Is er een goede reden voor?

Misschien is die Mozilla/3.01 een proxy-server die kijkt of zijn cache
nog up-to-date is.

--
groet, Ronald

Ronald Klip in nl.internet.www.server-side (Thu, 18 Mar 2004 16:44:28
+0100):

>Gerrit schreef:
>>
>> x.x.x.x - - [18/Mar/2004:15:02:17 +0100] "GET /asperger/werkweek.html HTTP/1.0" 200 1609 "http://topjaklont.student.utwente.nl/" "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.0)"
>> x.x.x.x - - [18/Mar/2004:15:02:17 +0100] "GET /asperger/next.png HTTP/1.0" 200 209 "-" "Mozilla/3.01 (compatible"
>>
>> Oftewel, deze browser geeft voor html een andere User-Agent dan voor png.
>> Kent iemand dit gedrag?
>> Is er een goede reden voor?
>
>Misschien is die Mozilla/3.01 een proxy-server die kijkt of zijn cache
>nog up-to-date is.

Aangenomen dat next.png niet zo vaak wijzigt zou er dan geen 200, maar
een 30x in de log file hebben moeten staan. Het feit dat er sprake is
van een HTTP/1.0 request doet eerder vermoeden dat het om een of andere
spider gaat. Gerrit, wat is het IP-nummer dat je nu met x.x.x.x hebt
weggegumd? Kun je daar bv de eerste 3 getallen van geven?

Jan
--
Look, Ma. No tables - http://enbio.steenbergen-stichting.nl/

In article <nuij50lc52ctvocfdb4a6m8bjktvobmlt9@4ax.com>, Jan Ehrhardt wrote:
> Ronald Klip in nl.internet.www.server-side (Thu, 18 Mar 2004 16:44:28
> +0100):
>
>>Gerrit schreef:
>>> x.x.x.x - - [18/Mar/2004:15:02:17 +0100] "GET /asperger/werkweek.html HTTP/1.0" 200 1609 "http://topjaklont.student.utwente.nl/" "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.0)"
>>> x.x.x.x - - [18/Mar/2004:15:02:17 +0100] "GET /asperger/next.png HTTP/1.0" 200 209 "-" "Mozilla/3.01 (compatible"
>>>
>>> Oftewel, deze browser geeft voor html een andere User-Agent dan voor png.
>>> Kent iemand dit gedrag?
>>> Is er een goede reden voor?
>>
>>Misschien is die Mozilla/3.01 een proxy-server die kijkt of zijn cache
>>nog up-to-date is.
>
> Aangenomen dat next.png niet zo vaak wijzigt zou er dan geen 200, maar
> een 30x in de log file hebben moeten staan.

De hele site is net nieuw (2 dagen), dus in die zin is het wel net
'gewijzigd'.

> Het feit dat er sprake is
> van een HTTP/1.0 request doet eerder vermoeden dat het om een of andere
> spider gaat. Gerrit, wat is het IP-nummer dat je nu met x.x.x.x hebt
> weggegumd? Kun je daar bv de eerste 3 getallen van geven?

De eerste drie getallen zijn: 193.178.201

Reverse-lookup gaat niet en whois wijst richting Belgie. Hmm, whois 193
geeft Lockheed Martin Western Development Labs, wat zegt dat? Ik weet
eigenlijk niets over whois en de informatie die daarmee verkregen kan
worden, 'k probeer het voor het eerst ;-)

Ik denk niet dat het een spider(==crawler?) is: eerst is de voorpagina
opgevraagd, na een minuut een pagina die daarvandaan gelinkt werd en veel
tekst bevatte, na nog eens 2 minuten een derde pagina en na nog anderhalve
minuut een vierde. Overigens heeft deze even later nog eens
/asperger/next.png opgevraagd en toen 304 teruggekregen: toen had hij
wel weer Mozilla/4.0 als User-Agent. Ik vind het allemaal maar vreemd...
(en niet zo heel erg superbelangrijk eigenlijk ;-)

groet,
Gerrit, die het herhaaldelijk opvragen van /scripts/nsiislog.dll en
/scripts/..%255c%255c../winnt/system32/cmd.exe?/c+dir op zijn Linux-doos
wel amusant vindt.

--
Ervaringen met het Syndroom van Asperger:
http://topjaklont.student.utwente.nl
Socialistische Partij:
http://www.sp.nl/

Gerrit in nl.internet.www.server-side (Thu, 18 Mar 2004 18:54:51 +0000
(UTC)):

>> Het feit dat er sprake is
>> van een HTTP/1.0 request doet eerder vermoeden dat het om een of andere
>> spider gaat. Gerrit, wat is het IP-nummer dat je nu met x.x.x.x hebt
>> weggegumd? Kun je daar bv de eerste 3 getallen van geven?
>
>De eerste drie getallen zijn: 193.178.201
>
>Reverse-lookup gaat niet en whois wijst richting Belgie. Hmm, whois 193
>geeft Lockheed Martin Western Development Labs, wat zegt dat? Ik weet
>eigenlijk niets over whois en de informatie die daarmee verkregen kan
>worden, 'k probeer het voor het eerst ;-)

whois -h whois.ripe.net 193.178.201 verwijst bij mij naar smals-mvm.be
Bij een vluchtige blik op http://www.smals-mvm.be/ zie ik niets dat er
op wijst dat ze ook spideren. Wellicht toch een bedrijfsgateway/proxy.

Jan
--
Look, Ma. No tables - http://enbio.steenbergen-stichting.nl/

Gerrit wrote:

> Ik zag het volgende in mijn logfiles:
>
> x.x.x.x - - [18/Mar/2004:15:02:17 +0100] "GET /asperger/werkweek.html HTTP/1.0" 200 1609 "http://topjaklont.student.utwente.nl/" "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.0)"
> x.x.x.x - - [18/Mar/2004:15:02:17 +0100] "GET /asperger/next.png HTTP/1.0" 200 209 "-" "Mozilla/3.01 (compatible"
>
> Oftewel, deze browser geeft voor html een andere User-Agent dan voor png.
> Kent iemand dit gedrag?
> Is er een goede reden voor?
>
> Gerrit.
>
Misschien een browser die voor de gein elke keer een andere user agent
meegeeft, ik meen me te herinneren dat er een plugin voor firefox is die
dat doet of zo...
http://www.chrispederick.com/work/fi...agentswitcher/