turnitin.com search bot

[Hace]

Soms vraag ik me wel eens af wat voor zoek-robotten m'n website
afstruinen.

Je ziet dan in je weblogs dat de zoekbot echt alle pagina's opgevraagd
heeft.

Vandaag eentje van:
http://www.turnitin.com/static/services_1.html

Stel dat ik helemaal niet achter de doelstelling van zo'n site sta?

Cheers,

--
"Moehammed is, naar oosterse maatstaven, een aimabele man."

[Rene Pijlman]

Hace:
>Stel dat ik helemaal niet achter de doelstelling van zo'n site sta?

Dan stuur je een vlammende protestbrief naar de redactie van
jouw favoriete dagblad.

--
René Pijlman

Wat wil jij leren? http://www.leren.nl

[Marcel]

Hace wrote:

> Soms vraag ik me wel eens af wat voor zoek-robotten m'n website
> afstruinen.
>
> Je ziet dan in je weblogs dat de zoekbot echt alle pagina's opgevraagd
> heeft.
>
> Vandaag eentje van:
> http://www.turnitin.com/static/services_1.html
>
> Stel dat ik helemaal niet achter de doelstelling van zo'n site sta?

Nou, dan weer je hem toch gewoon.

Die robot heeft de volgende URL achtergelaten in je server
logs http://www.turnitin.com/robot/crawlerinfo.html
Daar staat duidelijk uitgelegt hoe je die bot buiten de
deur kan houden. Wat is je probleem?

Marcel