IBM Crawler?

[WH-Tim]

Jullie ook zoveel last van die IBM crawler?

--
66.147.154.3 - - [14/Nov/2004:15:29:05 +0100] "GET / HTTP/1.0" 200 341 "-" "http://www.almaden.ibm.com/cs/crawler [bc11]"
--

Net een week een nieuw domein geregistreerd, en al 100kb logs van alleen die crawler..

Die pagina die hij achterlaat stelt ook al niets voor, de homepage zegt ook al niets speciaals en om nou op elke account een robots.txt aan gaan te maken is ook veel te veel en zinloos werk..

Hij gaat hier de firewall in.. gewenst of niet gewenst

[MediaServe]

Hoe komt die IBM crawler bij jouw website dan? Ik ben hem nog nooit tegen gekomen!

[Mog]

mja, tis idd van ibm zelf (ip komt overeen met netblock owner)dus ik denk dat inderdaad het ip firewallen voorlopig genoeg is.
Je kunt indien ze hardnekkig gaan doen altijd nog een mod_sec rule maken.

[WH-Tim]

Ik zou het echt niet weten.. misschien issie er wel verliefd op, of komt de auteur van die bot uit die plaatsnaam

[e-creative]

Origineel geplaatst door MediaCreations
Hoe komt die IBM crawler bij jouw website dan? Ik ben hem nog nooit tegen gekomen!

Hier ook niet

[S4nder]

Ik heb hem ook nog nooit gehad, misschien ben je wel goede vrinedjes met IBM? of willen ze dat worden :P