PDA

Bekijk Volledige Versie : IBM Crawler?



WH-Tim
17/11/04, 20:22
Jullie ook zoveel last van die IBM crawler?

--
66.147.154.3 - - [14/Nov/2004:15:29:05 +0100] "GET / HTTP/1.0" 200 341 "-" "http://www.almaden.ibm.com/cs/crawler [bc11]"
--

Net een week een nieuw domein geregistreerd, en al 100kb logs van alleen die crawler..

Die pagina die hij achterlaat stelt ook al niets voor, de homepage zegt ook al niets speciaals en om nou op elke account een robots.txt aan gaan te maken is ook veel te veel en zinloos werk..

Hij gaat hier de firewall in.. gewenst of niet gewenst :)

MediaServe
17/11/04, 23:29
Hoe komt die IBM crawler bij jouw website dan? Ik ben hem nog nooit tegen gekomen!

Mog
17/11/04, 23:48
mja, tis idd van ibm zelf (ip komt overeen met netblock owner)dus ik denk dat inderdaad het ip firewallen voorlopig genoeg is.
Je kunt indien ze hardnekkig gaan doen altijd nog een mod_sec rule maken.

WH-Tim
18/11/04, 00:09
Ik zou het echt niet weten.. misschien issie er wel verliefd op, of komt de auteur van die bot uit die plaatsnaam ;)

e-creative
24/11/04, 12:17
Origineel geplaatst door MediaCreations
Hoe komt die IBM crawler bij jouw website dan? Ik ben hem nog nooit tegen gekomen! Hier ook niet

S4nder
15/12/04, 12:10
Ik heb hem ook nog nooit gehad, misschien ben je wel goede vrinedjes met IBM? of willen ze dat worden :P