WH-Tim
17/11/04, 20:22
Jullie ook zoveel last van die IBM crawler?
--
66.147.154.3 - - [14/Nov/2004:15:29:05 +0100] "GET / HTTP/1.0" 200 341 "-" "http://www.almaden.ibm.com/cs/crawler [bc11]"
--
Net een week een nieuw domein geregistreerd, en al 100kb logs van alleen die crawler..
Die pagina die hij achterlaat stelt ook al niets voor, de homepage zegt ook al niets speciaals en om nou op elke account een robots.txt aan gaan te maken is ook veel te veel en zinloos werk..
Hij gaat hier de firewall in.. gewenst of niet gewenst :)
--
66.147.154.3 - - [14/Nov/2004:15:29:05 +0100] "GET / HTTP/1.0" 200 341 "-" "http://www.almaden.ibm.com/cs/crawler [bc11]"
--
Net een week een nieuw domein geregistreerd, en al 100kb logs van alleen die crawler..
Die pagina die hij achterlaat stelt ook al niets voor, de homepage zegt ook al niets speciaals en om nou op elke account een robots.txt aan gaan te maken is ook veel te veel en zinloos werk..
Hij gaat hier de firewall in.. gewenst of niet gewenst :)