PDA

Bekijk Volledige Versie : Lijst met up to date IP adressen van crawlbots



wdv
22/07/08, 18:17
Weet iemand of er een volledige en up to date lijst bestaat met IP adressen van search engine crawl bots? Ik heb zelf http://iplists.com/ gevonden, maar ik heb het idee dat deze lijst niet compleet is.

Probleem is namelijk dat we onze firewall automatisch clients blocken die abnormaal veel connecties openen naar onze servers, echter willen we de search engines graag een vrije kaart geven.

eXtreme Service
22/07/08, 18:40
Enkele zijn ook terug te vinden op http://bbs.icefire.org/showthread.php?t=373

Probleem is ook dat de ip's veel veranderen.

nielsrenselaar
22/07/08, 19:06
Je kan het beter gooien op hostnames met wildcards of useragents als dat mogelijk is in je firewall. IP adressen veranderen nogal vaak, terwijl bots zoals google vanaf een vast domein komen.