Onderwerp: Lijst met up to date IP adressen van crawlbots

Weet iemand of er een volledige en up to date lijst bestaat met IP adressen van search engine crawl bots? Ik heb zelf http://iplists.com/ gevonden, maar ik heb het idee dat deze lijst niet compleet is.

Probleem is namelijk dat we onze firewall automatisch clients blocken die abnormaal veel connecties openen naar onze servers, echter willen we de search engines graag een vrije kaart geven.

Enkele zijn ook terug te vinden op http://bbs.icefire.org/showthread.php?t=373

Probleem is ook dat de ip's veel veranderen.

Je kan het beter gooien op hostnames met wildcards of useragents als dat mogelijk is in je firewall. IP adressen veranderen nogal vaak, terwijl bots zoals google vanaf een vast domein komen.