wdv
22/07/08, 17:17
Weet iemand of er een volledige en up to date lijst bestaat met IP adressen van search engine crawl bots? Ik heb zelf http://iplists.com/ gevonden, maar ik heb het idee dat deze lijst niet compleet is.
Probleem is namelijk dat we onze firewall automatisch clients blocken die abnormaal veel connecties openen naar onze servers, echter willen we de search engines graag een vrije kaart geven.
Probleem is namelijk dat we onze firewall automatisch clients blocken die abnormaal veel connecties openen naar onze servers, echter willen we de search engines graag een vrije kaart geven.