Bekijk Volledige Versie : Overlast van markmonitor.com bots
Hoi,
Een van onze klanten (dus wij indirect ook) heeft last van extreem veel aandacht/bezoek van één specifieke bot. Deze bot is afkomstig van markmonitor.com. Volgens zeggen wordt een robots.txt bestand gewoon genegeert. Klant draait de site met de laatste versie van Wordpress i.c.m. een aantal plugins en gedownload theme..
Groet,
Gerard
Hebben ze een duidelijke reverse DNS? Dan kun je daar op gaan blokkeren via een .htaccess bestand...
De laatste keer dat wij op een site van een klant last hadden van zoekmachines die bedachten dat het handig was om XXX requests gelijktijdig te doen hebben we het via een robots.txt kunnen oplossen.
Meestal is het ook wel uit te sluiten in Apache/nginx door te filteren op User-Agent. Sneller en robuuster dan robots.txt
Kwaadwillende bots houden geen rekening met Robots.txt.
Als je het ip kunt achterhalen kun je die wel blokkeren in .htaccess, maar makkelijker is misschien om die gelijk serverwide in je firewall te zetten.
Thanks iedereen. Heb het opgelost via .htaccess bestand. Robots.txt werkt volgens mij alleen als je de useragent hebt?
moderator: mag op slot..
Thanks iedereen. Heb het opgelost via .htaccess bestand. Robots.txt werkt volgens mij alleen als je de useragent hebt?
moderator: mag op slot..
Robots.txt zegt gewoon tegen bots dat ze bepaalde mappen en bestanden niet mogen doorzoeken. Het is echter gewoon een verzoek. Een zoekmachine zal zich hier wel aan houden, maar een kwaadwillende bot kan en zal je robots.txt gewoon negeren. Een blokkade via .htaccess blokkeert de bots toegang tot de bestanden en is praktisch onmogelijk om te omzeilen.