Onderwerp: Spider/Crawler beveiliging

Ik ben bezig met een site met een redelijk grote database.
Nu ben ik een beetje bang dat de complete database straks gejat wordt door mensen met spiders/crawlers/bots etc.

Weet iemand of hier oplossingen voor zijn?

De site draait op een freebsd machine met directadmin.

Volgend lijstje houd in elk geval een groot deel van de "minder aardige" bots/spiders tegen. (zal ongetwijfeld inmiddels wel iets verouderd zijn, er zijn zat lijsten te vinden via google).

Plaats het volgende in je .htaccess file (indien mod_rewrite beschikbaar is):

// edit: als file attached wegens mod_security

// edit2: pff zelf als attachment een error:

Code:

Warning: move_uploaded_file(): open_basedir restriction in effect. File(/home/httpd/vhosts/webhostingtalk.nl/httpdocs/tmp/vba7bfce552) is not within the allowed path(s): (/home/httpd/vhosts/webhostingtalk.nl/httpdocs/forum:/tmp) in /home/httpd/vhosts/webhostingtalk.nl/httpdocs/forum/admin/functions.php on line 2060

Warning: filesize(): open_basedir restriction in effect. File(/home/httpd/vhosts/webhostingtalk.nl/httpdocs/tmp/vba7bfce552) is not within the allowed path(s): (/home/httpd/vhosts/webhostingtalk.nl/httpdocs/forum:/tmp) in /home/httpd/vhosts/webhostingtalk.nl/httpdocs/forum/admin/functions.php on line 2064

// poging 3: zie: http://nomad.warp3.com/grr_mod_security.txt

Bedankt voor de tip, maar ik ben op zoek naar een wat meer geavanceerde oplossing want een spider kan zich ook gewoon voordoen als een normale browser.

De enige beperking manier is een beperking opleggen, bijvoorbeeld 15x bekijken per IP, maar zelfs dan is onzinnig als ze proxies gaan gebruiken.
Verder zijn er geen mogelijkheden.

Je kan ook een flinke hoeveelheid onzichtbare links in je code plaatsen naar een bepaalde pagina. Wordt deze pagina bezocht dan is het voor dat IP een uurtje game over en wordt het netjes in een blacklist geplaatst.

Werkt redelijk effectief bij een klant van mij ....

Mvgr,

Kees

Origineel geplaatst door mind
Je kan ook een flinke hoeveelheid onzichtbare links in je code plaatsen naar een bepaalde pagina. Wordt deze pagina bezocht dan is het voor dat IP een uurtje game over en wordt het netjes in een blacklist geplaatst.

Werkt redelijk effectief bij een klant van mij ....

Mvgr,

Kees

Maar het gaat hem om de specificatie data die eruit gecopieerd kan worden.
De bot zal dan gemaakt worden zodat die alleen de benodigde data verwerkt en de rest links laat liggen, dus dan gaat het niet werken

Origineel geplaatst door mind
Je kan ook een flinke hoeveelheid onzichtbare links in je code plaatsen naar een bepaalde pagina. Wordt deze pagina bezocht dan is het voor dat IP een uurtje game over en wordt het netjes in een blacklist geplaatst.

Werkt redelijk effectief bij een klant van mij ....

Mvgr,

Kees

Bedankt voor de tip, het gaat in dit geval idd om links dus dit is misschien een oplossing. Maar triloxigen heeft gelijk als ze een custom script of programma maken dan hebben ze die links natuurlijk door en filteren ze die eruit.

Ik heb zelf ook nog iets gevonden namelijk mod_evasive van http://www.nuclearelephant.com/ iemand hier ervaring mee?

Weet er iemand trouwens een goede spider/crawler om te testen of het werkt?

Printen met javascript en steeds andere strings erdoorheen maakt het vrijwel onmogelijk data te rippen. suc6 ermee, postcode.nl maakt hier ook gebruik van.