Onderwerp: [ISAPI] RewriteCond User-Agent - werkt dat zo?

Als ik in mijn httpd.ini-file het volgende opneem (zie onderstaand),
blokkeer ik daarmee de grabbers/spambots et cetera die ik probeer te
blokkeren?

[ISAPI_Rewrite]
# [10] Blokkeer spambots en grabbers/dowloaders en dat soort tuig
###### Te updaten bij http://www.psychedelix.com/agents/index.shtml
RewriteCond User-Agent
..*(?:Alligator\s1\.31|atSpider/1\.0|autoemailspider|collage\.cgi/1\.82|combine/0\.0|Combine/x\.0|ContentSmartz|curl/7|DA\s3|DA\s4|DA\s5|DA\s7|DataCha0s/2\.0|DBrowse\s1\.4|DDD|Demo\sBot\s|Der\sgroße\sBi lderSauger\s2\.00u|dlman|Download\s|Download\.exe| Dow
nload-|DSurf15a\s|
[ ... even kortgesloten, om de lengte van de post; het
gaat om de idee; staat in het echt aaneengesloten op
één regel ... ]
|vb\swininet|Web\sImage\sCollector|WebAuto/3\.4|WebCopier\sv|WebDownloader\sfor\sX\s1\.30|Web dup/0\.9|WebFetch|webfetch/5\.|WebMiner/|WeBoX/0\.|WebPix\s1\.0|WebQL|WebReaper\s|Website\seXtrac tor|WebStripper/2\.|WebZIP/|Wells\sSearch\sII|WEP\sSearch\s00|Wge
t/1\.|Wildsoft\sSurfer|WordChampBot|WWWOFFLE/2\.|Xaldon\sWebSpider).*
RewriteRule (.*) / [I,F,L]

Gaat dit goed of fout? Waar moet ik op letten?

--
______PretLetters:
| weblog | http://www.pretletters.net/weblog/weblog.html |
| webontwerp | http://www.pretletters.net/html/webontwerp.html |
|zweefvliegen | http://www.pretletters.net/html/vliegen.html |

Barbara de Zoete schreef:
>
> Als ik in mijn httpd.ini-file het volgende opneem (zie onderstaand),
> blokkeer ik daarmee de grabbers/spambots et cetera die ik probeer te
> blokkeren?
>
> [ISAPI_Rewrite]
> # [10] Blokkeer spambots en grabbers/dowloaders en dat soort tuig
> ###### Te updaten bij http://www.psychedelix.com/agents/index.shtml
> RewriteCond User-Agent
> .*(?:Alligator\s1\.31|atSpider/1\.0| [ *snip* ] |Wget/1\.).*
> RewriteRule (.*) / [I,F,L]

Is dat niet gemakkelijk te testen door een pagina op te vragen met Wget?

> Combine/x\.0

Bestaat er een Combine/x.0 of wordt met x een willekeurig getal bedoeld?
In het laatste geval zou Combine/[0-9]\.0 logischer zijn (hoewel ik de
regexp-syntaxregels van Isapr-rewrite niet ken).

Misschien is het slim alle versienummers te vervangen door zo'n
generieke klasse, of geheel weg te laten. Anders blijf je bezig...

--
groet, Ronald

On Tue, 07 Feb 2006 15:42:21 +0100, Ronald Klip
<nieuws@bladibla.net.invalid> wrote:

> Barbara de Zoete schreef:
>>
>> Als ik in mijn httpd.ini-file het volgende opneem (zie onderstaand),
>> blokkeer ik daarmee de grabbers/spambots et cetera die ik probeer te
>> blokkeren?
>>
>> [ISAPI_Rewrite]
>> # [10] Blokkeer spambots en grabbers/dowloaders en dat soort tuig
>> ###### Te updaten bij http://www.psychedelix.com/agents/index.shtml
>> RewriteCond User-Agent
>> .*(?:Alligator\s1\.31|atSpider/1\.0| [ *snip* ] |Wget/1\.).*
>> RewriteRule (.*) / [I,F,L]
>
> Is dat niet gemakkelijk te testen door een pagina op te vragen met Wget?

Dat zou kunnen, maar daar heb ik wat bezwaren bij. Dan moet ik de
regeltjes opnemen en on-line zetten en daar ben ik wat huiverig voor, want
ik lig op dit moment continu overhoop met die Rewrite_Mod. Ik kom er
domweg niet uit en baal behoorlijk.
Ten tweede heb ik Wget niet en ik vind het een behoorlijk omvangrijk ding
(>1Mb) om nou zomaar even te downloaden. Of om het voor dit eenmalige
vuiltje te installeren en leren kennen.

>> Combine/x\.0
>
> Bestaat er een Combine/x.0 of wordt met x een willekeurig getal bedoeld?
> In het laatste geval zou Combine/[0-9]\.0 logischer zijn

Dat klinkt logisch. Dank je voor je opmerkzaamheid.

> Misschien is het slim alle versienummers te vervangen door zo'n
> generieke klasse, of geheel weg te laten. Anders blijf je bezig...

Yup, dank.


Ondertussen krijg ik het maar niet werkend. Eerst wel, toen niet, toen
weer wel, en nu weer niet meer. Ik kom er maar niet achter of dat aan de
Rewrite_Mod op de server ligt of aan mijn regeltjes in de httpd.ini-file.
Gekmakend is het. Gekmakend frustrerend.
Als er iemand een blik wil werpen om me te helpen typos of denkfoutjes te
vinden: <URL:http://www.pretletters.net/_test/httpd.txt> Graag!



--
______PretLetters:
| weblog | http://www.pretletters.net/weblog/weblog.html |
| webontwerp | http://www.pretletters.net/html/webontwerp.html |
|zweefvliegen | http://www.pretletters.net/html/vliegen.html |

Barbara de Zoete wrote:
>
> Als ik in mijn httpd.ini-file het volgende opneem (zie onderstaand),
> blokkeer ik daarmee de grabbers/spambots et cetera die ik probeer te
> blokkeren?
>
> [ISAPI_Rewrite]
> # [10] Blokkeer spambots en grabbers/dowloaders en dat soort tuig
> ###### Te updaten bij http://www.psychedelix.com/agents/index.shtml
> RewriteCond User-Agent
>

[snip, lange rule]
> Gaat dit goed of fout? Waar moet ik op letten?
>

Ik blokkeer UA's liever op een "per-UA basis", om het overzichtelijk te
hoduen. Bijvoorbeeld:

# User-Agent DTS Agent, spambot
RewriteCond User-Agent: .*DTS\sAgent.*
RewriteRule .* / [I,F]

# User-Agent yahoo, spambot
RewriteCond User-Agent: yahoo
RewriteRule .* / [F]

# User-Agent EmailSiphon, spambot
RewriteCond User-Agent: .*EmailSiphon.*
RewriteRule .* / [I,F,L]

Verder moet je niet vergeten dat de reguliere expressies werken met een
case sensitive match; "YaHOo" matched niet op "RewriteCond User-Agent:
yahoo".

--
Met vriendelijke groet / Best regards,
Jan Reilink, VEVIDA Nederland BV

Postbus 329, 9700 AH GRONINGEN, +31(0)50 - 5492234

On Tue, 07 Feb 2006 22:44:12 +0100, Jan Reilink <janreilink@vevida.nl>
wrote:

> Barbara de Zoete wrote:
>> Als ik in mijn httpd.ini-file het volgende opneem (zie onderstaand),
>> blokkeer ik daarmee de grabbers/spambots et cetera die ik probeer te
>> blokkeren?
>> [ISAPI_Rewrite]
>> # [10] Blokkeer spambots en grabbers/dowloaders en dat soort tuig
>> ###### Te updaten bij http://www.psychedelix.com/agents/index.shtml
>> RewriteCond User-Agent
>
> [snip, lange rule]
>> Gaat dit goed of fout? Waar moet ik op letten?
>>
>
> Ik blokkeer UA's liever op een "per-UA basis", om het overzichtelijk te
> hoduen. Bijvoorbeeld:

[ knip voorbeeld ]

Als je zo'n beetje alle bad bots en spambots wilt blokkeren, wordt dat een
heel lang lijstje. Wat is de invloed van de omvang van het httpd.ini
bestand op de download-snelheid van pagina's?

> Verder moet je niet vergeten dat de reguliere expressies werken met een
> case sensitive match;

So noted.

--
______PretLetters:
| weblog | http://www.pretletters.net/weblog/weblog.html |
| webontwerp | http://www.pretletters.net/html/webontwerp.html |
|zweefvliegen | http://www.pretletters.net/html/vliegen.html |

Barbara de Zoete wrote:
> On Tue, 07 Feb 2006 22:44:12 +0100, Jan Reilink <janreilink@vevida.nl>
> wrote:

[...]
>> Ik blokkeer UA's liever op een "per-UA basis", om het overzichtelijk
>> te hoduen. Bijvoorbeeld:
>
> [ knip voorbeeld ]
>
> Als je zo'n beetje alle bad bots en spambots wilt blokkeren, wordt dat
> een heel lang lijstje. Wat is de invloed van de omvang van het
> httpd.ini bestand op de download-snelheid van pagina's?
>

Heeft weinig invloed; het httpd.ini bestand wordt gecached door IIS.

http://www.vevida.com/downloads/ISAP...tm#CacheClRate
"ISAPI_Rewrite caches every configuration file at first time it is
loaded. Using this directive you can specify period of inactivity of
particular site when its configuration will be purged from cache. By
setting this parameter big enough you can force ISAPI_Rewrite to never
recycle its cache."

Dit is een "global" instelling en zal je ISP in moeten stellen.

Maar wil je alle UA's in e1n of twee regels opsommen, dan kan je van OR
(|) gebruik maken (not tested):
RewriteCond User-Agent: (EmailSiphon|yahoo|DTS\sAgent|...)

--
Met vriendelijke groet / Best regards,
Jan Reilink, VEVIDA Nederland BV

Postbus 329, 9700 AH GRONINGEN, +31(0)50 - 5492234

On Wed, 08 Feb 2006 08:08:46 +0100, Jan Reilink <janreilink@vevida.nl>
wrote:

> Barbara de Zoete wrote:
>> On Tue, 07 Feb 2006 22:44:12 +0100, Jan Reilink <janreilink@vevida.nl>
>> wrote:
>
> [...]
>>> Ik blokkeer UA's liever op een "per-UA basis", om het overzichtelijk
>>> te hoduen. Bijvoorbeeld:
>> [ knip voorbeeld ]
>> Als je zo'n beetje alle bad bots en spambots wilt blokkeren, wordt dat
>> een heel lang lijstje. Wat is de invloed van de omvang van het
>> httpd.ini bestand op de download-snelheid van pagina's?
>
> Heeft weinig invloed; het httpd.ini bestand wordt gecached door IIS.

[ knip uitleg ]

> Dit is een "global" instelling en zal je ISP in moeten stellen.
>
> Maar wil je alle UA's in e1n of twee regels opsommen, dan kan je van OR
> (|) gebruik maken (not tested):
> RewriteCond User-Agent: (EmailSiphon|yahoo|DTS\sAgent|...)

Dank je voor de informatie. Ik zal eens zien of/hoe ik dit opneem in mijn
httpd.ini.


--
______PretLetters:
| weblog | http://www.pretletters.net/weblog/weblog.html |
| webontwerp | http://www.pretletters.net/html/webontwerp.html |
|zweefvliegen | http://www.pretletters.net/html/vliegen.html |