Resultaten 1 tot 6 van de 6
Geen
  1. #1
    Overlast van markmonitor.com bots
    geregistreerd gebruiker
    143 Berichten
    Ingeschreven
    06/02/13

    Post Thanks / Like
    Mentioned
    2 Post(s)
    Tagged
    0 Thread(s)
    1 Berichten zijn liked



    Thread Starter

    Overlast van markmonitor.com bots

    Hoi,

    Een van onze klanten (dus wij indirect ook) heeft last van extreem veel aandacht/bezoek van één specifieke bot. Deze bot is afkomstig van markmonitor.com. Volgens zeggen wordt een robots.txt bestand gewoon genegeert. Klant draait de site met de laatste versie van Wordpress i.c.m. een aantal plugins en gedownload theme..

    Groet,
    Gerard



  2. #2
    Overlast van markmonitor.com bots
    geregistreerd gebruiker
    5.751 Berichten
    Ingeschreven
    20/02/05

    Locatie
    Haaksbergen / Amsterdam

    Post Thanks / Like
    Mentioned
    45 Post(s)
    Tagged
    0 Thread(s)
    168 Berichten zijn liked


    Naam: Mark Scholten
    Bedrijf: SinnerG / Stream Service
    Functie: Systeembeheerder
    URL: www.sinnerg.nl
    Registrar SIDN: ja
    KvK nummer: 34255993

    Hebben ze een duidelijke reverse DNS? Dan kun je daar op gaan blokkeren via een .htaccess bestand...

    De laatste keer dat wij op een site van een klant last hadden van zoekmachines die bedachten dat het handig was om XXX requests gelijktijdig te doen hebben we het via een robots.txt kunnen oplossen.
    Tools die handig zjn voor ISPs vind je natuurlijk bij Tools 4 ISP.

  3. #3
    Overlast van markmonitor.com bots
    geregistreerd gebruiker
    80 Berichten
    Ingeschreven
    12/07/04

    Locatie
    Amsterdam

    Post Thanks / Like
    Mentioned
    1 Post(s)
    Tagged
    0 Thread(s)
    3 Berichten zijn liked


    Naam: Peter
    Registrar SIDN: nee
    KvK nummer: nvt
    Ondernemingsnummer: nvt

    Meestal is het ook wel uit te sluiten in Apache/nginx door te filteren op User-Agent. Sneller en robuuster dan robots.txt

  4. #4
    Overlast van markmonitor.com bots
    geregistreerd gebruiker
    1.418 Berichten
    Ingeschreven
    13/09/08

    Locatie
    zuid-west Brabant

    Post Thanks / Like
    Mentioned
    5 Post(s)
    Tagged
    0 Thread(s)
    215 Berichten zijn liked


    Naam: Chris van Winden
    Bedrijf: Verkocht 😉
    URL: chris.cfmweb.nl

    Kwaadwillende bots houden geen rekening met Robots.txt.
    Als je het ip kunt achterhalen kun je die wel blokkeren in .htaccess, maar makkelijker is misschien om die gelijk serverwide in je firewall te zetten.

  5. #5
    Overlast van markmonitor.com bots
    geregistreerd gebruiker
    143 Berichten
    Ingeschreven
    06/02/13

    Post Thanks / Like
    Mentioned
    2 Post(s)
    Tagged
    0 Thread(s)
    1 Berichten zijn liked



    Thread Starter
    Thanks iedereen. Heb het opgelost via .htaccess bestand. Robots.txt werkt volgens mij alleen als je de useragent hebt?
    @mod erator: mag op slot..

  6. #6
    Overlast van markmonitor.com bots
    geregistreerd gebruiker
    91 Berichten
    Ingeschreven
    01/07/13

    Locatie
    Cyprus

    Post Thanks / Like
    Mentioned
    4 Post(s)
    Tagged
    0 Thread(s)
    14 Berichten zijn liked


    Naam: Hans
    Bedrijf: Hostinger International Ltd.
    URL: hostinger.nl

    Citaat Oorspronkelijk geplaatst door Cloudy Bekijk Berichten
    Thanks iedereen. Heb het opgelost via .htaccess bestand. Robots.txt werkt volgens mij alleen als je de useragent hebt?
    @mod erator: mag op slot..
    Robots.txt zegt gewoon tegen bots dat ze bepaalde mappen en bestanden niet mogen doorzoeken. Het is echter gewoon een verzoek. Een zoekmachine zal zich hier wel aan houden, maar een kwaadwillende bot kan en zal je robots.txt gewoon negeren. Een blokkade via .htaccess blokkeert de bots toegang tot de bestanden en is praktisch onmogelijk om te omzeilen.
    Gratis en goedkope hosting met volledig Nederlands controlepaneel: Hostinger Nederland

Webhostingtalk.nl

Contact

  • Rokin 113-115
  • 1012 KP, Amsterdam
  • Nederland
  • Contact
© Copyright 2001-2021 Webhostingtalk.nl.
Web Statistics