Onderwerp: msnbot

Het viel me op dat msnbot.msn.com in een bepaalde website wel erg geïnteresseerd was:

Code:

#  Hits          Files        KBytes        Visits   Hostname
1  11366 61.30%  8785 64.85%  477876 91.14% 24 5.61% msnbot.msn.com

Deze bot veroorzaak dus zo'n 90% van het verkeer op deze site, iemand enig idee waardoor dit komt?

Als ik dit verlijk met de google robot, lijkt het erop dat de msnbot losgeslagen is:

Code:

#  Hits          Files        KBytes        Visits   Hostname
7  277 1.49%     214 1.58%    15376 2.93%   1 0.23%  crawl-66-249-65-196.googlebot.com

Ik begreep dat de msnbot soweiso een stuk inefficiënter is...

Hopenlijk is het blokkeren van de betreffende host voldoende om dit 'misbruik' te beëindigen.

Overweeg eerst eens wat de kosten ervan zijn en wat de extra inkomsten ervan zijn...
Of blokkeer voor msn.com alleen de images en filmpjes, misschien haalt ie die nl ook op.

Origineel geplaatst door Triloxigen
Overweeg eerst eens wat de kosten ervan zijn en wat de extra inkomsten ervan zijn...

Het gaat hier niet om een commerciële website.

Als 90% van de traffic (en hits) door msnbot komt en 10% door bezoekers en andere zoekmachines ...is het dan nog nodig hierover na te denken?

Daarbij is het niet mijn vraag of dit wel/niet goed is en hoe ik het moet verhelpen, maar waar het vandaan komt en of meerdere hosters dit terug zien in de logs.

Ik heb dit op enkele sites ook, in mindere maten. Ik heb de msnbot.msn.com geblocked (krijgt een lege statische pagina met informatie en meta teksten). De pagina is maar 1kb dus kost in dat opzicht geen extra bandbreedte.

Misschien een eerste full-index?
Ik neem aan dat deze visits niet elke dag/maand terug komen. Als ik jou was, zou ik het nog even aankijken.

Ik zou je klant er van op de hoogte stellen en hem vragen ofdat jij actie moet ondernemen, wellicht is de klant er wel bij gebaat dat MSNBot zijn/haar website zo nauwkeurig in kaart brengt.

Origineel geplaatst door skunkah
Ik zou je klant er van op de hoogte stellen en hem vragen ofdat jij actie moet ondernemen, wellicht is de klant er wel bij gebaat dat MSNBot zijn/haar website zo nauwkeurig in kaart brengt.

Natuurlijk eerst overleg met de klant. Als het hem niet uit maakt dat 90% van zijn traffic van msnbot afkomt en hij er gewoon voor betaald, vind ik dat geen probleem .

Het gebeurd dagelijks, zie ook de maand december 20004:

Code:

#  Hits         Files        KBytes        Visits   Hostname
1  18373 26.74% 14170 28.07% 809513 39.51% 89 6.21% msnbot.msn.com
2  6803  9.90%  5487  10.87% 356510 17.40% 31 2.16% 207.46.98.74
4  4229  6.15%  3594   7.12% 229842 11.22% 23 1.61% 207.46.98.75
15 746   1.09%  593    1.17% 25022   1.22% 11 0.77% 207.46.98.76
26 330   0.48%  239    0.47% 16091   0.79% 4  0.28% 207.46.98.77

TOevallig sprak ik gisteren een collega hoster die een ddos kreeg vanaf hetzelfde domain...

Vreemd allemaal.

DDoS vanaf msn.com?
Ja, vast

Nou het leek er haast op, was natuurlijk niet een echte ddos.

We hadden een uur lang +/- 250-300 open connecties met de zoekbot wat ongeveer 2 MBIT verkeer innam. lijkt me niet gezond dus.

Ik hoor net van een collega-hoster dat ook zijn server problemen ondervond met het hoge aantal connecties van de msnbot. Het lijkt zich dus niet te beperken tot één site.

Neem eens contact op met msn.com

Origineel geplaatst door Triloxigen
Neem eens contact op met msn.com

Alsof die reageren

inderdaad, die vinden het alleen maar lachwekkend denk ik

maar 2mbit verkeer is niet niets voor zo'n stom robotje

Origineel geplaatst door wdv


Alsof die reageren

Ja, waarom niet.
ALs je gewoon een normale email met vraag stuurd....

Origineel geplaatst door Triloxigen


Ja, waarom niet.
ALs je gewoon een normale email met vraag stuurd....

Mijn ervaring is dat er niet echt gereageerd wordt bij Microsoft. Natuurlijk stuur ik hele normale e-mails.