Bekijk Volledige Versie : msnbot
Het viel me op dat msnbot.msn.com in een bepaalde website wel erg geïnteresseerd was:
# Hits Files KBytes Visits Hostname
1 11366 61.30% 8785 64.85% 477876 91.14% 24 5.61% msnbot.msn.com
Deze bot veroorzaak dus zo'n 90% van het verkeer op deze site, iemand enig idee waardoor dit komt?
Als ik dit verlijk met de google robot, lijkt het erop dat de msnbot losgeslagen is:
# Hits Files KBytes Visits Hostname
7 277 1.49% 214 1.58% 15376 2.93% 1 0.23% crawl-66-249-65-196.googlebot.com
Ik begreep dat de msnbot soweiso een stuk inefficiënter is...
Hopenlijk is het blokkeren van de betreffende host voldoende om dit 'misbruik' te beëindigen.
Triloxigen
07/01/05, 11:19
Overweeg eerst eens wat de kosten ervan zijn en wat de extra inkomsten ervan zijn...
Of blokkeer voor msn.com alleen de images en filmpjes, misschien haalt ie die nl ook op.
Origineel geplaatst door Triloxigen
Overweeg eerst eens wat de kosten ervan zijn en wat de extra inkomsten ervan zijn...
Het gaat hier niet om een commerciële website.
Als 90% van de traffic (en hits) door msnbot komt en 10% door bezoekers en andere zoekmachines ...is het dan nog nodig hierover na te denken?
Daarbij is het niet mijn vraag of dit wel/niet goed is en hoe ik het moet verhelpen, maar waar het vandaan komt en of meerdere hosters dit terug zien in de logs.
Ik heb dit op enkele sites ook, in mindere maten. Ik heb de msnbot.msn.com geblocked (krijgt een lege statische pagina met informatie en meta teksten). De pagina is maar 1kb dus kost in dat opzicht geen extra bandbreedte.
V. Kleijnendorst
07/01/05, 12:06
Misschien een eerste full-index?
Ik neem aan dat deze visits niet elke dag/maand terug komen. Als ik jou was, zou ik het nog even aankijken.
Ik zou je klant er van op de hoogte stellen en hem vragen ofdat jij actie moet ondernemen, wellicht is de klant er wel bij gebaat dat MSNBot zijn/haar website zo nauwkeurig in kaart brengt.
Origineel geplaatst door skunkah
Ik zou je klant er van op de hoogte stellen en hem vragen ofdat jij actie moet ondernemen, wellicht is de klant er wel bij gebaat dat MSNBot zijn/haar website zo nauwkeurig in kaart brengt.
Natuurlijk eerst overleg met de klant. Als het hem niet uit maakt dat 90% van zijn traffic van msnbot afkomt en hij er gewoon voor betaald, vind ik dat geen probleem :).
Het gebeurd dagelijks, zie ook de maand december 20004:
# Hits Files KBytes Visits Hostname
1 18373 26.74% 14170 28.07% 809513 39.51% 89 6.21% msnbot.msn.com
2 6803 9.90% 5487 10.87% 356510 17.40% 31 2.16% 207.46.98.74
4 4229 6.15% 3594 7.12% 229842 11.22% 23 1.61% 207.46.98.75
15 746 1.09% 593 1.17% 25022 1.22% 11 0.77% 207.46.98.76
26 330 0.48% 239 0.47% 16091 0.79% 4 0.28% 207.46.98.77
TOevallig sprak ik gisteren een collega hoster die een ddos kreeg vanaf hetzelfde domain...
Vreemd allemaal.
Triloxigen
08/01/05, 11:51
DDoS vanaf msn.com?
Ja, vast :D:D
Nou het leek er haast op, was natuurlijk niet een echte ddos.
We hadden een uur lang +/- 250-300 open connecties met de zoekbot wat ongeveer 2 MBIT verkeer innam. lijkt me niet gezond dus.
Ik hoor net van een collega-hoster dat ook zijn server problemen ondervond met het hoge aantal connecties van de msnbot. Het lijkt zich dus niet te beperken tot één site.
Triloxigen
08/01/05, 13:02
Neem eens contact op met msn.com :)
Origineel geplaatst door Triloxigen
Neem eens contact op met msn.com :)
Alsof die reageren :)
inderdaad, die vinden het alleen maar lachwekkend denk ik ;)
maar 2mbit verkeer is niet niets voor zo'n stom robotje ;)
Triloxigen
08/01/05, 13:14
Origineel geplaatst door wdv
Alsof die reageren :)
Ja, waarom niet.
ALs je gewoon een normale email met vraag stuurd....
Origineel geplaatst door Triloxigen
Ja, waarom niet.
ALs je gewoon een normale email met vraag stuurd....
Mijn ervaring is dat er niet echt gereageerd wordt bij Microsoft. Natuurlijk stuur ik hele normale e-mails.
Ik denk dat het iets nieuws is van microsoft, ze zijn nu weer bezig... :(
Triloxigen
08/01/05, 14:08
Origineel geplaatst door wdv
Mijn ervaring is dat er niet echt gereageerd wordt bij Microsoft. Natuurlijk stuur ik hele normale e-mails.
Ik heb twee maal al een email gestuurd, heb altijd reactie gekregen (binnen een week).
Origineel geplaatst door Triloxigen
Ik heb twee maal al een email gestuurd, heb altijd reactie gekregen (binnen een week).
Waar mail jij naar? :)
Origineel geplaatst door WE-Create!
Ik denk dat het iets nieuws is van microsoft, ze zijn nu weer bezig... :(
Het was hier tussen 1 en 2 ook weer feest
hier ook, zelfde.. nog steeds enkele
toen ik laatst een e-mailtje naar abuse@hotmail.com stuurde kreeg ik binnen 5 minuten reactie en naar een kwartiertje was de account van de spammer afgesloten.. dat had ik dus ook niet verwacht :P
mijn mail is verzonden, maar geen reactie tot zover.
Triloxigen
08/01/05, 18:44
1563 79189 crawl-66-249-66-202.googlebot.com
654 10231 msnbot.msn.com
Google veroorzaakt bij mij meer traffic in verhouding dan msnbot.
Misschien omdat deze msnbot pas iets van de laatste dagen is?
Wij hebben inmiddels (cat * | grep msnbot) een logfile van meer dan 6 MB over de maand januari.
Lijkt me toch wat veel, toch?
Microsoft stuurt een DDoS naar elke server die geen Windows draait
Ook maar even een mail gestuurd... als de reply zinvol is.. post ik hem hier wel even.
DennisWijnberg
11/01/05, 14:31
Je kunt natuurlijk ook een robots.txt gebruiken, en alleen de mappen allowen die jij wil dat toegestaan zijn.