Onderwerp: Is het mogelijk te zien hoe iemand een website aanroept?

Ik maak al een tijdje gebruik van scripts die werken met fopen, fsockopen etc. Nu vinden niet alle webmasters dit even leuk en heeft een van deze webmasters dit nu dus ook geblokkeerd. Eerst kon alleen fopen niet meer, daarna wget en fsockopen ook niet meer. Zij detecteren dit dan en geven de pagina normaal weer maar dan met een extra melding en zonder het resultaat dat ik zoek. Het is dus geen ip-ban, anders kon ik de rest van de website content ook niet doorkrijgen. Hoe meer manieren ik gebruik hoe meer zij blokkeren, en dan kan ik die functie niet meer gebruiken.

Iemand hier een idee over?

Waar gebruik je dat dan voor??

Ja, zoeken naar alternatieven Ik neem aan dat ze het nie blokkeren om jou te irriteren toch?

Je bericht is ook een beetje vaag. Praten we hier over een eigen script (PHP denk ik?) of over een script wat je extern aanroept?

Hoogstwaarschijnlijk zullen zij de User-Agent header.
Probeer bij de fsockopen methode eens zelf een user agent mee te geven, (bv die van IE6), en kijk of het resultaat hetzelfde blijft.

Hie kan je een hoop user-agent strings vinden: http://en.wikipedia.org/wiki/User_agent

Waarschijnlijk doet die site gewoon een check op user agent. Elke browser stuurt normaal een user agent. Je kan wget zo aanpassen dat die de user agent van bvb firefox of internet explorer gebruikt.

Maar als iemand duidelijk probeert de inhoud van zijn site af te schermen is het belangrijk dit te respecteren. Je overtreedt hiermee bijna zeker het gebruiksrecht tot die site.

Cakkie was me voor

Gewoon even de user_agent die fsockopen/fopen stuurt aanpassen, dit is vrij eenvoudig, een voorbeeldje:

PHP Code:

ini_set("user_agent","Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; .NET CLR 1.1.4322)"); 


Heb je niet de mogelijkheid om CURL te gebruiken?

Het gaat mij eigenlijk niet om het zoeken naar een oplossing, maar naar de techniek die zij ervoor gebruiken. Ik vind het namelijk een erg handig scriptje dat ze hebben draaien.

Ik maak gebruik van een PHP script die extern een pagina doet aanroepen. De useragent heb ik ook al talloze keren veranderd, lijkt niets uit te halen. Die ini set nog niet geprobeerd, dat ga ik zo even doen.

Het lijkt alsof mijn blokkering is opgeheven, maar de ini_set werkt in ieder geval goed. Weer iets geleerd

Dat weigeren op basis van user_agent kan met een RewriteCond in je .htaccess.