Onderwerp: Script dat bron van blabla.php?id=$i opvraagt voor $i lopend van 1 tot 100 000

Op de website van het antenneregister, www.antennebureau.nl, staan een
aantal dinamische pagina's met een id per antenne. Een voorbeeld van zo'n
pagina is
https://beveiligd.rdr.nl/ARGOS/www/c...ID=2&id=56047.
In elk van die pagina's staat een regeltje die de hoogte van de antenne
aangeeft:
installations[0][0]['HOOGTE']= "20";

Ik wil nu bij elk (antenne)id de antennehoogte weten.
De pagina's
https://beveiligd.rdr.nl/ARGOS/www/c...&layerID=2&id=$i
moeten dus worden geladen, met $i variërend van 1 tot 100 000 of zo, en daar
moet een regeltje uit gehaald worden. Het gaat me er alleen om dat ik de
bron van die 100 000 pagina's met behulp van een script krijg, als ik
eenmaal de bron heb kan ik zelf wel de betreffende regel eruit halen.

Wie weet een manier om dat aan te pakken?

Het is mijn bedoeling dit maar eenmalig te doen, zodat ik zelf een lijstje
van antennes en antennehoogtes heb. Het maakt niet uit dat het script een
tijdje bezig is (zolang hun server er maar niet aan onderdoor gaat).

Ik heb het al met PHP geprobeerd, maar het lukt me niet een https-pagina met
fopen() te openen. Ook heb ik het geprobeerd door in JavaScript de pagina's
in een iframe te laden en het innerHTML-attribuut te gebruiken, maar dan
krijg ik 'access denied' omdat innerHTML blijkbaar niet bij externe pagina's
werkt.


PS Ik heb ge-crosspost omdat ik niet weet waar de makkelijkste oplossing
ligt, gelieve eventueel de follow-up aan te passen naar de betreffende
groep.

Math1985:
>https://beveiligd.rdr.nl/ARGOS/www/c...ID=2&id=56047.
>In elk van die pagina's staat een regeltje die de hoogte van de antenne
>aangeeft:
>installations[0][0]['HOOGTE']= "20";
[...]
>Wie weet een manier om dat aan te pakken?

#!/usr/bin/python

import urllib2

for i in xrange(100000):
url =
"https://beveiligd.rdr.nl/ARGOS/www/cgi-bin/arc.cgi?action=identifyObj&layerID=2&id=%d"
% i
page = urllib2.urlopen(url).read()
# page is een string met de inhoud van de pagina

--
René Pijlman

Wat wil jij leren? http://www.leren.nl

Math1985 wrote:

> Op de website van het antenneregister, www.antennebureau.nl, staan een
> aantal dinamische pagina's met een id per antenne. Een voorbeeld van
> zo'n pagina is
>
https://beveiligd.rdr.nl/ARGOS/www/c...tifyObj&layerI
D=2&id=56047.
> In elk van die pagina's staat een regeltje die de hoogte van de
> antenne aangeeft:
> installations[0][0]['HOOGTE']= "20";
>
> Ik wil nu bij elk (antenne)id de antennehoogte weten.

Vraag de eigenaar van die site om een dump van de desbetreffende tabel.

--
www.zenobits.com

In nl.internet.www.server-side Math1985 <usenet@matthijsmelissen.cjb.net> wrote:
> Ik heb het al met PHP geprobeerd, maar het lukt me niet een https-pagina met
> fopen() te openen.

Een paar weken geleden is reeds een vraag gesteld in niwss waarom
fopen/ssl misgaat, zoek eens in de archieven...

FUP niwss

--

Daniel Tryba

> > Ik heb het al met PHP geprobeerd, maar het lukt me niet een
> > https-pagina met fopen() te openen.
>
> Een paar weken geleden is reeds een vraag gesteld in niwss waarom
> fopen/ssl misgaat, zoek eens in de archieven...

Ik heb met google gezocht op "ssl fopen", maar niets van een paar weken
terug kunnen vinden.

Wel vond ik:
Je kunt ook sockets gebruiken, of nog mooier gewoon
fopen. De nieuwste versie van php staat ook toe om met SSL beveiligde
pagina's binnen te halen.

Wat wordt hier bedoeld met de nieuwste versie van php? Versie 4, of versie 5
beta?

KLinZ wrote:
> Math1985 wrote:
>
> > Op de website van het antenneregister, www.antennebureau.nl, staan
> > een aantal dinamische pagina's met een id per antenne. Een
> > voorbeeld van zo'n pagina is
> >
>
https://beveiligd.rdr.nl/ARGOS/www/c...tifyObj&layerI
> D=2&id=56047.
> > In elk van die pagina's staat een regeltje die de hoogte van de
> > antenne aangeeft:
> > installations[0][0]['HOOGTE']= "20";
> >
> > Ik wil nu bij elk (antenne)id de antennehoogte weten.
>
> Vraag de eigenaar van die site om een dump van de desbetreffende
> tabel.

Al een paar weken terug gemaild, maar ja, t is een overheidssite en zo he...
Misschien krijg ik voor 2007 nog wel antwoord :S.

Rene Pijlman wrote:
> Math1985:
> >
https://beveiligd.rdr.nl/ARGOS/www/c...ID=2&id=56047.
> > In elk van die pagina's staat een regeltje die de hoogte van de
> > antenne aangeeft:
> > installations[0][0]['HOOGTE']= "20";
> [...]
> > Wie weet een manier om dat aan te pakken?
>
> #!/usr/bin/python
>
> import urllib2
>
> for i in xrange(100000):
> url =
>
"https://beveiligd.rdr.nl/ARGOS/www/cgi-bin/arc.cgi?action=identifyObj&layer
ID=2&id=%d"
> % i
> page = urllib2.urlopen(url).read()
> # page is een string met de inhoud van de pagina

Hoe voer ik dit uit? Ik heb ergens achterin mijn pc wel linux staan, maar
weet er niet zo veel van. Kan ik dit gewoon in een ascii-bestandje zetten en
dan in een shell de naam van het bestandje in typen of zo?

Math1985 <usenet@matthijsmelissen.cjb.net> wrote:
>> > Ik heb het al met PHP geprobeerd, maar het lukt me niet een
>> > https-pagina met fopen() te openen.
>>
>> Een paar weken geleden is reeds een vraag gesteld in niwss waarom
>> fopen/ssl misgaat, zoek eens in de archieven...
>
> Ik heb met google gezocht op "ssl fopen", maar niets van een paar weken
> terug kunnen vinden.

Ik doelde op:
http://groups.google.com/groups?selm...sddb%404ax.com

> Wel vond ik:
> Je kunt ook sockets gebruiken, of nog mooier gewoon
> fopen. De nieuwste versie van php staat ook toe om met SSL beveiligde
> pagina's binnen te halen.
>
> Wat wordt hier bedoeld met de nieuwste versie van php? Versie 4, of versie 5
> beta?

4.3.x+ dus.

--

Daniel Tryba

Math1985:
>Hoe voer ik dit uit?

http://www.python.org/doc/current/tu...00000000000000

>Ik heb ergens achterin mijn pc wel linux staan, maar
>weet er niet zo veel van.

Python draait ook op Windows.

>Kan ik dit gewoon in een ascii-bestandje zetten en
>dan in een shell de naam van het bestandje in typen of zo?

Yep.

--
René Pijlman

Wat wil jij leren? http://www.leren.nl