Onderwerp: Is PHP geschikt om te spideren

Leuk informatief documentje,

I'll have my cup of coffe with JAVA anyday Risky ? Nah...

Oorspronkelijk geplaatst door timmy

Hoi,
De bedoeling is zo'n 2 miljoen websites te
indexeren.

PHP is niet gemaakt om 2 miljoen sites te indexeren...

Oorspronkelijk geplaatst door ol4pro

PHP is niet gemaakt om 2 miljoen sites te indexeren...

python, perl en java ook niet speciaal hoor...

dat documentje is uit 2001, toen de engine van PHP versie 3 heeeel anders was dan die van versie 5. en er waren toen nog geen PHP compilers.

op specifieke punten zullen de verschillende talen allemaal wel voordelen en nadelen hebben, maar ik vind het te ver gaan om een van deze talen "af te schieten" om het enkele feit dat er iets 2 miljoen keer moet gebeuren.

Eerlijk gezegd denk ik dat het met Perl minder issues oplevert dan met php.

dat wordt inderdaad vaker gedacht ja. waar zou dat in zitten? meer low level libraries? slankere parser? langer in ontwikkeling? krachtigere primitieven?

Nu weet ik zelf niet zoveel ivm perl, wel weet ik dat PHP5 inprincipe word gezien als een volwaardige programmeertaal maar, tevens nog in haar kinderschoenen staat. Python (met de ongemakken van libraries) is nog steeds superieur aan PHP5


Het is niet dat iets 2 miljoen keren moet gebeuren, meer dat het een process is die niet stopped of niet hoort te stoppen.

toch nog ff en vraagje...

ik zag vandaag een voorbeeld van Lynx op windows XP.
Zou het mogelijk zijn dat je m.b.v. PHP ook zo iets kan maken
maar dan om alleen te spideren.

Lynx zullen de meeste wel kennen hier omdat het een standaard
prog. op Linux is.
Maar het idee dat je een spider bouwt die alleen tekst en links kan Zien!
vind ik wel een veilig idee...

Geen css, geen images, geen tags, geen javascript
alleen maar txt en links...

Ik weet dat je met regex alles kan strippen...
maar zijn er ook andere mogelijkheden / PHP tools???

Er zijn wel wat libs om HTML te strippen in PHP zoals de krachtige "tidy" library (zit standaard in de PHP dist in /etc/, hoef je enkel in php.ini aan te zetten).

PHP is echter zeer traag. Wanneer je performance wilt hebben zul je toch echt programma's moeten maken in bijvoorbeeld C/C++ en die laten praten met de webserver (CGI). Het bedrijf waar ik voor werk heeft webservers die een constante load van 300-2000 requests per seconde te verduren hebben. Wil je die requests via PHP laten lopen dan heb je aan 1 server niet genoeg. In ons geval hadden we via PHP voor 300 requests 3-4 servers nodig.

Omdat PHP zo traag was (en veel geheugen in gebruik neemt) hebben we in puur C programma's geschreven die de webserver direct aanspreekt. Nu kunnen we 500 requests per seconde af op ongeveer 25% cpu op 1 server.

PHP is een leuke/mooie script taal, die wij graag gebruiken voor eenvoudige webapplicaties, maar wanneer je echt performance wilt hebben zul je toch "back to basic" moeten. De afweging zit natuurlijk in de prijs; het ontwikkelen van C applicaties kost meer geld (lees: kost meet ontwikkeltijd). Het bijzetten van servers (PHP manier) kost ook een X bedrag. Afweging is applicatie afhankelijk.

Ehm, ik weet niet hoor, maar gaat het hier om spideren om vervolgens dingen doorzoekbaar te maken? Dan zou ik niet echt voor een relationele database gaan maar voor een custom database welke bedoelt is voor searchengines e.d. Denk aan Xapian enzo.

@Freddy
Ik heb geen enkele ervaring met C/C++
maar kan je dit op een linux bak draaien
of moetje daarvoor windows hebben?

@Mike, what the hell is Xapian?

het moet allemaal niet gekker worden ?! :-)

ik krijg het idee dat je nieuw bent in de programmeer-wereld?

Maar hier kun je iets over xapian vinden: http://www.xapian.org

c/++ is gewoon nix compatible