Onderwerp: Is PHP geschikt om te spideren

Hoi,

Is PHP geschikt om een spideren?
Ik weet dat PHP dit wel kan, echter vraag me af
of PHP wel het meeste stabiel/reliable en dus
geschikt is voor dergelijke zaken.

De bedoeling is zo'n 2 miljoen websites te
indexeren. Iemand anders heeft me aangeraden
Python hiervoor te gebruiken. (Hij zegt dat Google ook Python gebruikt om te spideren.)

Tevens vraag ik mij af of MySQL geschikt is
om zoveel data in op te slaan...

Graag jullie advies en jullie ervaring...
Groetjes,
Tim

* Google gebruikt inderdaad Python
* Totzover ik weet heeft MySQL geen problemen met hele grote databases
* PHP kan evengoed spideren, maar (en dit geldt eigenlijk voor elke taal) let op het geheugengebruik als scripts lang blijven draaien en zorg voor goede foutenopvang.

PHP is eigenlijk een volwaardige programmeertaal, dus ik zie geen argumenten tegen waarom dit niet mogelijk is met PHP. Neem ook een kijkje naar de CURL php extensie.

zorg dat je programma goed ineen steekt, en je slim gebruik maakt van de aanwezige mogelijkheden. De taal op zich is bijzaak.

Oorspronkelijk geplaatst door wonko

zorg dat je programma goed ineen steekt, en je slim gebruik maakt van de aanwezige mogelijkheden. De taal op zich is bijzaak.

(bijdehand-modus)
Maar de mogelijkheden hangen wel af van de taal...

En kijk daarnaast ook naar de inzetbaarheid van de applicatie, hoe hij gebruik gaat maken van geheugen, cpu etc (denk ook aan multithreading). Dit zijn allemaal dingen om net die paar procent extra performance te halen waarmee je applicatie op de lange termijn beter gaat lopen.

Je zou hiervoor best PHP en MySQL kunnen gebruiken. Python is inderdaad een goed alternatief als je voor PHP zou kiezen. Wat makkelijk is aan PHP dat een dergelijk spider programma makkelijk is te maken, is aan te passen en een goede afhandeling heeft voor foutmeldingen. De curl functie is daarom voor PHP geschikt.

Bij een goede data constructie met MySQL moeten 2 miljoen records geen probleem zijn.

Python is beter dan php, gezien de language opzich meer heeft dan PHP.
Je zou zelfs voor JAVA kunnen kiezen.

PHP is een leuk alternatief voor dit karwei, maar zeker niet sneller voor dat geen wat je wilt gaan doen.

Ik zou toch kijken naar Oracle in plaats van MySQL, denk dat je daar een aardige performance winst mee gaat halen.

Ik zou persoonlijk kiezen voor ruby of php, met de nodige libraries. Als het een one-shot script is, zou ik php nemen, moet het wat deftiger en uitbreidbaarder, neem dan ruby.

2 miljoen records zou geen enkele database problemen mee mogen hebben, als de database correct aangemaakt en onderhouden wordt.

Oorspronkelijk geplaatst door Komto

Ik zou toch kijken naar Oracle in plaats van MySQL, denk dat je daar een aardige performance winst mee gaat halen.

Leg dat eens uit? Volgens mij is MySQL toch gebouwd met als gedachte minder functionaliteit en meer performance en Oracle met meer functionalteit wat ten koste gaat van performance?

het is bijna onmogelijk om een redelijke vergelijking te maken tussen beiden Db

Oracle vs Mysql is geen vergelijking.

1: Performance heeft zelfs te maken met OS.

2: Afhankelijk van jouw kennis mbt Databases en DB Programming

3: Indien je een redelijke spider wilt ontwikkelen die langduring gaat spideren
is het misschien handig om uiteindelijk toch voor een DB zoals Oracle te
gaan kiezen. Uiteindelijk met ZEER VEEL data is Oracle qua funcionaliteit
en performance gewoon stukken beter.

Indien je met weinig data gaat werken is mysql gewoon de juiste optie.

Programming language

Spider Met Performance
c, c++ , java gebruiken en deze op server instaleren.

Webased opties Met Minder Performance.
perl, python, php

ik denk niet dat je een spider web based wil maken... php is prima als losse taal te gebruiken net als perl, python en java. mogelijk even compileren voor het beste resultaat, hoewel dat wel mee zal vallen als het merendeel van je timing op zal gaan aan het maken van connecties.

een belangrijk verschil tussen databases zit niet in het er in stoppen, maar juist in het er uit halen. sqlite is net zo snel zo niet sneller voor het er in stoppen als een database met client-server gescheiden, maar is niet geschikt voor het querien van grotere bestanden. iets soortgelijks gaat ook op voor andere database engines. heel veel data opslaan kunnen ze allemaal met gemak en op eenvoudige wijze dat er weer uit halen ook.

Oorspronkelijk geplaatst door ol4pro

Webased opties Met Minder Performance.
perl, python, php

Uhhhhh,

Dus als ik jou goed begrijp kun je deze programmeertalen alleen via het web gebruiken?

Perl is destijds opgezet als reporting language, de web functionaliteit werd later pas benut.

Anywayz je kunt deze zaken allemaal command-line draaien. Het gebruik van Java zal vrijwel zeker een aanslag op je interne geheugen betekenen.

Java is voor mijn geen optie. Omdat ik dit dan nog op mijn systeem moet installeren. En dat vind ik nogal riskant. Alle overige zoals, python, pearl en welke database het meest geschikt is, daar lopen de meningen nogal uit een.

Ik begrijp uit jullie reactie's dat alles mogelijk is :-)
Dus in dat geval hou ik het liever dicht bij huis en is PHP en MySQL het meest vertrouwd.

Hier nog een leuk docuutje...

Oorspronkelijk geplaatst door timmy

Ik begrijp uit jullie reactie's dat alles mogelijk is :-)
Dus in dat geval hou ik het liever dicht bij huis en is PHP en MySQL het meest vertrouwd.

phpdig?