[PHP] Site search engine gezocht

[The Gecko]

Voor mijn extern gehoste website ben ik op zoek naar een PHP (4.3.2)/MySQL
(3.23.54) aangedreven site search engine. Ik heb er momenteel al enkele
uitgetest (iSearch en PhpDig allebei gevonden bij www.hotscripts.com), maar
ik ben er nog niet 100% tevreden over.

Momenteel heb ik iSearch en PhpDig getest. iSearch is een mooi klein
script, ook redelijk configureerbaar, maar het spideren is errug traag. Het
spideren van mijn site (ca 1500 pagina's) kost ettelijke uren.

PhpDig heeft een uitgebreidere webinterface (ook voor statistieken en logs
etc), maar heeft ook twee nadelen: ook deze spidert behoorlijk traag, maar
mijn belangrijkste bezwaar was dat PhpDig niet alleen de links spidert en
indexeert, maar tegelijkertijd ook het remote filesystem leest en
indexeert. En dat laatste wil ik pertinent niet. Als iemand weet hoe dit in
PhpDig 'uit' te zetten, dan hou ik mij aanbevolen.

Zijn er hier nog andere ervaringen met bestaande search scripts? Ik ben met
name geinteresseerd in scripts die:
- snel spideren uiteraard ook zoekresultaten snel en overzichtelijk weer
kunnen geven (liefst ook met gebruikmaking van meta tags).
- makkelijk geupdatede pagina's en nieuwe pagina's kunnen toevoegen aan de
index zonder meteen alle andere pagina's in dat 'hoofdstuk' ook mee te
spideren
- liefst ook een soort van 'auto-spider' functie hebben.

Alvast bedankt,

--
Hans Geerts
Please remove the geckoes tail for replies

[Daniel Tryba]

The Gecko <gecko@wanadootail.nl> wrote:
> Momenteel heb ik iSearch en PhpDig getest. iSearch is een mooi klein
> script, ook redelijk configureerbaar, maar het spideren is errug traag. Het
> spideren van mijn site (ca 1500 pagina's) kost ettelijke uren.

Snel is anders, maar waarom zou dat een bezwaar zijn?

> PhpDig heeft een uitgebreidere webinterface (ook voor statistieken en logs
> etc), maar heeft ook twee nadelen: ook deze spidert behoorlijk traag, maar
> mijn belangrijkste bezwaar was dat PhpDig niet alleen de links spidert en
> indexeert, maar tegelijkertijd ook het remote filesystem leest en
> indexeert.

Verklaar je nader! Volgens de phpdig documentatie volgt het ding alleen
links. Dus als ergens een link is naar een plek die je niet wilt
indexeren zou je wellicht met een robots.txt phpdig (en eventueel andere
spiders) kunnen vertellen dat niet te doen.

BTW wat is "remote filesystem"?

[knip]
> - liefst ook een soort van 'auto-spider' functie hebben.

Je OS heeft vast een scheduler....

--

Daniel Tryba

[The Gecko]

On Sat, 4 Oct 2003 10:31:39 +0000 (UTC), Daniel Tryba wrote:

>> Het spideren van mijn site (ca 1500 pagina's) kost ettelijke uren.
>
> Snel is anders, maar waarom zou dat een bezwaar zijn?

Als je slechts eenmaal in de zoveel tijd een volledige index hoeft uit te
voeren en daarna regelmatig de nieuw toegevoegde / gemuteerde pagina's kan
toevoegen, dan is dat niet zo erg. Maar het verschil met zoekdiensten als
Atomz.com en Freefind.com is enorm groot, die hebben maar een fractie van
de tijd nodig.

>> PhpDig heeft een uitgebreidere webinterface (ook voor statistieken en logs
>> etc), maar heeft ook twee nadelen: ook deze spidert behoorlijk traag, maar
>> mijn belangrijkste bezwaar was dat PhpDig niet alleen de links spidert en
>> indexeert, maar tegelijkertijd ook het remote filesystem leest en
>> indexeert.
>
> Verklaar je nader! Volgens de phpdig documentatie volgt het ding alleen
> links. Dus als ergens een link is naar een plek die je niet wilt
> indexeren zou je wellicht met een robots.txt phpdig (en eventueel andere
> spiders) kunnen vertellen dat niet te doen.

Als PhpDig alleen de links zou volgen dan zou het indexeren van mijn site
pakweg 50% minder tijd kosten. Ik merk echter dat er ook bestanden zijn
geindexeerd die niet als link in de html staan opgenomen, maar die wel
voorkomen in de feitelijke bestandsstructuur op mijn remote gehoste
webserver.

Een voorbeeld: ik heb een php-file 'show.php' die de html-template, het
stylesheet en de redactionele inhoud (in dirs en subdirs opgenomen .htm
bestanden samenvoegt en uitserveert als een complete html-pagina. Alle
links in de site zijn van de vorm <A HREF="show.php?link=a">, waarbij 'a'
in de php wordt gekoppeld aan het bestand a.htm. Als alle links gespiderd
worden dan zou de engine alleen de complete html-pagina (= het resultaat
van show.php?link=a) vinden en indexeren. De engine vindt en indexeert ook
de file a.htm, zonder dat er ook maar ergens op de site een html-link naar
a.htm verwijst. Dit is m.i. alleen mogelijk als de engine niet alleen
spidert maar ook de boomstructuur op de webserver leest, doorloopt en
indexeert.

--
Hans Geerts
Please remove the geckoes tail for replies

[Daniel Tryba]

The Gecko <gecko@wanadootail.nl> wrote:
[knip]
> Een voorbeeld: ik heb een php-file 'show.php' die de html-template, het
> stylesheet en de redactionele inhoud (in dirs en subdirs opgenomen .htm
> bestanden samenvoegt en uitserveert als een complete html-pagina. Alle
> links in de site zijn van de vorm <A HREF="show.php?link=a">, waarbij 'a'
> in de php wordt gekoppeld aan het bestand a.htm. Als alle links gespiderd
> worden dan zou de engine alleen de complete html-pagina (= het resultaat
> van show.php?link=a) vinden en indexeren. De engine vindt en indexeert ook
> de file a.htm, zonder dat er ook maar ergens op de site een html-link naar
> a.htm verwijst. Dit is m.i. alleen mogelijk als de engine niet alleen
> spidert maar ook de boomstructuur op de webserver leest, doorloopt en
> indexeert.

Hoe moet een spider dat doen? Je zegt dat de webserver 'remote gehost'
is. Ik neem aan dat je bedoelt dat phpdig niet op die machine draaid. De
spider kan dus alleen iets vinden als er een URL naar is... Dus weet je
100% zeker dat er nergens vermedling wordt gemaakt van de 'a.html'
URLs?

--

Daniel Tryba

[The Gecko]

On Sat, 4 Oct 2003 16:03:37 +0000 (UTC), Daniel Tryba wrote:

>> De engine vindt en indexeert ook
>> de file a.htm, zonder dat er ook maar ergens op de site een html-link naar
>> a.htm verwijst. Dit is m.i. alleen mogelijk als de engine niet alleen
>> spidert maar ook de boomstructuur op de webserver leest, doorloopt en
>> indexeert.
>
> Hoe moet een spider dat doen? Je zegt dat de webserver 'remote gehost'
> is. Ik neem aan dat je bedoelt dat phpdig niet op die machine draaid.

PhpDig draait op de machine waar ook de site staat, onder hetzelfde domein
als hetgeen hij moet indexeren, het is alleen niet mijn computer maar die
van een hosting provider. Vandaar dus 'remote'.

> De spider kan dus alleen iets vinden als er een URL naar is... Dus weet
> je 100% zeker dat er nergens vermedling wordt gemaakt van de 'a.html'
> URLs?

Absoluut. Als er slechts enkele gevallen waren, dan kon nog geloven dat er
misschien hier en daar wat foutjes in de html zaten, maar het is echt
systematisch. Hij pakt nu echt iedere file tweemaal, een keer
rechttoe-rechtaan (a.htm, b.htm) en een keer via het spideren van de links
(show.php?link=a, show.php?link=b). Gevolg is dat de index dus voor 50%
'vervuild' is.

--
Hans Geerts
Please remove the geckoes tail for replies

[Hans]

On Sat, 4 Oct 2003 21:57:09 +0200, The Gecko <gecko@wanadootail.nl> wrote:
> On Sat, 4 Oct 2003 16:03:37 +0000 (UTC), Daniel Tryba wrote:
>
>> De spider kan dus alleen iets vinden als er een URL naar is... Dus weet
>> je 100% zeker dat er nergens vermedling wordt gemaakt van de 'a.html'
>> URLs?
>
> Absoluut. Als er slechts enkele gevallen waren, dan kon nog geloven dat er
> misschien hier en daar wat foutjes in de html zaten, maar het is echt
> systematisch. Hij pakt nu echt iedere file tweemaal, een keer
> rechttoe-rechtaan (a.htm, b.htm) en een keer via het spideren van de links
> (show.php?link=a, show.php?link=b). Gevolg is dat de index dus voor 50%
> 'vervuild' is.

Ik ken phpdig niet maar je zou eventueel kunnen kijken naar mnogosearch. De
laatste keer dat ik het installeerde was ik erg blij met de resultaten.

Groet,

Hans

--
http://spamikaze.nl.linux.org/

[The Gecko]

Date: Sun, 5 Oct 2003 09:37:36 +0200
Message-ID: <1gmpaskbvvvcx.1r7r3eda8hfft.dlg@40tude.net>
X-Face: {5sG{70[lhZGQ%FJo$6F\r'L2lRKiV5*{5ojXF4#[LC~D2+:$;W'Lh\^Ah3&3=(g-Yt\T~T K'{($L]8f$9byk<0^IEd(Ln,Do6^_C({Y,bm.n55hZcEZJ!Zzy\N?_*}xbQV=pQr7 =}x=eo2$p!NHg
User-Agent: 40tude_Dialog/2.0.5.1
Lines: 15
Organization: Wanadoo
NNTP-Posting-Date: 05 Oct 2003 07:33:06 GMT
NNTP-Posting-Host: c3eea68d2.cable.wanadoo.nl
X-Trace: DXC=6O0HJ>XU7DYTBVYWACTTA[SKYkiiVZ:6_oZ<AY>jAn1^N]TgGaD09QU0`QJ?X0_3?SLILiXAJl`3[eVHkC\_]^bW;Add0mQG<CX
X-Complaints-To: abuse@wanadoo.nl
Xref: nl-news.euro.net nl.internet.www.server-side:31726

On Sat, 4 Oct 2003 20:15:01 +0000 (UTC), Hans wrote:

> Ik ken phpdig niet maar je zou eventueel kunnen kijken naar mnogosearch. De
> laatste keer dat ik het installeerde was ik erg blij met de resultaten.

Ik heb er eens naar gekeken, het ziet er interessant uit. Klopt het dat er
naast het php-frontend en de MySQL database nog een apart indexeerprogramma
op de webserver gezet moet worden? Ik weet nl. niet of ik dit kan op mijn
hostaccount. Voorzover ik weet heb ik geen Telnet-toegang.

Groeten,

--
Hans Geerts
Please remove the geckoes tail for replies

[Marcus]

The Gecko wrote:
> On Sat, 4 Oct 2003 20:15:01 +0000 (UTC), Hans wrote:
>
>> Ik ken phpdig niet maar je zou eventueel kunnen kijken naar mnogosearch. De
>> laatste keer dat ik het installeerde was ik erg blij met de resultaten.
>
> Ik heb er eens naar gekeken, het ziet er interessant uit. Klopt het dat er
> naast het php-frontend en de MySQL database nog een apart indexeerprogramma
> op de webserver gezet moet worden? Ik weet nl. niet of ik dit kan op mijn
> hostaccount. Voorzover ik weet heb ik geen Telnet-toegang.

Gelukkig niet :) Maar heb je ook geen SSH?

Mark

[Hans]

On Sun, 5 Oct 2003 09:37:36 +0200, The Gecko <gecko@wanadootail.nl> wrote:
> On Sat, 4 Oct 2003 20:15:01 +0000 (UTC), Hans wrote:
>
>> Ik ken phpdig niet maar je zou eventueel kunnen kijken naar mnogosearch. De
>> laatste keer dat ik het installeerde was ik erg blij met de resultaten.
>
> Ik heb er eens naar gekeken, het ziet er interessant uit. Klopt het dat er
> naast het php-frontend en de MySQL database nog een apart indexeerprogramma
> op de webserver gezet moet worden? Ik weet nl. niet of ik dit kan op mijn
> hostaccount. Voorzover ik weet heb ik geen Telnet-toegang.

Dat moet in principe wel ja. Je kunt die echter ook remote draaien en
dan de database op die host laden. Let wel op, het indexeren kan een nogal
grote database tot gevolg hebben.

Groet,

Hans

--
http://spamikaze.nl.linux.org/

[Daniel Tryba]

The Gecko <gecko@wanadootail.nl> wrote:
>> Hoe moet een spider dat doen? Je zegt dat de webserver 'remote gehost'
>> is. Ik neem aan dat je bedoelt dat phpdig niet op die machine draaid.
>
> PhpDig draait op de machine waar ook de site staat, onder hetzelfde domein
> als hetgeen hij moet indexeren, het is alleen niet mijn computer maar die
> van een hosting provider. Vandaar dus 'remote'.

Tsja zo kan je wel alles als remote bestempelen, maar phpdig draaid dus
lokaal en kan dus in principe het locale filesystem lezen.

>> De spider kan dus alleen iets vinden als er een URL naar is... Dus weet
>> je 100% zeker dat er nergens vermedling wordt gemaakt van de 'a.html'
>> URLs?
>
> Absoluut. Als er slechts enkele gevallen waren, dan kon nog geloven dat er
> misschien hier en daar wat foutjes in de html zaten, maar het is echt
> systematisch.

Ik heb even zitten scannen door de code en ik heb geen aanleidig gezien
voor het lezen van locale files, het lezen van locale files is zelf een
feature request in het phpdig forum
(http://phpdig.toiletoine.net/messageboard/index.php?lang=en&affiche=thread&tid=1153&toid=0#message)

BTW heb je je template file op een plek staan waar de webserver erbij
kan? Als dat het geval is dan ben ik toch van mening dat de fout in de
templates zit en niet in phpdig (een url biedt natuurlijk direct
zekerheid).

--

Daniel Tryba

[TheGuru]

The Gecko <gecko@wanadootail.nl> wrote in message news:<15fbrehgvxc6b.3cdw13fnki1b$.dlg@40tude.net>...
> Voor mijn extern gehoste website ben ik op zoek naar een PHP (4.3.2)/MySQL
> (3.23.54) aangedreven site search engine. Ik heb er momenteel al enkele
> uitgetest (iSearch en PhpDig allebei gevonden bij www.hotscripts.com), maar
> ik ben er nog niet 100% tevreden over.
>
> Momenteel heb ik iSearch en PhpDig getest. iSearch is een mooi klein
> script, ook redelijk configureerbaar, maar het spideren is errug traag. Het
> spideren van mijn site (ca 1500 pagina's) kost ettelijke uren.
>
> PhpDig heeft een uitgebreidere webinterface (ook voor statistieken en logs
> etc), maar heeft ook twee nadelen: ook deze spidert behoorlijk traag, maar
> mijn belangrijkste bezwaar was dat PhpDig niet alleen de links spidert en
> indexeert, maar tegelijkertijd ook het remote filesystem leest en
> indexeert. En dat laatste wil ik pertinent niet. Als iemand weet hoe dit in
> PhpDig 'uit' te zetten, dan hou ik mij aanbevolen.
>
> Zijn er hier nog andere ervaringen met bestaande search scripts? Ik ben met
> name geinteresseerd in scripts die:
> - snel spideren uiteraard ook zoekresultaten snel en overzichtelijk weer
> kunnen geven (liefst ook met gebruikmaking van meta tags).
> - makkelijk geupdatede pagina's en nieuwe pagina's kunnen toevoegen aan de
> index zonder meteen alle andere pagina's in dat 'hoofdstuk' ook mee te
> spideren
> - liefst ook een soort van 'auto-spider' functie hebben.
>
> Alvast bedankt,

http://www.fusionbot.com

[GeertS]

On Sat, 4 Oct 2003 21:57:09 +0200, The Gecko <gecko@wanadootail.nl>
wrote:

>On Sat, 4 Oct 2003 16:03:37 +0000 (UTC), Daniel Tryba wrote:
>
>>> De engine vindt en indexeert ook
>>> de file a.htm, zonder dat er ook maar ergens op de site een html-link naar
>>> a.htm verwijst. Dit is m.i. alleen mogelijk als de engine niet alleen
>>> spidert maar ook de boomstructuur op de webserver leest, doorloopt en
>>> indexeert.
>>
>> Hoe moet een spider dat doen? Je zegt dat de webserver 'remote gehost'
>> is. Ik neem aan dat je bedoelt dat phpdig niet op die machine draaid.
>
>PhpDig draait op de machine waar ook de site staat, onder hetzelfde domein
>als hetgeen hij moet indexeren, het is alleen niet mijn computer maar die
>van een hosting provider. Vandaar dus 'remote'.
>
>> De spider kan dus alleen iets vinden als er een URL naar is... Dus weet
>> je 100% zeker dat er nergens vermedling wordt gemaakt van de 'a.html'
>> URLs?
>
>Absoluut. Als er slechts enkele gevallen waren, dan kon nog geloven dat er
>misschien hier en daar wat foutjes in de html zaten, maar het is echt
>systematisch. Hij pakt nu echt iedere file tweemaal, een keer
>rechttoe-rechtaan (a.htm, b.htm) en een keer via het spideren van de links
>(show.php?link=a, show.php?link=b). Gevolg is dat de index dus voor 50%
>'vervuild' is.

ik gebruik ook phpdig, maar heb daar toch geen problemen mee.

ik heb daarvoor ook een andere getest (dgssearch dacht ik) en die
zocht wel in de files zelf, lijkt me wel onveilig, hetgene ik nu wel
mis is dat phpdig niet rechtreeks een database kan zoeken.

gs

[The Gecko]

On Mon, 6 Oct 2003 18:20:35 +0000 (UTC), Daniel Tryba wrote:
>
> Ik heb even zitten scannen door de code en ik heb geen aanleidig gezien
> voor het lezen van locale files, het lezen van locale files is zelf een
> feature request in het phpdig forum
> (http://phpdig.toiletoine.net/messageboard/index.php?lang=en&affiche=thread&tid=1153&toid=0#message)

Ik denk dat ik de oplossing gevonden heb voor het feit dat PhpDig diverse
files die niet in de linkstructuur van een site voorkomen toch weet te
vinden en te indexeren.

Het voorval doet zich alleen voor in bepaalde (sub)directories waar de
spider voor het indexeren van enkele zich daarin bevindende files naartoe
verwezen wordt. Ik heb nu het zeerdiepdonkerbruine vermoeden dat als de
PhpDig spider gezonden wordt naar: http://www.mijnwebsite.nl/dir/file.htm
hij naast de geindexeerde file ook de volgende URL probeert te lezen en te
indexeren: http://www.mijnwebsite.nl/dir/

Als er een index-file in die dir aanwezig is, is er geen probleem. Maar als
er geen indexfile aanwezig is en de webserver bij het bezoeken van deze URL
zodanig is geconfigureerd dat deze de directory listing laat zien, dan kan
die vervolgens ook gespiderd worden.

Ik heb deze theorie nog niet waterdicht bewezen (ben ik wel mee bezig) maar
ik ben er vrijwel zeker van dat dit de oorzaak was van mijn 'probleem' met
PhpDig. Ik wilde jullie deze bevinding niet onthouden.

Voor de rest ben ik totnogtoe overigens zeer tevreden met PhpDig als
zoekmachine.

--
Hans Geerts
Please remove the geckoes tail for replies