Onderwerp: OpenKVK

Je denkt dat Sphinx niet goed werkt? Probeer het eens, en je zal van verbazing van je stoel vallen

Oorspronkelijk geplaatst door Skinkie

Sphinx zelf niet, maar binnen het CWI zijn er een aantal mensen bezig met een andere vorm van string indexeren. De traagheid komt inprincipe door de ILIKE met op twee kanten een %. Die wordt intern omgezet in een reguliere expressie. De truck die ik momenteel toepas met de length functie zou theoretisch ook in de database zelf geïmplementeerd kunnen worden als alternatief voor \0 terminatie, met als bijkomend voordeel de mogelijkheid om alles wat een constante + variabele als zoek string bevat te kunnen filteren.

Persoonlijk denk ik dat een Sphinx niet overduidelijk beter gaat werken op namen. Je zou natuurlijk wel iets kunnen doen waarbij je een alfabet compressie toepast op bedrijfsvormen, maar zelfs dan moet je voor een steekwoord door alle data heen. Ik verwacht veel meer van iets meer geheugen in de betreffende VM. De data waar doorheen gegaan moet worden is totaal maar iets van 200MB. Daar doorheen zeven is peanuts. Ik denk dan ook dat momenteel eerder het materialiseren van tussenresultaten de bottleneck is dan de daadwerkelijke lookup (~1400ms).

LIKE en %?
Heeft MonetDB geen full text search?

Ik denk dat je Sphinx enorm onderschat, ik heb het al op verschillende website en plaatsen geïmplementeerd en het is echt in alle gevallen en enorme verbeteringen van snelheid maar ook mogelijkheden.
Maar als de data maar 200MB is en het is zo langzaam moet je toch maar eens van MonetDB afstappen.

En gooi dat AJAX eruit, het voegt niks toe en het is alleen meer beperkend van de werking.
AJAX moet je enkel gebruiken als het daadwerkelijk nut toevoegt of iets verbeterd, niet als het enkel beperkt.

Oorspronkelijk geplaatst door Triloxigen

LIKE en %?
Heeft MonetDB geen full text search?

Alleen in MonetDB/XML, wat er zit nog niets 'out of the box' MonetDB/SQL dat IR faciliteert.

Ik denk dat je Sphinx enorm onderschat, ik heb het al op verschillende website en plaatsen geïmplementeerd en het is echt in alle gevallen en enorme verbeteringen van snelheid maar ook mogelijkheden.
Maar als de data maar 200MB is en het is zo langzaam moet je toch maar eens van MonetDB afstappen.

Van Monet afstappen gaat sowieso niet gebeuren. Daarbij heeft Sphinx zelf ook een SQL database nodig. Ik zal zo eens kijken of ik Sphinx op MonetDB aan de gang kan krijgen.

Overigens uit het bovenstaande blijkt maar weer dat de onzin machine weer op volle toeren draait in deze thread.

PostgreSQL

Code:

select * from kvk where bedrijfsnaam = 'Vereniging van Werknemers van de Nederlandsche Bank N.V.';
Time: 1100.082 ms

select * from kvk where bedrijfsnaam ilike '%Vereniging van Werknemers van de Nederlandsche Bank N.V.%';
Time: 7574.642 ms

MonetDB5/SQL

Code:

select * from kvk where bedrijfsnaam = 'Vereniging van Werknemers van de Nederlandsche Bank N.V.';
Timer      59.599 msec 2 rows

select * from kvk where bedrijfsnaam ilike '%Vereniging van Werknemers van de Nederlandsche Bank N.V.%';
Timer    1557.145 msec 2 rows

Beide cold performance, hot performance in MonetDB is 2ms. Het zou uiteraard mooi zijn als Sphinx full text search er standaard ~150ms van maakt. Kunnen we uitproberen natuurlijk

En gooi dat AJAX eruit, het voegt niks toe en het is alleen meer beperkend van de werking.
AJAX moet je enkel gebruiken als het daadwerkelijk nut toevoegt of iets verbeterd, niet als het enkel beperkt.

Jouw mening niet de mening van de persoon die het heeft ontworpen, en ik zelf vind ik het ook prettiger dat de updates direct worden getoond, zonder refresh.

No offence, maar je moet die oogkleppen van je eens gaan afzetten.
Out of the box denken lijkt er totaal niet bij te zitten, zelfs feedback van andere neem je aan als onwaar.

Oorspronkelijk geplaatst door Triloxigen

No offence, maar je moet die oogkleppen van je eens gaan afzetten.
Out of the box denken lijkt er totaal niet bij te zitten, zelfs feedback van andere neem je aan als onwaar.

Ach als zelfs benchmarks niet voldoen

Oorspronkelijk geplaatst door Skinkie

Ach als zelfs benchmarks niet voldoen

Dat zijn momentopnames.
Als iemand zegt dat het traag gaat, moet je mssn gaan nadenken dat er wel toch iets mis is ipv enkel te kijken naar je persoonlijke ervaring op dat moment.

Oorspronkelijk geplaatst door Triloxigen

Dat zijn momentopnames.
Als iemand zegt dat het traag gaat, moet je mssn gaan nadenken dat er wel toch iets mis is ipv enkel te kijken naar je persoonlijke ervaring op dat moment.

Je denk dat 'een andere database' opeens 6x sneller wordt op dezelfde queries?

Zoals ik al aangaf, het systeem waar op het draait is niet dedicated... en draait al flink op swap.

Net even Sphinx geinstalleerd en de PostgreSQL data laten indexeren. Dat gaat heel rap Dat wordt dus even coden zodat ik MonetDB kan uitlezen.

Code:

Sphinx 0.9.9-rc2 (r1785)
Copyright (c) 2001-2009, Andrew Aksyonoff

using config file '/etc/sphinx/sphinx.conf'...
index 'test1': query 'Vereniging van Werknemers van de Nederlandsche Bank N.V. ': returned 1 matches of 1 total in 0.024 sec

displaying matches:
1. document=40532241, weight=5

words:
1. 'vereniging': 45560 documents, 45599 hits
2. 'van': 190716 documents, 200387 hits
3. 'werknemers': 120 documents, 121 hits
4. 'de': 140314 documents, 142975 hits
5. 'nederlandsche': 197 documents, 197 hits
6. 'bank': 1415 documents, 1417 hits
7. 'n': 24407 documents, 24697 hits
8. 'v': 782316 documents, 787994 hits

Helemaal mooi, Sphinx doet ODBC. Nu nog even iets fabrieken dat ik de resultaten door Sphinx heen kan laten gaan en dan de boel wel opvissen uit de database. 't wordt al weer een killer app...

Oorspronkelijk geplaatst door Skinkie

en ik test niets met IE. Dus daar zal het vast aan liggen.

geen goede zaak wanneer je een website aan het bouwen bent, ie7 zelfde probleem

Oorspronkelijk geplaatst door marsipulami

geen goede zaak wanneer je een website aan het bouwen bent, ie7 zelfde probleem

Ik wacht met spanning op de eerste IE7/8 binary voor Linux. Maar hier zitten genoeg mensen die vast wel even kunnen debuggen wat er mis gaat, het is maar Javascript.

Zucht. Heerlijk dat niveau deze dagen.

Topci opgeschoond. Volgende die meent offtopic te moeten gaan, kan een stapel punten bijschrijven. Voor hen die dat niet boeit: daarvoor hebben we een afkoelingsperiode uitgevonden.

Sphinx zit er inmiddels ook in. Standaard lookup met Sphinx maakt een lijstje met kvknummers die vervolgens wordt gequeried. Logootje er ook bij.

als ik op ISPI zoek, zie ik nu nog maar 4 resultaten (waaronder een nieuwe inschrijving, eens kijken in welke branche die zit. Voor veel doekoe, mag die best mijn ispi.nl domein kopen ) en is hij zeer snel. Goed dat je wat met de aanbeveling van de mensen hier gedaan hebt Skinkie

Een andere handelsnaam "AKL Media" komt nog niet naar boven. Hoe kan dit zo?

De snelheid is nu wel top, en daarmee neemt de usuability met 1000% toe.

@Ron, wil je dit topic even verplaatsen naar een ander deel. Denk dat we buiten de WHT-feedback verder kunnen theekransen.

Oorspronkelijk geplaatst door Randy

en is hij zeer snel. Goed dat je wat met de aanbeveling van de mensen hier gedaan hebt Skinkie

Kostte weer een uurtje C en een uurtje javascript (wie heeft die taal ook uit gevonden) debugging. Maar goed resultaat mag er weer zijn, ik zie mogelijk wel wat problemen, maar tweakbaar.

Een andere handelsnaam "AKL Media" komt nog niet naar boven. Hoe kan dit zo?

Als een handelsnaam (per definitie) niet in de adressen lijst voorkomt, staat het er niet in.

De snelheid is nu wel top, en daarmee neemt de usuability met 1000% toe.

Moet dan wel op gaan passen dat mensen er gebruik van gaan maken