Onderwerp: OpenKVK

Inmiddels Sphinx in MonetDB geintegreerd. Nog wat optimiser issues vanwege een 'rule of thumb' die zegt dat user defined functies duurder zijn zijn dan een join. Daar komen we wel uit. Sphinx queries kosten nu totaal 100ms om uit te voeren.

Even inhaken, verleden week is er een plaats en naamswijziging geweest van mijn bedrijf, KVK.nl laat m zien, maar openKVK nog niet. Dat is wel jammer, weet iemand wat hun refresh snelheid is?

Oorspronkelijk geplaatst door Ramon Fincken

Even inhaken, verleden week is er een plaats en naamswijziging geweest van mijn bedrijf, KVK.nl laat m zien, maar openKVK nog niet. Dat is wel jammer, weet iemand wat hun refresh snelheid is?

Dat soort data is alleen eens per kwartaal te updaten door de database volledig te updaten. Ik heb er nog wel eens aan zitten denken om een 'refresh' knop toe te voegen die bepaalde resultaten live update, maar garanties kun je daar toch niet van geven.

Overigens is een handelsnaamwijziging sowieso een leuke. Neem bijvoorbeeld JRonline, nu Oxilion, als je op postcode zoekt bij de KvK komt Oxilion niet naar voren, maar alleen de oude handelsnaam: JRonline. Dat is mijninziens gewoon een crappy KvK zoekmachine.

Is die database niet vaker geheel te updaten? In een kwartaal gebeurt er nogal wat, en dat maakt de openkvk daarmee minder betrouwbaar.

Uiteraard, een crappy KvK zoekmachine kun je verder weinig aan doen, maar het zou toch wel mooi zijn als het een soort mirror is (die dan toch wel wekelijks zou moeten worden bijgewerkt).

Een soort mirror zou uieteraard mooi zijn. Maar of er in een kwartaal zoveeel gebeurd heb ik mijn twijfels bij. In totaal wellicht wel. Maar voor de meeste inschrijvingen toch niet? Ik wijzig mijn inschrijvingen nauwelijks. En ik vermoed het merendeel niet.

Maar voor degenen die wel wijzigen zou het mooi zijn als het wel 'live'i s...

Kijk ik moet een aantal dingen respecteren. De eerste zijn gewoon een paar fundamentele scrape regels die 'toevallig' ook in de databanken wet zijn opgenomen. Ik kan niet 24x7 (kuch: tussen 8 en 12) gaan indexen, ik zal waarschijnlijk kvk.nl niet plat trekken (zoals ik helaas bij de octrooidatabase al wel binnen 30 minuten voor elkaar had gekregen), maar de actie zelf is gewoon nogal sneu.

Zoals hierboven al werd gesteld: de informatie verandert nauwelijks. Dus blijven over een gehele update op een dag waarvan je zeker weet dat niemand die database nodig heeft (mocht het toch misgaan) en het liefst de data niet veranderd. Worst case: de weekenden. Ervaring leert dat het binnen een weekend kan. Of een optie /refresh die het betreffende kvk nummer in de queue zet om te checken.

De check queue wordt gebruikt om 'nieuwe' inschrijvingen te spotten, dus als het daar tussen staat dan worden een aantal nummers in die reeks opnieuw getest op bestaan.

is een API niet mogelijk? Of iets dergelijks, waarbij de bezoeker aangeeft dat het out of sync is.

Dan restrict je dat op noem eens wat 5 KVK's per dag en als je een melding krijgt ga je checken of er wat geupdate moet gaan worden.

Maar wat als je nou elke dag een reeks aan nummers refreshed, waardoor je eens per maand alle kvk nummers bent langs gelopen. Dan kan data maximaal 1 maand oud zijn. En mocht dat alsnog teveel scheef lopen, dan kijk je of je het kunt terug brengen naar eens per twee weken een complete update door dagelijks een reeks op te halen. En dan nog eens een extra paar die aangevinkt zijn als out-of-sync en dus een actieve update vergen.

Just my 2 cents.

Als je gegevens van KvK moet opvragen voor zakelijke doeleinde is http://www.webservices.nl/ een optie.

Oorspronkelijk geplaatst door Ramon Fincken

is een API niet mogelijk? Of iets dergelijks, waarbij de bezoeker aangeeft dat het out of sync is.

Heel goed mogelijk zelfs. /kvknummer/refresh zou inderdaad een elegante oplossing zijn, wellicht zelfs iets wat realtime zou kunnen gebeuren.

Dan restrict je dat op noem eens wat 5 KVK's per dag en als je een melding krijgt ga je checken of er wat geupdate moet gaan worden.

Het mogen er ook best meer zijn dan vijf, maar je principe is duidelijk.

Oorspronkelijk geplaatst door Pinocchi

Maar wat als je nou elke dag een reeks aan nummers refreshed, waardoor je eens per maand alle kvk nummers bent langs gelopen.

Het zijn bijna 2.5miljoen nummers. Dat zou neerkomen op 81k aan requests per dag, als ik een maand refresh tijd aanhoud, of 27k als het over drie maanden gaat. Ten opzichte van zo'n 360k requests voor een 'weekend', waarbij ik voor 90% zeker de hele set heb afgelopen.

Er is zeker een voordeel aan de 2.5miljoen methode je kunt daarmee ook alle websites vinden. En markeren of een bedrijf concernrelaties heeft. Maar of het ethisch is... ik ben er nog niet uit.


Uiteraard heb ik het al een keer netter gespeeld. Gewoon gevraagd aan de KvK of ze dagelijks bijvoorbeeld na 18:00 een CSV (liever: TSV) kunnen aanleveren, die automatisch ingeladen kan worden. Het is al weer een half jaar stil.

Misschien is het jullie ook opgevallen dat de KvK een Nieuw Handels Register heeft gelanceerd op basis van 'open source'. En toch nog een nieuwe vacature heeft uitstaan op Tweakers.net voor een DB2 specialist


openkvk bestaat al bijna een jaar... en het is die organisatie nogsteeds niet gelukt om dit te fixen:

Het handelsregister is momenteel niet bereikbaar. Openingstijden handelsregister: elke dag van 8 tot 24 uur.
Soms vindt er wel onderhoud op het handelsregister plaats in de avonduren en weekends. Excuses voor het ongemak.
De rest van de site van de Kamers van Koophandel is wel 24 uur per dag bereikbaar.

.

...hulp is echt geboden.

Vindt het persoonlijk gewoon te triest voor woorden dat die database van kvk.nl er zolang uit ligt per dag. Wat ik persoonlijk denk is dat er twee personen bij de KVK in dienst zijn die in twee shifts tussen 08:00 en 16:00 en 16:00 en 24:00 de resultaten zelf handmatig opzoeken en op je scherm tonen. Het is voor de KVK financieel niet haalbaar om een 3de persoon in te schakelen om tussen 00:00 en 08:00 de resultaten te tonen.

Volgens mij neemt deze site ook geen 2e en verdere handelsnamen mee, welke je wel kunt vinden bij de KvK zelf.

De site bevat inderdaad verouderde gegevens, m'n bedrijf is als sinds 2 april jl. verhuisd en het adres van m'n oude locatie staat er nog.

Maar, ..

Tevens bevat de database meer gegevens van andere publieke bronnen, zoals informatie over de ANBI status van verenigingen en stichtingen. Dit heeft blootgelegd dat de Belastingdienst en inschrijvingen bij de Kamers van Koophandel niet worden gevalideerd met elkaar.

Dit vind ik dus wel een goed idee (betere informatievoorziening dan KvK, onderlinge matching). Wel zou dan in de output vermeld moeten worden wat de databron is, zodat er geen (te) verstrekkende conclusies worden getrokken.

Verder is het goed dat de KvK van buitenaf wat druk krijgt om hun eigen site te verbeteren. En dit lijkt mij een goed 'drukmiddel', mits goed uitgevoerd en up-to-date qua data.

Waarom haalt openKvK.nl niet gewoon overdag de "live" gegevens op van kvk.nl (dit is meteen een sync)?
En voor 's nachts kan je ook een lijst bij houden met aanvragen, welke je met een cronjob 's morgens even sync't om ze up to date te houden.

Oorspronkelijk geplaatst door Smart-Guyz

Waarom haalt openKvK.nl niet gewoon overdag de "live" gegevens op van kvk.nl (dit is meteen een sync)?
En voor 's nachts kan je ook een lijst bij houden met aanvragen, welke je met een cronjob 's morgens even sync't om ze up to date te houden.

Omdat de informatie anders is, er kan ook gegevens opgehaalt worden op basis van adres en andere informatie.