Data vergelijk applicatie

[Yourwebhoster]

Ik ben op zoek naar een programma die data uit CSV bestanden kan vergelijken met een database (kan MySQL zijn maar ook een ander database type). Het kan zijn dat bepaalde kolommen uit een CSV bestand omgevormd moet worden (bijv een telefoonnummer staat als '085 273 48 10' en in de database staat het als '0852734810'.

Vervolgens moet ik de resultaten op kunnen slaan samen met een reden waarom het niet in de database voor kwam en moet ik een rapportage kunnen uitdraaien van verschillende vergelijkingen bij elkaar over een bepaalde periode. Heeft iemand een idee of zoiets bestaat en hoe dit heet?

[bibawa]

Lijkt mij nogal vrij specifiek. Ik denk dat je met zelf iets te maken minder tijd gaat kwijt zijn.

[Yourwebhoster]

Lijkt mij nogal vrij specifiek. Ik denk dat je met zelf iets te maken minder tijd gaat kwijt zijn.

Is het ook maar de vraag is of het al bestaat (iets met het wiel opnieuw uitvinden ).

[bibawa]

:-) De tijd die je nu aan het verliezen bent had je het al bijna af gehad ;-)

[Yourwebhoster]

:-) De tijd die je nu aan het verliezen bent had je het al bijna af gehad ;-)

In een uur tijd heb je niet eens het FO af voor zo'n tool... Ik weet niet hoe jij te werk gaat maar dat terzijde. Het huidige ontwerp is vrij complex te noemen en heeft de nodige programmeer tijd nodig. Flexibiliteit bij een vergelijkingsapplicatie is namelijk vereist en de vergelijking moet periodiek gedaan worden. Zelf programmeren is een optie maar als al iets op de markt is dat hetzelfde kan dan is het waarschijnlijk slimmer om die te gebruiken.

Misschien zoek ik met de verkeerde termen maar ik kan mij eigenlijk niet voorstellen dat zoiets nog niet bestaat omdat genoeg bedrijven vergelijkingen doen met data.

[wila]

Je kan zoiets zelf schrijven als het simpel is, als het ietswat meer ingewikkeld wordt, dan is dit inkopen nogal wat slimmer.
Waar je naar zoekt in dit geval is een ETL (Extraction Transformation Load) tool.
Er zijn er tientallen (waarschijnlijk zelfs honderden) maar slechts een beperkt aantal is echt de moeite waard.

Waar ik in het verleden erg van onder de indruk was, is het product DataSlave van Baycastle. Heb een tijdje met wat mensen van hun staan te babbelen tijdens een conferentie een aantal jaar geleden en moet zeggen dat het slim in elkaar zit.
Volgens mij kan het wat je zoekt, zo te zien hebben ze een gratis demo versie.

[systemdeveloper]

Een FO is snel gemaakt, het TO is hetgene waar de tijd in gaat zitten. Een csv inlezen in een db en wat veldjes omvormen klinkt redelijk eenvoudig, maar het kunnen vergelijken kan weken werk zijn.
Wij hebben vaak genoeg productvergelijkers gemaakt waarbij data van xx verschillende soorten exports komt. En laat ik nu zeggen dat er geen 2 feeds zijn waarin een productnaam hetzelfde geschreven is

Dus de benodigde ontwikkeltijd ligt echt aan de content van de feeds.

[Randy]

Ik heb Office 2013 geinstalleerd op een test terminal server, een van de tools die me daarbij opviel was een vergelijkings tool tussen twee excel tabellen. Wellicht kan deze meer aan, bijvoorbeeld CSV (diff, sed, grep, awk en cut geen optie?).

[Yourwebhoster]

Waar ik in het verleden erg van onder de indruk was, is het product DataSlave van Baycastle. Heb een tijdje met wat mensen van hun staan te babbelen tijdens een conferentie een aantal jaar geleden en moet zeggen dat het slim in elkaar zit.
Volgens mij kan het wat je zoekt, zo te zien hebben ze een gratis demo versie.

Bedankt voor je input, ik ga hier naar kijken.

Een FO is snel gemaakt, het TO is hetgene waar de tijd in gaat zitten. Een csv inlezen in een db en wat veldjes omvormen klinkt redelijk eenvoudig, maar het kunnen vergelijken kan weken werk zijn.

Gezien de complexiteit van het project (het is wat groter dan wat ik hier beschrijf) is een FO zeker niet snel gedaan in dit geval. Er zitten nog meer zaken aan vast in de huidige FO maar primair is het belangrijk dat de vergelijking gemaakt kan worden.

Wij hebben vaak genoeg productvergelijkers gemaakt waarbij data van xx verschillende soorten exports komt. En laat ik nu zeggen dat er geen 2 feeds zijn waarin een productnaam hetzelfde geschreven is

Dus de benodigde ontwikkeltijd ligt echt aan de content van de feeds.

Het gaat in dit geval niet om product feeds maar vergelijking van data in het algemeen. Hierbij kan vanuit gegaan worden dat identifiers aanwezig zijn die overal hetzelfde zijn (een stuk werkbaarder dan een productnaam).

Ik heb Office 2013 geinstalleerd op een test terminal server, een van de tools die me daarbij opviel was een vergelijkings tool tussen twee excel tabellen. Wellicht kan deze meer aan, bijvoorbeeld CSV (diff, sed, grep, awk en cut geen optie?).

Ik heb de 2013 versie niet getest maar het probleem is dat snel fouten worden gemaakt bij het geschikt maken van de data voor een vergelijking. Een voorbeeld is een Excel document met 100.000 regels waarbij elke regel een aantal formules heeft (om data werkbaar te maken en voor de vergelijking). Daarnaast heb je dan nog een paar bladen met zoveel duizenden regels waar het mee vergeleken moet worden. Fouten in formules worden snel gemaakt en je moet iedere keer lang wachten totdat Excel klaar is. En met lang bedoel ik niet enkele minuten maar langer.

[Smart-Guyz]

In een uur tijd heb je niet eens het FO af voor zo'n tool... Ik weet niet hoe jij te werk gaat maar dat terzijde. Het huidige ontwerp is vrij complex te noemen en heeft de nodige programmeer tijd nodig. Flexibiliteit bij een vergelijkingsapplicatie is namelijk vereist en de vergelijking moet periodiek gedaan worden. Zelf programmeren is een optie maar als al iets op de markt is dat hetzelfde kan dan is het waarschijnlijk slimmer om die te gebruiken.

Misschien zoek ik met de verkeerde termen maar ik kan mij eigenlijk niet voorstellen dat zoiets nog niet bestaat omdat genoeg bedrijven vergelijkingen doen met data.

Wellicht is "Levenshtein distance" is voor je om de vergelijkingen te doen, je kan dan zelf uiteraard je distance bepalen voor een vergelijking.

[Yourwebhoster]

Wellicht is "Levenshtein distance" is voor je om de vergelijkingen te doen, je kan dan zelf uiteraard je distance bepalen voor een vergelijking.

Ik kende die nog niet maar in principe is het vergelijken het probleem niet. Het is alleen het omvormen van de opmaak van wat data. Maar het gaat om wat we daarna met die data kunnen. Ik wacht nog even af of andere whters wellicht iets kennen die dit kan maar ik denk niet dat het bestaat en dat beter gekozen kan worden om het zelf te maken.

Bedankt voor de input so far heren