Onderwerp: snelheid sql

Beste,

Voor mijn afstuderen ben ik momenteel bezig met een onderzoek om een bepaalde machine efficienter te maken. Deze machine controleert producten op 4 punten, welke allen op een ander tijdstip binnen komen. Via een bussysteem komt dan een rapport cijfer per punt uit rollen. Aan de hand van deze rapport cijfers kan je ook iets zeggen over de machine.

Nu zit ik met het volgende. Ik moet een c++ programma ontwikkelen welke die cijfers bewaard en verwerkt. De cijfers komen binnen in een tijdframe van 13ms. Hierna komt dus het volgende cijfer.

Ik zat te denken om (my)SQL te gaan gebruiken. Denken jullie dat dit snel genoeg is? Ik zou in mijn c++ prog. dan een schuif register kunnen maken welke de 4 cijfers opwacht en als deze allen 4 (van hetzelfde product) aanwezig zijn een insert in de sql db te doen.

Zou dit kunnen werken of hebben jullie nog andere suggestie's?

Tuurlijk kan dat werken, de vraag is of het de meest efficiente methode is. In principe hoeft je C++ niet meer te doen dan data in de database stoppen. Vervolgens maak je een trigger die controleert of alle data is ingevuld en laat die de insert afhandelen.

Per 13 ms komt er dus 1 insert in de db? misschien moet je de data even bufferen in je programma en dan een enkele insert doen van meerdere rijen. Nog sneller gaat natuurlijk zelf de data uitschrijven zijn (in een eigen bestandje, wat je later kan inlezen en verwerken).

Het hangt allemaal af van wat je later met de getallen moet doen, en wat je machine is waarop het loopt.

Per 13 ms komt er een rapportcijfer binnen in de applicatie. Deze zal ik dan moeten bufferen, want ik wil de 4 cijfers in 1 keer (efficientie redenen) toevoegen in de database. Maar zoals ik al gelezen heb, misschien kan ik dan wel meer rijen tegelijk invoegen.

In een bestand kan ook, maar een tweede applicatie moet aan de hand van deze gegevens een advies gaan geven. Hiervoor denk ik dat een database beter geschikt is om deze historische data te loggen.

Betreft de machine. Die moet nog bepaald worden maar het moet niet al te 'exotisch' worden. Het liefst zo standaard mogelijk.

betreft de trigger: Ik weet dat een bepaald rapport cijfer als laatste binnenkomt, (staat achteraan de lopende band) dit kan dan mijn trigger worden...

Als het tijdkritisch is zou ik het in eerste instantie naar schijf of geheugen bufferen.
Vanuit een andere thread of op het moment dat je de gegevens wilt gebruiken kan je deze alsnog naar database schrijven.


Indien je MySQL wilt gebruiken, let dan wel op de licentievoorwaarden.
Kort samengevat moet je of je C++ programma open source maken, of je hebt een commerciele licentie nodig.
Alternatieven waarbij je dat probleem niet hebt zijn PostgreSQL en SQlite.

@maxynet: Dank je voor de reminder betreft open source.

Voorlopig gaan we het doen met een groot schuifregister en dus helaas geen database (waar ik een voorstander van was.)
Allen bedankt voor het meedenken...

Anders kun je wellicht nog wel baat hebben bij een andere mysql storage engine (wellicht memory based en periodiek naar db sturen). Of delayed inserts aanzetten zodat mysql de boel een beetje beter en sneller kan bufferen. Maar 100 inserts per seconde zou niet echt een probleem moeten zijn voor een gem. servertje.