bami82
15/12/09, 11:36
Beste WHTérs,
Ik loop met de implementatie van een nieuwe applicatie tegen wat performance issues aan met MySQL.
In deze applicatie wordt load data infile gebruikt om een Comma Seperated file in te lezen. Dit is een soort van batch job die dagelijks zal gaan draaien.
Ik heb een voorbeeld CSV file van 48mb (650k records), duurt ongeveer een uur om in te lezen, dat is opzich geen probleem, het probleem is dat tijdens dat inlezen mijn disken gewoon 100% busy zijn en alle andere write queries die tussendoor worden uitgevoerd ontzettend traag zijn (response tijden van +-20 sec.)
Is er een manier om dit op te lossen zodat die response tijden van de overige queries gewoon snel blijven? Ik ben bang dat zelfs als ik extra disken toevoeg, de execute time van het laden van de csv file korter wordt echter de IO nog steeds naar 100% zal gaan en daardoor de response tijd nog steeds te lang zal zijn voor de overige write queries.
Wat Info:
MySQL 5.0.37 (64 bits)
Hardware: Sun Fire V240
OS: Solaris 10
Filesystem: UFS
Disks: 2 x 73GB 10k SCSI
Alvast bedankt.
Ik loop met de implementatie van een nieuwe applicatie tegen wat performance issues aan met MySQL.
In deze applicatie wordt load data infile gebruikt om een Comma Seperated file in te lezen. Dit is een soort van batch job die dagelijks zal gaan draaien.
Ik heb een voorbeeld CSV file van 48mb (650k records), duurt ongeveer een uur om in te lezen, dat is opzich geen probleem, het probleem is dat tijdens dat inlezen mijn disken gewoon 100% busy zijn en alle andere write queries die tussendoor worden uitgevoerd ontzettend traag zijn (response tijden van +-20 sec.)
Is er een manier om dit op te lossen zodat die response tijden van de overige queries gewoon snel blijven? Ik ben bang dat zelfs als ik extra disken toevoeg, de execute time van het laden van de csv file korter wordt echter de IO nog steeds naar 100% zal gaan en daardoor de response tijd nog steeds te lang zal zijn voor de overige write queries.
Wat Info:
MySQL 5.0.37 (64 bits)
Hardware: Sun Fire V240
OS: Solaris 10
Filesystem: UFS
Disks: 2 x 73GB 10k SCSI
Alvast bedankt.