Onderwerp: Performance Postgres

Ondergenoemde server is niet in mijn beheer, maar gevoelsmatig is er een performance probleem met Postgresql die (gevoelsmatig en naar verwachting) beter zou moeten presteren. Afgezien van de Postgres config, zijn er rare dingen in onderstaande te vinden zodat eventueel het OS nog wat geoptimaliseerd moet worden?

Code:

Linux 2.4.27 #1 SMP Fri Dec 3 03:23:06 CET 2004 i686 GNU/Linux

top - 10:01:13 up 160 days, 17:49,  1 user,  load average: 1.15, 1.08, 1.02
Tasks: 191 total,   2 running, 189 sleeping,   0 stopped,   0 zombie
 Cpu0 :   0.0% user,   0.0% system,   0.0% nice, 100.0% idle
 Cpu1 : 100.0% user,   0.0% system,   0.0% nice,   0.0% idle
 Cpu2 :   0.0% user,  17.4% system,   0.0% nice,  82.6% idle
 Cpu3 :   0.0% user,   0.0% system,   0.0% nice, 100.0% idle
Mem:   4009972k total,  3888784k used,   121188k free,       44k buffers
Swap:  1951888k total,    55460k used,  1896428k free,  3423764k cached


top - 10:09:09 up 160 days, 17:57,  1 user,  load average: 0.60, 1.76, 1.46
Tasks: 192 total,   1 running, 191 sleeping,   0 stopped,   0 zombie
 Cpu0 :   3.7% user,   0.5% system,   0.0% nice,  95.8% idle
 Cpu1 :  11.0% user,   0.3% system,   0.0% nice,  88.7% idle
 Cpu2 :  19.5% user,   0.8% system,   0.0% nice,  79.7% idle
 Cpu3 :  12.6% user,   0.4% system,   0.0% nice,  87.0% idle
Mem:   4009972k total,  3887272k used,   122700k free,       36k buffers
Swap:  1951888k total,    55832k used,  1896056k free,  3437104k cached


~# free -m
             total       used       free     shared    buffers     cached
Mem:          3915       3797        118          0          0       3343
-/+ buffers/cache:        453       3462
Swap:         1906         54       1851

Zijn de buffers niet wat aan de lage kant inverhouding tot het geheugen gebruik?

Misschien een kernel upgrade doen? Postgresql upgrade? Eigen geoptimaliseerde build ipv kant en klante binaries.. Indien mogelijk postgre profilen zodat je kan zien waar ie het langst mee bezig is..

Een machine onder mijn beheer (Dual Xeon met 1GB RAM):

Code:

Linux 2.6.9-skas3-v7 #4 SMP Wed Jan 12 10:11:55 CET 2005
Intel(R) Xeon(TM) CPU 2.40GHz GNU/Linux

top - 10:30:49 up 98 days, 23:33,  1 user,  load average: 0.00, 0.00, 0.00
Tasks:  74 total,   1 running,  73 sleeping,   0 stopped,   0 zombie
Cpu(s):  0.0% us,  0.0% sy,  0.0% ni, 100.0% id,  0.0% wa,  0.0% hi,  0.0% si
Mem:    905408k total,   899416k used,     5992k free,   166104k buffers
Swap:  1959920k total,        0k used,  1959920k free,   538512k cached

trudy root # free -m
             total       used       free     shared    buffers     cached
Mem:           884        878          5          0        162        525
-/+ buffers/cache:        190        694
Swap:         1913          0       1913

Deze machine serveert een paar kleine websites en draait naast apache een kleine MySQL db en Qmail.
Zoals je kunt zien is hier 162MB aan buffers gevuld. Op mijn desktop machine bezetten de buffers ook meer dan 50MB. Het is dus op zich wel apart dat bij jou de buffers leeg zijn, zeker bij zo'n uptime. Ik weet alleen niet of dit zoveel uitmaakt. Je cache is nml wel goed gevuld.

Is er een speciale reden dat je een 2.4 kernel gebruikt? De 2.6 kernel zou een stuk beter met memory moeten omgaan en is overall gewoon sneller. Waarschijnlijk is daarmee wel winst te behalen, zeker als de load op de machine toeneemt.

Edit:
Het forum heeft wat moeite met uname output

Origineel geplaatst door froggie

Is er een speciale reden dat je een 2.4 kernel gebruikt?

De machine is niet in mijn beheer, ik heb de keuze dan ook niet gemaakt.

Origineel geplaatst door froggie
De 2.6 kernel zou een stuk beter met memory moeten omgaan en is overall gewoon sneller. Waarschijnlijk is daarmee wel winst te behalen, zeker als de load op de machine toeneemt.

Zou jij een referentie kunnen geven of kunnen aangeven waar ik meer info over die specifieke snelheids verbetering kan vinden? (dat een hogere kernel versie beter/sneller is geloof ik wel, maar of de snelheidswinst opweegt tegen de betrouwbaarheid is wel iets waar ik even naar wil kijken aangezien het hier om een belangrijke productieserver betreft.)

edit:
Overigens is mij ook niet helemaal duidelijk naar welke buffer/cache wordt gerefereert door 'free' en hoe belangrijk deze buffer zou kunnen zijn. Misschien dat iemand hier iets over kan zeggen?

(schopje?)

vaplu, draait de database al lang? Het is bij PostgreSQL een zeer goed idee om eens in de paar weken een VACUUM FULL en ANALYZE te doen op alle tabellen. Als je dit nooit doet komen je tabelbestanden gaandeweg vol te staan met oude rommel en worden de indexes suboptimaal.

Vacuum je database eens en kijk of dat helpt. Zo ja, probeer dan eens een 'vacuumdb -f -z' op je database in een cronscript te zetten.

Note: de tabellen worden gelockt tijdens een VACUUM FULL, maar dit levert wel de beste resultaten op. Doe het alleen op rustige tijden van de dag!

Voor een kort 2.4 vs 2.6 benchmark: http://www.2cpu.com/articles/98_1.html

Of PostgreSQL ook zulke performance verbeteringen laat zien durf ik niet te zeggen, maar dat is natuurlijk eenvoudig te testen met tools als pgbench.

Over de betrouwbaarheid. Alle grote distributies hebben 2.6 opgenomen in de stable branch. Ik denk dat je dus wel aan mag nemen dat 2.6 stabiel genoeg is om op productie machines te draaien. Ik draai 2.6 hier op m'n desktop vanaf de test releases en op productiemachines vanaf 2.6.8 en ik heb nog geen stabiliteits problemen of andere noemenswaardige narigheid gehad.

Of dit genoeg is om je te overtuigen moet je natuurlijk zelf beslissen