Onderwerp: backuppen grote database

Beste Wht'ers,

Ik heb een vraag mbt het backuppen van een Postgresql database.

Onze database server draait met een raid 10 opstelling. Echter heb je dan wel backup mocht een schijf falen, maar mocht er een menselijke fout gemaakt worden dan zijn we de database kwijt.

Tot nu toe wordt er dagelijks een export gemaakt naar een externe server. Alleen verwacht ik dat er betere manieren zijn.

Het gaat hier om een vrij zwaar belaste database van ongeveer 15 a 20 GB.

Nu is mijn vraag, hoe je zo'n database het best kan backuppen? Kun je het best gewoon de data map rsyncen of kan dat fout gaan aangezien terwijl hij aan het backuppen is de files nog gewoon wijzigen?

Waarom ik zelf twijfel is aan een export is omdat de file zo groot wordt, en ik gevoelsmatig het idee krijg dat zoiets over een tijd mocht het nodig zijn geheid fout gaat met importeren.

Wie heeft hier ervaring mee?

Alvast bedankt

Hoe doe je de 'export' (zoals je het noemt) nu dan?

Oorspronkelijk geplaatst door Piwi-Web

Hoe doe je de 'export' (zoals je het noemt) nu dan?

Dit wordt op dit moment gewoon via een een cronjob gedaan die een shell script aanroept. Dus gewoon via de terminal

Je kunt een slave db server inrichten en elke nacht een mysqldump maken van de slave.
Als je de slave ook nog op een vps gooit en de mogelijkheid hebt om ook nog elk uur een snapshot te laten roteren, ben je nog beter af.

Oorspronkelijk geplaatst door systemdeveloper

Je kunt een slave db server inrichten en elke nacht een mysqldump maken van de slave.
Als je de slave ook nog op een vps gooit en de mogelijkheid hebt om ook nog elk uur een snapshot te laten roteren, ben je nog beter af.

Voor de rest; het gaat om postgresql en geen mysql.

(Ik weet dat je bij postgresql ook een slave kan opzetten zoals jij aangeeft. Dat is misschien nog niet eens een verkeerd idee inderdaad.

Nog meer alternatieven?

pg_dump werkt prima, kijk eventueel is naar de split optie die hierin zit: http://www.postgresql.org/docs/8.1/s...KUP-DUMP-LARGE

Oorspronkelijk geplaatst door baseh

(Ik weet dat je bij postgresql ook een slave kan opzetten zoals jij aangeeft. Dat is misschien nog niet eens een verkeerd idee inderdaad.

Niet echt, dat wil zeggen, niet zonder het gebruik van een third party plugin/software. Men is wel bezig met Hot Standby wat in versie 9 moet gaan komen. (http://wiki.postgresql.org/wiki/Hot_Standby)

Oorspronkelijk geplaatst door bami82

pg_dump werkt prima, kijk eventueel is naar de split optie die hierin zit: http://www.postgresql.org/docs/8.1/s...KUP-DUMP-LARGE



Niet echt, dat wil zeggen, niet zonder het gebruik van een third party plugin/software. Men is wel bezig met Hot Standby wat in versie 9 moet gaan komen. (http://wiki.postgresql.org/wiki/Hot_Standby)

Dat het via third party plugin/software moest, was me inderdaad bekend. Zoals ik jouw begrijp is dit dus af te raden?

Split functie ga ik eens bekijken.

Afhankelijk van de versie die je gebruikt zou je ook naar warm standby kunnen kijken. Hot Standby zou ik nog niet in productie adviseren.

Is het misschien een optie om de database op een LVM partitie te zetten.

Je kunt een snapshot maken en deze dan via een normaal programma backuppen. Hier heb je niet dat data veranderd op het moment dat de database gebackupt wordt.

zorg dan wel dat je eerst de database naar disk flusht, een database engine heeft vaak nogal wat actief in het geheugen

Oorspronkelijk geplaatst door baseh

Voor de rest; het gaat om postgresql en geen mysql.

(Ik weet dat je bij postgresql ook een slave kan opzetten zoals jij aangeeft. Dat is misschien nog niet eens een verkeerd idee inderdaad.

Nog meer alternatieven?

Ik had inderdaad wat snel 'mysql' getikt... routine denk ik

Het is trouwens ook handig om even goed te kijken wat je doel van de backup is. Wil je snel, goed of goedkoop restoren en wat wil je restoren: alle db's, het filesystem, 1 tabel of 1 record. Hoe lang mag het duren etc.

Een 20+ GB textdump van een db kan in bepaalde gevallen wel eens uren duren om opnieuw in te lezen (ligt beetje aan de content). In dat geval wil je wellicht toch eerst (snel) een binaire kopie terugzetten of eventueel een snapshot en even kijken 'wat het geeft'. Als je 1 record kwijt bent, wil je dat weer liever even uit een tekstfile greppen.

Soms is een combinatie van backups helemaal geen slecht idee.

mysqlhotcopy kan je hiervoor ook gebruiken, gaat ook sneller dan een gewone dump.
http://dev.mysql.com/doc/refman/5.0/...qlhotcopy.html

Oorspronkelijk geplaatst door Fred_2004

mysqlhotcopy kan je hiervoor ook gebruiken, gaat ook sneller dan een gewone dump.
http://dev.mysql.com/doc/refman/5.0/...qlhotcopy.html

*kuch* postgresql

Bedankt voor alle reacties tot dusver. Heb even naar de grootte van de database gekeken, en dit is al 40Gb .

Ik ga voor mezelf op een rijtje zetten op welke manieren ik allemaal wil kunnen importeren, dit zal ik dan ook nog laten weten.

Verder ga ik wat gegeven oplossingen hier eens proberen.