Onderwerp: DirectAdmin rsync script

Voor een klant zijn wij op zoek naar een setje scripts om van de normale DA backups naar backups via mysqldump/rsync over te stappen. Redenen zijn te hoge load tijdens de backups, teveel data iedere nacht etc.

Nu is er op internet wel een script te vinden met ingebouwd roulatie schema's en backups via rsync maar dit script kwam uit 2004 en er is in die tijd ongetwijfeld verbeterd.

Zijn er hier mensen die ook gebruik maken van backuppen van DirectAdmin servers via rsync? Wat zijn jullie ervaringen mbt backups en restores en is iemand bereid om zijn scripts met ons te delen?

Ik kan de scripts zelf ook schrijven maar dan moet ik het wiel opnieuw uitvinden, vandaar de vraag. Ik ga sowieso kijken of de scripts verbeterd kunnen worden dus de verbeteringen delen is een optie. Verder mag je altijd aangeven waar je nog naar op zoek bent, wie weet kan ik erbij helpen.

Alvast bedankt!
(mag overigens ook per MSN/PM)

Dat script waar je op doelt ken ik, zoiets was ik ook naar op zoek maar er is inderdaad veel verbeterd. Helaas kan ik je er niet mee helpen, programmeren is niet iets waar ik in uitblink

Maar volg dit draadje dus met interesse.

Oorspronkelijk geplaatst door Spyder01

Dat script waar je op doelt ken ik, zoiets was ik ook naar op zoek maar er is inderdaad veel verbeterd. Helaas kan ik je er niet mee helpen, programmeren is niet iets waar ik in uitblink

Maar volg dit draadje dus met interesse.

Het is ook zeker niet de bedoeling dat iemand dit voor ons gaat schrijven hoor. Als niemand zo een script heeft dan ga ik het maken, maar mocht iemand het wel al hebben dan hoop ik dat diegene hem wil delen

Waar staat het oude script?

Ik ben ook opzoek naar zoiets.
Misschien kan ik hem verbeteren.

Oorspronkelijk geplaatst door Spyder01

Dat script waar je op doelt ken ik, zoiets was ik ook naar op zoek maar er is inderdaad veel verbeterd. Helaas kan ik je er niet mee helpen, programmeren is niet iets waar ik in uitblink

Maar volg dit draadje dus met interesse.

Programmeren? Het is wat BASH en rsync aanroepen, dat valt niet echt onder programmeren.

Maar wat is hier zo 'lastig' aan? Je laat DA lokaal zijn backups maken en met rsync transfer je vervolgens de backups naar je backup server toe.

Code:

rsync -avr /home/admin/admin_backups/* user@backupserver:/path/to/store

Zorg dat je public/private keys op orde zijn en je bent klaar

Overigens is het beter om te pollen vanaf de backupserver dan te pushen vanaf je productie-server, dit ivm veiligheid.

Oorspronkelijk geplaatst door Wido

Programmeren? Het is wat BASH en rsync aanroepen, dat valt niet echt onder programmeren.

Maar wat is hier zo 'lastig' aan? Je laat DA lokaal zijn backups maken en met rsync transfer je vervolgens de backups naar je backup server toe.

Anders lees je even.. In de eerste zin staat dat TS wil backuppen zonder de DirectAdmin Backup tool

Oorspronkelijk geplaatst door Wido

Programmeren? Het is wat BASH en rsync aanroepen, dat valt niet echt onder programmeren.

Maar wat is hier zo 'lastig' aan? Je laat DA lokaal zijn backups maken en met rsync transfer je vervolgens de backups naar je backup server toe.

Code:

rsync -avr /home/admin/admin_backups/* user@backupserver:/path/to/store

Zorg dat je public/private keys op orde zijn en je bent klaar

Overigens is het beter om te pollen vanaf de backupserver dan te pushen vanaf je productie-server, dit ivm veiligheid.

Het oude script staat hier: [ame="http://www.directadmin.com/forum/showthread.php?t=6161"]Incremental Backup using Rsync - DirectAdmin Forums[/ame]


Wido: het knelpunt zit erin dat het inpakken van ieder account teveel load met zich mee brengt en het hele backup proces op sommige servers 12+ uur duurt en dus ook overdag nog bezig is. En dat is niet best voor de performance. Ook gaat het iedere dag om >2XX GB per server, dus wel prettig als dit met een incrementele backup kan ipv iedere nacht >2XX GB te moeten overpompen.

Het transfer deel is het probleem niet (gbit intern netwerk, voldoende storage performance). Het maken van de backups via de DA tool wel.

Zo, laat ik dan als eerste mee beginnen :-)
Ooit voor een kennis van mij, volgende gemaakt:

- op de DA server backup maken van:
- alle home dirs (apart tarretje per gebruiker);
- alle databases (elke database als aparte tar);
- sftp-en naar de FTP server van de klant;
- wordt maar 1 dag bewaard (want klant haalt elke nacht backup tar's naar zijn prive backup server, dus er is maar 1 dag effectief backup);
- oude backup wordt verwijderd van DA server (om ruimte te besparen);
- mail verzenden met de resultaat van de backup.

Script is zeer simpel aan te passen om meerdere dagen backups te bewaren;
Er staat ook wat comentaar in de script, die de werking aangeeft.

Vereiste applicaties (te vinden op grofweg alle Linux installaties):
- mysqldump;
- mysql;
- gzip;
- ncftp (of een andere FTP client, maar dan dient ook script aangepast te worden);
- crontab job (doh!);

Script is bijgevoegd, mocht er vragen zijn - dan hoor ik het wel.
Pas alleen gebruikers namen / wachtwoorden naar jullie eigen...
Oh ja, pas de extensie van .txt naar .sh (mag geen .sh uploaden).

Let op! Ik geef geen enkele garantie voor de correcte werking van de script en het is eigen risico om deze te installeren / gebruiken. Er zitten geen licenties of wat dan ook erop, dus doe lekker ermee wat je wilt :-)

edit: ik zie dat er voor incremental updates wordt gevraagd
Dan heb je aan mijn script niks aan :-) Deze doet namelijk volledige backup.
Wellicht kan je script simpel aanpassen en een dag backup altijd laten op de DA server zelf en dan middels tar opties alleen gewijzigde bestanden weer inpakken en FTP-en...? Sorry dat ik het niet grondig gelezen heb

Mvg,
Smilie

Dit is inderdaad een goed punt en iets waar ik zelf ook al aan zat te denken. Ik was hier nog niet verder mee gegaan, maar als ik kijk naar de backups van DA zelf om vanuit het niets een restore per gebruiker te kunnen doen dan zijn de bestaande scripts niet goed als ik even snel kijk.

Ik had zelf al de volgende punten vastgesteld:
* Restore mogelijk van slechts één gebruiker of allemaal.
* DA settings onthouden (wat in de da dir staat)
* Kijken welke gebruikers onder die gebruiker valt (bijvb reseller) en die gegevens allemaal herstellen (optie)
* roundcube etc vind ik een mindere prioriteit voor backup
* rsync naar externe server die het eventueel kan tarren of gewoon per dag in een aparte map zat afhankelijk van de retentie
* Via CLI de backups restoren
* Mogelijk in een later stadium het restoren in DA integreren (optie)

Iemand die wellicht een aanvulling heeft?

Smilie,

Misschien een tip toz van je backup script. Laat de backups direct pipen naar je backup server, hiermee hoef je geen rekening te houden met de backups en benodigde schijfruimte op de betreffende server

Mikey,

Ik weet het, echter mijn kennis wilde dit zodanig per se hebben. Volgens hem (en daar heeft ie enigszins gelijk in), blijft dan meest recente backup op de DA server. Dus, mocht het binnen die 24 uur nodig zijn om een (of meerdere) users te restoren, hoef je backup niet (via netwerk) terug te zetten. En backup van 1 dag is niet zo groot (het gaat meer erom dat je niet 3 weken waarde backups op DA server zelf bewaard).

Maar nogmaals, je hebt gelijk in - zo zou ik het zelf ook gedaan hebben :-)

Mvg,
Smilie

Oorspronkelijk geplaatst door DutchTSE

Het oude script staat hier: Incremental Backup using Rsync - DirectAdmin Forums


Wido: het knelpunt zit erin dat het inpakken van ieder account teveel load met zich mee brengt en het hele backup proces op sommige servers 12+ uur duurt en dus ook overdag nog bezig is. En dat is niet best voor de performance. Ook gaat het iedere dag om >2XX GB per server, dus wel prettig als dit met een incrementele backup kan ipv iedere nacht >2XX GB te moeten overpompen.

Het transfer deel is het probleem niet (gbit intern netwerk, voldoende storage performance). Het maken van de backups via de DA tool wel.

Ja, dat is met DA een groot probleem.

De backup zelf maken is niet zo héél erg lastig, je zal het volgende moeten backuppen:

* /etc
* /home
* /var/spool
* /usr/local/directadmin

Alleen zal een full-restore érg lastig worden, dan moet je wel goed weten wat je aan het doen bent met DA, daarom zijn de DA backups lastiger, maar vergen idd meer rekenkracht.

Zijn de servers niet virtueel? Is daar niet iets te doen met snapshots?

Oorspronkelijk geplaatst door Wido

Alleen zal een full-restore érg lastig worden, dan moet je wel goed weten wat je aan het doen bent met DA, daarom zijn de DA backups lastiger, maar vergen idd meer rekenkracht.

Maar wat als je (dan ga ik inderdaad al wat verder) een backup systeem maakt die alle files overzet, maar kan uitlezen wat allemaal bij een bepaalde gebruiker hoort? Het is veel werk (ik zit het nu te bekijken) maar het is niet onmogelijk. Dan heb je een efficient backup systeem, kan je een retentie opbouwen en het is makkelijker om te restoren (aangezien je niet een VM backup moet openen om daar de juiste bestanden uit te plukken).

Wij maken zelf gebruik van een simpel in elkaar geknutseld bash script die gebruikt maakt van de PULL methode via RDIFF. Rdiff kun je configureren dat het bepaalde tijd retentie houd (kan zelfs oneindig) en je kunt de bestanden ook lekker los weer herstellen naar een gewenste tijd/datum.

We hebben een file waarin staat wat wel/niet gebackupped moet worden en kunnen met deze methode een complete server inclusief alle instellingen van bijvoorbeeld DA, heel snel herstellen. Zelf met userrechten en eigenaren.

Pm me maar als je dit scriptje wilt.

Misschien een goed idee om dat scriptje online te zetten. Klinkt erg goed namelijk