DirectAdmin gebruikers : hoe maak jij jouw backup?

[IT-worX]

Eigenlijk zegt de titel reeds alles : da-gebruikers aller landen, hoe maak jij jouw backup?

Reden waarom ik het vraag : hier is onlangs een backup grondig fout gelopen, uiteraard net op het moment dat je deze nodig hebt. Daardoor zou ik graag werken met elke dag een incredimental en elke week een full backup.

De setup hier:
- Eén server die met XenServer is verdeelt in een aantal vps'jes, waarvan ééntje met DA
- Eén server (voip) die nog genoeg hdd ruimte heeft om de backups op te zetten (zelfde locatie)
- Eén server op andere locatie, bedoeld om de backups te bevatten.

De server met DA op en de VoIP server staan hier gewoon thuis en zijn dmv een gigabit switch verbonden met elkaar (beiden hebben een gigabit poort). De server in het datacenter is ook verbonden met gigabit, maar hier is uiteraard de upload van mijn lijntje thuis de spelbreker (10mbit up, 16mbit down).

Hoe zouden jullie een backup maken met deze opstelling?

[CT0]

Als je het thuis hebt draaien dan zullen het niet heel veel klanten zijn en dus ook niet heel veel data, en dan zou ik het bij de native directadmin backups houden. Die gewoon dagelijks offsite laten FTP-en.

Niet het meest efficient, maar wel betrouwbaar.

[IT-worX]

Klanten kan je het niet echt noemen, zijn meer vrienden en verenigingen waarbij ik betrokken ben. Gaat alles samen toch wel over een pakje GB's dat een backup krijgen. Hele fotoalbums etc. Dus je zit snel aan rond de 50GB.

[vDong]

Ik maak filebased backups (met een backuppakket) naar een ander DC. Tevens maak ik dagelijks mysql backups van de losse databases, deze worden als files ook weer gebackupped. Met deze methode is de data 7 dagen per file/directory (of compleet) te restoren en databases zelf 2x7 dagen.
Ik zou ten alle tijden offsite backups maken.

[IT-worX]

vDong : dat is ook wat ik zou wensen, maar ik vrees dat mijn uploadcapaciteit dan te kort zou schieten. Vorige keer was ik meer dan 24u (ik gok alles samen 36u) bezig met één backup, continue aan 10mbit. Vandaar dat ik wekelijks de backup zou sturen naar een externe backupserver en dit voor de rest "binnenshuis" houden. De wekelijkse backup kan ik limiten aan bvb 5mbit zodat ik nog wat capaciteit over heb voor websites, mail etc.

Ik begrijp dat jullie liever offsite backups wensen, gezien jullie professionele activiteiten.

[systemdeveloper]

Als je de bakken thuis hebt staan dan koop 1-2 externe disks en backup gewoon lokaal (met een retentie van x dagen).
Vervolgens rsync je de boel vanaf de externe disk naar het dc. Zal alleen de eerste keer lang duren, maar daarna worden alleen de wijzigingen overgepompt.

[IT-worX]

systemdeveloper : Dit is inderdaad wat ik zat te denken (ipv externe disk wel naar de hdd van mijn voip bak, daar er daar meer dan plek genoeg nog op is). Waarbij dan de bijkomende vraag komt : hoe kan je zorgen dat de backups een retentie hebben van pakweg een week? Hoe kan je DA dus op die manier een backup laten maken? Je kan uiteraard een backup maken via DA tools zelf maar is deze manier aan te raden?

Het idee is dus telkens het volgende in te stellen bij de system backup:
Step 1 = who = All Users
Step 2 = When = Day of Week x
Step 3 = Where = ftp'en naar mijn voip server
Step 4 = What = All data

Daar deze backup dus 7 keer aanmaken : telkens step 2 veranderen naar de dag (maandag/dinsdag/...) en step 3 aanpassen naar het correcte path op de server (/home/backup/maandag, /home/backup/dinsdag/...).

En dan via rsync de map /home/backup/zondag telkens laten rsyncen met de backupserver in het datacenter?

Zoiets?

[Keizer]

Jep, ik voorzie ook elke server van 7 cronjobs, of 10 (6x wekelijks en 4x maandelijks).

[IT-worX]

Keizer : bedankt voor jouw bijdrage. De lokale backup kan ik dus alvast instellen, en dan eens kijken naar die rsync.
Andere tips zijn altijd welkom!

[SF-Jeroen]

Je kan hier gewoon een compleet goed werkend script downloaden wat met incremental (= alleen wijzigingen t.o.v. eerdere backup) backups en rsync werkt: http://www.cloudvps.nl/blog/nieuwe-v...-backup-script

[Arieh]

Je kunt de DA backups ook rsyncable maken, heb hier een tijdje terug op DA forums over gehad: http://www.directadmin.com/forum/showthread.php?t=43420

Er staat in de opening post een script die met rsync werkt en de backup elke dag verplaatst naar een dag hoger, en rsync gebruikt dan de vorige dag als bron.

Om de .tar.gz backups rsyncable te maken:

1) Edit:
/etc/cron.d/directadmin_cron

2) Make the dataskq call look like:
Code:

* * * * * root GZIP="--rsyncable" /usr/local/directadmin/dataskq

and restart crond.

Ik heb er destijds vanaf gezien omdat het sneller is met 100Mbit full te pompen, maar gezien je maar 10 hebt zou dit een oplossing kunnen zijn.

Andere opties:
- Maak DA backup zonder domain directory, rsync de domain dir apart
- Maak gewone DA backup, maar plaats grote mappen (fotos bijv) naar een dir die geexclude worden bij DA backups: http://help.directadmin.com/item.php?id=281, en rsync die dir weer apart

[systemdeveloper]

In princips hoef je geen da backups te maken. Is ook een beetje 'ingewikkelder' in combinatie met rsync omdat je namelijk alleen de wijzigingen wilt versturen en niet telkens een hele da backup van een gebruiker.
Je kunt de gzip's van DA overigens wel resyncable maken, maar dat spaart je niks aan resources tijdens het maken van de backup, alleen wat traffic. Zonder de da backup gaat het het snelste
Daarnaast kun je ook nog 1 keer een snapshot van je vpssen maken en die even bij de hand houden lokaal (exporteren naar een ander bakkie dus). Dat spaart je veel setupwerk als een vps eens onherstelbaar raakt.

Edit: Arieh was me net voor

[IT-worX]

Dit script kende ik niet (enkel dabackup.com). Zijn er nog mensen die dit gebruiken? Is het wat up-to-date?

[Tim.Bracquez]

Maak dagelijks een backup met directadmin van de config files en dan met rsync of bacula een incremental backup.

Dan kan je
- bare metal restore
- restore per user
- restore per file

[t.bloo]

Die directadmin backups zijn erg handig om te hebben voor als je eens wat snel compleet terug moet zetten. Al veel gebruikt op verzoek van klanten. Ze vragen alleen nogal wat resources en daarom maak ik ze maar eens per week.

Ik doe het zelf zo:
- iedere dag een mysql dump naar ...backups/mysql
- iedere week een directadmin dump naar ...backups/directadmin
- iedere nacht een rsync van de hele server naar een backupserver
- iedere nacht een rotation script op basis van hardlinks
- paar keer per week een rsync van de backup naar een tweede locatie

Hiermee heb je iedere dag een goede backup van alle files, emails en databases. Met de rotation worden heel ruimte-effiicent backups van 6 dagen, 3 weken en meerdere maanden bewaard. Echt een aanrader. Je hebt iedere week wel even wat dataverkeer voor je dabackups, maar rsync kun je heel fijn bandwidth limiten.

Het is effe te veel werk om het helemaal hier neer te zetten, daarom hier alleen de belangrijkste componenten. Complete scripts gratis bij een backup account

de basis rsync code

rsync \
--archive --compress --inplace \
--delete --delete-excluded \
--bwlimit=$(($KBIT / 8)) \
--max-size=$MAXSIZE"M" \
/ $USER@$SERVER:last \
--filter="merge filterfile" \
--stats --human-readable --progress

een sample filterfile, voeg toe wat regelmatig verandert maar zinloos is om te backuppen

- /tmp
- /dev
- /proc
- /sys
- /srv
- /mnt
- /opt
- /bin
- /sbin
- /lost+found
- /selinux
- /cdrom
- /media
- /home/tmp
- /var/cache
- aquota.user
- aquota.group
- *nobackup/

de basis van het hardlink script

DATE=`date "+%Y-%m-%d"`
LAST=`ls $DESTDIR/ -1 --ignore=last|tail -1`
ionice -c3 cp -al $DESTDIR/$LAST $DESTDIR/$DATE
rm -f $DESTDIR/last; ln -s $DATE $DESTDIR/last

rotation

DATE=`date "+%Y-%m-%d"`
today=`date +%s --date=$DATE`
day=$((24 * 60 * 60))
for dir in `ls $DESTDIR/ --ignore=last`; do
	date=`date +%s --date=$dir`
	if [ $? = 1 ]; then continue; fi
	keep=0
	# skip if older than some months
	if [ $date -gt $(($today - $MONTHS*31*$day)) ]; then
		# keep if first day of month
		if [ `date +%d --date=$dir` -eq 1 ]; then
			keep=1
		else
			# skip if older than some weeks
			if [ $date -gt $(($today - $WEEKS*7*$day)) ]; then
				# keep if sunday
				if [ `date +%u --date=$dir` -eq 7 ]; then
					keep=1
				else
					# keep if younger than some days
					if [ $date -gt $(($today - $DAYS*$day)) ]; then
						keep=1
					fi
				fi
			fi
		fi
	fi
	# remove folders not to keep
	if [ $keep -eq 0 ]; then
		chmod -R +rwx $DESTDIR/$dir
		ionice -c3 rm $DESTDIR/$dir -rf
		sleep 1
	fi
done