Onderwerp: Shell - Backups automatisch laten verwijderen?

Beste webhostingtalkers,

Ik heb een backupserver waar ik backups naartoe upload vanaf meerdere servers. De indeling is als volgt:

Code:

[root@backup01 root]# df
Filesystem           1K-blocks      Used Available Use% Mounted on
/dev/md0              10080428   1436272   8132092  16% /
none                    239804         0    239804   0% /dev/shm
/dev/md1             369799688 215101000 135913896  62% /storage
[root@backup01 root]#

Code:

[root@backup01 storage]# ls -al
total 36
drwxr-xr-x    6 root     root         4096 Oct 26 06:00 .
drwxr-xr-x   20 root     root         4096 Dec  2 01:18 ..
drwx------    2 root     root        16384 Aug 27 00:01 lost+found
drwxr-xr-x   11 server01 server01     4096 Jan 26 06:10 server01
drwxr-xr-x   20 server02 server02     4096 Jan 26 03:28 server02
drwxr-xr-x   20 server03 server03     4096 Jan 26 05:50 server03
[root@backup01 storage]#

Code:

[root@backup01 server01]# ls
01-19-06  01-20-06  01-21-06  01-22-06  01-23-06  01-24-06  01-25-06  01-26-06 
[root@backup01 server01]#

Het punt is alleen... de harde schijf loopt in zo'n 12 dagen al vol !!

Daarom wil ik graag via een cronjob de backups laten verwijderen die:
-> niet op de 1e, 8e, 15e of 22e dag van de maand zijn gemaakt
-> niet van de laatste 3 dagen zijn

Code:

01-19-06  01-20-06  01-21-06  01-22-06  01-23-06  01-24-06  01-25-06  01-26-06

Zou dus vannacht vervangen moeten worden door:

Code:

 01-22-06  01-25-06  01-26-06 01-27-06

Om dus schijfruimte te besparen... hoe doen jullie dit? Doen jullie dit allemaal via cronjobs?

Hoe beheren jullie je backups?
En welke backups verwijderen jullie en welke bewaren jullie?
Is het verstandig en nodig voor een webhoster met 4 shared-servers met 200 domeinen per server een backup-server aan te schaffen met bijvoorbeeld 2TB backupruimte?

Ik maak backups op basis van de dag. Dus dag 0 t/m 6. Oude backups worden dan automatisch overschreven.

Bij storingen wil ik alleen de meest recente backup hebben. Oudere backups van enkele dagen oud heb ik voor het geval er iets mis is gegaan met de meest recente.
Verder moeten klanten zelf zorgen dat ze een backup hebben.

Verder test ik regelmatig of de backups ook werkend zijn.

Mijn backupsoftware gaat zelf ervoor zorgen dat er op tijd opgeruimd wordt. Als je nog niet werkt met incrementele backups (of niet weet wat dit is), raad ik je zeker aan dit eens te bekijken.

Wij gebruiken rdiff-backup. Deze maakt incrementele backups, maar slaat ook tot een X aantal dagen (kan je zelf bepalen) terug op. Incrementeel.

Dus als je 3 versies van een bestand hebt over een periode van 1 week, dan staat er:
-De volledige versie zoals aan het begin van de week.
-De eerste wijziging (naar versie 2) van een paar bytes (bij een php bestand bijv).
-De twee wijziging (naar versie 3), ook van een paar bytes.

Kortom:
- Snel.
- Minder belastend voor versturende en ontvangende server (enkel wijzigingen die verstuurd moeten worden, immers).
- Veiliger dan FTP oid (gaat via SSH).
- Goedkoper indien je buiten het netwerk backupt (minder data).
- Makkelijker in onderhoud: je kan heel simpel restoren, tot op de seconde nauwkeurig van waneer je het terug wilt hebben.

rdiff-backup site.

Ik denk overigens niet dat het precies kan doen wat jij wilt, aangezien jij schijnbaar fullbackups wilt laten staan (elke week 1). Maar aangezien rdiff-backup zelf continue een fullbackup bijhoud, lijkt me dat een mooie oplossing...

Daarnaast backen wij niet up voor de klant, maar voor eventuele calamiteiten. Fullbackups zijn dan naar ons idee niet nodig.

Jochem

Code:

#!/bin/sh
# Backup script created by Mike from Mijn-Sleutel.net 2004
# Any questions mail to backup@mijn-sleutel.nl
#
#
# Description:
# This one moves the backup from the ftp dir to prevent deleting
# if someone get the login / pass. It also check how old the
# backups are, if they are to old, then they got deleted.
#
# Define settings
DATE=`/bin/date +%m-%e-%y`
backupdirfiles=/home/s001/backups # NO TRAILING SLASH!!!

prunetime=15 # SET DAYS HOW LONG BACKUP STAYS BEFORE GOT DELETED

echo -e "\033[32;1m [1] \033[0m"Removing backup files older than $prunetime days...
find $backupdirfiles/*  -mtime +$prunetime -exec rm {} -r \;

Nice! Dies wel handig.

Hier zocht ik al langer naar, thx!

Origineel geplaatst door rayden
Hier zocht ik al langer naar, thx!

gewoon vragen dan, ik werk met heel veel shell scripts, wat ik niet heb maak ik gewoon.

Ik heb de backups gewoon zo gedaan.

Code:

0 2 */3 * * COMMAND

(Om de 3 dagen een backup maken)

En het script van Mike gebruikt. Werkt perfect zo! Wel jammer dat ik van de laatste 3 dagen geen volledige backup heb dan, maar ach. 3 dagen terug kan ook wel. Heb maar 350gb backupspace, moet toch keuzes maken.

Code:

[root@backup01 root]# scripts/backup-processor
 [1] Removing backup files older than 35 days...
find: /storage/server01/02-02-06: No such file or directory
find: /storage/server01/03-10-06: No such file or directory
find: /storage/server01/12-08-05: No such file or directory
find: /storage/server02/01-10-06: No such file or directory
find: /storage/server02/01-11-06: No such file or directory
find: /storage/server02/01-12-06: No such file or directory
find: /storage/server02/01-13-06: No such file or directory
find: /storage/server02/01-14-06: No such file or directory
find: /storage/server02/01-16-06: No such file or directory
find: /storage/server02/01-17-06: No such file or directory
find: /storage/server02/01-18-06: No such file or directory
find: /storage/server02/01-19-06: No such file or directory
find: /storage/server02/03-28-06: No such file or directory
find: /storage/server02/03-29-06: No such file or directory
find: /storage/server02/03-30-06: No such file or directory
find: /storage/server02/03-31-06: No such file or directory
find: /storage/server02/04-01-06: No such file or directory
find: /storage/server02/04-02-06: No such file or directory
find: /storage/server02/01-30-06: No such file or directory
find: /storage/server02/12-08-05: No such file or directory
find: /storage/server02/11-17-05: No such file or directory
find: /storage/server02/02-01-06: No such file or directory
find: /storage/server02/02-02-06: No such file or directory
find: /storage/server02/03-10-06: No such file or directory
find: /storage/server03/01-10-06: No such file or directory
find: /storage/server03/01-11-06: No such file or directory
find: /storage/server03/01-12-06: No such file or directory
find: /storage/server03/01-13-06: No such file or directory
find: /storage/server03/01-14-06: No such file or directory
find: /storage/server03/01-15-06: No such file or directory
find: /storage/server03/03-10-06: No such file or directory
find: /storage/server03/01-17-06: No such file or directory
find: /storage/server03/03-28-06: No such file or directory
find: /storage/server03/01-19-06: No such file or directory
find: /storage/server03/03-29-06: No such file or directory
find: /storage/server03/03-30-06: No such file or directory
find: /storage/server03/03-31-06: No such file or directory
find: /storage/server03/04-01-06: No such file or directory
find: /storage/server03/04-02-06: No such file or directory
find: /storage/server03/11-17-05: No such file or directory
find: /storage/server03/01-30-06: No such file or directory
find: /storage/server03/02-01-06: No such file or directory
find: /storage/server03/02-02-06: No such file or directory
find: /storage/server04/03-28-06: No such file or directory
find: /storage/server04/03-29-06: No such file or directory
find: /storage/server04/03-30-06: No such file or directory
find: /storage/server04/01-30-06: No such file or directory
find: /storage/server04/03-31-06: No such file or directory
find: /storage/server04/02-01-06: No such file or directory
find: /storage/server04/02-02-06: No such file or directory
find: /storage/server04/03-10-06: No such file or directory
find: /storage/server04/04-01-06: No such file or directory
find: /storage/server04/04-02-06: No such file or directory
[root@backup01 root]#

Werkt perfect Lijkt wel alsof er iets mis gaat, maar blijkt dus zo te horen.

Hij verwijderd alleen files en geen dir, ik gok dat:
find $backupdirfiles/* -mtime +$prunetime -exec rm {} -rf \;

het probleem zou moeten verhelpen

Oorspronkelijk geplaatst door Mikey

Hij verwijderd alleen files en geen dir, ik gok dat:
find $backupdirfiles/* -mtime +$prunetime -exec rm {} -rf \;

het probleem zou moeten verhelpen

Je geeft -r op, dus dan gooit hij ook dirs weg?

ik heb het niet meer geprobeerd maar volgens mij moet hij nu de dirs ook weggooien....

Hij verwijderde eerst ook al de directories. En je suggereert regel 1 te vervangen door de 2e:

Code:

find $backupdirfiles/* -mtime +$prunetime -exec rm {} -rf \;
find $backupdirfiles/*  -mtime +$prunetime -exec rm {} -r \;

Beide regels zijn hetzelfde, slechts enkele spaties meer bij de 2e.

Maar bij het resultaat met die find-errors functioneert het script perfect. Hij verwijdert de directories wel, maar zegt daarna dat ze niet bestaan. Maar maakt ook niet uit, het script werkt en ik ben er blij mee.

Thanks

Oorspronkelijk geplaatst door londoneye

Beide regels zijn hetzelfde, slechts enkele spaties meer bij de 2e.

spatie != f