PDA

Bekijk Volledige Versie : hot backup trekken van xen images



blieb
19/01/08, 22:50
Hoi,

Is er een mogelijkheid van xen 3.1.0 om een backup te trekken van de harddisks van de virtuele machines zonder dat deze uitmoeten?

ik heb momenteel een installatie met lvm, maar volgens mij kan je daar alleen gedeeltelijke backups van maken, en niet van de hele harddisk.

Heb server als in raid 1 staan, maar voor de zekerheid wil ik ook regelmatig backups maken van die disk-images van de vpsjes naar een andere server.

heb wel geprobeerd om gewoon de disk.img te kopieeren, maar is dit veilig? :)
bij een niet veel gebruikte server gaf dit namelijk niet echt problemen.

KDISS
19/01/08, 23:10
LVM snapshots kanje meen ik wel maken op een running system, moet je op de nieuwe disk alleen een nieuwe VG aanmaken.

blieb
19/01/08, 23:27
LVM snapshots kanje meen ik wel maken op een running system, moet je op de nieuwe disk alleen een nieuwe VG aanmaken.

hmm maar is server dan voor 100% te backuppen? lijkt me dat openfiles een probleem geeft?

KDISS
19/01/08, 23:43
volgens mij was dat juist de kracht van lvm snapshots, maar dat zou je even moeten nazoeken...

gjtje
20/01/08, 00:07
Yup, een snapshot heeft daar geen last van.

blieb
20/01/08, 00:47
Yup, een snapshot heeft daar geen last van.

ok wat is de perfecte manier om een volledige snapshot te maken dan? ik zie alleen gedeeltes eigenlijk of ik zoek niet goed :P

Randy
20/01/08, 10:56
We gebruiken zelf ook LVM op alle VM-hosts. Backupscriptjes draaien geheel automatisch. Je kunt ook prima snapshots maken. Wido (PC-Extreme) heeft voor een 2/3 weken terug nog wat voorbeelden gepost hier. Even zoeken dus...

blieb
22/01/08, 14:14
Ok ikheb het gevonden :)
http://www.webhostingtalk.nl/technische-vragen-van-beginners/128218-2-nieuwe-servers-virtualisatie-redundacy.html#post916853


mklvmsnapshot.sh

#!/bin/sh

VG="xen-domains"

FILE="snapshot-volumes.txt"
SNAP=`cat ${FILE}|grep -v \#`

for row in `echo $SNAP`; do

VOL=`echo ${row}|cut -d ':' -f 1`
SIZE=`echo ${row}|cut -d ':' -f 2`

lvremove -f /dev/${VG}/${VOL}-snap
lvcreate -s -L${SIZE}G -n ${VOL}-snap /dev/${VG}/${VOL}

done

snapshot-volumes.txt

# volume naam : grootte (GB)
v1-root:5
support-root:25
intranet-root:10
xm-001-root:5
xm-002-root:5
xm-003-root:5
mailcluster-mysql-root:10


Zal dat maar even gaan proberen :)

Glenn
22/01/08, 14:44
Topic kaping: is er ook iets dergelijks simpels voor vmware server?

wonko
22/01/08, 15:15
lvm werkt onafhankelijk van Xen, als je VMWare dus overweg kan met LVM devices, is dat perfect mogelijk

Glenn
22/01/08, 15:22
Ok thanks. Vooropgesteld: ik ben niet de Windows man binnen ons bedrijf, maar zo als ik het nu zie moet elke VM op een aparte partitie staan wil je deze los van andere VM's kunnen restoren?

Wido
22/01/08, 18:13
Ok thanks. Vooropgesteld: ik ben niet de Windows man binnen ons bedrijf, maar zo als ik het nu zie moet elke VM op een aparte partitie staan wil je deze los van andere VM's kunnen restoren?Ja, je moet elke VM op een aparte LV draaien.

Van een LV kan je weer een snapshot maken die je daarna met dd en netcat naar bijvoorbeeld een ander server kan overgooien.

Glenn
22/01/08, 18:18
Dank dank dank voor de info!

EDIT: Ik bedoelde in het vorige bericht dat ik wel de Windows man maar niet de Linux man ben ;)

gjtje
22/01/08, 18:46
Als je op de LVM volume images zet i.p.v. fysical disk te gebruiken dan kan je natuurlijk per VM de image terug zetten. Alleen is de performance dan wat minder.

blieb
23/01/08, 01:56
Hmm ik zit te denken, is er misschien ook een mogelijkheid om er een .img file van te maken of moet ik dan gewoon met "dd" gewoon de device van de snapshot naar de img kopieeren?

Wido
23/01/08, 10:14
Hmm ik zit te denken, is er misschien ook een mogelijkheid om er een .img file van te maken of moet ik dan gewoon met "dd" gewoon de device van de snapshot naar de img kopieeren?Ja, alleen gaat dd dan wel erg grote images maken, wanneer je LV 20GB is, krijg je een .img van 20GB..

blieb
23/01/08, 14:23
Ja, alleen gaat dd dan wel erg grote images maken, wanneer je LV 20GB is, krijg je een .img van 20GB..

ow dus kan beter tarren met de inhoud van die snapshot? maar kan je dan ook terug zetten met de zelfde permissies?

gjtje
23/01/08, 16:52
tar --h ;)

NCS Marco
23/01/08, 17:03
JE kan ook gewoon je Xen licentie upgraden naar 4.0, dan is je probleem meteen verholpen. die heeft nl wel de backup mogelijkheid, en binnenkort 4.1..dan zit je helemaal goed...en waar te halen? Disney natuurlijk

Headout edit: en dat is 3 keer. Bij deze je eerste waarschuwingspunten.

Wido
23/01/08, 17:08
JE kan ook gewoon je Xen licentie upgraden naar 4.0, dan is je probleem meteen verholpen. die heeft nl wel de backup mogelijkheid, en binnenkort 4.1..dan zit je helemaal goed...en waar te halen? Disney natuurlijkWow, wil hier iemand geld verdienen?

Niet helemaal de bedoeling hé :) Het kan met XenSource ook prima, helemaal geen licenties voor nodig.

mxcreep
23/01/08, 22:10
JE kan ook gewoon je Xen licentie upgraden naar 4.0, dan is je probleem meteen verholpen. die heeft nl wel de backup mogelijkheid, en binnenkort 4.1..dan zit je helemaal goed...en waar te halen? Disney natuurlijk

Headout edit: en dat is 3 keer. Bij deze je eerste waarschuwingspunten.

Je kletst...met XenEnterprise 4.0 kun je helemaal geen hot backups / snapshots maken van je vm's...en met 4.1 kan dat ook nog steeds niet. Pas in een volgende versie komt de symantec storage management software in XenEnterprise....tot die tijd is het ook daar gewoon klooien met eigen gemaakte scripts die zelfs complexer zijn als die voor Xen open source aangezien je alle meta data in het formaat van Xensource ook ff mee moet backuppen en in het juiste formaat gieten.

Oftewel ga eerst eens een paar weken spelen met XenEnterprise in een interessantere omgeving dan de cursus omgeving voor je je verkoop onzin hier uitkraamt...

Als je toch commercieel wilt doen dan ben je beter af met VMWare / VirtualIron op dit moment...

beenske
24/01/08, 00:55
mensen... let op met snapshots... snapshots zijn een super idee
maar je moet een paar zaken niet over het hoofd zien.
Denk aan files die in het memory zitten van je OS en die nog niet naar de disk geschreven zijn...
denk aan write caches enz...
Daarom kan je het beste de volgende procedure gebruiken:
sync (force je OS om alle files op disk te schrijven, LET OP: op high production boxes kan dit een tijdje duren),
xfs_freeze als je XFS gebruikt op je XEN partities (File system freeze), LVM snapshot nemen,
xfs_freeze -u (unfreeze), lvm snapshot mounten en backupje trekken van de snapshot.
Dit is een veel veiligere procedure en je hebt veel minder kans dat je backups waardeloos zijn.

Met vriendelijke groeten,

Steven Bens
Zaakvoerder Unix-Solutions BVBA

Wido
24/01/08, 10:26
mensen... let op met snapshots... snapshots zijn een super idee
maar je moet een paar zaken niet over het hoofd zien.
Denk aan files die in het memory zitten van je OS en die nog niet naar de disk geschreven zijn...
denk aan write caches enz...
Daarom kan je het beste de volgende procedure gebruiken:
sync (force je OS om alle files op disk te schrijven, LET OP: op high production boxes kan dit een tijdje duren),
xfs_freeze als je XFS gebruikt op je XEN partities (File system freeze), LVM snapshot nemen,
xfs_freeze -u (unfreeze), lvm snapshot mounten en backupje trekken van de snapshot.
Dit is een veel veiligere procedure en je hebt veel minder kans dat je backups waardeloos zijn.

Met vriendelijke groeten,

Steven Bens
Zaakvoerder Unix-Solutions BVBAHele goede tip! Ik moet standaard alles sync, dus had er niet bij stil gestaan.

Maar zeker iets om aan te denken!

blieb
25/01/08, 12:33
Hmm maar hoe sync ik. dan? neem aan dat ik de vm niet van buitenaf dat commando kan geven. Teminste neem aan dat dit moet gebeuren op de os van de vm.

Wido
25/01/08, 12:56
Hmm maar hoe sync ik. dan? neem aan dat ik de vm niet van buitenaf dat commando kan geven. Teminste neem aan dat dit moet gebeuren op de os van de vm.Als het Linux is, als root: sync

NAME
sync - flush filesystem buffers

ju5t
25/01/08, 13:27
Misschien een stomme vraag, maar op Windows heb je zover ik weet geen LVM.
Hoe kun je dan alsnog hot backups maken van een VMWare Server?

blieb
25/01/08, 15:50
Als het Linux is, als root: sync

NAME
sync - flush filesystem buffers

Jamaar ik bedoel dit moet op de vm zelf gebeuren?

beenske
26/01/08, 15:21
Jamaar ik bedoel dit moet op de vm zelf gebeuren?
nee op uw host OS

blieb
26/01/08, 21:11
nee op uw host OS

Ow ok valt wel weer mee, alleen heeft de client os geen files in geheugen staan dan?

jpenninkhof
15/03/08, 11:03
Misschien een stomme vraag, maar op Windows heb je zover ik weet geen LVM.

Je windows-images kunnen in plaats van een in file ook op een LVM staan hoor. Maar je hebt dan hetzelfde probleems als waarover eerder is geschreven. Je moet Windows (en applicaties) zo gek krijgen om zijn caches weg te schrijven naar disk, voordat je een wat betrouwbare backup kan maken.

Ik vind het toch erg riskant om een hot backup op deze manier te maken. Ik denk dat ik voor m'n backup strategie toch maar ga kijken of ik niet vanuit het OS kan backuppen.

Savvas
16/03/08, 18:25
Ik vind het hele LVM Snapshot idee erg interessant echter was ik zelf direct aan het syncen geslagen. Weten de guru's onder ons of hier nog nadelen aan vast zitten? Het draait bij mij nu met rsnapshot een backup van de Xen directory.

blieb
24/03/08, 00:55
hmm ben nu met scriptje bezig die de tar bestandjes moet gaan maken. bash scriptje. Maar ehm hoe zorg ik dat het script wacht tot lvm klaar is met het maken van snapshot? eerder kan hij niet tarren :P

blieb
05/04/09, 03:54
Heb nu elke nacht om 2:00 scriptje draaien dat hij omstebeurt alle vpssen snapshot en tar.gz en vervolgens scpt naar andere server

echter wil het nog wel eens gebeuren dat verschillende servers onderuit gaan bij het maken van die backups.

Ik heb nu 2 servers draaien waar dit script op draait. tot mijn verbazing gingen die beide tegelijk down.

Op het scherm staan dan ext3 error's enzo. dus ik neem aan dat de server het niet meer trekt? Iemand misschien tips hoe ik dit tegen kan gaan?

IK houd het wel ff bij, eerste zondag van de maand. doet de server dan iets raars? :P

nieuwhier
21/05/09, 23:05
Vraagje; Een rsync maken van een linux lvm(ext3) no problemo.... Werkt hier al heel lang erg stabiel, ook bij server crash zo in de lucht met een dergelijke backup.

Maar wat doen jullie met een windows lvm(ntfs), daar kun je wel een snapshot van maken maar geen rsync op loslaten. Any tips ?

mikeh
22/05/09, 00:09
Heb nu elke nacht om 2:00 scriptje draaien dat hij omstebeurt alle vpssen snapshot en tar.gz en vervolgens scpt naar andere server

echter wil het nog wel eens gebeuren dat verschillende servers onderuit gaan bij het maken van die backups.

Ik heb nu 2 servers draaien waar dit script op draait. tot mijn verbazing gingen die beide tegelijk down.

Op het scherm staan dan ext3 error's enzo. dus ik neem aan dat de server het niet meer trekt? Iemand misschien tips hoe ik dit tegen kan gaan?

IK houd het wel ff bij, eerste zondag van de maand. doet de server dan iets raars? :P

Kan het zijn dat je HDD's vol zijn ?

nieuwhier
22/05/09, 00:15
Op het scherm staan dan ext3 error's enzo. dus ik neem aan dat de server het niet meer trekt? Iemand misschien tips hoe ik dit tegen kan gaan?

Let op dat je snapsnot voldoende ruimte heeft, als die vol raakt terijl je aan het syncen bent kun je rare meldingen krijgen. Zou dit door kunnen komen wellicht.

Bakker ICT
28/05/09, 14:35
Is het ook mogelijk om onder ext3 te freezen? Of is dit niet nodig of enkel een voordeel dat XFS heeft?

Wido
28/05/09, 14:39
xfs_freeze en snapshot werkt overigens ook niet.

XFS freezed dan ook het block-device waardoor lvcreate niet zijn werk kan doen.

Je kan beter eerst sync aanroepen en daarna direct de snapshot maken.

nieuwhier
28/05/09, 14:40
Is het ook mogelijk om onder ext3 te freezen? Of is dit niet nodig of enkel een voordeel dat XFS heeft?

Geen probleem, ik gebruik alleen maar ext3 en 'do it all the time'.
Waarom gebruik je xfs ?

Wido
28/05/09, 14:55
Geen probleem, ik gebruik alleen maar ext3 en 'do it all the time'.
Waarom gebruik je xfs ?Hoe wilde je ext3 freezen? Kan niet, je kan alleen "sync" aanroepen.

Daarnaast zijn er diverse redenen om XFS te gebruiken, denk aan de performance?

nieuwhier
28/05/09, 15:10
Hoe wilde je ext3 freezen? Kan niet, je kan alleen "sync" aanroepen.

Sorry... Ik las niet genoeg, bedoelde eigenlijk sync/snapshot als freeze maar dat is wat anders.


Daarnaast zijn er diverse redenen om XFS te gebruiken, denk aan de performance?
Ik vroeg het met name omdat ext3 in bijna alle distributies gebruikt wordt terwijl het met reiserFS en JSF beter uit de performancetesten komt. Omdat disk io geen issue was heb ik 'veilig' dan maar gekozen voor ext3.

CeeReM.com
25/11/10, 09:02
Wido, ik heb een vraagje, in jou script heb je het over de VG xen-domains, hoe kan je die het beste aanmaken? Zou vgcreate xen-domains /dev/sda1/ /dev/sda2 de beste optie zijn?

CeeReM.com
19/12/10, 15:19
Iemand? :)

beenske
22/12/10, 12:29
Iemand? :)
Beste,

Ik zou geen VG maken op /dev/sda en /dev/sdb samen aangezien dit gelijk staat aan een raid0 set,
als 1 van uw 2 disken failen ben je alles kwijt.
Misschien beter een (software) raid maken op je sda & sdb en daar een VG op maken om toch iets veiliger te zitten...

Just my 2 cents...

CeeReM.com
05/01/11, 21:42
Beste,

Ik zou geen VG maken op /dev/sda en /dev/sdb samen aangezien dit gelijk staat aan een raid0 set,
als 1 van uw 2 disken failen ben je alles kwijt.
Misschien beter een (software) raid maken op je sda & sdb en daar een VG op maken om toch iets veiliger te zitten...

Just my 2 cents...


Bedankt, maar aangezien ik hierna via rsnapshot alles overzet naar een externe server, is dit toch in orde?