Onderwerp: Lokale backups mislukken (HD stuk?)

Code:

root@proxmox:/backup/dump# dd if=/dev/zero of=/backup/testfile.bin bs=1M count=4096
4096+0 records in
4096+0 records out
4294967296 bytes (4.3 GB) copied, 130.598 s, 32.9 MB/s

Ik draai nu een lokale test 4 GB schrijven was geen probleem maar wel erg sloom. Ik ga nu een test draaien met 50GB en kijken hoe dat loopt.

Het rare is dat ik er ok al een keer een back-up van 60 GB en 80 GB op heb opgeslagen en toen was er niks aan de hand. Het lijkt dus soms wel goed te gaan (sorry was wel belangrijk om te melden). Dus dat zou dan lijkt me heel goed een harddisk defect zijn.

@Yourwebhostereu Dat zou geweldig zijn. Ik heb zojuist een Western Digital Black RE4 7200rpm besteld van 2TB (als het niet nodig is komt die wel van pas in een andere machine) maar heb geen idee of ik die ptijd binnen heb. Ik ga namelijk dinsdag naar het DC (want dan kan m'n coloboer me erin laten heb nog geen eigen pasje). Weet niet of jij dan aanwezig bent? Of dat je toegang hebt tot dezelfde ruimte zodat je er 1 kan leggen in het rack?

Code:

root@proxmox:/backup/dump# dd if=/dev/zero of=/backup/testfile.bin bs=1M count=50096

50096+0 records in
50096+0 records out
52529463296 bytes (53 GB) copied, 2620.77 s, 20.0 MB/s

Ook het schrijven van een 50GB file ging helemaal goed. Ook dit ging heel erg langzaam. Wat me opviel in atop is dat de disk steeds even stil stond voor een paar seconden en daarna weer verder ging.

Zou het kunnen dat op zoon moment VZDump vastloopt omdat hij even niet verder kan schrijven?

Die kans is heel groot! Je kunt nog proberen in VZDUMP.conf de bandbreedte aan te passen, maar dat geeft op langer termijn problemen.

Oorspronkelijk geplaatst door guidonline

@Yourwebhostereu Dat zou geweldig zijn. Ik heb zojuist een Western Digital Black RE4 7200rpm besteld van 2TB (als het niet nodig is komt die wel van pas in een andere machine) maar heb geen idee of ik die ptijd binnen heb. Ik ga namelijk dinsdag naar het DC (want dan kan m'n coloboer me erin laten heb nog geen eigen pasje). Weet niet of jij dan aanwezig bent? Of dat je toegang hebt tot dezelfde ruimte zodat je er 1 kan leggen in het rack?

Als je hier een ticket kan inschieten met welk rack en suite dan zal ik kijken wat mogelijk is: https://yourwebhoster.eu/contact/

Oorspronkelijk geplaatst door guidonline

@Yourwebhostereu Dat zou geweldig zijn. Ik heb zojuist een Western Digital Black RE4 7200rpm besteld van 2TB (als het niet nodig is komt die wel van pas in een andere machine) maar heb geen idee of ik die ptijd binnen heb. Ik ga namelijk dinsdag naar het DC (want dan kan m'n coloboer me erin laten heb nog geen eigen pasje). Weet niet of jij dan aanwezig bent? Of dat je toegang hebt tot dezelfde ruimte zodat je er 1 kan leggen in het rack?

Als je die bij een goede webshop besteld hebt dan zou je die nog dinsdag binnen moeten hebben. Er van uitgaande dat je 's avonds gaat zal die wel binnenkomen, en ik zou zelf kijken om die te gebruiken. De schijf van YWH is ook 'maar' 5.4k RPM. Dan had ik toch zelf liever meteen de goede schijf erin gezet zodat je je backups gewoon goed op orde hebt, en snel(ler) terug kunt zetten als dat noodzakelijk blijkt. Lezen en schrijven vanaf een 7.2k rpm disk gaat natuurlijk gewoon sneller.

@guidonline als je eerder in serverius moet zijn kan ik je ook helpen als het moet.
Moet enkel Huib toestemming geven om jou naar binnen te laten.

Oorspronkelijk geplaatst door T. Verhaeg

Als je die bij een goede webshop besteld hebt dan zou je die nog dinsdag binnen moeten hebben. Er van uitgaande dat je 's avonds gaat zal die wel binnenkomen, en ik zou zelf kijken om die te gebruiken. De schijf van YWH is ook 'maar' 5.4k RPM. Dan had ik toch zelf liever meteen de goede schijf erin gezet zodat je je backups gewoon goed op orde hebt, en snel(ler) terug kunt zetten als dat noodzakelijk blijkt. Lezen en schrijven vanaf een 7.2k rpm disk gaat natuurlijk gewoon sneller.

Voor backup is een 5400RPM prima, deze schijven presteren ook prima en zijn stabiel. Enige kanttekening is dat het niet enterprise schijven zijn, maar om te testen wat het probleem zou kunnen zijn (de harde schijf of iets anders) lijkt mij dat dit voldoet.

Guido, even een kanttekening mbt backups. Wat als deze harde schijf kapot gaat; dan heb je geen backups meer. En backups wil je eigenlijk niet in dezelfde server hebben zitten en het liefste ook nog op een andere locatie. Denk maar aan het probleem dat de server zelf compleet offline gaat, dan kan je er niks meer mee tenzij je op locatie de hardeschijf gaat overplaatsen. Ik zou zelf gaan voor een RAID setup voor je backups gaan (backups zijn je laatste redmiddel en daar moet je eigenlijk niet op bezuinigen).

Oorspronkelijk geplaatst door Yourwebhoster

.. Ik zou zelf gaan voor een RAID setup (backups zijn je laatste redmiddel en daar moet je eigenlijk niet op bezuinigen).

In de 1e regel van de post van OP staat:

Ik heb sinds een paar weken een nieuwe server in het DC hangen voor virtuele servers met 2 schijven in raid 1 en 1 losse HD.

Maarre, je hebt gelijk dat externe backups wenselijk zijn.

Oorspronkelijk geplaatst door wila

In de 1e regel van de post van OP staat:
Maarre, je hebt gelijk dat externe backups wenselijk zijn.

In die post staat ook:

2 x Western Digital RE4 1TB, 7200rpm, 64 mb cache (beide schijven op een 6Gbit sata poort) - hier draaien de VM's + OS op
1 x Western Digital Eco Green 2TB, 5400rpm, 64 mb cache (schijf op een 3Gbit sata poort) - Schijf voor backups

Ik mag aannemen dat TS niet een 2TB consumenten schijf icm een 1TB enterprise schijf gebruikt in RAID 1

Edit: Heb mijn post aangepast, het was wat onduidelijk wellicht.

Ahh.. OK, RAID op je backups is geen overbodige luxe. Ik dacht inderdaad dat je bedoelde dat hij zijn OS/DATA onder RAID moest draaien. Dan heb ik niks gezegd

Dat de back-ups op dezelfde server komen is maar tijdelijk. Er komt binnen 2 maanden een 2e server in ee andere rack waarnaar ik dan intern alles ga back-uppen. Die server gaat op zijn beurt weer naar deze server backup-pen. Maar dit is een noodoplossing, omdat ik al wel backups wil hebben zolang die machine er nog niet is.

Ik heb hoe raar het ook is ineens backups gemaakt de gelukt zijn.

Code:

VMID	NAME	STATUS	TIME	SIZE	FILENAME
107	www.xxxxxx.nl	OK	00:46:10	20.00GB	/backup/dump/vzdump-qemu-107-2012_08_26-06_30_02.tar
110	relay.xxxxxx.nl	OK	01:51:04	50.00GB	/backup/dump/vzdump-qemu-110-2012_08_26-07_16_21.tar
TOTAL	02:37:23	70.00GB	

Detailed backup logs:

vzdump 110 107 --quiet 1 --mailto xxxxx@xxxxxxx.nl --mode snapshot --node proxmox --storage backup

107: Aug 26 06:30:02 INFO: Starting Backup of VM 107 (qemu)
107: Aug 26 06:30:02 INFO: status = running
107: Aug 26 06:30:04 INFO: backup mode: snapshot
107: Aug 26 06:30:04 INFO: bandwidth limit: 1000000 KB/s
107: Aug 26 06:30:04 INFO: ionice priority: 7
107: Aug 26 06:30:05 INFO:   Logical volume "vzsnap-proxmox-0" created
107: Aug 26 06:30:05 INFO: creating archive '/backup/dump/vzdump-qemu-107-2012_08_26-06_30_02.tar'
107: Aug 26 06:30:05 INFO: adding '/backup/dump/vzdump-qemu-107-2012_08_26-06_30_02.tmp/qemu-server.conf' to archive ('qemu-server.conf')
107: Aug 26 06:30:05 INFO: adding '/dev/local/vzsnap-proxmox-0' to archive ('vm-disk-virtio0.raw')
107: Aug 26 07:15:46 INFO: Total bytes written: 21474839040 (7.47 MiB/s)
107: Aug 26 07:15:51 INFO: archive file size: 20.00GB
107: Aug 26 07:16:12 INFO: Finished Backup of VM 107 (00:46:10)

110: Aug 26 07:16:24 INFO: Starting Backup of VM 110 (qemu)
110: Aug 26 07:16:24 INFO: status = running
110: Aug 26 07:17:10 INFO: backup mode: snapshot
110: Aug 26 07:17:10 INFO: bandwidth limit: 1000000 KB/s
110: Aug 26 07:17:10 INFO: ionice priority: 7
110: Aug 26 07:17:34 INFO:   Logical volume "vzsnap-proxmox-0" created
110: Aug 26 07:17:34 INFO: creating archive '/backup/dump/vzdump-qemu-110-2012_08_26-07_16_21.tar'
110: Aug 26 07:17:34 INFO: adding '/backup/dump/vzdump-qemu-110-2012_08_26-07_16_21.tmp/qemu-server.conf' to archive ('qemu-server.conf')
110: Aug 26 07:17:34 INFO: adding '/dev/local/vzsnap-proxmox-0' to archive ('vm-disk-ide0.raw')
110: Aug 26 09:07:08 INFO: Total bytes written: 53691288064 (7.79 MiB/s)
110: Aug 26 09:07:08 INFO: archive file size: 50.00GB
110: Aug 26 09:07:25 INFO: Finished Backup of VM 110 (01:51:04)

Wel heel traag.. Maargoed wel gelukt...

Heb de bandbreedte wat omlaag geschroeft inderdaad (maar kan ook zijn dat de schijf bad sectors heeft en dat hij die nu niet beschrijft omdat daar die test bestanden op staan, ik brainstorm maar iets). Ik heb in elk gevak nu een Western Digital Black schijf besteld met gelijke performance als de RAID configuratie schijven. Die gaat er als die binnen is dinsdag in.

@patrickekkel Eerder is niet nodig want dan heb ik nog geen nieuwe schijf. Dinsdag krijg ik eindelijk m'n eigen pasje. Ik kon niet onder kantoortijden vandaar dat het lastig werd, maar als goed is is er dinsdag avond iemand van Serverius aanwezig.

Oorspronkelijk geplaatst door guidonline

Code:

root@proxmox:/backup/dump# dd if=/dev/zero of=/backup/testfile.bin bs=1M count=50096

50096+0 records in
50096+0 records out
52529463296 bytes (53 GB) copied, 2620.77 s, 20.0 MB/s

Ook het schrijven van een 50GB file ging helemaal goed. Ook dit ging heel erg langzaam. Wat me opviel in atop is dat de disk steeds even stil stond voor een paar seconden en daarna weer verder ging.

Zou het kunnen dat op zoon moment VZDump vastloopt omdat hij even niet verder kan schrijven?

Dat is wel veel trager dan zou moeten voor dit type test.
De spec van een WD20EARS (green, 2TB, 3Gb/s sata) claimt 110 MB/sec sustained.
Maar als je geen andere accesses hebt op een filesysteem, en de server is niet enorm druk zou je daar wel bij in de buurt moeten komen als je met dd van /dev/null leest.

Desondanks zou een backup programma niet moeten vastlopen als een io subsysteem trager is dan verwacht, laat staan dat een hele server ervan vastloopt.

Spijtig genoeg ben je niet de enige met dit probleem, lijkt een kernel probleem te zijn wat al even speelt in combo met Proxmox.
(Zoek maar eens op hun forum). VZDUMP schiet volledig in de stress als ie te weinig ruimte krijgt om te schrijven.
Zet de limit eens op 10 MB/s (standaard geloof ik)

De limiet ga ik eens op 10 en 20 zetten en het nogmaals proberen. Ik moet zeggen dat er toch al aardig wat back-ups gelukt waren vandaag maar toch. Ik vond verder:

Code:

Change the Linux default IO scheduler to "deadline"
You can do this by adding "elevator=deadline" to /boot/grub/menu.lst, at the end of your running kernel line, so it looks something like this:

kernel /vmlinuz-2.6.32-6-pve root=/dev/mapper/pve-root ro quiet elevator=deadline

More info here:
http://www.serverwatch.com/tutorials/article.php/3819446/Selecting-and-Tuning-a-Scheduler.htm

This will magically turn your server back to working normal during vzdump backups (and also much more responsive during any kind of heavy disk IO), regardless of using a one-disk setup or a 8-disk RAID array.

It's a shame Proxmox still uses the lame CFQ scheduler when the global Linux server community is starting to agree that CFQ is not suitable for server environments.

Dat ga ik dus eerst proberen...

Ik heb nu de elevator op deadline staan voor de backup disk (sdc). Moet en is het ook veilig dit voor sda en sdb te doen? Of moet het voor de raid array gedaan worden (md5). Dit was me namelijk niet helemaal duidelijk en wil niet m'n systeem straks onbereikbaar hebben natuurlijk....