Bekijk Volledige Versie : Backup => high load
Zodra wij via DA een backup draaien, zorgt dit voor een hoge IO en een hoge load. Hoe fine-tunen jullie dit?
Tim.Bracquez
31/01/10, 21:26
Je kan de backup op een lagere prioriteit draaien of de compressie uitzetten.
Echter hier wordt niet echt gebruik gemaakt van de DirectAdmin backup, dit omdat je gewoon niet elke dag een full backup kunt doen in grotere omgevingen.
Tevens is de DirectAdmin backup zo lek als wat(hoe de meeste die gebruiken via non encrypted FTP etc) en je wilt niet een backup pushen naar een backup server!
Daarom met bacula wordt (zelfs tot meermaals per dag) een heel backup schema per week / maand door lopen. Er zijn nog hopen 'tools' welke de backups op een goede manier doen.
Wij hebben zelf een rdiff script geschreven welke elke nacht op volgorde de servers langsloopt om de verschillen te backupen van alle directadmin gerelateerde en andere belangrijke mappen. Deze pullt het van de servers inplaats dat het gepusht wordt vanaf de servers.
Op deze manier kunnen we een server geheel restoren als er iets mocht gebeuren.
Teven is het zo als Tim zegt: je wilt het niet pushen naar een backupserver. Als er veel servers tegelijk beginnen, geeft dit problemen. Pullen is beter.
Daar komt bij dat RDIFF elk moment kan restoren die je wilt zelfs per minuut als je dat wilt.
De DA back-up is goed genoeg voor enkele single servers. Deze draait al met een nice waarde van -19, waarbij alle andere processen voorrang krijgen. Je kunt hier dus weinig aan doen, anders dan de juiste tijd uitkiezen. Rond middernacht is te vroeg. Hoelang is je server nu bezig met de back-ups? AWstats is erger als je kijkt naar de systemload en die doet er ook nog eens langer over om zijn data te berekenen.
Ik ken je huidige situatie niet, maar ik weet dat je BB overgenomen hebt en dus meerdere servers zal gebruiken. Je kunt met backupPC of Bacula wat doen, maar een andere en veel mooiere oplossing is R1Soft. Deze biedt ook een DA plugin waar gebruikers zelf bestanden me terug kunnen halen. Al zegt mijn ervaring dat gebruikers weinig bestanden per ongeluk wissen, het zal eerder voorkomen dat ze een hele database droppen.
Deze oplossing zit op ~250 euro per server (+ 20% SUS/jaar?) en maakt elk kwartier backups van alle gewijzigde bestanden. Je kunt dus veel precieser terug in de tijd gaan. MySQL is wel een optie volgens mij maar met 10 regeltjes shellscript maak je hier zelf wat voor. (Al zou je bij 10+ DA machines gewoon een dedicated MySQL omgeving moeten hebben, hetzelfde geldt voor ClamAV/SpamAssassing).
Er zijn wel R1Soft partners op dit forum. Remon onder andere. Die willen je waarschijnlijk best wel een licentie voor een maand beschikbaar stellen om er eens mee te testen.
Tim.Bracquez
31/01/10, 22:06
Teven is het zo als Tim zegt: je wilt het niet pushen naar een backupserver. Als er veel servers tegelijk beginnen, geeft dit problemen. Pullen is beter.
En je wilt je backup ook niet gedelete hebben als ze jouw DA machine hacken... (zoals WHT.com voor heeft gehad)
Hier 'pullen' we ook de backup van de DA servers af en zetten die daarna in de juiste folders tot 1 of 2 weken terug.
Qua load valt het reuze mee vind ik... klanten klagen niet maar de backup draait dan ook 'pas' om 3 uur wanneer er niets meer op gebeurd
Zodra wij via DA een backup draaien, zorgt dit voor een hoge IO en een hoge load. Hoe fine-tunen jullie dit?
misschien een hele domme vraag, maar wat is voor jou een hoge load ?
corrigeer me maar als ik het fout heb maar advies wass toch 1.0 per core van de server ? en daar mag hij best even boven uit komen?!
corrigeer me maar als ik het fout heb maar advies wass toch 1.0 per core van de server ? en daar mag hij best even boven uit komen?!
Jij hebt het over de CPU ;)
Yourwebhoster
01/02/10, 21:45
misschien een hele domme vraag, maar wat is voor jou een hoge load ?
corrigeer me maar als ik het fout heb maar advies wass toch 1.0 per core van de server ? en daar mag hij best even boven uit komen?!
Zoals Pim al zegt heb je het over de CPU, terwijl met het backuppen de disk een hoge belasting krijgt.
Als je zipt je cpu ook hoor..
Ik heb maar 1 vpsje en ik heb gewoon op mijn pc een rdiff-backup draaien die pullt. Scheelt veel dataverkeer en load op de server. En pullen wil je inderdaad nooit vanwege de beveiligings risico's.
Mijn hoster biedt backup ruimte aan, maar alleen voor push.. Tja daar snap ik dan echt niks van. Zij zeggen dat de kans dat een hacker inbreekt en expres de boel verneukt klein is, maar een backup is juist voor als dat WEL gebeurt.
Yourwebhoster
01/02/10, 21:55
Het neemt ook aardig wat van de CPU, maar ook van de disk, een combinatie. Wat ik iig bedoel is dat de harde schijf meer belast word dan bij normaal gebruik en de CPU ook natuurlijk; wat allebei een hogere systeem belasting veroorzaakt en de boel dus vertraagd wat we eigenlijk niet willen. Maar goed, dit is verder niet relevant eigenlijk.
Load = In UNIX computing, the system load is a measure of the amount of work that a computer system performs. The load average represents the average system load over a period of time. It conventionally appears in the form of three numbers which represent the system load during the last one-, five-, and fifteen-minute periods.
Bacula hebben we gelukkig al draaien. Het is overigens hoe secure je het maakt. Wie plaatst zijn backup server aan de buitenkant? Sorry, maar sommige services wil je echt aan de binnenkant van je netwerk houden. Je private lan, dus....
Maar goed, wij draaien dus 2 backups. 1x vanuit DA om de 2 weken en een dagelijkse bacula backup. Natuurlijk worden ze niet tegelijk gedraaid en ook wij moeten een schedule bij houden van al onze servers. Timing is inderdaad everything. Maar als wij tijdens een stil uurtje, zonder activiteit een DA backup starten, dan schiet de load al snel op naar 6-7 en onze SAS schijfjes beginnen te huilen.
Vanaf dag 1 draaien wij al SPRI om services te prioriteren. Dus ik denk inderdaad dat ik DA backups er maar uit knal en volledig over stap naar Bacula.
AWStats is inderdaad een drama.Altijd al geweest. Gewoon niet installeren die bende....
hoe meet je de disk load dan ?
zit daar ook een standaard programma voor in linux of heb je daar andere manieren programma's voor ?
hoe meet je de disk load dan ?
zit daar ook een standaard programma voor in linux of heb je daar andere manieren programma's voor ?
Je kan iostat gebruiken, zie http://www.cyberciti.biz/tips/linux-disk-performance-monitoring-howto.html
Iozone bedoel je bami82. Dat is inderdaad wat wij gebruiken.