Bekijk Volledige Versie : Advies / ervaring backup storage Idera
Robert Esseveld
07/07/14, 15:45
Momenteel hebben we in onze Idera zo'n 70 servers. Maar we willen dit gaan uitbreiden en al onze servers hiervan gaan voorzien.
Echter merken we nu al een behoorlijk performance issue. Niet zo heel gek, want de hardware waar het nu op draait is niet bepaald snel; MD3000 met 24 TB netto SATA disks en een PERC 5/e.
Maar als we nu gaan investeren in nieuwe hardware, wil ik er zeker van zijn dat we hier flink mee kunnen groeien.
Dus ik dacht aan 2x (uitbreidbaar naar 3, 4x) Powervault MD1200 met 12x 3TB nearline SAS disks, aangesloten op een PERC H800.
Iemand ervaring met dergelijke aantallen 200 ~ 300 servers in idera? En wat draaien jullie?
Wij hebben honderden servers draaien met Idera, het is niet enkel je I/O load waar je rekening mee moet houden maar ook de server zelf waar CDP server op draait. Idera raad zelf aan om rond de 150 servers op één CDP server te plaatsen, wij hanteren dit nu op rond de 100 met ruimte voor groei van klanten/resellers.
Wij zijn juist afgestapt van de MD12xx's en werken wij met R720's (32GB/dual six-core) met 12x 3TB SAS MDL en het OS draait op 2x 15k sas disks. De performance is goed te noemen en velen malen beter dan dat wij eerst hadden staan. Met name het mergen van je recovery points vreet I/O maar ook CPU, hier kwamen wij mee in de problemen.
Verwacht dus niet dat je 500 backups kan draaien op één dikke server met storage er achter. Je kan dan beter met diverse CDP servers werken die je aansluit op je MD12xx's of MD3xxx's. Het werkt ook prettiger moet ik erbij zeggen.
Als je nog meer vragen hebt, shoot!
Hier ook een 60-tal servers op Idera zitten op een DL380G6 met 24GB RAM en 2 Xeon CPUs, draait wel vlot met lokale disken. Was ook aan het zien om de storage uit te breiden met een DAS, maar dat is dan geen goede keuze ?
Wat mij wel opvalt aan idera: de eerste paar backups vliegen, en daarna gaat de snelheid serieus bergaf.. Gooi je de disksafe weg (om te testen) en herstart je de backup dan vliegt het weer.. Hoe voller de disksafe (hoe meer recovery points) hoe trager de boel wordt..
Op zich hoor je ons niet klagen, de backups lopen mooi 's nachts in hun backupwindow en of dat nu 1 of 2u duurt daar liggen we niet wakker van, het is gewoon prachtige software...
Wij zijn met Idera een klein stapje verder gegaan en maken nu ieder uur een backup, deze backup is ruim binnen het uur klaar. Dit is met backups eens per uur snel genoeg, daarnaast is de impact op de storage van de bron van de backup minimaal (ook prettig).
Je hebt vermoedelijk hetzelfde 'probleem' als wat wij ervaren.. hoe meer je in je disksafe ramt hoe trager de boel wordt. Je moet bij wijze van test maar eens een nieuwe disksafe maken en die backup job daar naar laten scrhijven en zien met welke snelheden je dan thuiskomt..
Wat zijn jullie gemiddelde backup snelheden ?
Wij maken standaard 1x per dag een backup met een retentie van 30 dagen, 100 per server tussen 21.00 en 07.00 's ochtends. Dan tussen 08.00 en 14.00 de merges van de recovery points. Dat zijn 30 recovery points in een disk safe.
Het is best logisch wanneer je veel recovery points hebt dat een disk safe trager gaat laden of trager een backup maakt. Echter is het wel raar te noemen dat je backups trager gaan, dit omdat het incremental is en dan zijn ze juist sneller klaar in verhouding. Wat ook zo is, 120 recovery points van een kleine vm is velen malen sneller dan een disk safe met 120 recovery points van een grote vm.
Ik raad aan om SAS disks te gebruiken, hier zit een enorm groot performance verschil in en SAS is simpelweg een andere interface dan SATA waardoor je sneller en efficiënter kan lezen en schrijven tegelijkertijd.
Backup per uur heb ik over na zitten denken maar op drukke servers kan de cdp-agent tegenwerken en heb je nog steeds performance verlies. Je merging gaat automatisch langer duren doordat je meer recovery points gaat hebben, per disk safe van 30 dagen kom je uit op 720 recovery points en dat is geen pretje. Als je dan 1x per dag gaat mergen dan zal je mergen langer gaan duren, prima voor een kleine omgeving maar het is niet te doen met honderden of duizenden servers.
1x in het uur backuppen gebruiken wij enkel voor servers waarvoor het echt nodig is, denk aan database servers of andere transacties servers.
DAS of iscsi, het kan prima maar je word beperkt door je front-end server en niet zo zeer door de achterliggende storage.
Robert Esseveld
08/07/14, 19:30
Bedankt voor jullie reacties, hier heb ik wat aan!
Ik was me inderdaad niet bewust van het feit dat Idera adviseert niet meer dan 150 servers te koppelen, dit hebben ze nooit aangegeven.
We hebben er best wat tussen zitten die intensief backuppen, bijv. ieder half uur en redelijk wat ieder uur. Dus ik zal zeker niet verder gaan dan 100.
Wat is jullie ervaring m.b.t. updates? Wij hebben wel vaak dat we dan bij alle servers weer een full block scan moeten doen e.d. Het is nooit een update draaien en klaar. Daarnaast hebben we de afgelopen tijd ook wel wat issues gehad met MySQL restores die onvolledig waren.
Pantsy Mag ik vragen wat voor controller je gebruikt? Dat lijkt me één van de belangrijkste dingen.
Idera zal dat inderdaad niet zo maar ergens plaatsen, marketing vrees ik. Maar goed je kan ook een platform bouwen wat veel meer aan kan natuurlijk, daar is wel wat kennis voor nodig heb ik gemerkt.
Ander aspect is hoeveel data je verzet, zijn het kleine vm's... sja die zijn zo klaar, kleine disk safes etc... Hoe kleiner hoe sneller! Heb je veel kleine bestandjes erop staan? Sja dat werkt weer tegen bij een restore.
Wij laten alle servers automatisch updaten, de laatste cdp-server en cdp-agent is gewoon 9 van de 10 keer wel beter. Die ene keer is het net een bugje, over het algemeen aan de cdp-server kant moet ik erbij zeggen. Er word enkel een full block scan gedaan wanneer je de cdp-agent herstart op een vm, niet als je de cdp-server herstart.
In de r720xd servers zitten h710 mini's, performen prima moet ik zeggen. In de oude setup hebben wij h800 controllers in gebruik, deze performen ook prima maar toch gaat het ergens mis.
Wat je ook zou moeten bekijken is waar je wat gaat plaatsen, zet niet alle grote backups op één servers. Die zullen dan genoeg performance over hebben om nog veel kleine vm's te kunnen backuppen. Wij werken met 6 spindels per raidset in raid6. Vroeger was dit raid5 met 12 spindels en deze performen gek genoeg een stuk minder.
Er zijn heel veel punten waar je rekening mee moet houden om het goed en efficient in te richten, daarnaast wil je ook de performance behouden. Stel je backup server is recovery points aan het mergen, dan zal een bmr wel wat langer gaan duren kan ik je vertellen. Hou vaste tijden aan voor jezelf per server wanneer taken mogen draaien, lukt dit niet meer dan zal je backups moeten verplaatsen of een backup server erbij moeten plaatsen.
Als je meerdere cdp-servers hebt draaien, installeer dan de cdp data center console, heb je een centraal punt om op in te loggen en kan je door naar andere backup servers.
Bedankt voor jullie reacties, hier heb ik wat aan!
Ik was me inderdaad niet bewust van het feit dat Idera adviseert niet meer dan 150 servers te koppelen, dit hebben ze nooit aangegeven.
We hebben er best wat tussen zitten die intensief backuppen, bijv. ieder half uur en redelijk wat ieder uur. Dus ik zal zeker niet verder gaan dan 100.
Wat is jullie ervaring m.b.t. updates? Wij hebben wel vaak dat we dan bij alle servers weer een full block scan moeten doen e.d. Het is nooit een update draaien en klaar. Daarnaast hebben we de afgelopen tijd ook wel wat issues gehad met MySQL restores die onvolledig waren.
Pantsy Mag ik vragen wat voor controller je gebruikt? Dat lijkt me één van de belangrijkste dingen.
Wij hadden ook last van die mysql restore bug. Er is een update voor beschikbaar pm me even voor de link. De update zal volgende maand mee in de nieuwe versie zitten ..
Na de installatie van die nieuwe versie werken de mysql restores weer als een zonnetje ;-)
Sent from my iPhone using webhostingtalk mobile app
Klopt, dat was inderdaad een bug en recentelijk opgelost, voor ons wel te laat in sommige gevallen. Ze houden het achter en releasen het niet publiekelijk. Wel jammer te noemen, ik heb dit wel vaker aangekaart bij idera maarja... het veranderd maar mondjesmaat
Ik heb regelmatig woorden met Idera, helaas probeert niet alleen support zich er soms makkelijk van af te maken, ook David probeert dit af en toe.
Bij een critical ticket durven ze soms gewoon een dag te wachten met reageren of proberen je van het kastje naar de muur te sturen. Als het werkt is het prachtige software, maar als er van hun kant dingen niet goed zijn (zoals bugs, het veranderen van hoe een datastore in elkaar zit waardoor na een update de performance echt heel slecht is) dan geven ze moeilijk thuis of ligt het aan van alles en nog wat, maar niet aan hen.
Net zoals het releasen van fixes, ze zullen niet snel uit eigen beweging een mail sturen met fixes (tijd terug voor de verandering een keer wel). Dat ze fixes uit moeten brengen is niet erg, maar net zoals bij het restoren van databases, de restoreDB.sh oplossing is niet wenselijk en kost veel tijd. Dan duurt het vervolgens nog 2 week voor er een daadwerkelijk fix is en dan alleen door de druk hoog te houden.
Maar verder ben ik echt wel positief over de werking, de snelheid enzovoorts van Idera. Maar hoe meer servers, hoe krachtiger je backup systeem moet zijn, vooral wanneer er teveel backups gelijk moeten gaan lopen i.c.m. een backup window. Uiteindelijk speelt de snelheid van de disken ook een grote rol in het verhaal.
Yep, de communicatie naar de buitenwereld toe is niet altijd fantastisch, zoals aangegeven word het wel mondjesmaat beter. Ik denk dat elke gebruikerservaring weer anders is, dit omdat ik (gelukkig) niet tegen complexe bugs ben aangelopen. Wel veel suffe kleine bugs, gister toevallig nog twee stuks. Ik verwacht ook niet dat deze á la minute worden opgelost, dit kan ook niet bij een groot/breed product. Als de functionaliteit echt beperkt is, dan verwacht ik wel een passende work arround en dan is het allemaal prima.
Ze zijn gelukkig al een stuk minder slordig, vroeger waren de releases soms veel te snel en gehaast waardoor er zoveel problemen ontstonden, daar hebben ze gelukkig wel van geleerd.
De truc is om je aantal backup processen zo goed mogelijk in te stellen, wij hebben 5 tot 7 tasks die mogen draaien tegelijkertijd. In het begin kan je het makkelijk op 10 zetten maar daarna... sja dan gaat dat niet meer op. Ik blijf erbij, het mergen van recovery points is het meest intensieve.
Idera is een pracht product en werkt goed en efficiënt, wij zijn er heel blij mee.
Wij zijn sinds een maand overgestapt op hun Hosted backup dienst waarbij je alleen per agent betaalt en een bundel aan backup ruimte betaalt die je dan vervolgens voor al je klanten/servers kunt gebruiken.
Helemaal geen omkijken meer naar en nog steeds voordelig.