Bekijk Volledige Versie : Goedkope opslag
Ik ben opzoek naar een redelijk goedkope opslag. Het gaat om een machine die ik in het datacenter kan plaatsen waar ik een backup op kan zetten van mijn volledige kantoor. We hebben daarvoor al snel 14TB nodig.
Ik heb even gekeken voor een zelfbouw systeem maar dat wordt mij afgeraden en ik ben er zelf ook niet echt een voorstander van.
Wat zouden jullie mij aanraden?
Dan kan ik weer verder op onderzoek uit!
Dankje
Jos
Wat is goedkoop, je budget? De prijs van je hard disks, ga je altijd hebben; eender welke oplossing.
Ja goedkoop is niet helemaal de juiste titel :-) budget is 3 a 4 duizend euro?
Ramon Fincken
17/01/10, 01:49
Die 14TB is dat voor 1 volledige backup? Hebben jullie ook al nagedacht over hoe je de backups gaat draaien? (volledig/incrementeel) en hoelang je ze wil bewaren en hun toegang?
Ik zou gaan voor een chassis met 12 tot 16 bays en daar dan 1,5 TB disks inzetten (als je daar dan nog iets van raid over doet, kom je nog altijd ruim aan 14 TB. Een goede raidkaart is ook nodig, wil je zeker zijn van je backups (bvb Areca). De rest van het systeem kan wat lager gekozen worden qua specs, maar zorg dat dat niet de bottleneck wordt (single CPU dual core of zoiets, 2 GB RAM ...)
Welk budget hiervoor gemiddeld nodig is, geen idee, maar dat moet je wel kunnen vinden.
Ramon heeft een goed punt, ik zou eerst kijken naar hoe je die data daar gaat krijgen i.p.v. eerst hardware uit zoeken. Mogelijk dat bijv. replicatie met een back-up van de gerepliceerde data een veel betere oplossing blijkt, dan heb je weer andere hardware nodig.
Ook de uptime van een back-up server moet je vooraf weten, ook zaken als hoe vaak verwacht je een restore, hoe lang mag een restore duren, ga je bare metal restores doen, etc.
Vergeet ook niet de kosten van back-up software mee te rekenen want die zijn mogelijk een meervoud van de hardware kosten.
Yourwebhoster
17/01/10, 09:45
Zelfbouw gaat prima, zolang je maar voldoende ervaring hebt. In het geval van een backupserver lijkt mij uptime niet zeer belangrijk, tenzij je meer gaat doen met de backupserver.
De chasis van Supermicro, zoals een SC936 is een mooie start. Daarnaast een super micro moederbordje er bij, een raid controller voor 16 HDD's of 12 als je 12 HDD's wilt, wat geheugen+CPU en de HDD's niet te vergeten. Omdat je nu zelf minimaal 14TB nodig zegt te hebben, zou ik een aantal TB speling voor de zekerheid in de server stoppen. Op zich valt het wel voor dat budget te realiseren.
- behuizing, schat rond de 800
- moederbord rond de 200, hoeft niet hi-end te zijn
- CPU rond de 100, geen hi-end maar wel een dual core op zijn minst.
- Geheugen, 2 a 4 GB is voldoende, 40-80 euro
- RAID controller, zonder BBU rond 800
- HDD's, rond de 1400 1.5 TB schijven
Totaal iets van de rond de 3300 euro (grof geschat).
Voor een back-up server en dit budget zou ik inderdaad ook gaan voor een of meerdere zelfbouw systemen. Als je net zoals Yourwebhoster werkt met supermicro is het denk ik goed genoeg.
Is de 14 TB 1 volledige backup of bestaat dit uit de opslag van meerdere dagen?
En ik raad toch een BBU aan =)
Voor de rest lijkt de config van Daniel wel goed :)
Yourwebhoster
20/01/10, 00:03
En ik raad toch een BBU aan =)
Voor de rest lijkt de config van Daniel wel goed :)
Als je zo'n budget hebt maakt het niet zo'n heel groot verschil wat prijs betreft, dan zou ik ook een BBU nemen.
Die 14TB is dat voor 1 volledige backup? Hebben jullie ook al nagedacht over hoe je de backups gaat draaien? (volledig/incrementeel) en hoelang je ze wil bewaren en hun toegang?
De backup bestaat uit 2 grote backups en een paar kleine. We hebben Ashay backup software draaien en dat werkt volgens mij wel erg fijn.
Ramon heeft een goed punt, ik zou eerst kijken naar hoe je die data daar gaat krijgen i.p.v. eerst hardware uit zoeken. Mogelijk dat bijv. replicatie met een back-up van de gerepliceerde data een veel betere oplossing blijkt, dan heb je weer andere hardware nodig.
Ook de uptime van een back-up server moet je vooraf weten, ook zaken als hoe vaak verwacht je een restore, hoe lang mag een restore duren, ga je bare metal restores doen, etc.
Vergeet ook niet de kosten van back-up software mee te rekenen want die zijn mogelijk een meervoud van de hardware kosten.
Kosten backup software is inderdaad ook belangrijk en die heb ik gelukkig al, Hoe zit het met zo'n raid systeem als schijven eruit vliegen dan vervang je ze en bouwt het systeem zichzelf weer helemaal op?
Zelfbouw gaat prima, zolang je maar voldoende ervaring hebt. In het geval van een backupserver lijkt mij uptime niet zeer belangrijk, tenzij je meer gaat doen met de backupserver.
De chasis van Supermicro, zoals een SC936 is een mooie start. Daarnaast een super micro moederbordje er bij, een raid controller voor 16 HDD's of 12 als je 12 HDD's wilt, wat geheugen+CPU en de HDD's niet te vergeten. Omdat je nu zelf minimaal 14TB nodig zegt te hebben, zou ik een aantal TB speling voor de zekerheid in de server stoppen. Op zich valt het wel voor dat budget te realiseren.
- behuizing, schat rond de 800
- moederbord rond de 200, hoeft niet hi-end te zijn
- CPU rond de 100, geen hi-end maar wel een dual core op zijn minst.
- Geheugen, 2 a 4 GB is voldoende, 40-80 euro
- RAID controller, zonder BBU rond 800
- HDD's, rond de 1400 1.5 TB schijven
Totaal iets van de rond de 3300 euro (grof geschat).
Ja ik heb dus niet heel veel ervaring met dit soort systemen en er is me ook al afgeraden om zo'n systeem zelf te bouwen. Maar ik lees hier opzich wel weer goede berichten over zelf bouwen, hoe kan het gevaarlijk zijn als ik toch besluit om zelf te bouwen? Wat gebeurt er als de RAID kaart stuk gaat?
Yourwebhoster
20/01/10, 00:14
Wat is een BBU ? :-)
Battery Backup Unit, hierdoor onthoud de controller wat gegevens als er stroomuitval is.
Yourwebhoster
20/01/10, 00:15
Ja ik heb dus niet heel veel ervaring met dit soort systemen en er is me ook al afgeraden om zo'n systeem zelf te bouwen. Maar ik lees hier opzich wel weer goede berichten over zelf bouwen, hoe kan het gevaarlijk zijn als ik toch besluit om zelf te bouwen? Wat gebeurt er als de RAID kaart stuk gaat?
Als je geen ervaring hebt met zelf bouwen van dit soort systeempjes zou ik het laten doen door iemand die dat wel heeft (en je eventueel garantie kan geven).
eXtreme Service
20/01/10, 00:33
Als het echt goedkoop moet is het misschien eens handig om naar ZFS Raidz2 te kijken. Kan je eventueel ook de Raid controller mee uitsparen.
Als je een disk vervangt dan bouwt de raidset zich inderdaad weer op (zolang er niet te veel stuk gaan ;)).
Nadeel met 14TB is wel dat het rustig een paar dagen kan duren en tijdens het bouwen is de performance een stuk lager. Vandaar de vraag of je het niet in kleinere stukjes kan hakken.
Ja ik heb dus niet heel veel ervaring met dit soort systemen en er is me ook al afgeraden om zo'n systeem zelf te bouwen. Maar ik lees hier opzich wel weer goede berichten over zelf bouwen, hoe kan het gevaarlijk zijn als ik toch besluit om zelf te bouwen? Wat gebeurt er als de RAID kaart stuk gaat?
De sleutelzin in het hele verhaal is: zelfbouw is niet gevaarlijk/slecht/fout zolang diegene die het bouwt verstand heeft van zaken.
Als je (zoals jij aangeeft) weinig tot geen ervaring hebt met het bouwen van systemen dan kun je dit beter uitbesteden (lees: iemand zoeken die wat voor je bouwt, of naar een bedrijf als ahead-it/dell/hp/ibm/noem het maar op gaan).
martysmarty
20/01/10, 08:33
Kijk eens naar de HP DL185 G5 server. Die gebruiken wij zelf met 12 TB storage. Deze zit op ~2.500 inclusief disks voor onze configuratie. Let wel op dat er 8 disk en 12 disk models zijn.
Nadeel met 14TB is wel dat het rustig een paar dagen kan duren en tijdens het bouwen is de performance een stuk lager. Vandaar de vraag of je het niet in kleinere stukjes kan hakken.
Om dat te onderbouwen: Vorige week 4TB in een Raid gezet, tijdsduur voor het builden voor 4TB was 10 uur op een Areca 1620ix uitgebreid naar 2Gb Ram.
Als je zelfbouw overweegt kijk dan eens naar: The [H]ard Forum Storage Showoff Thread - Post your 10TB+ systems - [H]ard|Forum
Backblaze publiceert het ontwerp van haar 67TB in 4U voor US $ 7,867 (http://blog.backblaze.com/2009/09/01/petabytes-on-a-budget-how-to-build-cheap-cloud-storage/)
GuusDeGraeve
24/01/10, 14:14
Als het echt heel goedkoop moet zijn kan je mss eens naar Amazon S3 kijken ook? Ik ken mensen die het gebruiken als backup. Er is ook al backup software die S3 support heeft. De vraag blijft echter wel, vertrouw je zulke dingen, heb je niet liever je eigen systeem?
Alleszins, voor die prijs zal je nooit een eigen systeem vinden.
Als je dan toch op die manier wilt stallen, zet het dan gelijk op de nieuwgroepen versleuteld en wel \o/
Als het echt heel goedkoop moet zijn kan je mss eens naar Amazon S3 kijken ook? Ik ken mensen die het gebruiken als backup. Er is ook al backup software die S3 support heeft. De vraag blijft echter wel, vertrouw je zulke dingen, heb je niet liever je eigen systeem?
Alleszins, voor die prijs zal je nooit een eigen systeem vinden.
Heb je wel al eens nagekeken wat 14 TB kost op de S3? Velen weten dit niet, maar voor grote hoeveelheden data is dit echt niet goedkoop.
Voor 14 TB aan data betaal je per maand al 2100 dollar (zonder dataverkeer bijgerekend om de data erop te zetten of eraf te halen).
GuusDeGraeve
24/01/10, 14:54
Had ik nog niet nagekeken nee, dan blijkt het idd niet zo goedkoop als ik hoorde.
Yourwebhoster
24/01/10, 14:59
Je moet inderdaad dataverkeer er nog bij op tellen. Dan kan je beter een OVH server in RAID 1 nemen (http://www.ovh.nl/producten/superplan_storage.xml) waarbij dataverkeer in principe onbeperkt is (na overschrijding van 5TB is dit gelimiteerd op 10Mbps) en zelf hier iets van maken. 5 servertjes met RAID 1 en je hebt 15TB opslag voor nog geen €375,- per maand inclusief verkeer. Weliswaar HW RAID en je hebt wellicht wat configuratie kosten, maar met die €1000,- per maand haal je dat echt wel eruit.
Trouwens, de link van cj0 geeft een mooi kosten overzicht. Het is wel prijzig om gelijk 67TB te bouwen, maar het is slechts een voorbeeld (trouwens wel om te smullen die 67TB en netjes dat je die kast enz. gemakkelijk kan bestellen). Nog eventjes wachten en wellicht dat de 2TB schijven dan alweer goedkoper zijn... (90TB in één server).
Backblaze publiceert het ontwerp van haar 67TB in 4U voor US $ 7,867 (http://blog.backblaze.com/2009/09/01/petabytes-on-a-budget-how-to-build-cheap-cloud-storage/)
al uit en te na besproken: http://www.webhostingtalk.nl/overige/152731-67-terabytes-aan-spotprijs.html
samenvatting: niet zo mooi als het op het eerste oog lijkt
Yourwebhoster
24/01/10, 15:31
al uit en te na besproken: http://www.webhostingtalk.nl/overige/152731-67-terabytes-aan-spotprijs.html
samenvatting: niet zo mooi als het op het eerste oog lijkt
Het is mooi en goedkoop, maar als ik het zo zie wat lastiger als je een HDD moet vervangen. Maar goed, er is al een heel topic over die ik blijkbaar nog niet gezien heb :lovewht:
@t.bloo: zelf een chassis van scratch bouwen voor één exemplaar is alleen goedkoper als je tijd niets waard is.
@Yourwebhoster: of een andere geschikte dedicated/colo aanbieder?
@GuusDeGraeve: als een volledig schaalbare, cloud-storage goedkoper zou zijn per GB, dan zou niemand op WHT ooit nog storage verkopen ;)
Mij advies: huren of kopen met onderhoudscontract. Er zijn zat hosters die storage bakken aan je willen verhuren met SLA. Er zijn ook zat hardware fabrikanten/systeem integrators die een server + software + onderhoud aan je willen verkopen. Alleen zelfbouw als je daar handig in bent en zin in hebt. Bedenk wie de boel onderhoud als je op vakantie bent, wie langs het DC rijdt om kapotte hardware te vervangen en wie dag en nacht problemen wil verhelpen.
Yourwebhoster
24/01/10, 17:26
@Yourwebhoster: of een andere geschikte dedicated/colo aanbieder?
Het is maar een voorbeeld, een goedkope manier om je data op te slaan, maar het hangt van je eisen af of het handig is.
AlexanderOnline
24/01/10, 17:26
Waarom wil je dit trouwens in een datacenter hebben? De kosten voor dataverkeer zijn toch best hoog, en ik weet niet hoeveel data je steeds bij moet werken, maar wat voor verbinding heb je op kantoor? Ook andere opties overwogen (zoals iets van tapes, of harddisks die je mee naar huis neemt. Ik heb totaal geen kennis of ervaring hiermee maar vraag me af waarom je specifiek voor dit als oplossing kiest.)
Ivm Amazon:
Je hebt ook geen garanties dat je data beschikbaar blijft.
S3 is meer een service om data online te zetten en te sharen, ( alhoewel sommige online backup aanbieders amazon gebruiken.)
samenvatting: niet zo mooi als het op het eerste oog lijkt
Met de t.bloo samenvatting ben ik het niet eens.
Samenvatting: een geschikte en voordelige oplossing voor backup storage, waarbij software moet zorgen voor redundante opslag op verschillende machines. (het is dus niet geschikt als enkelvoudige oplossing: het is géén ik-schrijf-alle-back-ups-naar-die-ene-machine-en-dan-ben-ik-klaar-oplossing)
Na alle reacties en advies op mijn post heb ik me goed kunnen verdiepen in de mogelijkheden van de opslag systemen. Uiteindelijk heb ik besloten om een compleet systeem te kopen en niet een systeem zelf te gaan bouwen.
Het is een 4U systeem van HPS geworden met 16 1.5 TB schijven met een RAID Controller BBU
Dank voor alle reacties!
Samenvatting: een geschikte en voordelige oplossing voor backup storage, waarbij software moet zorgen voor redundante opslag op verschillende machines.
Klopt, maar juist die software geeft blackblaze niet vrij.
Waarom wil je dit trouwens in een datacenter hebben? De kosten voor dataverkeer zijn toch best hoog, en ik weet niet hoeveel data je steeds bij moet werken, maar wat voor verbinding heb je op kantoor? Ook andere opties overwogen (zoals iets van tapes, of harddisks die je mee naar huis neemt. Ik heb totaal geen kennis of ervaring hiermee maar vraag me af waarom je specifiek voor dit als oplossing kiest.)
Ik wil de data veilig kunnen bewaren. Veel data is van commercials, videoclips en bedrijfsfilms en dat moeten we een lange tijd bewaren. Laatst is bij een klant van mij ingebroken en alle computers waren weg. Jammer van de machine's maar de data is niet meer te vervangen. Vandaar dat we de data ook in een dc willen hebben
GuusDeGraeve
30/01/10, 15:32
In de nieuwsbrief van Ahead-IT deze maand staat ook een mooie en betaalbare oplossing.
Klopt, maar juist die software geeft blackblaze niet vrij.
Dat klopt backblaze geeft de software niet vrij.
Er zijn echter andere software oplossingen die back-ups naar meerdere locaties kunnen schrijven.
Als je twee van de "backblaze pods" naast elkaar zet, en schrijft naar beiden de back-up, dan ben je volgens mij klaar.
Er komt toch wat meer bij kijken.
Blackbaze pods zijn een heleboel schijven samen. Wat doe als er 1 schijf faalt? 2,3
Je moet die schijven best in een raid5 of raid6 zetten met 1 of meer hotspares.
Waneer vervang je de kapotte schijven?
Wat doe je als een complete blackblaze pod eruitvalt? Rebuilden op een nieuwe "pod" zal heeeel lang duren. Je kan ook de gefaalde pod terug repareren maar als er ondertussen writes gedaan zijn naar de andere pod dan zijn ze niet meer in sync.
Hoe sync je ze dan terug?
Yourwebhoster
31/01/10, 10:22
Er komt toch wat meer bij kijken.
Blackbaze pods zijn een heleboel schijven samen. Wat doe als er 1 schijf faalt? 2,3
Je moet die schijven best in een raid5 of raid6 zetten met 1 of meer hotspares.
Waneer vervang je de kapotte schijven?
Wat doe je als een complete blackblaze pod eruitvalt? Rebuilden op een nieuwe "pod" zal heeeel lang duren. Je kan ook de gefaalde pod terug repareren maar als er ondertussen writes gedaan zijn naar de andere pod dan zijn ze niet meer in sync.
Hoe sync je ze dan terug?
Je kan ook dmv drbd twee pods maken, met heartbeat. Dan betaal je wel dubbel, maar ben je wel safe. Ook kan je eventuele reparaties makkelijker uitvoeren, zoals disk vervangen, door eerst alles over te schakelen naar de andere pod. En daarna alles weer syncen.
Maar goed, het hangt er maar vanaf wat je budget is en wat voor eisen je stelt aan de uptime.
Ik vraag me af of dit gaat werken. Bij gebruik van zoveel data en hoge IO is alleen block copy met een hoge MTU waarde nog mogelijk.
Yourwebhoster
31/01/10, 22:40
Hangt er natuurlijk vanaf hoe je het gaat inzetten, af en toe een backup en een groot archief hebben gaat prima. Verder denk ik dat je ook aardig gelimiteerd bent met de netwerk verbinding, volgens mij is er slechts een connectie en ik denk niet dat je uitbreidingsmogelijkheden hebt.
Maar goed, er zijn vele ideeën om dit wel te kunnen laten werken, maar dat kost weer geld. Zoals een server als tussenstation die de data ontvangt en naar de storage servers verzend (en zelf de bestanden naar twee storage servers stuurt). En ook die tussenserver kan weer redundant, het is maar wat je wilt en wat je budget is.
Ontopic?? Er is al een topic over dit design geweest. Op zich mooi, maar niet altijd even realistisch ivm maximaal stroomverbruik in een rack (of SSD's gebruiken?:))
Het zou ook de backup software zelf kunnen zijn die de backups naar de twee verschillende pods verstuurt. In het geval van Backblaze zitten er vermoedelijk heel veel verschillende accounts op één server. Dus hoeven de disk in principe niet in een hardware RAID opstelling te staan. Ik kan mij voorstellen dat ze een soort software matige RAID doen vanuit de client. Stel de backup wordt naar zowel pod A als pod B geschreven. Als de disk in pod B uitvalt, zou gedetecteerd moeten kunnen worden door de software, die vervolgens als er weer een nieuwe disk ingestoken wordt, begint met het synchroniseren van A naar B. Om vervolgens verder te gaan met het toevoegen van mutaties.
Ook valt die hoeveelheid I/O volgens mij best mee. Bij 2.500 clients (=27GB opslagruimte per client) verwacht ik zo'n 1.500 tot 2.500 inkomende netwerk pakketten per seconde, dat komt overeen met zo'n 25 tot 40 Mbit. Dus op 1Gbit interface is dat goed te doen.
Als het echt goedkoop moet is het misschien eens handig om naar ZFS Raidz2 te kijken. Kan je eventueel ook de Raid controller mee uitsparen.
ZFS beperkt wel je OS-keuze aanzienlijk. Als mijn gegevens kloppen is ZFS niet op Linux beschikbaar vanwege licentie perikelen.
Waarom wil je dit trouwens in een datacenter hebben? De kosten voor dataverkeer zijn toch best hoog, en ik weet niet hoeveel data je steeds bij moet werken, maar wat voor verbinding heb je op kantoor? Ook andere opties overwogen (zoals iets van tapes, of harddisks die je mee naar huis neemt. Ik heb totaal geen kennis of ervaring hiermee maar vraag me af waarom je specifiek voor dit als oplossing kiest.)
14 TB over een DSL-lijntje trekken lijkt me ook geen goed idee :) Daarnaast kunnen kosten voor het plaatsen van een server in een DC best lager zijn dan in een kantoor. Met name energiekosten zijn in een DC vaak lager dan in een kantoor, en met 14 hardeschijven en daarbij nog het een en ander aan een systeem zal dat toch ook een paar honderd Watt zijn. Tel daarbij op dat een datacenter over het algemeen een betere plek is voor een machine voor wat betreft stof, klimaat, etc..
ZFS beperkt wel je OS-keuze aanzienlijk. Als mijn gegevens kloppen is ZFS niet op Linux beschikbaar vanwege licentie perikelen.
Persoonlijk zie ik hier geen probleem, net zoals andere bestandsystemen enkel beschikbaar zijn voor bepaalde OS'en. Jij maakt uiteindelijk zelf de keuze welk bestandsysteem je kiest en daardoor ook het OS. Wil je een ander OS gebruiken moet je genoegen nemen met een ander bestandsysteem. En geen idee of het ook geport zal worden naar linux, maar ik kan je vertellen dat ZFS wel degelijk onder FreeBSD werkt en het dus niet enkel voor Solaris is.
Nouja, het hoeft ook geen probleem te zijn. Maar ik vind persoonlijk Linux veel fijner dan *BSD of Solaris. Ik ben beter bekend met Linux en kan het daardoor ook beter onderhouden.
Het beheren van een ander OS kan daarom tijdsintensiever zijn en brengt wellicht ook wat risico's met zich mee voor wat betreft veiligheid.