Onderwerp: Goedkope opslag

Waarom wil je dit trouwens in een datacenter hebben? De kosten voor dataverkeer zijn toch best hoog, en ik weet niet hoeveel data je steeds bij moet werken, maar wat voor verbinding heb je op kantoor? Ook andere opties overwogen (zoals iets van tapes, of harddisks die je mee naar huis neemt. Ik heb totaal geen kennis of ervaring hiermee maar vraag me af waarom je specifiek voor dit als oplossing kiest.)

Ivm Amazon:
Je hebt ook geen garanties dat je data beschikbaar blijft.
S3 is meer een service om data online te zetten en te sharen, ( alhoewel sommige online backup aanbieders amazon gebruiken.)

Oorspronkelijk geplaatst door t.bloo

samenvatting: niet zo mooi als het op het eerste oog lijkt

Met de t.bloo samenvatting ben ik het niet eens.

Samenvatting: een geschikte en voordelige oplossing voor backup storage, waarbij software moet zorgen voor redundante opslag op verschillende machines. (het is dus niet geschikt als enkelvoudige oplossing: het is géén ik-schrijf-alle-back-ups-naar-die-ene-machine-en-dan-ben-ik-klaar-oplossing)

Na alle reacties en advies op mijn post heb ik me goed kunnen verdiepen in de mogelijkheden van de opslag systemen. Uiteindelijk heb ik besloten om een compleet systeem te kopen en niet een systeem zelf te gaan bouwen.

Het is een 4U systeem van HPS geworden met 16 1.5 TB schijven met een RAID Controller BBU

Dank voor alle reacties!

Oorspronkelijk geplaatst door cj0

Samenvatting: een geschikte en voordelige oplossing voor backup storage, waarbij software moet zorgen voor redundante opslag op verschillende machines.

Klopt, maar juist die software geeft blackblaze niet vrij.

Oorspronkelijk geplaatst door AlexanderOnline

Waarom wil je dit trouwens in een datacenter hebben? De kosten voor dataverkeer zijn toch best hoog, en ik weet niet hoeveel data je steeds bij moet werken, maar wat voor verbinding heb je op kantoor? Ook andere opties overwogen (zoals iets van tapes, of harddisks die je mee naar huis neemt. Ik heb totaal geen kennis of ervaring hiermee maar vraag me af waarom je specifiek voor dit als oplossing kiest.)

Ik wil de data veilig kunnen bewaren. Veel data is van commercials, videoclips en bedrijfsfilms en dat moeten we een lange tijd bewaren. Laatst is bij een klant van mij ingebroken en alle computers waren weg. Jammer van de machine's maar de data is niet meer te vervangen. Vandaar dat we de data ook in een dc willen hebben

In de nieuwsbrief van Ahead-IT deze maand staat ook een mooie en betaalbare oplossing.

Oorspronkelijk geplaatst door t.bloo

Klopt, maar juist die software geeft blackblaze niet vrij.

Dat klopt backblaze geeft de software niet vrij.

Er zijn echter andere software oplossingen die back-ups naar meerdere locaties kunnen schrijven.

Als je twee van de "backblaze pods" naast elkaar zet, en schrijft naar beiden de back-up, dan ben je volgens mij klaar.

Er komt toch wat meer bij kijken.
Blackbaze pods zijn een heleboel schijven samen. Wat doe als er 1 schijf faalt? 2,3

Je moet die schijven best in een raid5 of raid6 zetten met 1 of meer hotspares.
Waneer vervang je de kapotte schijven?

Wat doe je als een complete blackblaze pod eruitvalt? Rebuilden op een nieuwe "pod" zal heeeel lang duren. Je kan ook de gefaalde pod terug repareren maar als er ondertussen writes gedaan zijn naar de andere pod dan zijn ze niet meer in sync.
Hoe sync je ze dan terug?

Oorspronkelijk geplaatst door snefrika

Er komt toch wat meer bij kijken.
Blackbaze pods zijn een heleboel schijven samen. Wat doe als er 1 schijf faalt? 2,3

Je moet die schijven best in een raid5 of raid6 zetten met 1 of meer hotspares.
Waneer vervang je de kapotte schijven?

Wat doe je als een complete blackblaze pod eruitvalt? Rebuilden op een nieuwe "pod" zal heeeel lang duren. Je kan ook de gefaalde pod terug repareren maar als er ondertussen writes gedaan zijn naar de andere pod dan zijn ze niet meer in sync.
Hoe sync je ze dan terug?

Je kan ook dmv drbd twee pods maken, met heartbeat. Dan betaal je wel dubbel, maar ben je wel safe. Ook kan je eventuele reparaties makkelijker uitvoeren, zoals disk vervangen, door eerst alles over te schakelen naar de andere pod. En daarna alles weer syncen.

Maar goed, het hangt er maar vanaf wat je budget is en wat voor eisen je stelt aan de uptime.

Ik vraag me af of dit gaat werken. Bij gebruik van zoveel data en hoge IO is alleen block copy met een hoge MTU waarde nog mogelijk.

Hangt er natuurlijk vanaf hoe je het gaat inzetten, af en toe een backup en een groot archief hebben gaat prima. Verder denk ik dat je ook aardig gelimiteerd bent met de netwerk verbinding, volgens mij is er slechts een connectie en ik denk niet dat je uitbreidingsmogelijkheden hebt.

Maar goed, er zijn vele ideeën om dit wel te kunnen laten werken, maar dat kost weer geld. Zoals een server als tussenstation die de data ontvangt en naar de storage servers verzend (en zelf de bestanden naar twee storage servers stuurt). En ook die tussenserver kan weer redundant, het is maar wat je wilt en wat je budget is.
Ontopic?? Er is al een topic over dit design geweest. Op zich mooi, maar niet altijd even realistisch ivm maximaal stroomverbruik in een rack (of SSD's gebruiken?)

Het zou ook de backup software zelf kunnen zijn die de backups naar de twee verschillende pods verstuurt. In het geval van Backblaze zitten er vermoedelijk heel veel verschillende accounts op één server. Dus hoeven de disk in principe niet in een hardware RAID opstelling te staan. Ik kan mij voorstellen dat ze een soort software matige RAID doen vanuit de client. Stel de backup wordt naar zowel pod A als pod B geschreven. Als de disk in pod B uitvalt, zou gedetecteerd moeten kunnen worden door de software, die vervolgens als er weer een nieuwe disk ingestoken wordt, begint met het synchroniseren van A naar B. Om vervolgens verder te gaan met het toevoegen van mutaties.

Ook valt die hoeveelheid I/O volgens mij best mee. Bij 2.500 clients (=27GB opslagruimte per client) verwacht ik zo'n 1.500 tot 2.500 inkomende netwerk pakketten per seconde, dat komt overeen met zo'n 25 tot 40 Mbit. Dus op 1Gbit interface is dat goed te doen.

Als het echt goedkoop moet is het misschien eens handig om naar ZFS Raidz2 te kijken. Kan je eventueel ook de Raid controller mee uitsparen.

ZFS beperkt wel je OS-keuze aanzienlijk. Als mijn gegevens kloppen is ZFS niet op Linux beschikbaar vanwege licentie perikelen.

Oorspronkelijk geplaatst door AlexanderOnline

Waarom wil je dit trouwens in een datacenter hebben? De kosten voor dataverkeer zijn toch best hoog, en ik weet niet hoeveel data je steeds bij moet werken, maar wat voor verbinding heb je op kantoor? Ook andere opties overwogen (zoals iets van tapes, of harddisks die je mee naar huis neemt. Ik heb totaal geen kennis of ervaring hiermee maar vraag me af waarom je specifiek voor dit als oplossing kiest.)

14 TB over een DSL-lijntje trekken lijkt me ook geen goed idee Daarnaast kunnen kosten voor het plaatsen van een server in een DC best lager zijn dan in een kantoor. Met name energiekosten zijn in een DC vaak lager dan in een kantoor, en met 14 hardeschijven en daarbij nog het een en ander aan een systeem zal dat toch ook een paar honderd Watt zijn. Tel daarbij op dat een datacenter over het algemeen een betere plek is voor een machine voor wat betreft stof, klimaat, etc..