Opzetten van eigen storage met heel veel TB's

[golden]

Al diverse keren hebben we hier topics over gemaakt en nu willen we voor een proefproject zelf wat gaan ontwikkelen.
Snelheid en IOPS zijn niet het belangrijkste zolang er per raidarray maar minimaal een Gbit p/s gehaald kan worden (leessnelheid).

Nu kennen de meeste hier vast de Backblaze storage oplossingen. Wij hebben op dit moment 4 cases besteld waarin we per case circa 135TB gaan stoppen met 3 * raid6 array.

Verder gaan we het opbouwen uit Supermicro hardware (dit wordt onze eerste ervaring met supermicro) en kijken wat we ervan kunnen maken.

Het duurt nog een maand ongeveer tot de cases binnenzijn en daarna wil ik eigenlijk hier een kleine blog gaan bijhouden met opmerkingen en ervaringen.

Mogelijke vragen:

- Waarom geen echte NAS
- Simpelweg omdat SANS voor dit doel te kostbaar zijn. Voor een VPS cluster heeft een SAN enorme meerwaarde maar enkel wat files serveren dan zijn ze er weinig.

- Welke software gaan jullie erop draaien
- Dit is nog niet bekend. We gaan kijken aan de hand van een eerder topic kijken naar iets zoals Google File Cluster

- Zijn dit de enige vragen?
- Nu nog wel

[advandeput]

We hebben onlangs onze Q-BOX (professioneel alternatief voor Dropbox) gelanceerd gebaseerd op CAstore software, voordeel hiervan is dat dit onafhankelijk werkt van de hardware en je heel eenvoudig door kunt stacken. Daarnaast hebben we een iSCSI cluster gemaakt met Open-e software.
Beide werkt uitstekend, e.e.a. is echter afhankelijk van de gewenste specificaties.

[golden]

We hebben onlangs onze Q-BOX (professioneel alternatief voor Dropbox) gelanceerd gebaseerd op CAstore software, voordeel hiervan is dat dit onafhankelijk werkt van de hardware en je heel eenvoudig door kunt stacken. Daarnaast hebben we een iSCSI cluster gemaakt met Open-e software.
Beide werkt uitstekend, e.e.a. is echter afhankelijk van de gewenste specificaties.

Wij doen inderdaad ook iets met filehosting & video streaming. Enkel zien we de opslag met zo'n 20 - 40 TB per maand toenemen. En met dat is enorm kostbaar als je voor elke 20TB een server moet gaan plaatsen. Ook willen we het gemakkelijk over dc's kunnen spreiden ivm beschikbaarheid en dan vind ik zelf een idee als Google File Cluster een gemakkelijker idee aangezien je een "soort van" raid over diverse locaties kan opbouwen.

Voor onze VPS Cluster maken we tot nu toe enkel gebruik van Sans van Dell, maar hiervoor is het te kostbaar. Dat CAstore software ziet er inderdaad niet slecht uit en lijkt volgens mij redelijk om wat wij willen. Open-e is hierin volgens mij iets te beperkt. Maar ken Open-e niet goed genoeg om dit te bevestigen.

[t.bloo]

Ik heb goede ervaring met moosefs en xtreemfs hiervoor. Nadeel van moosefs is wel dat er per file 200 bytes in memory wordt gehouden, wat met veel (kleine) files een beetje kostbaar wordt.

[Wido]

Ceph? Schaalt tot in de PetaBytes en kan je de coolste dingen mee doen.

Gebruik RADOS om je objecten direct in op te slaan en klaar.

[Mark17]

Op basis van Coraid icm AoE kun je ook enorm schalen en simpel/snel schijfruimte bij plaatsen. Hier boven op kun je dan normale volumes aanmaken.

[golden]

Bedankt voor de reacties tot dusver. Ik ga even de benoemde opties bekijken en kom daarop dan terug. Uiteraard zodra we alle onderdelen hebben ga ik het hier live bijhouden met pics .