Onderwerp: Storage voor heel veel bestanden

Ik ben momenteel aan het bekijken wat de opties zijn om een enorme lading aan bestanden op te slaan.

Het gaat voornamelijk om grafische en audio data bestanden, maar de opzet moet makkelijk 6+ miljoen verschillende bestanden aankunnen.

De opzet moet ook schaalbaar zijn.

Omdat backuppen van de data haast niet te doen is, daar de verwachting is dat binnen 2 jaar het geheel tussen de 10 en 15Tb kan worden, denken wij aan een redundant systeem.

Is er iemand die ervaring heeft met dergelijke grote hoeveelheden files die wat tips of ideeën kan meegeven?

Heb je een budget? Ik kan namelijk wel wat dingen noemen, maar die verschillen nog al in prijs.

Van equallogic (echte schaalbaarheid) tot iets als een supermicro storage server met externe disk cabinets eronder.

Ik denk dat vooral één vraag belangrijk is, moet het één filesystem worden of mogen het er meerdere zijn?

Het budget moet mee schalen

Equalogic heb ik aan zitten denken, maar de prijs per Gb is erg hoog. En omdat het om een enorme lading bestanden gaat, is dat niet het enige antwoord.

Ik vraag me idd af of het wel verstandig is om het één distributed filesysteem te maken. De bestanden worden opgehaald/opgeslagen onder een ID. Dit maakt het redelijk eenvoudig om de storage te segmenteren.

Misschien is een oplossing zoals MogileFS iets voor je?

Omdat de boel toch goed te segmenteren is kun je vanalles gaan inzetten natuurlijk; van storages die elkaar repliceren tot het mounten van extra space wanneer je het nodig hebt. Zolang je maar zorgt dat je bestanden niet allemaal in 1 subdir komen staan. Althans, dat deze niet al te groot worden, anders ga je wel problemen krijgen, maar dat is altijd natuurlijk.

Wat in deze enorm belangrijk is om te weten, is of de files ook heel veel geaccesst gaan worden...

De files moeten ook goed accessable zijn idd. En ook met meerdere downloads van 1 bestand te gelijk.

Hoi,

Met behulp van Open-E DSS kun je ahw een RAID-1 setup maken van 2 storage units. Dit werkt enkel via iSCSI.

Zie: http://www.open-e.com/site_media/dow...N_November.pdf

Als je dan met bijvoorbeeld 2 x een Supermicro chassis met SAS expander en SAS raid een systeem bouwt kun je er later zoveel schijven chassis' er aan koppelen als je raid controller ondersteund.

Zo'n systeem kan aardig meegroeien met je budget en afhankelijk van je performance benodigdheden kun je je hardware afstemmen.

Eventueel kun je ook enkel met Supermicro chassis een redundante SAS storage maken mbv de chassis met dubbele SAS expanders. Ik heb hiervan waarschijnlijk nog wel ergens een whitepaper.

Henri

Kijk is naar Lustre als oplossing voor je filesystem.

2 x 24TB SAN met realtime failover komt bij Supermicro op een kleine 20k.

Performance: 600MB sustained read, 4-500MB write

Bijvoorbeeld, 2x:
STID2442: 24TB SATA/SAS RAID 5/6/10/50/60, 8x10Gbit - 16xGbit LAN, 64GB cache, iSCSI (SAN) & NAS
1 * 3 Jaar Ahead-IT Server Service met EasyRMA+, Advanced Replacement Service & gratis levering
1 * Open-E DDS NAS + iSCSI all-in-one: 16TB
1 * Open-E 8TB Licence Key voor iSCSI/NAS-R3 & DDS
1 * Supermicro X7DBi+ Server Moederbord
1 * Supermicro AOC-STG-I2 Netwerk Kaart, 2 x 10Gbit/sec
1 * Supermicro SC846TQ-R900B, hot-swappable, redundante voeding, 3U, rails incl.
1 * Adaptec 52445, 28 x SATA/SAS hardware RAID 24int/4ext, 512MB cache, PCI-E
1 * Adaptec ABM 800 Battery Backup Module Kit
1 * Supermicro IPMI 2.0 SIMLP+ met KVM over IP
8 * Kingston 4096MB DDR-2 667Mhz Fully Buffered ECC
24 * Western Digital 1000GB, SATA II, 32MB, 7200rpm, raid edition
2 * Intel Xeon L5420, Harpertown 2.5Ghz Quad Core, FSB1333, 12MB, 32/64 bit, VT, 50W low-voltage

Daarboven is deze oplossing uit te breiden met JBOD-systemen, tot 192 disks (192TB).

Je weet ons te vinden indien interesse/extra info.

Waarom is het bijna niet te backuppen? Onze grootste installatie heeft dan wel geen 6 miljoen bestanden, maar wel bijna 1 miljoen bestanden. Daarvan kunnen back-ups gemaakt worden zonder enig probleem. Dat doen we zelfs middels een online (internet) back-up.

__________________
CrashPlan.nl • automatische online backup
voor Windows, Mac OS X, Linux en Solaris
Laagste prijs per GB opslagruimte in Nederland.
http://www.crashplan.nl/online-backu...ne-backup.html

Backuppen kan altijd. Maar het systeem moet 24/7 live zijn en er is daarom ook geen backup tijdframe.

Backups moeten daarom ten alle tijden worden getrokken van een slave systeem.
Het probleem zal waarschijnlijk vooral gaan zitten in de hoeveelheid bestanden.

Het plaatsen van 1 of meerdere SAN's is dus niet een totaal oplossing die we zoeken, want daarmee is de vraag hoe je deze hoeveelheden files goed aan kan niet beantwoord.

Het zal dus neer gaan komen op redundant systemen, hetzij Equaligics, hetzij SuperMicro storage machines met de optie er gesegmenteerd meerdere van te zetten.

Maar welk bestandsysteem kan deze hoeveelheden bestanden op een veilige betrouwbare manier aan?

sync <3

Kijk eens naar glusterfs. Zeer schaalbaar en HA ingebouwd.

wij gebruiken openfiler voor een soortgelijke oplossing, misschien de moeite waard om te onderzoeken