Onderwerp: Storage voor heel veel bestanden

Oorspronkelijk geplaatst door FransVanNispen

Maar welk bestandsysteem kan deze hoeveelheden bestanden op een veilige betrouwbare manier aan?

Hmm, nogmaals dan.

Fifteen of the top 30 supercomputers in the world use Lustre file systems, including the world's second fastest supercomputer, the Blue Gene/L at Lawrence Livermore National Laboratory (LLNL) [3]. Other supercomputers that use the Lustre file system include systems at Oak Ridge National Laboratory, Pacific Northwest National Laboratory, and NASA[4] in North America, the largest system in Asia at Tokyo Institute of Technology[5], and one of the largest systems in Europe at CEA [6].

Lustre file systems can support up to tens of thousands of client systems, petabytes (PBs) of storage and hundreds of gigabytes per second (GB/s) of I/O throughput. Businesses ranging from Internet service providers to large financial institutions deploy Lustre file systems in their data centers. Due to the high scalability of Lustre file systems, Lustre deployments are popular in the oil and gas, manufacturing, rich media and finance sectors.[7]

Source: http://en.wikipedia.org/wiki/Lustre_(file_system)

Oorspronkelijk geplaatst door FransVanNispen

Backups moeten daarom ten alle tijden worden getrokken van een slave systeem.
Het probleem zal waarschijnlijk vooral gaan zitten in de hoeveelheid bestanden.

Ik denk niet dat je filebased backups moet gaan maken, kost inderdaad een bak aan tijd. Ik zou gaan voor een blockdevice gebaseerde backup. Dan hoef je niet al je files door te spitten. Wij gebruiken zelf R1soft, en hebben daar een flinke stapel servers op draaien die het erg goed doen. Elke bak krijgt om de 6 uur een backup, en je merkt er geen bal van, alleen de initial seed kan even duren, maar da's logisch.

Aangezien het in jouw geval om een behoorlijk aantal TB'tjes zal gaan is het misschien wijsheid om even contact met ze op te nemen en te vragen hoe hun pakket ermee om gaat. Ik heb er in ieder geval tot nu toe alleen maar positieve ervaringen mee! http://www.r1soft.com/

Oorspronkelijk geplaatst door FransVanNispen

Maar welk bestandsysteem kan deze hoeveelheden bestanden op een veilige betrouwbare manier aan?

Indien je voor 1 huge filesystem gaat kun je denken aan XFS:
http://en.wikipedia.org/wiki/XFS

Als je dan XFS boven op je lvm draait kun je prima snapshots maken met je lvm en die wegzetten.

Ligt natuurlijk wel aan wat je aan onderliggende hardware hebt

De kracht van XFS komt juist naar voren bij hele grote bestanden, niet heel veel kleintjes.

Met een aantal virtual machines heb ik eens een geclusterd filesystem opgezet met RedHat's GFS. Wat prettig is aan deze oplossing is dat alles goed gedocumenteerd is en dat met RedHat of CentOS geen gefriemel met drivers en kernels nodig is -- alles wordt standaard meegeleverd.

http://www.redhat.com/gfs/
http://en.wikipedia.org/wiki/Global_File_System

Hiermee kun je een aantal simpele RAID setups op een aantal simpele systemen aan elkaar knopen.

Wat jullie overigens ook doen, ik zou wel degelijk in het budget kijken voor het backup oplossing.

Frans, voor backup zou 's kunnen kijken naar Avamar.
Avamar is een product van EMC, het is niet de goedkoopste, maar wel een van de betere.

In tegendeel tot vele backup software backuped deze niet de gehele bestanden, maar de bits die gewijzigd zijn. Google 's even anders op Avamar.

Indien interesse om een Supermicro/Open-E systeem te testen dan kan dit via http://www.trysupermicro.be . Via hier kan je een systeem "bestellen" en testen voor 30 dagen. Lukt het niet of niet tevreden, dan komen we de server terug ophalen. Je hebt dus niets te verliezen & geen risico, buiten de testtijd uiteraard.

Benieuwd naar de mogelijkheden en onmogelijkheden van de backup software die we zelf als dienst aanbieden, zijn we een test gestart met heel veel bestanden.

In deze test worden naar schatting 12 miljoen verschillende (.png) bestanden aangemaakt. Tegelijkertijd worden deze bestanden ook online gebackupt.

Momenteel zijn er al zo'n 2,1 miljoen bestanden aangemaakt, waarvan er 1 miljoen zijn veiliggesteld, en de software gaat vrolijk verder met het back-uppen.

Ter informatie, het gebruikte bestandssysteem is HFS+/Mac OS Extended (journaled).

De online backup software werd getest tot en met 10.493.378 bestanden.
Die 10 miljoen bestanden werden correct veilig gesteld.

[offtopic]
Er zijn bedrijven zoals h.... art, daar kun je onbeperkte data kwijt voor onder de 200 euro (eenmalig) Gooi daar eens wat TB's neer. Weet alleen niet of ze er volgende week nog staan :P
[/offtopic]

Ik sluit me aan bij Kixtart. Wij werken al jaren met supermicro, prima merk en je kunt het uitbouwen zoals je zelf wilt!

Dat hoort hier niet thuis, tweedehands-sectie lijkt me correcter. Misschien toch nog maar even de regeltjes lezen

Ik zou ZFS op een X4500-series Sun (Oracle?) systeem aanraden.

Oorspronkelijk geplaatst door wonko

Ik zou ZFS op een X4500-series Sun (Oracle?) systeem aanraden.

heb je daar ervaring mee? heb wel eens rond gekeken tussen de specs en ziet er zeker leuk uit.

Iemand hier uberhaupt ervaring met ZFS voor bv hele grote files, of juist heel veel kleine files?

Oorspronkelijk geplaatst door wonko

Ik zou ZFS op een X4500-series Sun (Oracle?) systeem aanraden.

X4500 is al een poosje EOL, word dan X4540 denk ik ;-)

X4500-series zei ik dan ook; wat zou beduiden dat je de X4500 reeks bekijkt, en kijkt wat intressant is voor jezelf (kan een X4500 zijn van op ebay, of een gloednieuwe X4540 van Sun zelf, hangt wat van het budget af...).