Likes Likes:  0
Resultaten 1 tot 15 van de 31
Pagina 1 van de 3 1 2 3 LaatsteLaatste
Geen
  1. #1
    Storage voor heel veel bestanden
    geregistreerd gebruiker
    803 Berichten
    Ingeschreven
    08/03/04

    Locatie
    Zevenbergschen Hoek / Breda

    Post Thanks / Like
    Mentioned
    0 Post(s)
    Tagged
    0 Thread(s)
    0 Berichten zijn liked


    Naam: Frans van Nispen
    Bedrijf: Xentronix
    Functie: CEO
    URL: www.xentronix.nl
    Registrar SIDN: Ja
    KvK nummer: 20108684
    Ondernemingsnummer: nvt

    Thread Starter

    Storage voor heel veel bestanden

    Ik ben momenteel aan het bekijken wat de opties zijn om een enorme lading aan bestanden op te slaan.

    Het gaat voornamelijk om grafische en audio data bestanden, maar de opzet moet makkelijk 6+ miljoen verschillende bestanden aankunnen.

    De opzet moet ook schaalbaar zijn.

    Omdat backuppen van de data haast niet te doen is, daar de verwachting is dat binnen 2 jaar het geheel tussen de 10 en 15Tb kan worden, denken wij aan een redundant systeem.

    Is er iemand die ervaring heeft met dergelijke grote hoeveelheden files die wat tips of ideeën kan meegeven?

  2. #2
    Storage voor heel veel bestanden
    geregistreerd gebruiker
    941 Berichten
    Ingeschreven
    08/08/06

    Locatie
    Doetinchem

    Post Thanks / Like
    Mentioned
    0 Post(s)
    Tagged
    0 Thread(s)
    17 Berichten zijn liked


    Registrar SIDN: Ja
    KvK nummer: 09129344
    Ondernemingsnummer: nvt

    Heb je een budget? Ik kan namelijk wel wat dingen noemen, maar die verschillen nog al in prijs.

    Van equallogic (echte schaalbaarheid) tot iets als een supermicro storage server met externe disk cabinets eronder.

  3. #3
    Storage voor heel veel bestanden
    3.810 Berichten
    Ingeschreven
    16/05/04

    Locatie
    Middelburg

    Post Thanks / Like
    Mentioned
    4 Post(s)
    Tagged
    0 Thread(s)
    130 Berichten zijn liked


    Registrar SIDN: Ja

    Ik denk dat vooral één vraag belangrijk is, moet het één filesystem worden of mogen het er meerdere zijn?

  4. #4
    Storage voor heel veel bestanden
    geregistreerd gebruiker
    803 Berichten
    Ingeschreven
    08/03/04

    Locatie
    Zevenbergschen Hoek / Breda

    Post Thanks / Like
    Mentioned
    0 Post(s)
    Tagged
    0 Thread(s)
    0 Berichten zijn liked


    Naam: Frans van Nispen
    Bedrijf: Xentronix
    Functie: CEO
    URL: www.xentronix.nl
    Registrar SIDN: Ja
    KvK nummer: 20108684
    Ondernemingsnummer: nvt

    Thread Starter
    Het budget moet mee schalen

    Equalogic heb ik aan zitten denken, maar de prijs per Gb is erg hoog. En omdat het om een enorme lading bestanden gaat, is dat niet het enige antwoord.

    Ik vraag me idd af of het wel verstandig is om het één distributed filesysteem te maken. De bestanden worden opgehaald/opgeslagen onder een ID. Dit maakt het redelijk eenvoudig om de storage te segmenteren.

  5. #5
    Storage voor heel veel bestanden
    Programmeur / Hoster
    3.952 Berichten
    Ingeschreven
    20/06/06

    Locatie
    Wijlre

    Post Thanks / Like
    Mentioned
    28 Post(s)
    Tagged
    0 Thread(s)
    647 Berichten zijn liked


    Naam: John Timmer
    Bedrijf: SystemDeveloper.NL
    Functie: Eigenaar
    URL: www.systemdeveloper.nl
    KvK nummer: 14083066
    View johntimmer's profile on LinkedIn

    Misschien is een oplossing zoals MogileFS iets voor je?

    Omdat de boel toch goed te segmenteren is kun je vanalles gaan inzetten natuurlijk; van storages die elkaar repliceren tot het mounten van extra space wanneer je het nodig hebt. Zolang je maar zorgt dat je bestanden niet allemaal in 1 subdir komen staan. Althans, dat deze niet al te groot worden, anders ga je wel problemen krijgen, maar dat is altijd natuurlijk.
    SystemDeveloper.NL - 64BitsWebhosting.EU : Softwareontwikkeling & Hosting freaks

  6. #6
    Storage voor heel veel bestanden
    geregistreerd gebruiker
    1.140 Berichten
    Ingeschreven
    23/09/05

    Locatie
    Alkmaar

    Post Thanks / Like
    Mentioned
    1 Post(s)
    Tagged
    0 Thread(s)
    29 Berichten zijn liked


    Naam: Paul Beers
    URL: www.eweka.nl
    Registrar SIDN: Ja
    KvK nummer: nvt
    Ondernemingsnummer: nvt

    Wat in deze enorm belangrijk is om te weten, is of de files ook heel veel geaccesst gaan worden...



  7. #7
    Storage voor heel veel bestanden
    geregistreerd gebruiker
    803 Berichten
    Ingeschreven
    08/03/04

    Locatie
    Zevenbergschen Hoek / Breda

    Post Thanks / Like
    Mentioned
    0 Post(s)
    Tagged
    0 Thread(s)
    0 Berichten zijn liked


    Naam: Frans van Nispen
    Bedrijf: Xentronix
    Functie: CEO
    URL: www.xentronix.nl
    Registrar SIDN: Ja
    KvK nummer: 20108684
    Ondernemingsnummer: nvt

    Thread Starter
    De files moeten ook goed accessable zijn idd. En ook met meerdere downloads van 1 bestand te gelijk.

  8. #8
    Storage voor heel veel bestanden
    geregistreerd gebruiker
    239 Berichten
    Ingeschreven
    13/01/03

    Locatie
    Haarlem, Netherlands

    Post Thanks / Like
    Mentioned
    0 Post(s)
    Tagged
    0 Thread(s)
    8 Berichten zijn liked


    Naam: Henri Wiering
    Bedrijf: KiXtart hosting services
    Functie: Directeur/eigenaar
    URL: kixtart.nl
    Registrar SIDN: ja
    ISPConnect: Lid
    KvK nummer: 34117138
    TrustCloud: henri.wiering
    View kixtart's profile on LinkedIn

    Hoi,

    Met behulp van Open-E DSS kun je ahw een RAID-1 setup maken van 2 storage units. Dit werkt enkel via iSCSI.

    Zie: http://www.open-e.com/site_media/dow...N_November.pdf

    Als je dan met bijvoorbeeld 2 x een Supermicro chassis met SAS expander en SAS raid een systeem bouwt kun je er later zoveel schijven chassis' er aan koppelen als je raid controller ondersteund.

    Zo'n systeem kan aardig meegroeien met je budget en afhankelijk van je performance benodigdheden kun je je hardware afstemmen.

    Eventueel kun je ook enkel met Supermicro chassis een redundante SAS storage maken mbv de chassis met dubbele SAS expanders. Ik heb hiervan waarschijnlijk nog wel ergens een whitepaper.

    Henri

  9. #9
    Storage voor heel veel bestanden
    geregistreerd gebruiker
    478 Berichten
    Ingeschreven
    24/11/05

    Locatie
    Almere

    Post Thanks / Like
    Mentioned
    0 Post(s)
    Tagged
    0 Thread(s)
    1 Berichten zijn liked



    Kijk is naar Lustre als oplossing voor je filesystem.

  10. #10
    Storage voor heel veel bestanden
    Your Supermicro Partner
    2.678 Berichten
    Ingeschreven
    05/04/03

    Locatie
    Belgium

    Post Thanks / Like
    Mentioned
    7 Post(s)
    Tagged
    0 Thread(s)
    11 Berichten zijn liked


    Naam: Van Impe Philippe
    Bedrijf: Ahead-IT
    Functie: Account management & sales
    URL: https://www.ahead-it.eu
    Registrar SIDN: nee
    Ondernemingsnummer: 867369149

    2 x 24TB SAN met realtime failover komt bij Supermicro op een kleine 20k.

    Performance: 600MB sustained read, 4-500MB write

    Bijvoorbeeld, 2x:
    STID2442: 24TB SATA/SAS RAID 5/6/10/50/60, 8x10Gbit - 16xGbit LAN, 64GB cache, iSCSI (SAN) & NAS
    1 * 3 Jaar Ahead-IT Server Service met EasyRMA+, Advanced Replacement Service & gratis levering
    1 * Open-E DDS NAS + iSCSI all-in-one: 16TB
    1 * Open-E 8TB Licence Key voor iSCSI/NAS-R3 & DDS
    1 * Supermicro X7DBi+ Server Moederbord
    1 * Supermicro AOC-STG-I2 Netwerk Kaart, 2 x 10Gbit/sec
    1 * Supermicro SC846TQ-R900B, hot-swappable, redundante voeding, 3U, rails incl.
    1 * Adaptec 52445, 28 x SATA/SAS hardware RAID 24int/4ext, 512MB cache, PCI-E
    1 * Adaptec ABM 800 Battery Backup Module Kit
    1 * Supermicro IPMI 2.0 SIMLP+ met KVM over IP
    8 * Kingston 4096MB DDR-2 667Mhz Fully Buffered ECC
    24 * Western Digital 1000GB, SATA II, 32MB, 7200rpm, raid edition
    2 * Intel Xeon L5420, Harpertown 2.5Ghz Quad Core, FSB1333, 12MB, 32/64 bit, VT, 50W low-voltage

    Daarboven is deze oplossing uit te breiden met JBOD-systemen, tot 192 disks (192TB).

    Je weet ons te vinden indien interesse/extra info.
    Laatst gewijzigd door Ahead-IT; 04/02/09 om 23:05.

  11. #11
    Storage voor heel veel bestanden
    geregistreerd gebruiker
    187 Berichten
    Ingeschreven
    21/09/03

    Locatie
    Delft

    Post Thanks / Like
    Mentioned
    0 Post(s)
    Tagged
    0 Thread(s)
    2 Berichten zijn liked


    Naam: Ce
    Registrar SIDN: ja
    Ondernemingsnummer: nvt

    Waarom is het bijna niet te backuppen? Onze grootste installatie heeft dan wel geen 6 miljoen bestanden, maar wel bijna 1 miljoen bestanden. Daarvan kunnen back-ups gemaakt worden zonder enig probleem. Dat doen we zelfs middels een online (internet) back-up.

    __________________
    CrashPlan.nl • automatische online backup
    voor Windows, Mac OS X, Linux en Solaris
    Laagste prijs per GB opslagruimte in Nederland.
    http://www.crashplan.nl/online-backu...ne-backup.html

  12. #12
    Storage voor heel veel bestanden
    geregistreerd gebruiker
    803 Berichten
    Ingeschreven
    08/03/04

    Locatie
    Zevenbergschen Hoek / Breda

    Post Thanks / Like
    Mentioned
    0 Post(s)
    Tagged
    0 Thread(s)
    0 Berichten zijn liked


    Naam: Frans van Nispen
    Bedrijf: Xentronix
    Functie: CEO
    URL: www.xentronix.nl
    Registrar SIDN: Ja
    KvK nummer: 20108684
    Ondernemingsnummer: nvt

    Thread Starter
    Backuppen kan altijd. Maar het systeem moet 24/7 live zijn en er is daarom ook geen backup tijdframe.

    Backups moeten daarom ten alle tijden worden getrokken van een slave systeem.
    Het probleem zal waarschijnlijk vooral gaan zitten in de hoeveelheid bestanden.

    Het plaatsen van 1 of meerdere SAN's is dus niet een totaal oplossing die we zoeken, want daarmee is de vraag hoe je deze hoeveelheden files goed aan kan niet beantwoord.

    Het zal dus neer gaan komen op redundant systemen, hetzij Equaligics, hetzij SuperMicro storage machines met de optie er gesegmenteerd meerdere van te zetten.

    Maar welk bestandsysteem kan deze hoeveelheden bestanden op een veilige betrouwbare manier aan?

  13. #13
    Storage voor heel veel bestanden
    geregistreerd gebruiker
    676 Berichten
    Ingeschreven
    22/01/09

    Locatie
    Eindhoven

    Post Thanks / Like
    Mentioned
    0 Post(s)
    Tagged
    0 Thread(s)
    0 Berichten zijn liked


    Registrar SIDN: nee
    KvK nummer: nvt
    Ondernemingsnummer: nvt

    sync <3

  14. #14
    Storage voor heel veel bestanden
    geregistreerd gebruiker
    132 Berichten
    Ingeschreven
    29/07/03

    Locatie
    Brussel

    Post Thanks / Like
    Mentioned
    0 Post(s)
    Tagged
    0 Thread(s)
    0 Berichten zijn liked


    Registrar SIDN: Nee
    KvK nummer: Nope
    Ondernemingsnummer: 0466.228.421

    Kijk eens naar glusterfs. Zeer schaalbaar en HA ingebouwd.

  15. #15
    Storage voor heel veel bestanden
    Allround Fixer
    1.647 Berichten
    Ingeschreven
    09/02/06

    Locatie
    Utrecht

    Post Thanks / Like
    Mentioned
    0 Post(s)
    Tagged
    0 Thread(s)
    0 Berichten zijn liked


    Registrar SIDN: ja
    KvK nummer: 24334504
    Ondernemingsnummer: nvt

    wij gebruiken openfiler voor een soortgelijke oplossing, misschien de moeite waard om te onderzoeken

Pagina 1 van de 3 1 2 3 LaatsteLaatste

Webhostingtalk.nl

Contact

  • Rokin 113-115
  • 1012 KP, Amsterdam
  • Nederland
  • Contact
© Copyright 2001-2021 Webhostingtalk.nl.
Web Statistics