Likes Likes:  0
Resultaten 1 tot 15 van de 31
Pagina 1 van de 3 1 2 3 LaatsteLaatste
Geen
  1. #1
    Clustering van resources en opslag
    geregistreerd gebruiker
    868 Berichten
    Ingeschreven
    27/01/10

    Locatie
    Nieuwegein

    Post Thanks / Like
    Mentioned
    11 Post(s)
    Tagged
    0 Thread(s)
    97 Berichten zijn liked


    Naam: Sebastiaan
    Registrar SIDN: nee
    Ondernemingsnummer: nvt

    Thread Starter

    Clustering van resources en opslag

    Beste Webhostingtalkers,

    Gister probeerde ik iemand anders te helpen en kwam direct bij mijzelf ook op de vraag of wij het misschien ook beter kunnen doen dan dat we nu doen.

    Wij beheren een website met wekelijks zo'n 70 miljoen pageviews wat geserveerd wordt door zo'n 200 servers. Daarvan zijn maar enkele voor het serveren van de website en de rest zijn bedoeld voor het converteren van materiaal en het aanleveren van files.

    Bij het uploaden van files (gaat om een site met bedrijfsgegevens, bestanden) zoekt hij een server met voldoende opslag en resources. Nu doen wij enkel aan een raid mirror en geen losse backup aangezien het niet echt erg is mocht er wat verloren gaan.

    Nu wordt het platform steeds groter en moeilijker beheerbaar. Althans servers moeten los geinstalleerd en geconfigureerd worden om aan het systeem toegevoegd te worden. Maar het resultaat is een enorm goed performend systeem.

    Het enige probleem is dat converteren van files veelal videos maar ook documenten gemiddeld vrij lang kunnen duren.

    Nu vraag ik me af of er een qua structuur een betere oplossing is door te gaan clusteren (?) zodat je ipv allemaal losse opslag locaties een gecombineerde hebt? (Google doet toch zoiets?). En met het voordeel om dus ook resources kan samenvoegen zodat het converteren vele malen sneller zou kunnen gaan.

    We hebben vroeger met een centrale SAN gewerkt maar dat werd te kostbaar en de performance ging omlaag (750TB).

    Dus ik hoop op een oplossing waarmee ik simpelweg een server zou kunnen bijpluggen die de resources vergroot, dus zowel de opslag als cpu en geheugen.

    Het is in eerste instantie bedoeld om ermee te gaan spelen / experimenteren.

    Alvast bedankt!

  2. #2
    Clustering van resources en opslag
    Geregistreerd Gebruiker
    4.754 Berichten
    Ingeschreven
    23/04/05

    Locatie
    Eindhoven

    Post Thanks / Like
    Mentioned
    15 Post(s)
    Tagged
    0 Thread(s)
    353 Berichten zijn liked


    Naam: Toin Bloo
    Bedrijf: Dommel Hosting
    URL: www.dommelhosting.nl
    ISPConnect: Lid
    KvK nummer: 17177247

    Voor niet al te snelle storage kun je systemen als moosefs of xtreemfs gebruiken. Je prikt er een server bij en de storage wordt zonder configureren groter.

  3. #3
    Clustering van resources en opslag
    geregistreerd gebruiker
    868 Berichten
    Ingeschreven
    27/01/10

    Locatie
    Nieuwegein

    Post Thanks / Like
    Mentioned
    11 Post(s)
    Tagged
    0 Thread(s)
    97 Berichten zijn liked


    Naam: Sebastiaan
    Registrar SIDN: nee
    Ondernemingsnummer: nvt

    Thread Starter
    Citaat Oorspronkelijk geplaatst door t.bloo Bekijk Berichten
    Voor niet al te snelle storage kun je systemen als moosefs of xtreemfs gebruiken. Je prikt er een server bij en de storage wordt zonder configureren groter.
    Bedankt voor je reactie. Ik ga er eens naar kijken. Echter wat is "niet al te snel" we trekken maandelijks zo'n 1200TB aan bandbreedte. Is dat wel te doen?

  4. #4
    Clustering van resources en opslag
    geregistreerd gebruiker
    794 Berichten
    Ingeschreven
    18/04/08

    Locatie
    België

    Post Thanks / Like
    Mentioned
    3 Post(s)
    Tagged
    0 Thread(s)
    9 Berichten zijn liked


    Naam: Alain Van Messen
    Bedrijf: Evoluto
    Functie: Zaakvoerder
    URL: www.evoluto.be
    Ondernemingsnummer: 564814865
    View https://www.linkedin.com/company/evoluto's profile on LinkedIn

    Citaat Oorspronkelijk geplaatst door t.bloo Bekijk Berichten
    Voor niet al te snelle storage kun je systemen als moosefs of xtreemfs gebruiken. Je prikt er een server bij en de storage wordt zonder configureren groter.
    Dit levert enkel extra storage en gaat je niet helpen sneller te converteren.

  5. #5
    Clustering van resources en opslag
    Geregistreerd Gebruiker
    4.754 Berichten
    Ingeschreven
    23/04/05

    Locatie
    Eindhoven

    Post Thanks / Like
    Mentioned
    15 Post(s)
    Tagged
    0 Thread(s)
    353 Berichten zijn liked


    Naam: Toin Bloo
    Bedrijf: Dommel Hosting
    URL: www.dommelhosting.nl
    ISPConnect: Lid
    KvK nummer: 17177247

    duh, de holy grail is natuurlijk iets dat alle problemen in eens oplost... maar dat is er vast niet

  6. #6
    Clustering van resources en opslag
    geregistreerd gebruiker
    868 Berichten
    Ingeschreven
    27/01/10

    Locatie
    Nieuwegein

    Post Thanks / Like
    Mentioned
    11 Post(s)
    Tagged
    0 Thread(s)
    97 Berichten zijn liked


    Naam: Sebastiaan
    Registrar SIDN: nee
    Ondernemingsnummer: nvt

    Thread Starter
    Citaat Oorspronkelijk geplaatst door avanmessen Bekijk Berichten
    Dit levert enkel extra storage en gaat je niet helpen sneller te converteren.
    Dat is correct. Moet ik wel zeggen dat storage een groter probleem is dan de resources. In theorie kunnen we voor de resources een los "cloudje" opzetten die zich enkel bezig houden met converteren.



  7. #7
    Clustering van resources en opslag
    geregistreerd gebruiker
    868 Berichten
    Ingeschreven
    27/01/10

    Locatie
    Nieuwegein

    Post Thanks / Like
    Mentioned
    11 Post(s)
    Tagged
    0 Thread(s)
    97 Berichten zijn liked


    Naam: Sebastiaan
    Registrar SIDN: nee
    Ondernemingsnummer: nvt

    Thread Starter
    Citaat Oorspronkelijk geplaatst door t.bloo Bekijk Berichten
    duh, de holy grail is natuurlijk iets dat alle problemen in eens oplost... maar dat is er vast niet
    Niet te koop op Ebay? Die holy grail?

  8. #8
    Clustering van resources en opslag
    geregistreerd gebruiker
    487 Berichten
    Ingeschreven
    09/09/05

    Locatie
    Beilen / Groningen

    Post Thanks / Like
    Mentioned
    2 Post(s)
    Tagged
    0 Thread(s)
    25 Berichten zijn liked


    Naam: Jasper Aikema
    Bedrijf: ja - advies en beheer
    Functie: Eigenaar
    URL: www.jasperaikema.nl
    KvK nummer: 55931480
    View jasperaikema's profile on LinkedIn

    Je zou kunnen kijken naar een cloud oplossing. Bijvoorbeeld Swift van OpenStack.

    Twee jaar geleden is hier op fosdem een presentatie over geweest http://mirror.be.gbxs.net/video.fosd...stack.xvid.avi.

    Erg interessant, schaalbaar en snel.
    ja - advies en beheer: Hosting in de cloud - the next big thing!

  9. #9
    Clustering van resources en opslag
    geregistreerd gebruiker
    868 Berichten
    Ingeschreven
    27/01/10

    Locatie
    Nieuwegein

    Post Thanks / Like
    Mentioned
    11 Post(s)
    Tagged
    0 Thread(s)
    97 Berichten zijn liked


    Naam: Sebastiaan
    Registrar SIDN: nee
    Ondernemingsnummer: nvt

    Thread Starter
    Citaat Oorspronkelijk geplaatst door asusk7m550 Bekijk Berichten
    Je zou kunnen kijken naar een cloud oplossing. Bijvoorbeeld Swift van OpenStack.

    Twee jaar geleden is hier op fosdem een presentatie over geweest http://mirror.be.gbxs.net/video.fosd...stack.xvid.avi.

    Erg interessant, schaalbaar en snel.
    Ga ik eens bekijken. Swift is een ander pakket van Openstack dan Openstack zelf toch? Aangezien volgens mij Openstack voornamelijk gericht is op virtualisatie?

    Kan zosnel geen presentatie site vinden van dat Switft.

  10. #10
    Clustering van resources en opslag
    geregistreerd gebruiker
    487 Berichten
    Ingeschreven
    09/09/05

    Locatie
    Beilen / Groningen

    Post Thanks / Like
    Mentioned
    2 Post(s)
    Tagged
    0 Thread(s)
    25 Berichten zijn liked


    Naam: Jasper Aikema
    Bedrijf: ja - advies en beheer
    Functie: Eigenaar
    URL: www.jasperaikema.nl
    KvK nummer: 55931480
    View jasperaikema's profile on LinkedIn

    OpenStack is het overkoepelende pakket. Waarbij Swift een onderdeel is.

    Je kunt het swift ook los gebruiken zonder de rest van openstack.

    Zie ook: http://wiki.openstack.org/Swift
    ja - advies en beheer: Hosting in de cloud - the next big thing!

  11. #11
    Clustering van resources en opslag
    Programmeur / Hoster
    3.952 Berichten
    Ingeschreven
    20/06/06

    Locatie
    Wijlre

    Post Thanks / Like
    Mentioned
    28 Post(s)
    Tagged
    0 Thread(s)
    647 Berichten zijn liked


    Naam: John Timmer
    Bedrijf: SystemDeveloper.NL
    Functie: Eigenaar
    URL: www.systemdeveloper.nl
    KvK nummer: 14083066
    View johntimmer's profile on LinkedIn

    Wat wij (welliswaar een heel stuk kleiner dan 200 servers) doen is het systeem gewoon helemaal uit elkaar trekken zodat je cache, webservers, mysql, storage, videoconversies e.d. in aparte clusters onderbrengt. Heb je dan een tekort aan bv. video conversie capaciteit dan schuif je gewoon een aantal servers erbij die zich puur met conversie bezighouden. Deze kunnen dan bv. snelle procs hebben, maar kwa opslag hebben die niks interessants nodig. Dit kun je dan voor elke funktiegroep doen.

  12. #12
    Clustering van resources en opslag
    geregistreerd gebruiker
    868 Berichten
    Ingeschreven
    27/01/10

    Locatie
    Nieuwegein

    Post Thanks / Like
    Mentioned
    11 Post(s)
    Tagged
    0 Thread(s)
    97 Berichten zijn liked


    Naam: Sebastiaan
    Registrar SIDN: nee
    Ondernemingsnummer: nvt

    Thread Starter
    Citaat Oorspronkelijk geplaatst door systemdeveloper Bekijk Berichten
    Wat wij (welliswaar een heel stuk kleiner dan 200 servers) doen is het systeem gewoon helemaal uit elkaar trekken zodat je cache, webservers, mysql, storage, videoconversies e.d. in aparte clusters onderbrengt. Heb je dan een tekort aan bv. video conversie capaciteit dan schuif je gewoon een aantal servers erbij die zich puur met conversie bezighouden. Deze kunnen dan bv. snelle procs hebben, maar kwa opslag hebben die niks interessants nodig. Dit kun je dan voor elke funktiegroep doen.
    Is een mogelijkheid inderdaad ook. Ik ga eens wat oplossingen bekijken. Andere tips, opmerkingen of vragen zijn altijd welkom.

  13. #13
    Clustering van resources en opslag
    geregistreerd gebruiker
    1.073 Berichten
    Ingeschreven
    15/07/03

    Locatie
    Haarlem

    Post Thanks / Like
    Mentioned
    4 Post(s)
    Tagged
    0 Thread(s)
    21 Berichten zijn liked


    Naam: Pim
    Bedrijf: RealHosting
    Functie: Ondernemer
    Registrar SIDN: ja
    KvK nummer: 39093099
    Ondernemingsnummer: nvt

    Wij zijn wat aan het testen met software gebaseerd op Scality Ring.
    Tot nu toe zeer onder de indruk. Wellicht is het iets voor je:
    http://www.scality.com/ring-organic-storage/

  14. #14
    Clustering van resources en opslag
    geregistreerd gebruiker
    190 Berichten
    Ingeschreven
    02/07/09

    Locatie
    Enschede

    Post Thanks / Like
    Mentioned
    0 Post(s)
    Tagged
    0 Thread(s)
    23 Berichten zijn liked


    Naam: Netbulae
    Bedrijf: Netbulae B.V.
    URL: www.netbulae.eu
    Registrar SIDN: nee
    KvK nummer: 08198180
    Ondernemingsnummer: nvt

    Als je echte een high performance storage cluster wil bouwen lijkt me Ceph een goede keuze. Wel ingewikkeld maar gemaakt voor HPC en hoe meer nodes hoe meer performance.

    GlusterFS is weer een stuk makkelijker maar op dit moment zuigt de random write snelheid behoorlijk. Dit komt door het locking mechanisme. Red Hat is hier wel druk mee bezig. Wel een stuk volwassener daan MooseFs. Extremefs heeft weer het nadeel dat er geen fatsoenlijke beheer tools zijn.

    Snelheid staat in cluster/distributed filesystems recht tegenover data integriteit, wil je het ene dan moet je consessies op het andere doen. In principe werkt het net als harddisk RAID, alle oplossingen hebben voor en nadelen.
    Laatst gewijzigd door Netbulae; 13/10/12 om 14:19.

  15. #15
    Clustering van resources en opslag
    geregistreerd gebruiker
    195 Berichten
    Ingeschreven
    18/12/08

    Locatie
    Purmerend

    Post Thanks / Like
    Mentioned
    4 Post(s)
    Tagged
    0 Thread(s)
    33 Berichten zijn liked


    Naam: Erik Bais
    Bedrijf: A2B Internet
    URL: www.a2b-internet.com
    KvK nummer: 37164338

    Wij hebben een klant die zo'n 2 Petabyte aan storage platform draaien, allemaal zelfbouw.

    Er zijn meerdere opties om storage sneller te laten gaan, met name in combinatie van hot content op ssd en storage storage op goedkoper sata.

    PM me maar als je meer achtergrond wil.

Pagina 1 van de 3 1 2 3 LaatsteLaatste

Webhostingtalk.nl

Contact

  • Rokin 113-115
  • 1012 KP, Amsterdam
  • Nederland
  • Contact
© Copyright 2001-2021 Webhostingtalk.nl.
Web Statistics