Likes Likes:  0
Resultaten 1 tot 9 van de 9
  1. #1
    Clustered filesystem als shared storage voor grote website? Of betere ideeën?
    geregistreerd gebruiker
    37 Berichten
    Ingeschreven
    13/09/16

    Post Thanks / Like
    Mentioned
    1 Post(s)
    Tagged
    0 Thread(s)
    0 Berichten zijn liked


    Naam: Sander Moors

    Thread Starter

    Clustered filesystem als shared storage voor grote website? Of betere ideeën?

    Wij hebben een klant met een website waar ongeveer 13Tb aan data op de disks staat.
    Momenteel staat die data gewoon op 1 server met 16x2TB SATA disks met ZFS mirror (= zoals raid10).
    Natuurlijk werkt dat wel oké, maar als de storage server zou stuk gaan, dan is alles uiteraard down.

    Hoe zouden jullie dit aanpakken? De kosten moeten namelijk zo laag mogelijk blijven.

    Zou het een goed idee zijn om Ceph te gaan gebruiken over 2 servers? In elke server dan bijvoorbeeld 8x2Tb te stoppen en een van de webservers ook als Ceph mon configureren om aan 3 monitors te komen (minimum vereiste Ceph?).

    Of zijn er betere alternatieven om toch enige vorm van redundante setup te bekomen zodat de storage niet meer afhankelijk is van 1 fysieke server.

    Alle tips zijn welkom!



  2. #2
    Clustered filesystem als shared storage voor grote website? Of betere ideeën?
    geregistreerd gebruiker
    37 Berichten
    Ingeschreven
    13/09/16

    Post Thanks / Like
    Mentioned
    1 Post(s)
    Tagged
    0 Thread(s)
    0 Berichten zijn liked


    Naam: Sander Moors

    Thread Starter
    DRBD lijkt ook een optie. DRBD + LVM bijvoorbeeld.
    Maar hij zou ook graag dagelijks snapshots maken en behouden voor 1 maand + van de laatste 24u een snapshot om het uur.

    Maar dat is bij LVM dan weer een probleem met performance las ik?

    ZFS op DRBD misschien? ZFS zou geen performance probleem hebben als er veel snapshots zijn.
    Maar bij ZFS mag hij maar max 80% van de disk gebruiken?

    Graag wat advies

  3. #3
    Clustered filesystem als shared storage voor grote website? Of betere ideeën?
    geregistreerd gebruiker
    807 Berichten
    Ingeschreven
    09/04/08

    Locatie
    Weert

    Post Thanks / Like
    Mentioned
    13 Post(s)
    Tagged
    0 Thread(s)
    11 Berichten zijn liked


    Bedrijf: Openworx
    URL: www.openworx.nl
    Registrar SIDN: nee
    KvK nummer: 14129365
    Ondernemingsnummer: nvt

    Nog 2 opties:

    - GlusterFS gebruiken, dit is redelijk eenvoudig te implementeren met 2 servers
    - ZFS replicatie naar een andere server.

    Verder nog een opmerking: De licentievorm van DRBD is recentelijk gewijzigd: https://forum.proxmox.com/threads/dr...-change.30404/
    https://www.openworx.nl | Cloud diensten - IT - ERP - Odoo Hosting

  4. #4
    Clustered filesystem als shared storage voor grote website? Of betere ideeën?
    geregistreerd gebruiker
    37 Berichten
    Ingeschreven
    13/09/16

    Post Thanks / Like
    Mentioned
    1 Post(s)
    Tagged
    0 Thread(s)
    0 Berichten zijn liked


    Naam: Sander Moors

    Thread Starter
    Heb je ervaringen met GlusterFS? Is het goed wat performance betreft met kleine bestanden? Ik had nl. gelezen dat het niet zo'n goed idee zou zijn als storage voor websites.
    En kan je met GlusterFS snapshots maken? Ik heb er geen ervaring mee, maar snapshots zijn wel een vereiste.

    Met LVM kan je ook snapshots maken maar de performance gaat achteruit als er snapshots actief blijven. Daarom lijkt LVM ook geen optie meer.

    ZFS replicatie naar een 2de server is niet 'real time', dus data verlies als primary server uitvalt. Daarom toch niet echt de voorkeur.

  5. #5
    Clustered filesystem als shared storage voor grote website? Of betere ideeën?
    geregistreerd gebruiker
    487 Berichten
    Ingeschreven
    09/09/05

    Locatie
    Beilen / Groningen

    Post Thanks / Like
    Mentioned
    2 Post(s)
    Tagged
    0 Thread(s)
    25 Berichten zijn liked


    Naam: Jasper Aikema
    Bedrijf: ja - advies en beheer
    Functie: Eigenaar
    URL: www.jasperaikema.nl
    KvK nummer: 55931480
    View jasperaikema's profile on LinkedIn

    De oplossing is denk ik voornamelijk afhankelijk van het budget.

    Hoe belangrijk is de data, hoe lang mag de omgeving down time. Als er inderdaad elk uur een snapshot gemaakt moet worden, betekend die waarschijnlijk dat de klant geen verlies van data kan permitteren. Dus waarschijnlijk een uptime van 99,99% (+/- 1u down per jaar). Het prijskaartje hiervan is hoog.

    Als ik je topic lees gaat het volgens mij om twee dingen:
    1. Je wilt een oplossing waarbij je niet meer afhankelijk bent van 1 server, of waarbij je snel kunt overschakelen met zo min mogelijk downtime
    2. Je wilt een oplossing waarbij je snapshots kunt bewaren welke je vrij makkelijk terug kunt zetten. En welke je zonder performance verlies kunt verwijderen.

    Voor probleem 1 is RAID (met een standby server waarbij je disken kunt wisselen), DRBD, ZFS, BTRFS of Ceph (3 servers met alle drie een monitor en een OSD) een goede oplossing zijn.
    Voor probleem 2 zou ook ZFS, BTRFS en Ceph een goede oplossing kunnen zijn.

    Zodra snapshots erg belangrijk zijn, zul je moeten kiezen voor een filesystem wat COW ondersteunt. Hierdoor kun je een snapshot maken zonder dat het onderliggende systemen er iets van merkt (qua performance).
    ja - advies en beheer: Hosting in de cloud - the next big thing!

  6. #6
    Clustered filesystem als shared storage voor grote website? Of betere ideeën?
    geregistreerd gebruiker
    1.892 Berichten
    Ingeschreven
    17/08/05

    Locatie
    Amsterdam

    Post Thanks / Like
    Mentioned
    34 Post(s)
    Tagged
    0 Thread(s)
    35 Berichten zijn liked


    Naam: Wieger Bontekoe
    Bedrijf: Skynet ICT B.V.
    Functie: CEO
    URL: skynet-ict.nl
    Registrar SIDN: Nee
    View wbontekoe's profile on LinkedIn

    Citaat Oorspronkelijk geplaatst door sandermoors Bekijk Berichten
    Wij hebben een klant met een website waar ongeveer 13Tb aan data op de disks staat.
    Momenteel staat die data gewoon op 1 server met 16x2TB SATA disks met ZFS mirror (= zoals raid10).
    Natuurlijk werkt dat wel oké, maar als de storage server zou stuk gaan, dan is alles uiteraard down.

    Hoe zouden jullie dit aanpakken? De kosten moeten namelijk zo laag mogelijk blijven.

    Zou het een goed idee zijn om Ceph te gaan gebruiken over 2 servers? In elke server dan bijvoorbeeld 8x2Tb te stoppen en een van de webservers ook als Ceph mon configureren om aan 3 monitors te komen (minimum vereiste Ceph?).

    Of zijn er betere alternatieven om toch enige vorm van redundante setup te bekomen zodat de storage niet meer afhankelijk is van 1 fysieke server.

    Alle tips zijn welkom!
    Ceph altijd over 3+ nodes doen. Ceph is goedkoop maar vereist wel veel kennis (het is niet next next finish). Je kunt dan sneller gaan voor een DRBD oplossing of gewoon een MSA/Lefthand kopen.
    Skynet ICT B.V. - The cause of the problem is: the printer thinks its a router.

  7. #7
    Clustered filesystem als shared storage voor grote website? Of betere ideeën?
    geregistreerd gebruiker
    37 Berichten
    Ingeschreven
    13/09/16

    Post Thanks / Like
    Mentioned
    1 Post(s)
    Tagged
    0 Thread(s)
    0 Berichten zijn liked


    Naam: Sander Moors

    Thread Starter
    Ceph lijkt geen goede oplossing omdat CephFS + snapshot niet production ready is.
    DRBD lijkt geen goede oplossing omdat de snapshots op LVM gebaseerd zijn.
    LVM snapshots zijn slecht voor performance en eigenlijk niet bedoeld om voortdurend actief te blijven.

    Blijft er dan echt enkel ZFS/btrfs over met replicatie om de X aantal/uren minuten ?

    Is er echt geen betere systeem dat echt live werkt en dus niet X aantal minuten/uren aan data verliest als de primary node dood gaat?

  8. #8
    Clustered filesystem als shared storage voor grote website? Of betere ideeën?
    geregistreerd gebruiker
    487 Berichten
    Ingeschreven
    09/09/05

    Locatie
    Beilen / Groningen

    Post Thanks / Like
    Mentioned
    2 Post(s)
    Tagged
    0 Thread(s)
    25 Berichten zijn liked


    Naam: Jasper Aikema
    Bedrijf: ja - advies en beheer
    Functie: Eigenaar
    URL: www.jasperaikema.nl
    KvK nummer: 55931480
    View jasperaikema's profile on LinkedIn

    Je kunt ook beter niet cephFS gebruiken. Dit zou ik iig niet in productie gebruiken.

    Je kunt beter kiezen voor Ceph waarbij je vanuit het cluster een blockdevice krijgt. Dit block device kun je mounten en daarna zet je er een FS op.
    Vanuit de ceph client kunt je dan een snapshot maken. Dit is gewoon production ready en wordt op veel plaatsen gebruiken.

    Zie ook http://docs.ceph.com/docs/master/start/. Van CephFS zou ik voor nu nog weg blijven.
    ja - advies en beheer: Hosting in de cloud - the next big thing!

  9. #9
    Clustered filesystem als shared storage voor grote website? Of betere ideeën?
    geregistreerd gebruiker
    37 Berichten
    Ingeschreven
    13/09/16

    Post Thanks / Like
    Mentioned
    1 Post(s)
    Tagged
    0 Thread(s)
    0 Berichten zijn liked


    Naam: Sander Moors

    Thread Starter
    @asusk7m550 :

    Er zijn meerdere systemen die toegang moeten hebben tot de storage. Momenteel loopt dat via NFS, het is dan ook maar 1 storage server.
    Maar ik ben niet zo erg met Ceph vertrouwd.

    Als ik het met Ceph zou bouwen komt er dus een /dev/rbd0 blockdevice ter beschikking voor de client. Daarop kan een filesystem komen.

    Moet ik dan op 1 van de nodes daar bijvoorbeeld ext4 op zetten en dit terug via NFS beschikbaar maken?
    Als die node dan stuk gaat kan een andere node /dev/rbd0 mounten en via NFS beschikbaar stellen?

    En hoe werkt dat dan met snapshots? Stel de klant wil een bestand van een maand geleden terughalen uit een snapshot. Ik kan dan wel gaan zoeken naar de rbd snapshot van die dag, maar die snapshot is een snapshot van het gehele filesystem op die dag. Ik kan toch niet zomaar een bestand eruit lezen of kan ik die snapshot terug mounten? (maar gaat 'mount' dan geen journal replay van ext4 proberen te doen op die snapshot?)


    Heb er wel wat vragen bij maar zal dadelijk ook nog wat gaan lezen online.

    Of zou ik op dat RBD blockdevice dan ZFS zetten ivm de snapshot mogelijkheden.

Labels voor dit Bericht

Webhostingtalk.nl

Contact

  • Rokin 113-115
  • 1012 KP, Amsterdam
  • Nederland
  • Contact
© Copyright 2001-2021 Webhostingtalk.nl.
Web Statistics