Resultaten 1 tot 15 van de 33
Pagina 1 van de 3 1 2 3 LaatsteLaatste
  1. #1
    Promox + Ceph, wat vragen
    geregistreerd gebruiker
    522 Berichten
    Ingeschreven
    12/04/11

    Locatie
    Zwijndrecht, Netherlands

    Post Thanks / Like
    Mentioned
    5 Post(s)
    Tagged
    0 Thread(s)
    48 Berichten zijn liked


    Naam: Axel Polfliet
    Bedrijf: Xynta BV
    Functie: Eigenaar
    URL: www.xynta.com
    Registrar SIDN: JA
    KvK nummer: 77237579
    Ondernemingsnummer: nvt
    TrustCloud: axel.polfliet
    View axelpolfliet's profile on LinkedIn

    Thread Starter

    Promox + Ceph, wat vragen

    We overwegen in Steenbergen op korte termijn een nieuwe virtualisatie platform op te tuigen; oog is hierbij gevallen op Proxmox (waar we al zeer goede ervaringen mee hebben) en Ceph voor storage in verband met flexibiliteit. Aangezien het hier om een vrij grote investering gaat zou ik eens wat advies willen inwinnen. Idee is om meerdere Proxmox nodes via een 10Gbit switch aan te sluiten op Ceph powered storage. Nu zit ik nog met de volgende vragen waarop ik nog niet echt een sluitend antwoord op het internet heb kunnen vinden en waarmee gebruikers hier welke wellicht al een vergelijkbare set-up hebben staan mij wellicht op weg kunnen helpen:

    1. Wat voor server specificaties zal ik voor een Ceph storage server pakken, hoeveel storage max., CPU kracht en geheugen? Wat onderbouwing wordt op prijs gesteld.

    2. Bedoeling is om de nodes via een 10gbit switch te verbinden met de ceph storage server(s). Dit met een intern netwerk. Is dit een goed plan? Hoeveel vm's zou ik over zo'n constructie kunnen draaien voordat een nieuw intern netwerk nodig is (capaciteit wijs), hoeveel 10gbit Nics zal ik in een ceph machine stoppen?

    Mijn vragen zijn dus voornamelijk gebaseerd op het Ceph gedeelte waar we nog weinig tot geen ervaring mee hebben. Node technisch is het plan om 128gb nodes met een dubbele e5 op te hangen in combinatie met een simpele raid controller (raid1) set-up waar Proxmox lokaal op kan draaien.

    Alvast heel erg bedankt voor jullie input, het wordt op prijs gesteld!

  2. #2
    Promox + Ceph, wat vragen
    geregistreerd gebruiker
    1.892 Berichten
    Ingeschreven
    17/08/05

    Locatie
    Amsterdam

    Post Thanks / Like
    Mentioned
    34 Post(s)
    Tagged
    0 Thread(s)
    35 Berichten zijn liked


    Naam: Wieger Bontekoe
    Bedrijf: Skynet ICT B.V.
    Functie: CEO
    URL: skynet-ict.nl
    Registrar SIDN: Nee
    View wbontekoe's profile on LinkedIn

    Citaat Oorspronkelijk geplaatst door Axel Polfliet Bekijk Berichten
    We overwegen in Steenbergen op korte termijn een nieuwe virtualisatie platform op te tuigen; oog is hierbij gevallen op Proxmox (waar we al zeer goede ervaringen mee hebben) en Ceph voor storage in verband met flexibiliteit. Aangezien het hier om een vrij grote investering gaat zou ik eens wat advies willen inwinnen. Idee is om meerdere Proxmox nodes via een 10Gbit switch aan te sluiten op Ceph powered storage. Nu zit ik nog met de volgende vragen waarop ik nog niet echt een sluitend antwoord op het internet heb kunnen vinden en waarmee gebruikers hier welke wellicht al een vergelijkbare set-up hebben staan mij wellicht op weg kunnen helpen:

    1. Wat voor server specificaties zal ik voor een Ceph storage server pakken, hoeveel storage max., CPU kracht en geheugen? Wat onderbouwing wordt op prijs gesteld.

    2. Bedoeling is om de nodes via een 10gbit switch te verbinden met de ceph storage server(s). Dit met een intern netwerk. Is dit een goed plan? Hoeveel vm's zou ik over zo'n constructie kunnen draaien voordat een nieuw intern netwerk nodig is (capaciteit wijs), hoeveel 10gbit Nics zal ik in een ceph machine stoppen?

    Mijn vragen zijn dus voornamelijk gebaseerd op het Ceph gedeelte waar we nog weinig tot geen ervaring mee hebben. Node technisch is het plan om 128gb nodes met een dubbele e5 op te hangen in combinatie met een simpele raid controller (raid1) set-up waar Proxmox lokaal op kan draaien.

    Alvast heel erg bedankt voor jullie input, het wordt op prijs gesteld!
    1. Dit is sterk afhankelijk van het type storage wat je wilt doen. Hoe meer OSD's (disken) je hebt, hoe meer memory en CPU nodig is. Werk je met SSD en cache dan vreet dit ook meer resources op.

    2. Ceph kent twee netwerken; één om te communiceren naar "buiten" toe (naar je virtualisatie servers) en één om intern te repliceren. Mijn advies is om beide op 10Gbit aan te sluiten en dan gescheiden over twee switches. Je komt dus op 2 maal een 10Gbit verbinding per server.

    De vraag hoeveel servers je kunt draaien is voor niemand te beantwoorden. Dit is afhankelijk van de load en hoeveelheid data. Maar om je een idee te geven wij werken met dell servers, 2x 10Gbit, 192 GB ram, 16 disken per server (2 SSD), 3.2Ghz cpu's. Met 4 nodes kunnen we zoals ik dit nu inschat makkelijk 500 vm's draaien met huidige belasting.
    Skynet ICT B.V. - The cause of the problem is: the printer thinks its a router.

  3. #3
    Promox + Ceph, wat vragen
    geregistreerd gebruiker
    522 Berichten
    Ingeschreven
    12/04/11

    Locatie
    Zwijndrecht, Netherlands

    Post Thanks / Like
    Mentioned
    5 Post(s)
    Tagged
    0 Thread(s)
    48 Berichten zijn liked


    Naam: Axel Polfliet
    Bedrijf: Xynta BV
    Functie: Eigenaar
    URL: www.xynta.com
    Registrar SIDN: JA
    KvK nummer: 77237579
    Ondernemingsnummer: nvt
    TrustCloud: axel.polfliet
    View axelpolfliet's profile on LinkedIn

    Thread Starter
    Citaat Oorspronkelijk geplaatst door CharlieRoot Bekijk Berichten
    1. Dit is sterk afhankelijk van het type storage wat je wilt doen. Hoe meer OSD's (disken) je hebt, hoe meer memory en CPU nodig is. Werk je met SSD en cache dan vreet dit ook meer resources op.

    2. Ceph kent twee netwerken; één om te communiceren naar "buiten" toe (naar je virtualisatie servers) en één om intern te repliceren. Mijn advies is om beide op 10Gbit aan te sluiten en dan gescheiden over twee switches. Je komt dus op 2 maal een 10Gbit verbinding per server.

    De vraag hoeveel servers je kunt draaien is voor niemand te beantwoorden. Dit is afhankelijk van de load en hoeveelheid data. Maar om je een idee te geven wij werken met dell servers, 2x 10Gbit, 192 GB ram, 16 disken per server (2 SSD), 3.2Ghz cpu's. Met 4 nodes kunnen we zoals ik dit nu inschat makkelijk 500 vm's draaien met huidige belasting.
    Thanks! Daar heb ik al heel wat aan, we zijn inderdaad van plan gebruik te maken van SSD's. Ik had ook niet verwacht dat iemand een concrete hoeveelheid vm's aan zou kunnen geven (onder 't mom van niet geschoten altijd mis). Als ik al een ruwe indicatie heb zoals jijzelf mij geeft dan kan ik die al deels gebruiken om naar het kosten/baten plaatje te kijken.

    De specs die je hierboven aangeeft zijn neem ik aan voor de Ceph machines? Ik las elders op 't internet dat je 1GB ram per 1TB opslag aan moet houden, klopt dit en hoe verhoudt zich dit met SSD? Thanks.

  4. #4
    Promox + Ceph, wat vragen
    geregistreerd gebruiker
    1.892 Berichten
    Ingeschreven
    17/08/05

    Locatie
    Amsterdam

    Post Thanks / Like
    Mentioned
    34 Post(s)
    Tagged
    0 Thread(s)
    35 Berichten zijn liked


    Naam: Wieger Bontekoe
    Bedrijf: Skynet ICT B.V.
    Functie: CEO
    URL: skynet-ict.nl
    Registrar SIDN: Nee
    View wbontekoe's profile on LinkedIn

    Citaat Oorspronkelijk geplaatst door Axel Polfliet Bekijk Berichten
    De specs die je hierboven aangeeft zijn neem ik aan voor de Ceph machines? Ik las elders op 't internet dat je 1GB ram per 1TB opslag aan moet houden, klopt dit en hoe verhoudt zich dit met SSD? Thanks.
    Als ik naar de cijfers kijk op een ceph server nu (productie) kom ik op 791MB per OSD. Dus dat klopt wel ongeveer ja! En dan is dit een ceph cluster met SSD en Write Cache ingeschakeld.
    Skynet ICT B.V. - The cause of the problem is: the printer thinks its a router.

  5. #5
    Promox + Ceph, wat vragen
    geregistreerd gebruiker
    522 Berichten
    Ingeschreven
    12/04/11

    Locatie
    Zwijndrecht, Netherlands

    Post Thanks / Like
    Mentioned
    5 Post(s)
    Tagged
    0 Thread(s)
    48 Berichten zijn liked


    Naam: Axel Polfliet
    Bedrijf: Xynta BV
    Functie: Eigenaar
    URL: www.xynta.com
    Registrar SIDN: JA
    KvK nummer: 77237579
    Ondernemingsnummer: nvt
    TrustCloud: axel.polfliet
    View axelpolfliet's profile on LinkedIn

    Thread Starter
    Citaat Oorspronkelijk geplaatst door CharlieRoot Bekijk Berichten
    Als ik naar de cijfers kijk op een ceph server nu (productie) kom ik op 791MB per OSD. Dus dat klopt wel ongeveer ja! En dan is dit een ceph cluster met SSD en Write Cache ingeschakeld.
    Thanks! Dat is nuttige informatie, beter om het direct goed aan te pakken dan achteraf te kort te komen. Hoeveel processoren heb je erin zitten? Intel Xeon E5 of anders?

  6. #6
    Promox + Ceph, wat vragen
    geregistreerd gebruiker
    1.892 Berichten
    Ingeschreven
    17/08/05

    Locatie
    Amsterdam

    Post Thanks / Like
    Mentioned
    34 Post(s)
    Tagged
    0 Thread(s)
    35 Berichten zijn liked


    Naam: Wieger Bontekoe
    Bedrijf: Skynet ICT B.V.
    Functie: CEO
    URL: skynet-ict.nl
    Registrar SIDN: Nee
    View wbontekoe's profile on LinkedIn

    Citaat Oorspronkelijk geplaatst door Axel Polfliet Bekijk Berichten
    Thanks! Dat is nuttige informatie, beter om het direct goed aan te pakken dan achteraf te kort te komen. Hoeveel processoren heb je erin zitten? Intel Xeon E5 of anders?
    Elke server heeft 2x E5-2670 0 @ 2.60GHz

    Code:
    processor       : 31
    vendor_id       : GenuineIntel
    cpu family      : 6
    model           : 45
    model name      : Intel(R) Xeon(R) CPU E5-2670 0 @ 2.60GHz
    stepping        : 7
    microcode       : 0x710
    cpu MHz         : 1304.671
    cache size      : 20480 KB
    Skynet ICT B.V. - The cause of the problem is: the printer thinks its a router.

  7. #7
    Promox + Ceph, wat vragen
    geregistreerd gebruiker
    522 Berichten
    Ingeschreven
    12/04/11

    Locatie
    Zwijndrecht, Netherlands

    Post Thanks / Like
    Mentioned
    5 Post(s)
    Tagged
    0 Thread(s)
    48 Berichten zijn liked


    Naam: Axel Polfliet
    Bedrijf: Xynta BV
    Functie: Eigenaar
    URL: www.xynta.com
    Registrar SIDN: JA
    KvK nummer: 77237579
    Ondernemingsnummer: nvt
    TrustCloud: axel.polfliet
    View axelpolfliet's profile on LinkedIn

    Thread Starter
    Citaat Oorspronkelijk geplaatst door CharlieRoot Bekijk Berichten
    Elke server heeft 2x E5-2670 0 @ 2.60GHz

    Code:
    processor       : 31
    vendor_id       : GenuineIntel
    cpu family      : 6
    model           : 45
    model name      : Intel(R) Xeon(R) CPU E5-2670 0 @ 2.60GHz
    stepping        : 7
    microcode       : 0x710
    cpu MHz         : 1304.671
    cache size      : 20480 KB
    Thanks, daar kom ik een heel eind mee!

  8. #8
    Promox + Ceph, wat vragen
    geregistreerd gebruiker
    1.892 Berichten
    Ingeschreven
    17/08/05

    Locatie
    Amsterdam

    Post Thanks / Like
    Mentioned
    34 Post(s)
    Tagged
    0 Thread(s)
    35 Berichten zijn liked


    Naam: Wieger Bontekoe
    Bedrijf: Skynet ICT B.V.
    Functie: CEO
    URL: skynet-ict.nl
    Registrar SIDN: Nee
    View wbontekoe's profile on LinkedIn

    Citaat Oorspronkelijk geplaatst door Axel Polfliet Bekijk Berichten
    Thanks, daar kom ik een heel eind mee!
    Goed kijken naar je Crushmap en tweak je settings (ceph maar ook het OS) tot het bot;
    https://bontekoe.me/2016/06/08/ceph-...tuning-ubuntu/
    Skynet ICT B.V. - The cause of the problem is: the printer thinks its a router.

  9. #9
    Promox + Ceph, wat vragen
    geregistreerd gebruiker
    1.892 Berichten
    Ingeschreven
    17/08/05

    Locatie
    Amsterdam

    Post Thanks / Like
    Mentioned
    34 Post(s)
    Tagged
    0 Thread(s)
    35 Berichten zijn liked


    Naam: Wieger Bontekoe
    Bedrijf: Skynet ICT B.V.
    Functie: CEO
    URL: skynet-ict.nl
    Registrar SIDN: Nee
    View wbontekoe's profile on LinkedIn

    Citaat Oorspronkelijk geplaatst door Axel Polfliet Bekijk Berichten
    Thanks, daar kom ik een heel eind mee!
    Gewoon uit benieuwdheid; nog verder mee gegaan?
    Skynet ICT B.V. - The cause of the problem is: the printer thinks its a router.

  10. #10
    Promox + Ceph, wat vragen
    geregistreerd gebruiker
    522 Berichten
    Ingeschreven
    12/04/11

    Locatie
    Zwijndrecht, Netherlands

    Post Thanks / Like
    Mentioned
    5 Post(s)
    Tagged
    0 Thread(s)
    48 Berichten zijn liked


    Naam: Axel Polfliet
    Bedrijf: Xynta BV
    Functie: Eigenaar
    URL: www.xynta.com
    Registrar SIDN: JA
    KvK nummer: 77237579
    Ondernemingsnummer: nvt
    TrustCloud: axel.polfliet
    View axelpolfliet's profile on LinkedIn

    Thread Starter
    Citaat Oorspronkelijk geplaatst door CharlieRoot Bekijk Berichten
    Gewoon uit benieuwdheid; nog verder mee gegaan?
    Zeker, de hardware is gisteren besteld en wordt later deze maand verwacht (6 servers, 2x proxmox nodes en 4x ceph nodes, 2 10gbit switches, een dozijn cat7 kabels). Servers hebben allen Samsung enterprise SSD, Proxmox nodes dubbele Intel Xeon E5 processor, 196GB RAM en Ceph nodes enkele Intel Xeon E5 processor, 64 GB RAM).

    Ondertussen wordt er in een test set-up gespeeld met de software met als intentie om zodra het ijzer binnen is minimaal een maand lang te testen (snelheid, redundantie ed.) om vervolgens het platform langzamerhand in productie te nemen.

  11. #11
    Promox + Ceph, wat vragen
    geregistreerd gebruiker
    505 Berichten
    Ingeschreven
    26/01/10

    Locatie
    Zierikzee

    Post Thanks / Like
    Mentioned
    11 Post(s)
    Tagged
    0 Thread(s)
    12 Berichten zijn liked


    Naam: Peter
    Bedrijf: WebhostNow
    URL: www.webhostnow.nl
    Registrar SIDN: NEE
    ISPConnect: Lid
    KvK nummer: 20169256

    Citaat Oorspronkelijk geplaatst door Axel Polfliet Bekijk Berichten
    Zeker, de hardware is gisteren besteld en wordt later deze maand verwacht (6 servers, 2x proxmox nodes en 4x ceph nodes, 2 10gbit switches, een dozijn cat7 kabels). Servers hebben allen Samsung enterprise SSD, Proxmox nodes dubbele Intel Xeon E5 processor, 196GB RAM en Ceph nodes enkele Intel Xeon E5 processor, 64 GB RAM).

    Ondertussen wordt er in een test set-up gespeeld met de software met als intentie om zodra het ijzer binnen is minimaal een maand lang te testen (snelheid, redundantie ed.) om vervolgens het platform langzamerhand in productie te nemen.
    Klinkt goed! Welke servers heb je gebruikt voor Ceph?

    Ga je 6x Ceph draaien of 4x?

  12. #12
    Promox + Ceph, wat vragen
    geregistreerd gebruiker
    522 Berichten
    Ingeschreven
    12/04/11

    Locatie
    Zwijndrecht, Netherlands

    Post Thanks / Like
    Mentioned
    5 Post(s)
    Tagged
    0 Thread(s)
    48 Berichten zijn liked


    Naam: Axel Polfliet
    Bedrijf: Xynta BV
    Functie: Eigenaar
    URL: www.xynta.com
    Registrar SIDN: JA
    KvK nummer: 77237579
    Ondernemingsnummer: nvt
    TrustCloud: axel.polfliet
    View axelpolfliet's profile on LinkedIn

    Thread Starter
    Citaat Oorspronkelijk geplaatst door NibeP Bekijk Berichten
    Klinkt goed! Welke servers heb je gebruikt voor Ceph?

    Ga je 6x Ceph draaien of 4x?
    Huidige CEPH set-up:

    4x Ceph SSD: Intel Xeon E5, 64GB, 2x 10Gbit connectiviteit, 1x 240 GB SSD, 5x 480 GB SSD < voor virtuele servers
    1x Ceph SATA: Intel Xeon E3, 32GB, 1x 32GB USB (OS), 1x 256GB SSD (journal) en 4x 3TB SATA (opslag) < voor back-ups en snapshots (NFS)

    Volgende week komt hier nog bij:

    3x Ceph SATA: Intel Xeon E5, 128GB, 1x 1TB SATA (OS), 1x 256GB SSD (journal) en 8x 2TB SATA (opslag) < voor CDN, grotere vm's en back-ups

  13. #13
    Promox + Ceph, wat vragen
    geregistreerd gebruiker
    505 Berichten
    Ingeschreven
    26/01/10

    Locatie
    Zierikzee

    Post Thanks / Like
    Mentioned
    11 Post(s)
    Tagged
    0 Thread(s)
    12 Berichten zijn liked


    Naam: Peter
    Bedrijf: WebhostNow
    URL: www.webhostnow.nl
    Registrar SIDN: NEE
    ISPConnect: Lid
    KvK nummer: 20169256

    Zelfbouw (Supermicro)?

    Gebruik je bij de huidige 1x Ceph SATA, Ceph enkel om lokaal op de node zelf redundantie te voeren, of heeft hij ook OSD's op de Ceph SSD?



  14. #14
    Promox + Ceph, wat vragen
    geregistreerd gebruiker
    522 Berichten
    Ingeschreven
    12/04/11

    Locatie
    Zwijndrecht, Netherlands

    Post Thanks / Like
    Mentioned
    5 Post(s)
    Tagged
    0 Thread(s)
    48 Berichten zijn liked


    Naam: Axel Polfliet
    Bedrijf: Xynta BV
    Functie: Eigenaar
    URL: www.xynta.com
    Registrar SIDN: JA
    KvK nummer: 77237579
    Ondernemingsnummer: nvt
    TrustCloud: axel.polfliet
    View axelpolfliet's profile on LinkedIn

    Thread Starter
    Citaat Oorspronkelijk geplaatst door NibeP Bekijk Berichten
    Zelfbouw (Supermicro)?

    Gebruik je bij de huidige 1x Ceph SATA, Ceph enkel om lokaal op de node zelf redundantie te voeren, of heeft hij ook OSD's op de Ceph SSD?
    Supermicro inderdaad.

    De Ceph SATA bak is een eigen pool en maakt enkel gebruik van de CEPHMON software op de SSD pool. Voor 't moment is 6TB opslag voor back-ups voldoende, dat kan natuurlijk worden uitgebreid naar mate er meer vm's op het Proxmox platform staan.

  15. #15
    Promox + Ceph, wat vragen
    geregistreerd gebruiker
    807 Berichten
    Ingeschreven
    09/04/08

    Locatie
    Weert

    Post Thanks / Like
    Mentioned
    13 Post(s)
    Tagged
    0 Thread(s)
    11 Berichten zijn liked


    Bedrijf: Openworx
    URL: www.openworx.nl
    Registrar SIDN: nee
    KvK nummer: 14129365
    Ondernemingsnummer: nvt

    Citaat Oorspronkelijk geplaatst door Axel Polfliet Bekijk Berichten
    Huidige CEPH set-up:

    4x Ceph SSD: Intel Xeon E5, 64GB, 2x 10Gbit connectiviteit, 1x 240 GB SSD, 5x 480 GB SSD < voor virtuele servers
    1x Ceph SATA: Intel Xeon E3, 32GB, 1x 32GB USB (OS), 1x 256GB SSD (journal) en 4x 3TB SATA (opslag) < voor back-ups en snapshots (NFS)

    Volgende week komt hier nog bij:

    3x Ceph SATA: Intel Xeon E5, 128GB, 1x 1TB SATA (OS), 1x 256GB SSD (journal) en 8x 2TB SATA (opslag) < voor CDN, grotere vm's en back-ups
    Draai je de VM's op een aparte node of op de Ceph node zelf?
    https://www.openworx.nl | Cloud diensten - IT - ERP - Odoo Hosting

Pagina 1 van de 3 1 2 3 LaatsteLaatste

Labels voor dit Bericht

Webhostingtalk.nl

Contact

  • Rokin 113-115
  • 1012 KP, Amsterdam
  • Nederland
  • Contact
© Copyright 2001-2021 Webhostingtalk.nl.
Web Statistics