Resultaten 1 tot 15 van de 32
Pagina 1 van de 3 1 2 3 LaatsteLaatste

Onderwerp: Ceph setups

  1. #1
    Ceph setups
    Dennis.
    3.861 Berichten
    Ingeschreven
    11/07/06

    Locatie
    Oosterhout

    Post Thanks / Like
    Mentioned
    15 Post(s)
    Tagged
    0 Thread(s)
    262 Berichten zijn liked


    Naam: Dennis
    Registrar SIDN: JA
    KvK nummer: 20144338

    Thread Starter

    Ceph setups

    Ik ben benieuwd wat jullie voor hardware gebruiken voor jullie CEPH Setup en waarom je deze gekozen hebt.

    10 Gbe of 40 Gbe netwerk?
    HDD 7200 tpm met SSD cache of SSD only?
    Hoeveel IOPS haal je?
    Storage nodes los getrokken van je Virtualisatie nodes?

    Ga vandaag beginnen met het opzetten van een Ceph test setup.
    Zal de resultaten v/d week posten.

  2. #2
    Ceph setups
    geregistreerd gebruiker
    129 Berichten
    Ingeschreven
    01/09/13

    Post Thanks / Like
    Mentioned
    2 Post(s)
    Tagged
    0 Thread(s)
    5 Berichten zijn liked


    Naam: Marcel
    Bedrijf: Access2.IT Group B.V.
    URL: www.access2.it

    Leuk ga ik volgen!

    Ik zelf zou alleen SSD only gebruiken ze kosten tegenwoordig steeds minder en scheelt hoop gezeik. Zeker als HDD gebruikt en paar VM's gaan backuppen krijg je al een hoge IO wait.

    Welke server wil je gaan gebruiken als storage node? En hoveel HDD of SSD's kunnen in deze server?
    Laatst gewijzigd door access2it; 21/03/17 om 13:01.



  3. #3
    Ceph setups
    www.xenius.be
    1.554 Berichten
    Ingeschreven
    26/11/11

    Locatie
    Oud-Turnhout

    Post Thanks / Like
    Mentioned
    42 Post(s)
    Tagged
    0 Thread(s)
    73 Berichten zijn liked


    Naam: Steve Vos
    Bedrijf: Xenius
    Functie: Zaakvoerder
    URL: www.xenius.be
    Ondernemingsnummer: 0505928838

    Dit is al het 4de topic over dit topic :-)
    @admin s: misschien eens eentje sticky maken en alles merken ..
    Xenius.be | Our solutions, our products, your success !

  4. #4
    Ceph setups
    geregistreerd gebruiker
    1.892 Berichten
    Ingeschreven
    17/08/05

    Locatie
    Amsterdam

    Post Thanks / Like
    Mentioned
    34 Post(s)
    Tagged
    0 Thread(s)
    35 Berichten zijn liked


    Naam: Wieger Bontekoe
    Bedrijf: Skynet ICT B.V.
    Functie: CEO
    URL: skynet-ict.nl
    Registrar SIDN: Nee
    View wbontekoe's profile on LinkedIn

    Citaat Oorspronkelijk geplaatst door dennis0162 Bekijk Berichten
    Ik ben benieuwd wat jullie voor hardware gebruiken voor jullie CEPH Setup en waarom je deze gekozen hebt.

    10 Gbe of 40 Gbe netwerk?
    HDD 7200 tpm met SSD cache of SSD only?
    Hoeveel IOPS haal je?
    Storage nodes los getrokken van je Virtualisatie nodes?

    Ga vandaag beginnen met het opzetten van een Ceph test setup.
    Zal de resultaten v/d week posten.
    10Gbe is voldoende, 40Gbe zul je per node niet of nauwelijks gaan halen. Het idee van Ceph is juist spreiden. Daarnaast heeft ceph public en private network (dus 2x 10Gbe). Voor wat betreft de IOPS, deze vind ik minder interessant maar zal je wat waardes geven. Ik zie op ons cluster nu pieken van 12k iops. Het is niet gezegd dat dit ook het maximum is.

    We gebruiken nu SATA 7200RPM disken voor opslag en SSD voor cache. We hebben diverse tests gedaan (ook met SAS10k en SAS15k) maar de performance van SATA met SSD was dermate goed dat we geen enkele reden zagen om voor SSD te kiezen. Je houd met SATA toch veel meer bruikbare ruimte over.

    Wij draaien Ceph helemaal los en dat zou ik je ook adviseren. Het kost veel CPU load en dat wil je niet combineren.
    Skynet ICT B.V. - The cause of the problem is: the printer thinks its a router.

  5. #5
    Ceph setups
    geregistreerd gebruiker
    474 Berichten
    Ingeschreven
    22/03/07

    Locatie
    Soerendonk

    Post Thanks / Like
    Mentioned
    6 Post(s)
    Tagged
    0 Thread(s)
    5 Berichten zijn liked


    Registrar SIDN: nee
    KvK nummer: nvt
    Ondernemingsnummer: nvt

    Ceph is natuurlijk heel makkelijk te installeren met Proxmox via een paar klikken, maar iedereen raad eigenlijk het af om het te combineren ivm. de performance.
    Hoe denken jullie erover om bijvoorbeeld 3 nodes extra in je Proxmox cluster te hangen en deze puur te gebruiken voor Ceph en er geen VM's op te zetten? Dan hoef je het niet volledig via de CLI in te richten en heb je de load van de nodes toch alleen maar in gebruik voor Ceph. Wat zijn jullie gedachten hierover?

  6. #6
    Ceph setups
    Internet Services
    3.204 Berichten
    Ingeschreven
    27/03/06

    Locatie
    Utrecht

    Post Thanks / Like
    Mentioned
    14 Post(s)
    Tagged
    0 Thread(s)
    43 Berichten zijn liked


    Naam: Jeroen
    View nl.linkedin.com/in/jeroenvheugten's profile on LinkedIn

    3 nodes is nooit voor productie aan te raden (het zal vast wel werken, maar je wil ook enige reserve hebben...). Ik zou zeker voor dedicated servers gaan, en het niet naast je compute draaien. In het laatste geval moet je namelijk d.m.v. bijvoorbeeld cgroups zorgen dat je Ceph cluster nooit te weinig resources krijgt, anders stort je performance in (ook als het maar 1 trage node is).

  7. #7
    Ceph setups
    geregistreerd gebruiker
    1.892 Berichten
    Ingeschreven
    17/08/05

    Locatie
    Amsterdam

    Post Thanks / Like
    Mentioned
    34 Post(s)
    Tagged
    0 Thread(s)
    35 Berichten zijn liked


    Naam: Wieger Bontekoe
    Bedrijf: Skynet ICT B.V.
    Functie: CEO
    URL: skynet-ict.nl
    Registrar SIDN: Nee
    View wbontekoe's profile on LinkedIn

    Citaat Oorspronkelijk geplaatst door SF-Jeroen Bekijk Berichten
    3 nodes is nooit voor productie aan te raden (het zal vast wel werken, maar je wil ook enige reserve hebben...). Ik zou zeker voor dedicated servers gaan, en het niet naast je compute draaien. In het laatste geval moet je namelijk d.m.v. bijvoorbeeld cgroups zorgen dat je Ceph cluster nooit te weinig resources krijgt, anders stort je performance in (ook als het maar 1 trage node is).
    Met drie nodes kun je prima in productie draaien mits je zorgt dat je verdeling klopt, met 3 mon's heb je redundancy genoeg (1 node kan wegvallen) zonder dat het echt merkbaar is in de performance. Wel handig om 2 netwerken op basis van 10Gbps te hebben voor het restoren van de data.
    Skynet ICT B.V. - The cause of the problem is: the printer thinks its a router.

  8. #8
    Ceph setups
    Internet Services
    3.204 Berichten
    Ingeschreven
    27/03/06

    Locatie
    Utrecht

    Post Thanks / Like
    Mentioned
    14 Post(s)
    Tagged
    0 Thread(s)
    43 Berichten zijn liked


    Naam: Jeroen
    View nl.linkedin.com/in/jeroenvheugten's profile on LinkedIn

    Citaat Oorspronkelijk geplaatst door CharlieRoot Bekijk Berichten
    Met drie nodes kun je prima in productie draaien mits je zorgt dat je verdeling klopt, met 3 mon's heb je redundancy genoeg (1 node kan wegvallen) zonder dat het echt merkbaar is in de performance. Wel handig om 2 netwerken op basis van 10Gbps te hebben voor het restoren van de data.
    En wat nou als je derde node uitfikt? Ga je dan weken lang op 2 nodes draaien totdat je leverancier een nieuwe server heeft gebracht? Ook is het zo dat Ceph normaal gezien die data opnieuw gaat verdelen om weer N+2 te halen. Dat kan je natuurlijk uitstellen d.m.v. settings, maar als je dat niet lang genoeg rekt heb je dus zeer veel extra capaciteit op de overgebleven nodes nodig om de data van de derde server te verdelen.

    Daarnaast zag ik wel degelijk merkbare verschillen in de performance. Ik zou zeggen laat maar eens een fio een rdb benchmark doen en trek de stekker uit een node. Naast een zeer kleine hick-up zie je wel de max iops meteen dalen. Of dat merkbaar is hangt natuurlijk van je load af.

    Wat betreft het hebben van 2 netwerken ben ik het volledig met je eens. Let wel op dat je (mits je Ceph over meerdere racks verdeeld) dus niet ook maar 10 Gbps tussen die switches hebt (maar bijvoorbeeld 40 Gbps). Je kunt natuurlijk ook data per kast "laten" herverdelen, door middel van specifieke flags bij je placement groups.

  9. #9
    Ceph setups
    geregistreerd gebruiker
    1.892 Berichten
    Ingeschreven
    17/08/05

    Locatie
    Amsterdam

    Post Thanks / Like
    Mentioned
    34 Post(s)
    Tagged
    0 Thread(s)
    35 Berichten zijn liked


    Naam: Wieger Bontekoe
    Bedrijf: Skynet ICT B.V.
    Functie: CEO
    URL: skynet-ict.nl
    Registrar SIDN: Nee
    View wbontekoe's profile on LinkedIn

    Citaat Oorspronkelijk geplaatst door SF-Jeroen Bekijk Berichten
    En wat nou als je derde node uitfikt? Ga je dan weken lang op 2 nodes draaien totdat je leverancier een nieuwe server heeft gebracht? Ook is het zo dat Ceph normaal gezien die data opnieuw gaat verdelen om weer N+2 te halen. Dat kan je natuurlijk uitstellen d.m.v. settings, maar als je dat niet lang genoeg rekt heb je dus zeer veel extra capaciteit op de overgebleven nodes nodig om de data van de derde server te verdelen.

    Daarnaast zag ik wel degelijk merkbare verschillen in de performance. Ik zou zeggen laat maar eens een fio een rdb benchmark doen en trek de stekker uit een node. Naast een zeer kleine hick-up zie je wel de max iops meteen dalen. Of dat merkbaar is hangt natuurlijk van je load af.

    Wat betreft het hebben van 2 netwerken ben ik het volledig met je eens. Let wel op dat je (mits je Ceph over meerdere racks verdeeld) dus niet ook maar 10 Gbps tussen die switches hebt (maar bijvoorbeeld 40 Gbps). Je kunt natuurlijk ook data per kast "laten" herverdelen, door middel van specifieke flags bij je placement groups.
    Als er bij mij een derde node uit fikt duurt het geen weken om een nieuwe te bestellen, die is er morgen. Dus dat risico is prima te overzien. Heb je meer servers dan moet je zeker meer inzetten maar het hoeft niet.

    Ceph zal zelf proberen de data weer elders te plaatsen maar ook dat is geen probleem toch zolang je het niet weken laat draaien zonder actie te ondernemen. Hangt niet van ceph af dus.

    40Gb is bij ons nog nooit nodig geweest zelfs niet met 180tb opslag om te recoveren. Disken zijn de bottleneck en die halen geen 40gb tenzij je ze ramvol met Enterprise SSD's stopt. Met drie nodes en 2x 10gbps merk je niets van een recovery. Kwestie van goed instellen.
    Skynet ICT B.V. - The cause of the problem is: the printer thinks its a router.

  10. #10
    Ceph setups
    www.xenius.be
    1.554 Berichten
    Ingeschreven
    26/11/11

    Locatie
    Oud-Turnhout

    Post Thanks / Like
    Mentioned
    42 Post(s)
    Tagged
    0 Thread(s)
    73 Berichten zijn liked


    Naam: Steve Vos
    Bedrijf: Xenius
    Functie: Zaakvoerder
    URL: www.xenius.be
    Ondernemingsnummer: 0505928838

    Wij hebben een 3-tal maanden geleden beslist om de stekker uit onze Ceph pool te trekken.. Momenteel verhuizen we de laatste VMs naar een traditionele SAN omgeving..

    Niet dat Ceph niet deed wat het moest doen en we geloven absoluut in het toekomst van het product, maar je moet verdomd goed weten waar je mee bezig bent..
    We hebben een aantal keer een situatie gehad waarbij we zeer klamme handen kregen omdat we niet 100% wisten wat Ceph achterliggend allemaal doet of ging doen..
    Xenius.be | Our solutions, our products, your success !

  11. #11
    Ceph setups
    geregistreerd gebruiker
    5.751 Berichten
    Ingeschreven
    20/02/05

    Locatie
    Haaksbergen / Amsterdam

    Post Thanks / Like
    Mentioned
    45 Post(s)
    Tagged
    0 Thread(s)
    168 Berichten zijn liked


    Naam: Mark Scholten
    Bedrijf: SinnerG / Stream Service
    Functie: Systeembeheerder
    URL: www.sinnerg.nl
    Registrar SIDN: ja
    KvK nummer: 34255993

    Citaat Oorspronkelijk geplaatst door SF-Jeroen Bekijk Berichten
    En wat nou als je derde node uitfikt? Ga je dan weken lang op 2 nodes draaien totdat je leverancier een nieuwe server heeft gebracht?
    Als het nodig is kijk je toch naar wat voldoet en is snel leverbaar? Wij hebben geen leveranciers die niet bepaalde configs binnen 1-2 dagen kunnen leveren, dat het mogelijk niet 100% gelijk is zou in die gevallen natuurlijk kunnen.
    Tools die handig zjn voor ISPs vind je natuurlijk bij Tools 4 ISP.

  12. #12
    Ceph setups
    geregistreerd gebruiker
    1.892 Berichten
    Ingeschreven
    17/08/05

    Locatie
    Amsterdam

    Post Thanks / Like
    Mentioned
    34 Post(s)
    Tagged
    0 Thread(s)
    35 Berichten zijn liked


    Naam: Wieger Bontekoe
    Bedrijf: Skynet ICT B.V.
    Functie: CEO
    URL: skynet-ict.nl
    Registrar SIDN: Nee
    View wbontekoe's profile on LinkedIn

    Citaat Oorspronkelijk geplaatst door bibawa Bekijk Berichten
    Wij hebben een 3-tal maanden geleden beslist om de stekker uit onze Ceph pool te trekken.. Momenteel verhuizen we de laatste VMs naar een traditionele SAN omgeving..

    Niet dat Ceph niet deed wat het moest doen en we geloven absoluut in het toekomst van het product, maar je moet verdomd goed weten waar je mee bezig bent..
    We hebben een aantal keer een situatie gehad waarbij we zeer klamme handen kregen omdat we niet 100% wisten wat Ceph achterliggend allemaal doet of ging doen..
    Dat is ook een kwestie van goed testen in een daarvoor bedoelde omgeving. Stekkers trekken en kijken wat er gebeurd en hoe je het oplost.
    Skynet ICT B.V. - The cause of the problem is: the printer thinks its a router.

  13. #13
    Ceph setups
    geregistreerd gebruiker
    1.892 Berichten
    Ingeschreven
    17/08/05

    Locatie
    Amsterdam

    Post Thanks / Like
    Mentioned
    34 Post(s)
    Tagged
    0 Thread(s)
    35 Berichten zijn liked


    Naam: Wieger Bontekoe
    Bedrijf: Skynet ICT B.V.
    Functie: CEO
    URL: skynet-ict.nl
    Registrar SIDN: Nee
    View wbontekoe's profile on LinkedIn

    Citaat Oorspronkelijk geplaatst door Mark17 Bekijk Berichten
    Als het nodig is kijk je toch naar wat voldoet en is snel leverbaar? Wij hebben geen leveranciers die niet bepaalde configs binnen 1-2 dagen kunnen leveren, dat het mogelijk niet 100% gelijk is zou in die gevallen natuurlijk kunnen.
    En het prachtige van ceph: het maakt niet uit wat voor server het is als je maar disken hebt en een goede raid kaart. Merk, type maakt niets uit.
    Skynet ICT B.V. - The cause of the problem is: the printer thinks its a router.

  14. #14
    Ceph setups
    geregistreerd gebruiker
    1.086 Berichten
    Ingeschreven
    30/04/09

    Locatie
    NL

    Post Thanks / Like
    Mentioned
    11 Post(s)
    Tagged
    0 Thread(s)
    14 Berichten zijn liked


    KvK nummer: 51985977

    Een (goede) RAID kaart is geen vereiste, hoezo zou dat zo zijn?

    Citaat Oorspronkelijk geplaatst door CharlieRoot Bekijk Berichten
    En het prachtige van ceph: het maakt niet uit wat voor server het is als je maar disken hebt en een goede raid kaart. Merk, type maakt niets uit.

  15. #15
    Ceph setups
    geregistreerd gebruiker
    1.892 Berichten
    Ingeschreven
    17/08/05

    Locatie
    Amsterdam

    Post Thanks / Like
    Mentioned
    34 Post(s)
    Tagged
    0 Thread(s)
    35 Berichten zijn liked


    Naam: Wieger Bontekoe
    Bedrijf: Skynet ICT B.V.
    Functie: CEO
    URL: skynet-ict.nl
    Registrar SIDN: Nee
    View wbontekoe's profile on LinkedIn

    Citaat Oorspronkelijk geplaatst door xaban Bekijk Berichten
    Een (goede) RAID kaart is geen vereiste, hoezo zou dat zo zijn?
    Omdat al je disken vast zitten aan je raid kaart......? Is dat een serieuze vraag? Goede raid controller met cache zorgt voor betere performance.
    Skynet ICT B.V. - The cause of the problem is: the printer thinks its a router.

Pagina 1 van de 3 1 2 3 LaatsteLaatste

Labels voor dit Bericht

Webhostingtalk.nl

Contact

  • Rokin 113-115
  • 1012 KP, Amsterdam
  • Nederland
  • Contact
© Copyright 2001-2021 Webhostingtalk.nl.
Web Statistics