Resultaten 31 tot 45 van de 72
Pagina 3 van de 5 Eerste 1 2 3 4 5 LaatsteLaatste
  1. #31
    Ceph - Beginners vraagjes
    geregistreerd gebruiker
    1.892 Berichten
    Ingeschreven
    17/08/05

    Locatie
    Amsterdam

    Post Thanks / Like
    Mentioned
    34 Post(s)
    Tagged
    0 Thread(s)
    35 Berichten zijn liked


    Naam: Wieger Bontekoe
    Bedrijf: Skynet ICT B.V.
    Functie: CEO
    URL: skynet-ict.nl
    Registrar SIDN: Nee
    View wbontekoe's profile on LinkedIn

    Citaat Oorspronkelijk geplaatst door SF-Jeroen Bekijk Berichten
    En dat zijn synchrone writes met N+2 replicatie?
    Replica 2.

    Met Replica 3 zou het in theorie nog sneller moeten kunnen

    Code:
    wipa@CEPH-OSD-01:~$ ceph osd pool get pool_data min_size
    min_size: 2
    wipa@CEPH-OSD-01:~$ ceph osd pool get pool_data size
    size: 2
    wipa@CEPH-OSD-01:~$
    Laatst gewijzigd door CharlieRoot; 11/11/16 om 13:11.
    Skynet ICT B.V. - The cause of the problem is: the printer thinks its a router.

  2. #32
    Ceph - Beginners vraagjes
    www.xenius.be
    1.554 Berichten
    Ingeschreven
    26/11/11

    Locatie
    Oud-Turnhout

    Post Thanks / Like
    Mentioned
    42 Post(s)
    Tagged
    0 Thread(s)
    73 Berichten zijn liked


    Naam: Steve Vos
    Bedrijf: Xenius
    Functie: Zaakvoerder
    URL: www.xenius.be
    Ondernemingsnummer: 0505928838

    Thread Starter
    Ik zit hier al een paar uur mijn haar uit te trekken op iets belachelijks eenvoudigs waarschijnlijk, maar ik geraak niet van mijn 'Health_warn' status af op mijn cluster.
    De warning die ik krijg is 'too few PGs per OSD (21 < min 30)'

    op mijn pool heb ik de pg_num en pgp_num ingesteld op 128:

    Code:
    xenius@prox11:~# ceph osd pool get distributed-storage pg_num
    pg_num: 128
    xenius@prox11:~# ceph osd pool get distributed-storage pgp_num
    pgp_num: 128
    Heb de volledige pool al eens weggehaald en terug aangemaakt nadat ik in de ceph.conf de default settings had bijgezet:
    Code:
    xenius@prox11:~# cat /etc/ceph/ceph.conf
    [ global ]
    osd crush location hook = /usr/bin/calamari-crush-location
             auth client required = cephx
             auth cluster required = cephx
             auth service required = cephx
             cluster network = 10.11.11.0/24
             filestore xattr use omap = true
             fsid = f69301e5-e806-42dd-8724-cc3f3e276df5
             keyring = /etc/pve/priv/$cluster.$name.keyring
             osd journal size = 5120
             osd pool default min size = 2
             osd pool default size = 3
             osd pool default pg num = 128
             osd pool default pgp num = 128
             public network = 17.17.17.0/24
    iemand enig idee wat ik mis ?
    Xenius.be | Our solutions, our products, your success !

  3. #33
    Ceph - Beginners vraagjes
    www.xenius.be
    1.554 Berichten
    Ingeschreven
    26/11/11

    Locatie
    Oud-Turnhout

    Post Thanks / Like
    Mentioned
    42 Post(s)
    Tagged
    0 Thread(s)
    73 Berichten zijn liked


    Naam: Steve Vos
    Bedrijf: Xenius
    Functie: Zaakvoerder
    URL: www.xenius.be
    Ondernemingsnummer: 0505928838

    Thread Starter
    Raar, heb het op 512 gezet en dan is het wel in orde .. bizar
    Xenius.be | Our solutions, our products, your success !

  4. #34
    Ceph - Beginners vraagjes
    www.xenius.be
    1.554 Berichten
    Ingeschreven
    26/11/11

    Locatie
    Oud-Turnhout

    Post Thanks / Like
    Mentioned
    42 Post(s)
    Tagged
    0 Thread(s)
    73 Berichten zijn liked


    Naam: Steve Vos
    Bedrijf: Xenius
    Functie: Zaakvoerder
    URL: www.xenius.be
    Ondernemingsnummer: 0505928838

    Thread Starter
    @CharlieRoot
    Nog even een vraagtje mbt diskusage, hoe bepaal ik het totaal 'netto' bruikbare op mijn cluster ?
    Ik heb nu bijvoorbeeld 12 OSDs van 1TB in een pool gestoken met 3 replica's. De data is ook effectief over 3 OSDs gesplitst zoals ik het verwacht.

    Als ik nu echter de statistics van de pool ga opvragen zie ik daar een beschikbare capaciteit van 11TB. Ik zou denken dat hij het verdeelt over 3 disken er slechts 1/3de capactieit netto bruikbaar is ?
    Xenius.be | Our solutions, our products, your success !

  5. #35
    Ceph - Beginners vraagjes
    geregistreerd gebruiker
    1.892 Berichten
    Ingeschreven
    17/08/05

    Locatie
    Amsterdam

    Post Thanks / Like
    Mentioned
    34 Post(s)
    Tagged
    0 Thread(s)
    35 Berichten zijn liked


    Naam: Wieger Bontekoe
    Bedrijf: Skynet ICT B.V.
    Functie: CEO
    URL: skynet-ict.nl
    Registrar SIDN: Nee
    View wbontekoe's profile on LinkedIn

    Citaat Oorspronkelijk geplaatst door bibawa Bekijk Berichten
    @CharlieRoot
    Nog even een vraagtje mbt diskusage, hoe bepaal ik het totaal 'netto' bruikbare op mijn cluster ?
    Ik heb nu bijvoorbeeld 12 OSDs van 1TB in een pool gestoken met 3 replica's. De data is ook effectief over 3 OSDs gesplitst zoals ik het verwacht.

    Als ik nu echter de statistics van de pool ga opvragen zie ik daar een beschikbare capaciteit van 11TB. Ik zou denken dat hij het verdeelt over 3 disken er slechts 1/3de capactieit netto bruikbaar is ?
    Doe eens een uitdraai van deze commando's :

    Code:
    ceph osd df
    ceph df
    ceph -s
    Skynet ICT B.V. - The cause of the problem is: the printer thinks its a router.

  6. #36
    Ceph - Beginners vraagjes
    geregistreerd gebruiker
    1.892 Berichten
    Ingeschreven
    17/08/05

    Locatie
    Amsterdam

    Post Thanks / Like
    Mentioned
    34 Post(s)
    Tagged
    0 Thread(s)
    35 Berichten zijn liked


    Naam: Wieger Bontekoe
    Bedrijf: Skynet ICT B.V.
    Functie: CEO
    URL: skynet-ict.nl
    Registrar SIDN: Nee
    View wbontekoe's profile on LinkedIn

    Citaat Oorspronkelijk geplaatst door bibawa Bekijk Berichten
    @CharlieRoot
    Nog even een vraagtje mbt diskusage, hoe bepaal ik het totaal 'netto' bruikbare op mijn cluster ?
    Ik heb nu bijvoorbeeld 12 OSDs van 1TB in een pool gestoken met 3 replica's. De data is ook effectief over 3 OSDs gesplitst zoals ik het verwacht.

    Als ik nu echter de statistics van de pool ga opvragen zie ik daar een beschikbare capaciteit van 11TB. Ik zou denken dat hij het verdeelt over 3 disken er slechts 1/3de capactieit netto bruikbaar is ?
    Heb net even bij ons cluster gekeken maar het klopt wel. Ceph is thin provisioned. Hij gaat dus pas data écht claimen als je iets er op zet of ergens mee bezig bent. Het berekenen kan dus niet zomaar 1:1 want het hangt van het gebruik/verbruik af.
    Skynet ICT B.V. - The cause of the problem is: the printer thinks its a router.

  7. #37
    Ceph - Beginners vraagjes
    www.xenius.be
    1.554 Berichten
    Ingeschreven
    26/11/11

    Locatie
    Oud-Turnhout

    Post Thanks / Like
    Mentioned
    42 Post(s)
    Tagged
    0 Thread(s)
    73 Berichten zijn liked


    Naam: Steve Vos
    Bedrijf: Xenius
    Functie: Zaakvoerder
    URL: www.xenius.be
    Ondernemingsnummer: 0505928838

    Thread Starter
    mmm ik moet wat beter kijken denk ik.. als ik een ceph df doe zie ik daar een kolometje "MAX AVAIL" ik veronderstel dat dat effectief is wat netto bruikbaar is .. 3,4TB wat zou kunnen 'kloppen' :-) => 12/3


    Code:
    xenius@prox11:~# ceph df
    GLOBAL:
        SIZE       AVAIL      RAW USED     %RAW USED
        11166G     10399G         767G          6.87
    POOLS:
        NAME                    ID     USED     %USED     MAX AVAIL     OBJECTS
        distributed-storage     5      328G      8.82         3437G       88433
    xenius@prox11:~#
    Xenius.be | Our solutions, our products, your success !

  8. #38
    Ceph - Beginners vraagjes
    geregistreerd gebruiker
    1.892 Berichten
    Ingeschreven
    17/08/05

    Locatie
    Amsterdam

    Post Thanks / Like
    Mentioned
    34 Post(s)
    Tagged
    0 Thread(s)
    35 Berichten zijn liked


    Naam: Wieger Bontekoe
    Bedrijf: Skynet ICT B.V.
    Functie: CEO
    URL: skynet-ict.nl
    Registrar SIDN: Nee
    View wbontekoe's profile on LinkedIn

    Citaat Oorspronkelijk geplaatst door bibawa Bekijk Berichten
    mmm ik moet wat beter kijken denk ik.. als ik een ceph df doe zie ik daar een kolometje "MAX AVAIL" ik veronderstel dat dat effectief is wat netto bruikbaar is .. 3,4TB wat zou kunnen 'kloppen' :-) => 12/3


    Code:
    xenius@prox11:~# ceph df
    GLOBAL:
        SIZE       AVAIL      RAW USED     %RAW USED
        11166G     10399G         767G          6.87
    POOLS:
        NAME                    ID     USED     %USED     MAX AVAIL     OBJECTS
        distributed-storage     5      328G      8.82         3437G       88433
    xenius@prox11:~#
    Het kopje er boven "RAW USED" geeft het echte verbruik aan.
    Skynet ICT B.V. - The cause of the problem is: the printer thinks its a router.

  9. #39
    Ceph - Beginners vraagjes
    www.xenius.be
    1.554 Berichten
    Ingeschreven
    26/11/11

    Locatie
    Oud-Turnhout

    Post Thanks / Like
    Mentioned
    42 Post(s)
    Tagged
    0 Thread(s)
    73 Berichten zijn liked


    Naam: Steve Vos
    Bedrijf: Xenius
    Functie: Zaakvoerder
    URL: www.xenius.be
    Ondernemingsnummer: 0505928838

    Thread Starter
    @CharlieRoot het Ceph cluster heeft gaat geregeld in WARNING omwille van een monitor time skew, nu alle monitors zijn in sync met een ntp server.. Hoe pakken jullie dit aan ? Hebben jullie de max allowed skew vergroot in de ceph.conf ?
    Xenius.be | Our solutions, our products, your success !

  10. #40
    Ceph - Beginners vraagjes
    geregistreerd gebruiker
    1.892 Berichten
    Ingeschreven
    17/08/05

    Locatie
    Amsterdam

    Post Thanks / Like
    Mentioned
    34 Post(s)
    Tagged
    0 Thread(s)
    35 Berichten zijn liked


    Naam: Wieger Bontekoe
    Bedrijf: Skynet ICT B.V.
    Functie: CEO
    URL: skynet-ict.nl
    Registrar SIDN: Nee
    View wbontekoe's profile on LinkedIn

    Citaat Oorspronkelijk geplaatst door bibawa Bekijk Berichten
    @CharlieRoot het Ceph cluster heeft gaat geregeld in WARNING omwille van een monitor time skew, nu alle monitors zijn in sync met een ntp server.. Hoe pakken jullie dit aan ? Hebben jullie de max allowed skew vergroot in de ceph.conf ?
    Weet je zeker dat je NTP config klopt? Wij hebben dit gehad en ik heb toen andere NTP servers er in gezet en alles gereboot. Ik zou niet adviseren om je max allowed te verhogen.
    Skynet ICT B.V. - The cause of the problem is: the printer thinks its a router.

  11. #41
    Ceph - Beginners vraagjes
    www.xenius.be
    1.554 Berichten
    Ingeschreven
    26/11/11

    Locatie
    Oud-Turnhout

    Post Thanks / Like
    Mentioned
    42 Post(s)
    Tagged
    0 Thread(s)
    73 Berichten zijn liked


    Naam: Steve Vos
    Bedrijf: Xenius
    Functie: Zaakvoerder
    URL: www.xenius.be
    Ondernemingsnummer: 0505928838

    Thread Starter
    @CharlieRoot :
    Welke SD kaarten gebruik je in je cluster en hoe groot neem je deze ?
    Xenius.be | Our solutions, our products, your success !

  12. #42
    Ceph - Beginners vraagjes
    geregistreerd gebruiker
    1.892 Berichten
    Ingeschreven
    17/08/05

    Locatie
    Amsterdam

    Post Thanks / Like
    Mentioned
    34 Post(s)
    Tagged
    0 Thread(s)
    35 Berichten zijn liked


    Naam: Wieger Bontekoe
    Bedrijf: Skynet ICT B.V.
    Functie: CEO
    URL: skynet-ict.nl
    Registrar SIDN: Nee
    View wbontekoe's profile on LinkedIn

    Citaat Oorspronkelijk geplaatst door bibawa Bekijk Berichten
    @CharlieRoot :
    Welke SD kaarten gebruik je in je cluster en hoe groot neem je deze ?
    SanDisk Extreme Plus 64GB
    Skynet ICT B.V. - The cause of the problem is: the printer thinks its a router.

  13. #43
    Ceph - Beginners vraagjes
    geregistreerd gebruiker
    474 Berichten
    Ingeschreven
    22/03/07

    Locatie
    Soerendonk

    Post Thanks / Like
    Mentioned
    6 Post(s)
    Tagged
    0 Thread(s)
    5 Berichten zijn liked


    Registrar SIDN: nee
    KvK nummer: nvt
    Ondernemingsnummer: nvt

    Gezien er inmiddels al tal van topics over ceph zijn ga ik even in dit topic van beginnersvragen verder ipv. weer een nieuw topic te openen.
    Ik heb me zelf flink ingelezen en wil ook gaan starten met het gebruik van ceph.
    Het zal in beginsel om 5 nodes gaan waar ook proxmox op draait.
    Heb nog de volgende vragen.

    1. Ik wil HDD's plaatsen met SSD cache. Ik heb Samsung SM863 SSD's liggen.
    Heeft het baat om een zeer grote cache SSD te plaatsen van 960GB of wordt dit niet benut? Bij ZFS maakt dit voor de write cache namelijk niet uit.
    Is het eventueel zinvol om 2 cache SSD's te plaatsen per node?

    2. Stel één van de nodes gaat down door een falende voeding of onderhoud. Als deze weer opgestart wordt, komt deze dan volautomatisch weer in sync met de rest? Of moeten er speciale dingen gebeuren?

    3. Als de switch down gaat waar het ceph cluster netwerk op draait, wat gebeurt er dan? Komt er dan verschil in data tussen de ceph OSD nodes of gaat alles weer normaal verder zodra de switch weer up komt? Is de switching van het cluster netwerk eenvoudig redundant uit te voeren zonder stackable switch?

    4. Bij proxmox stel je veel in in de webinterface, weet iemand of je de configs zonder verder problemen ook nog handmatig kan wijzigen en de webinterface goed blijft werken?

    Vast bedankt voor jullie reacties!

  14. #44
    Ceph - Beginners vraagjes
    www.xenius.be
    1.554 Berichten
    Ingeschreven
    26/11/11

    Locatie
    Oud-Turnhout

    Post Thanks / Like
    Mentioned
    42 Post(s)
    Tagged
    0 Thread(s)
    73 Berichten zijn liked


    Naam: Steve Vos
    Bedrijf: Xenius
    Functie: Zaakvoerder
    URL: www.xenius.be
    Ondernemingsnummer: 0505928838

    Thread Starter
    Wij hebben het ook samen met proxmox draaien op dezelfde bakken en doe dat niet.. je moet veel te veel inleveren op performance!
    Xenius.be | Our solutions, our products, your success !

  15. #45
    Ceph - Beginners vraagjes
    geregistreerd gebruiker
    1.892 Berichten
    Ingeschreven
    17/08/05

    Locatie
    Amsterdam

    Post Thanks / Like
    Mentioned
    34 Post(s)
    Tagged
    0 Thread(s)
    35 Berichten zijn liked


    Naam: Wieger Bontekoe
    Bedrijf: Skynet ICT B.V.
    Functie: CEO
    URL: skynet-ict.nl
    Registrar SIDN: Nee
    View wbontekoe's profile on LinkedIn

    Citaat Oorspronkelijk geplaatst door tvdh Bekijk Berichten
    1. Ik wil HDD's plaatsen met SSD cache. Ik heb Samsung SM863 SSD's liggen.
    Heeft het baat om een zeer grote cache SSD te plaatsen van 960GB of wordt dit niet benut? Bij ZFS maakt dit voor de write cache namelijk niet uit.
    Is het eventueel zinvol om 2 cache SSD's te plaatsen per node?
    Hangt heel erg af van wat er op komt te draaien. Wij hebben in onze setup 10TB aan SATA disken en 2x 512GB aan SSD. Dit is voor ons nu voldoende en je kunt uitbreiden wanneer je dat zelf wilt natuurlijk. Dat is het voordeel van Ceph, flexibel.

    Citaat Oorspronkelijk geplaatst door tvdh Bekijk Berichten
    2. Stel één van de nodes gaat down door een falende voeding of onderhoud. Als deze weer opgestart wordt, komt deze dan volautomatisch weer in sync met de rest? Of moeten er speciale dingen gebeuren?
    Als je je crushmap instellingen goed hebt staan is er niets aan de hand en gaat hij gewoon automatische weer repliceren en meedraaien met de rest.

    Citaat Oorspronkelijk geplaatst door tvdh Bekijk Berichten
    3. Als de switch down gaat waar het ceph cluster netwerk op draait, wat gebeurt er dan? Komt er dan verschil in data tussen de ceph OSD nodes of gaat alles weer normaal verder zodra de switch weer up komt? Is de switching van het cluster netwerk eenvoudig redundant uit te voeren zonder stackable switch?
    Zorg altijd dat je twée switches hebt zoals in de docs beschreven. Eentje is voor intern verkeer tussen de Ceph nodes, de ander voor verkeer naar je hypervisor. Op die manier kunnen de nodes via een van de twee switches in contact blijven met elkaar (en is er dus niets aan de hand).

    Citaat Oorspronkelijk geplaatst door tvdh Bekijk Berichten
    4. Bij proxmox stel je veel in in de webinterface, weet iemand of je de configs zonder verder problemen ook nog handmatig kan wijzigen en de webinterface goed blijft werken?
    Recent iemand geholpen die issues had door een foute crushmap, zou goed aan Proxmox kunnen liggen. Hoe dan ook is Storage iets wat je niet wilt combineren met andere zaken zoals VM's. Draai storage helemaal los van alles om zo de beste performance te halen.
    Skynet ICT B.V. - The cause of the problem is: the printer thinks its a router.

Pagina 3 van de 5 Eerste 1 2 3 4 5 LaatsteLaatste

Labels voor dit Bericht

Webhostingtalk.nl

Contact

  • Rokin 113-115
  • 1012 KP, Amsterdam
  • Nederland
  • Contact
© Copyright 2001-2021 Webhostingtalk.nl.
Web Statistics