Resultaten 16 tot 30 van de 72
Pagina 2 van de 5 Eerste 1 2 3 4 ... LaatsteLaatste
  1. #16
    Ceph - Beginners vraagjes
    geregistreerd gebruiker
    439 Berichten
    Ingeschreven
    06/07/15

    Locatie
    Ede

    Post Thanks / Like
    Mentioned
    9 Post(s)
    Tagged
    0 Thread(s)
    0 Berichten zijn liked


    Naam: Ronald
    Bedrijf: Tuxis Internet Engineering
    URL: www.tuxis.nl
    ISPConnect: Lid
    KvK nummer: 61527076
    View https://www.linkedin.com/company/tuxis-internet-engineering's profile on LinkedIn

    Citaat Oorspronkelijk geplaatst door NibeP Bekijk Berichten
    Wat zou een reden zijn om Proxmox en Ceph niet op één node te draaien, buiten wat CPU verlies om? Ik begrijp dat het fijn is om zaken te scheiden, maar ben benieuwd of het hier goed te merken is.
    Het hangt ook wel van de schaal af.
    Als je het gaat scheiden betekent het dat je met 6 servers gaat beginnen. Als je het niet scheid kun je met 3 servers beginnen.
    Het scheelt dus vooral kosten. Zowel eenmalig (aanschaf) als maandelijks (colocatie).

    De belasting van Ceph op de hardware valt mee maar is wel afhankelijk van de hoeveelheid storage die je in een node stopt natuurljik.
    Onze ervaring is dat Proxmox en Ceph op dezelfde nodes prima werkt en presteert. Stop vooral wel iets meer geheugen in de nodes.
    We hebben nog niet ervaren dat we niet wisten waar drukte vandaan kwam of dat Ceph daar last van had.
    Het is wel een balans tussen storage en virtualisatie. Als je in iedere node 60 Tb aan disken gaat zetten zou ik het ook scheiden.

    Als ik moest kiezen en het geld toch uit zou moeten geven zou ik nog steeds liever 5 nodes bouwen met Ceph en Proxmox gecombineerd dan 3 met Ceph en 3 met Proxmox.
    Je hebt dan namelijk meer virtualisatie capaciteit (5 ipv 3 nodes) en meer storage capaciteit (5 ipv 3) en meer redundantie (5 ipv 2x3).

    Dus of je het wil scheiden hangt van je plannen af, je budget, de hoeveelheid storage per node.

  2. #17
    Ceph - Beginners vraagjes
    geregistreerd gebruiker
    1.892 Berichten
    Ingeschreven
    17/08/05

    Locatie
    Amsterdam

    Post Thanks / Like
    Mentioned
    34 Post(s)
    Tagged
    0 Thread(s)
    35 Berichten zijn liked


    Naam: Wieger Bontekoe
    Bedrijf: Skynet ICT B.V.
    Functie: CEO
    URL: skynet-ict.nl
    Registrar SIDN: Nee
    View wbontekoe's profile on LinkedIn

    Citaat Oorspronkelijk geplaatst door bibawa Bekijk Berichten
    Bedankt voor de feedback !

    Momenteel zijn het inderdaad maar 3 nodes , maar naarmate ons vmware cluster gaat slinken komen die er weer bij in beide racks.. maar als ik het dan goed begrijp kan ik best 1 monitor nog in een 3de rack steken ? (2-2-1)Aangezien je met 2 racks in het slechtste geval nooit een meerderheid kan halen ?



    Net dit artikel nog gevonden http://www.admin-magazine.com/HPC/Ar...nd-Ceph-Part-2

    Daarin staat oa die min en max size wat uitgelegd en daaruit concludeer ik ook dat m'n crushmap momenteel verkeerd is en dat ik in de rule de bucket op rack ipv host moet zetten .. (step chooseleaf...)
    Check deze uitleg
    http://jcftang.github.io/2012/09/06/...-ceph-cluster/

    Zoek op
    "Which selects n hosts then the first osd from each host, but it can’t deal with an entire hosts failed OSD’s. The second proposed rule was"

    Ik heb een test cluster met 3 nodes (3 OSD nodes, 3 mon's op de zelfde nodes). Bij uitval van één van de nodes is het cluster geheel read only. Voor productie wil je dat niet
    Skynet ICT B.V. - The cause of the problem is: the printer thinks its a router.

  3. #18
    Ceph - Beginners vraagjes
    geregistreerd gebruiker
    1.892 Berichten
    Ingeschreven
    17/08/05

    Locatie
    Amsterdam

    Post Thanks / Like
    Mentioned
    34 Post(s)
    Tagged
    0 Thread(s)
    35 Berichten zijn liked


    Naam: Wieger Bontekoe
    Bedrijf: Skynet ICT B.V.
    Functie: CEO
    URL: skynet-ict.nl
    Registrar SIDN: Nee
    View wbontekoe's profile on LinkedIn

    Citaat Oorspronkelijk geplaatst door Tuxis_IE Bekijk Berichten
    Het hangt ook wel van de schaal af.
    Als je het gaat scheiden betekent het dat je met 6 servers gaat beginnen. Als je het niet scheid kun je met 3 servers beginnen.
    Het scheelt dus vooral kosten. Zowel eenmalig (aanschaf) als maandelijks (colocatie).

    De belasting van Ceph op de hardware valt mee maar is wel afhankelijk van de hoeveelheid storage die je in een node stopt natuurljik.
    Onze ervaring is dat Proxmox en Ceph op dezelfde nodes prima werkt en presteert. Stop vooral wel iets meer geheugen in de nodes.
    We hebben nog niet ervaren dat we niet wisten waar drukte vandaan kwam of dat Ceph daar last van had.
    Het is wel een balans tussen storage en virtualisatie. Als je in iedere node 60 Tb aan disken gaat zetten zou ik het ook scheiden.

    Als ik moest kiezen en het geld toch uit zou moeten geven zou ik nog steeds liever 5 nodes bouwen met Ceph en Proxmox gecombineerd dan 3 met Ceph en 3 met Proxmox.
    Je hebt dan namelijk meer virtualisatie capaciteit (5 ipv 3 nodes) en meer storage capaciteit (5 ipv 3) en meer redundantie (5 ipv 2x3).

    Dus of je het wil scheiden hangt van je plannen af, je budget, de hoeveelheid storage per node.
    Had de hele opmerking over CPU niet gezien, maar hier moet je je niet in verkijken.

    Dit is een OSD node met 12 OSD's, 16 cores 3.2Ghz cpu. Load nu is 1700 iops (ongeveer) dus de load is best wat om rekening mee te houden.
    Code:
    wipa@CEPH-OSD-01:~$ top
    top - 14:46:30 up 131 days, 21:04,  2 users,  load average: 8.40, 8.23, 7.95
    Skynet ICT B.V. - The cause of the problem is: the printer thinks its a router.

  4. #19
    Ceph - Beginners vraagjes
    geregistreerd gebruiker
    807 Berichten
    Ingeschreven
    09/04/08

    Locatie
    Weert

    Post Thanks / Like
    Mentioned
    13 Post(s)
    Tagged
    0 Thread(s)
    11 Berichten zijn liked


    Bedrijf: Openworx
    URL: www.openworx.nl
    Registrar SIDN: nee
    KvK nummer: 14129365
    Ondernemingsnummer: nvt

    Voor een ceph testopstelling met 3 nodes, hoeveel disks voor ceph per node heb je minimaal nodig? Of 1 disk opdelen in partities?
    https://www.openworx.nl | Cloud diensten - IT - ERP - Odoo Hosting

  5. #20
    Ceph - Beginners vraagjes
    www.xenius.be
    1.554 Berichten
    Ingeschreven
    26/11/11

    Locatie
    Oud-Turnhout

    Post Thanks / Like
    Mentioned
    42 Post(s)
    Tagged
    0 Thread(s)
    73 Berichten zijn liked


    Naam: Steve Vos
    Bedrijf: Xenius
    Functie: Zaakvoerder
    URL: www.xenius.be
    Ondernemingsnummer: 0505928838

    Thread Starter
    Wij hebben onze cluster nu gemaakt met servers met 6 disken:
    - 4 OSD disken
    - 1 caching disk (SSD)
    - 1 SSD voor het OS

    Zoals hierboven al aangehaald is dit een setup die vrij snel uitgebreid gaat worden naar minimaal 6 machines..
    SSD voor het OS zou ik precies ook op USB zetten, daar er hierboven al wel wat positieve feedback op gekomen is..
    Xenius.be | Our solutions, our products, your success !

  6. #21
    Ceph - Beginners vraagjes
    geregistreerd gebruiker
    1.892 Berichten
    Ingeschreven
    17/08/05

    Locatie
    Amsterdam

    Post Thanks / Like
    Mentioned
    34 Post(s)
    Tagged
    0 Thread(s)
    35 Berichten zijn liked


    Naam: Wieger Bontekoe
    Bedrijf: Skynet ICT B.V.
    Functie: CEO
    URL: skynet-ict.nl
    Registrar SIDN: Nee
    View wbontekoe's profile on LinkedIn

    Citaat Oorspronkelijk geplaatst door mgielissen Bekijk Berichten
    Voor een ceph testopstelling met 3 nodes, hoeveel disks voor ceph per node heb je minimaal nodig? Of 1 disk opdelen in partities?
    Niet met partities werken. Minimaal heb je 3 nodes, 1 disk per node nodig. Maar je hebt er weinig aan (meer disken is meer performance) als je alleen 3 disken (OSD's) hebt. Ceph heeft juist voordelen als je groeit (schaalbaarheid) en snelheid nodig hebt (veel disken is meer IOPS).
    Skynet ICT B.V. - The cause of the problem is: the printer thinks its a router.

  7. #22
    Ceph - Beginners vraagjes
    geregistreerd gebruiker
    1.892 Berichten
    Ingeschreven
    17/08/05

    Locatie
    Amsterdam

    Post Thanks / Like
    Mentioned
    34 Post(s)
    Tagged
    0 Thread(s)
    35 Berichten zijn liked


    Naam: Wieger Bontekoe
    Bedrijf: Skynet ICT B.V.
    Functie: CEO
    URL: skynet-ict.nl
    Registrar SIDN: Nee
    View wbontekoe's profile on LinkedIn

    Citaat Oorspronkelijk geplaatst door bibawa Bekijk Berichten
    Wij hebben onze cluster nu gemaakt met servers met 6 disken:
    - 4 OSD disken
    - 1 caching disk (SSD)
    - 1 SSD voor het OS

    Zoals hierboven al aangehaald is dit een setup die vrij snel uitgebreid gaat worden naar minimaal 6 machines..
    SSD voor het OS zou ik precies ook op USB zetten, daar er hierboven al wel wat positieve feedback op gekomen is..
    SSD voor het OS zou ik niet doen, ook journal niet. Dat draaien wij (écht) op een SD kaart. Dus heel Ubuntu en Journal staat op een 16GB SD kaart. 2x SSD voor caching per server en dan goed kijken naar de waardes. Loopt je cache snel vol dan meer SSD er in of eerder flushen.
    Skynet ICT B.V. - The cause of the problem is: the printer thinks its a router.

  8. #23
    Ceph - Beginners vraagjes
    www.xenius.be
    1.554 Berichten
    Ingeschreven
    26/11/11

    Locatie
    Oud-Turnhout

    Post Thanks / Like
    Mentioned
    42 Post(s)
    Tagged
    0 Thread(s)
    73 Berichten zijn liked


    Naam: Steve Vos
    Bedrijf: Xenius
    Functie: Zaakvoerder
    URL: www.xenius.be
    Ondernemingsnummer: 0505928838

    Thread Starter
    Ik ben hier vandaag nog eens wat dieper in verder gegaan en heb me eens gewaagd aan wat performance testen, misschien interessant om er eens wat met elkaar te delen , ik heb eenzelfde test gedraaid op onze cluster en ter vergelijking die test ook eens gedraaid op een VPS bij PCExtreme omdat ik daarvan weet dat ze ook Ceph draaien.. De vergelijking op zich is wel scheef aangezien onze cluster nog geen echte machines bevat maar toch leuke indicatie :-)

    Voor de testen heb ik volgende FIOs gedraait: (https://wiki.mikejung.biz/Benchmarki...SSD_FIO_Script)

    Onze nieuwe CEPH/Proxmox cluster
    Full write
    write: io=10240MB, bw=258232KB/s, iops=252, runt= 40606msec
    rand read
    read : io=1069.4MB, bw=36423KB/s, iops=9105, runt= 30063msec
    rand write
    write: io=238580KB, bw=7898.5KB/s, iops=1974, runt= 30206msec

    PCExtreme Stamina instance 1GB
    Full write
    write: io=10500MB, bw=102499KB/s, iops=100, runt=104899msec
    rand read
    read : io=301652KB, bw=10037KB/s, iops=2509, runt= 30055msec
    rand write
    write: io=121060KB, bw=4015.7KB/s, iops=1003, runt= 30147msec

    Opzich vond ik mijn resultaten enigzins nog wat 'traag' maar als ik ze dan vergelijk met de productieresultaten van PCExtreme dan zijn ze meer dan in orde ..

    Zoals gezegd: mijn cluster is momenteel nog leeg dus normaal dat er verschil is..
    Xenius.be | Our solutions, our products, your success !

  9. #24
    Ceph - Beginners vraagjes
    Geregistreerd Gebruiker
    4.754 Berichten
    Ingeschreven
    23/04/05

    Locatie
    Eindhoven

    Post Thanks / Like
    Mentioned
    15 Post(s)
    Tagged
    0 Thread(s)
    353 Berichten zijn liked


    Naam: Toin Bloo
    Bedrijf: Dommel Hosting
    URL: www.dommelhosting.nl
    ISPConnect: Lid
    KvK nummer: 17177247

    Wat voor servers gebruik je, type en processor en geheugen? En belangrijker, wat gebruik je voor je "public netwerk" en "cluster netwerk"?

  10. #25
    Ceph - Beginners vraagjes
    www.xenius.be
    1.554 Berichten
    Ingeschreven
    26/11/11

    Locatie
    Oud-Turnhout

    Post Thanks / Like
    Mentioned
    42 Post(s)
    Tagged
    0 Thread(s)
    73 Berichten zijn liked


    Naam: Steve Vos
    Bedrijf: Xenius
    Functie: Zaakvoerder
    URL: www.xenius.be
    Ondernemingsnummer: 0505928838

    Thread Starter
    Servers zijn Dell R610, allemaal E5 CPUs en momenteel 32GB per node geheugen..
    public netwerk is 2x 1Gigabit , cluster netwerk identiek.
    Storage netwerk is 10Gigabit
    Xenius.be | Our solutions, our products, your success !

  11. #26
    Ceph - Beginners vraagjes
    Internet Services
    3.204 Berichten
    Ingeschreven
    27/03/06

    Locatie
    Utrecht

    Post Thanks / Like
    Mentioned
    14 Post(s)
    Tagged
    0 Thread(s)
    43 Berichten zijn liked


    Naam: Jeroen
    View nl.linkedin.com/in/jeroenvheugten's profile on LinkedIn

    Wij haalden op ons SSD-only Ceph cluster (6 node), met PCIE SSDs (lagere latency) als Journal een "full write" van rond de 400 iops. Elke Ceph node had daarbij 2x 10 Gbps glasvezel. Veel sneller konden we het niet krijgen.

  12. #27
    Ceph - Beginners vraagjes
    geregistreerd gebruiker
    1.892 Berichten
    Ingeschreven
    17/08/05

    Locatie
    Amsterdam

    Post Thanks / Like
    Mentioned
    34 Post(s)
    Tagged
    0 Thread(s)
    35 Berichten zijn liked


    Naam: Wieger Bontekoe
    Bedrijf: Skynet ICT B.V.
    Functie: CEO
    URL: skynet-ict.nl
    Registrar SIDN: Nee
    View wbontekoe's profile on LinkedIn

    Citaat Oorspronkelijk geplaatst door bibawa Bekijk Berichten
    Ik ben hier vandaag nog eens wat dieper in verder gegaan en heb me eens gewaagd aan wat performance testen, misschien interessant om er eens wat met elkaar te delen , ik heb eenzelfde test gedraaid op onze cluster en ter vergelijking die test ook eens gedraaid op een VPS bij PCExtreme omdat ik daarvan weet dat ze ook Ceph draaien.. De vergelijking op zich is wel scheef aangezien onze cluster nog geen echte machines bevat maar toch leuke indicatie :-)

    Voor de testen heb ik volgende FIOs gedraait: (https://wiki.mikejung.biz/Benchmarki...SSD_FIO_Script)

    Onze nieuwe CEPH/Proxmox cluster
    Full write
    write: io=10240MB, bw=258232KB/s, iops=252, runt= 40606msec
    rand read
    read : io=1069.4MB, bw=36423KB/s, iops=9105, runt= 30063msec
    rand write
    write: io=238580KB, bw=7898.5KB/s, iops=1974, runt= 30206msec

    PCExtreme Stamina instance 1GB
    Full write
    write: io=10500MB, bw=102499KB/s, iops=100, runt=104899msec
    rand read
    read : io=301652KB, bw=10037KB/s, iops=2509, runt= 30055msec
    rand write
    write: io=121060KB, bw=4015.7KB/s, iops=1003, runt= 30147msec

    Opzich vond ik mijn resultaten enigzins nog wat 'traag' maar als ik ze dan vergelijk met de productieresultaten van PCExtreme dan zijn ze meer dan in orde ..

    Zoals gezegd: mijn cluster is momenteel nog leeg dus normaal dat er verschil is..
    Denk dat je nog wel wat kunt tweaken. Hier mijn resultaten (ook dell 610, 64gb per node, alles 10Gbit).

    Code:
    # full write pass
    write: io=10240MB, bw=785215KB/s, iops=766, runt= 13354msec
    
    # rand read
    read : io=6251.1MB, bw=213372KB/s, iops=53342, runt= 30004msec
    
    # rand write
    write: io=676224KB, bw=22463KB/s, iops=5615, runt= 30104msec
    Skynet ICT B.V. - The cause of the problem is: the printer thinks its a router.

  13. #28
    Ceph - Beginners vraagjes
    www.xenius.be
    1.554 Berichten
    Ingeschreven
    26/11/11

    Locatie
    Oud-Turnhout

    Post Thanks / Like
    Mentioned
    42 Post(s)
    Tagged
    0 Thread(s)
    73 Berichten zijn liked


    Naam: Steve Vos
    Bedrijf: Xenius
    Functie: Zaakvoerder
    URL: www.xenius.be
    Ondernemingsnummer: 0505928838

    Thread Starter
    Is dat met Full SSD of ook spinning voor oSD ?
    Xenius.be | Our solutions, our products, your success !

  14. #29
    Ceph - Beginners vraagjes
    geregistreerd gebruiker
    1.892 Berichten
    Ingeschreven
    17/08/05

    Locatie
    Amsterdam

    Post Thanks / Like
    Mentioned
    34 Post(s)
    Tagged
    0 Thread(s)
    35 Berichten zijn liked


    Naam: Wieger Bontekoe
    Bedrijf: Skynet ICT B.V.
    Functie: CEO
    URL: skynet-ict.nl
    Registrar SIDN: Nee
    View wbontekoe's profile on LinkedIn

    Citaat Oorspronkelijk geplaatst door bibawa Bekijk Berichten
    Is dat met Full SSD of ook spinning voor oSD ?
    Per host:
    2x SSD
    6x SATA 7200rpm
    Skynet ICT B.V. - The cause of the problem is: the printer thinks its a router.

  15. #30
    Ceph - Beginners vraagjes
    Internet Services
    3.204 Berichten
    Ingeschreven
    27/03/06

    Locatie
    Utrecht

    Post Thanks / Like
    Mentioned
    14 Post(s)
    Tagged
    0 Thread(s)
    43 Berichten zijn liked


    Naam: Jeroen
    View nl.linkedin.com/in/jeroenvheugten's profile on LinkedIn

    En dat zijn synchrone writes met N+2 replicatie?

Pagina 2 van de 5 Eerste 1 2 3 4 ... LaatsteLaatste

Labels voor dit Bericht

Webhostingtalk.nl

Contact

  • Rokin 113-115
  • 1012 KP, Amsterdam
  • Nederland
  • Contact
© Copyright 2001-2021 Webhostingtalk.nl.
Web Statistics