Resultaten 1 tot 15 van de 16
Pagina 1 van de 2 1 2 LaatsteLaatste
  1. #1
    Anoniem
    5 Berichten zijn liked



    Thread Starter

    CEPH tuner/kenner gezocht

    Ik zit met een CEPH opzet welke puur als basis is opgezet, geen specifieke node configs of wat dan ook, lijkt heel sterk op de defaults. Het zit op glas uiteraard. Er draaien VMs op (KVM).

    De snelheid moet beter, ik zoek iemand die in kan loggen en de node/CEPH aanpassingen voor ons kan doen.

    Meld je contactgegevens even hier als reply dan bespreken we de verdere details van de setup en de klus. Verschillen in tijden worden gemeten met pingdom, dd etc.

  2. #2
    CEPH tuner/kenner gezocht
    geregistreerd gebruiker
    1.265 Berichten
    Ingeschreven
    18/01/06

    Locatie
    Almere

    Post Thanks / Like
    Mentioned
    3 Post(s)
    Tagged
    0 Thread(s)
    30 Berichten zijn liked


    Naam: Rens
    URL: www.yisp.nl
    KvK nummer: 08144415

    Zou Wido van 42on een berichtje sturen
    Yisp.nl - High bandwidth solutions in YISP-AS(58073) - www.yisp.nl

  3. #3
    CEPH tuner/kenner gezocht
    geregistreerd gebruiker
    439 Berichten
    Ingeschreven
    06/07/15

    Locatie
    Ede

    Post Thanks / Like
    Mentioned
    9 Post(s)
    Tagged
    0 Thread(s)
    0 Berichten zijn liked


    Naam: Ronald
    Bedrijf: Tuxis Internet Engineering
    URL: www.tuxis.nl
    ISPConnect: Lid
    KvK nummer: 61527076
    View https://www.linkedin.com/company/tuxis-internet-engineering's profile on LinkedIn

    Er valt niet zo veel te tunen aan Ceph.

    In de client kun je wat tunen qua caching.
    Netwerksnelheid, aantal disken, aantal servers, voldoende geheugen en CPU zorgen voor snelheid.

    Hoe heb je het nu opgezet?

  4. #4
    Anoniem
    5 Berichten zijn liked



    Thread Starter
    Citaat Oorspronkelijk geplaatst door Tuxis_IE Bekijk Berichten
    Hoe heb je het nu opgezet?
    globaal:
    promox + ceph op dezelfde nodes 4 stuks dual CPU met tenminste 100GB RAM. Server CPU is vrij rustig overigens

    iedere node 4 OSD SSD disken. Intel DC series op SATA. Geen SAS of NVME dus. OS uiteraard op eigen disken
    10gbit glas op 2 switches voor intern verkeer

  5. #5
    CEPH tuner/kenner gezocht
    geregistreerd gebruiker
    439 Berichten
    Ingeschreven
    06/07/15

    Locatie
    Ede

    Post Thanks / Like
    Mentioned
    9 Post(s)
    Tagged
    0 Thread(s)
    0 Berichten zijn liked


    Naam: Ronald
    Bedrijf: Tuxis Internet Engineering
    URL: www.tuxis.nl
    ISPConnect: Lid
    KvK nummer: 61527076
    View https://www.linkedin.com/company/tuxis-internet-engineering's profile on LinkedIn

    En wat voor een snelheid haal je?
    Dan kunnen we vast roepen of dat naar verwachting is.

    *edited
    In een VM zou dat minimaal 600 Mbyte/s lezen en schrijven op moeten leveren. Of heb je juist IOPS issues?

    En scroll hier eens naar halverwege. Niet alle SSD's zijn even geschikt. Oud artikel maar geld nog wel:
    https://www.sebastien-han.fr/blog/20...ournal-device/
    Laatst gewijzigd door Tuxis_IE; 21/04/20 om 16:42.

  6. #6
    Anoniem
    5 Berichten zijn liked



    Thread Starter
    in een VM zelf haalt een dd rond de 200mb/s

    is er geen aparte journalling als in op een andere schijf

    voorheen hadden we een ander cluster met centrale opslag op 1 node (ZFS), snelheden daar weet ik niet van dd, maar wel dat de kale applicaties die in de VMs draaien na verhuizing trager zijn geworden

    van je blog heb ik even onderste commandos gepakt in een VM, vind ik vrij matig

    dd if=/dev/urandom of=randfile bs=1M count=1024 && sync
    1024+0 records in
    1024+0 records out
    1073741824 bytes (1,1 GB) copied, 63,7942 s, 16,8 MB/s

  7. #7
    CEPH tuner/kenner gezocht
    geregistreerd gebruiker
    1.086 Berichten
    Ingeschreven
    30/04/09

    Locatie
    NL

    Post Thanks / Like
    Mentioned
    11 Post(s)
    Tagged
    0 Thread(s)
    14 Berichten zijn liked


    KvK nummer: 51985977

    Wido den Hollander is Ceph guru

    Je hebt 4 nodes zeg je, met ieder 4 OSD's. Ik ga er even vanuit dat je gebruik maakt van Replicated Pools met 3 kopien ipv EC (Erasure Coding) Pools. Dat betekend dat jij je 'ack' pas terug krijgt als je object weggeschreven is naar 3 OSD's. Als jij dus op een Single OSD 500MB/s haalt, moet je niet ineens denken dat je nu 1000MB/s zult halen.

    Welke Ceph versie gebruik je? Gebruik je FileStore of BlueStore?

    Wat haal je als je 'dd' draait direct tegen een fysiek SSD (mocht je die nog beschikbaar hebben...)?

    Wanneer je dd draait, geef ook status=progress mee om te zien hoe het gedrag is.
    Laatst gewijzigd door xaban; 21/04/20 om 18:37.

  8. #8
    Anoniem
    5 Berichten zijn liked



    Thread Starter
    ja 3 copieen inderdaad.

    de exacte details moet ik aan systeembeheer vragen, die weet ik niet.
    paar keer dd status meegegeven en dan is het vrij stabiel

    maar nu komt het .. op een paar VMS is dd blijvend traag (dus onder 20MB per seconde) , maar op andere VMs is hij blijvend sneller +- 135MB per seconde). Dit komt voor als ik ze los achter elkaar draai maar OOK als ik ze tegelijk laat draaien.

    Dit vind ik een interessant feit .. alsof er ergens iets stuk is ?

  9. #9
    CEPH tuner/kenner gezocht
    geregistreerd gebruiker
    1.086 Berichten
    Ingeschreven
    30/04/09

    Locatie
    NL

    Post Thanks / Like
    Mentioned
    11 Post(s)
    Tagged
    0 Thread(s)
    14 Berichten zijn liked


    KvK nummer: 51985977

    Kijk eens naar de perf statistics van je osd’s. 1 OSD die brak is kan al voor dit soort situaties zorgen.

    Eventueel wil ik wel even kijken of ik iets zie.

  10. #10
    CEPH tuner/kenner gezocht
    geregistreerd gebruiker
    439 Berichten
    Ingeschreven
    06/07/15

    Locatie
    Ede

    Post Thanks / Like
    Mentioned
    9 Post(s)
    Tagged
    0 Thread(s)
    0 Berichten zijn liked


    Naam: Ronald
    Bedrijf: Tuxis Internet Engineering
    URL: www.tuxis.nl
    ISPConnect: Lid
    KvK nummer: 61527076
    View https://www.linkedin.com/company/tuxis-internet-engineering's profile on LinkedIn

    Zijn de instellingen van de disken hetzelfde? (Cache, iop limiten, bus type SCSI?)
    Actuele drivers in de VM?

    Dat zou het eerste zijn wat ik zou controleren.

  11. #11
    Anoniem
    5 Berichten zijn liked



    Thread Starter
    Dank allen.

    Systeembeheer doet ook de testen en gaat kijken waar het m zit.

    Het zijn 2 typen intel DC varianten, we gaan proberen te zien of er bij een type die enorme vertraging zit. Los van het feit dat ik de snelste test ook al matig vind. De varianten schelen wel een beetje in IOPS maar niet die factor in verschil in MB/s als je dat correleert.

    Het is bluestore. en de dd met status geeft een vrij stabiel beeld qua MB per seconde



  12. #12
    CEPH tuner/kenner gezocht
    geregistreerd gebruiker
    1.086 Berichten
    Ingeschreven
    30/04/09

    Locatie
    NL

    Post Thanks / Like
    Mentioned
    11 Post(s)
    Tagged
    0 Thread(s)
    14 Berichten zijn liked


    KvK nummer: 51985977

    Citaat Oorspronkelijk geplaatst door Anoniem Bekijk Berichten
    Dank allen.

    Systeembeheer doet ook de testen en gaat kijken waar het m zit.

    Het zijn 2 typen intel DC varianten, we gaan proberen te zien of er bij een type die enorme vertraging zit. Los van het feit dat ik de snelste test ook al matig vind. De varianten schelen wel een beetje in IOPS maar niet die factor in verschil in MB/s als je dat correleert.

    Het is bluestore. en de dd met status geeft een vrij stabiel beeld qua MB per seconde
    Kijk of je veel verschillen ziet in "ceph osd perf".

    Ik noem mijzelf geen Ceph guru, maar heb wel al wat jaren ervaring met het opzetten en beheren van Ceph clusters. Ik ben eventueel te bereiken op sinan .at. polatconsultancy dot nl

  13. #13
    Anoniem
    5 Berichten zijn liked



    Thread Starter
    Weinig verschillen. Ik zal je mailen, factuur is uiteraard geen bezwaar.


    - CEPH BlueStore
    - VM config's zijn allemaal hetzelfde in Proxmox
    - VM op andere node maakt niks uit (node heeft een mix van trage en snelle VM's)

    ceph> osd perf
    OSD PERF STATS:

    osd commit_latency(ms) apply_latency(ms)
    2 1 1
    7 0 0
    5 1 1
    3 1 1
    0 0 0
    10 1 1
    6 1 1
    15 1 1
    13 1 1
    9 1 1
    1 0 0
    8 1 1
    11 1 1
    4 0 0
    12 1 1
    14 0 0

  14. #14
    Anoniem
    5 Berichten zijn liked



    Thread Starter
    de specs van beide intels opgezocht:

    type 1:
    Sequential Read (up to) 560 MB/s
    Sequential Write (up to) 510 MB/s
    Random Read (100% Span) 96000 IOPS
    Random Write (100% Span) 51000 IOPS
    Latency - Read 36 µs
    Latency - Write 37 µs

    type 2:
    Sequential Read (up to) 500 MB/s
    Sequential Write (up to) 490 MB/s
    Random Read (100% Span) 72000 IOPS
    Random Write (100% Span) 65000 IOPS
    Latency - Read 36 µs
    Latency - Write 36 µs

    dus op basis daarvan kun je het VM verschil niet verklaren. Mogelijk is het een VM OS en of VM driver issue om het onderlinge verschil te verklaren.

  15. #15
    CEPH tuner/kenner gezocht
    geregistreerd gebruiker
    1.086 Berichten
    Ingeschreven
    30/04/09

    Locatie
    NL

    Post Thanks / Like
    Mentioned
    11 Post(s)
    Tagged
    0 Thread(s)
    14 Berichten zijn liked


    KvK nummer: 51985977

    Hoe zijn de servers onderling verbonden? Daarmee bedoel ik de Ceph OSD servers onderling maar ook richting de KVM hosts. Allemaal (minimaal) 10G verbindingen en de links zijn niet saturated?

    Wat doet iperf onderling tussen de servers?

    Draai je dd eens met optie: oflag=dsync en dus niet sync achteraan.
    Laatst gewijzigd door xaban; 23/04/20 om 12:18.

Pagina 1 van de 2 1 2 LaatsteLaatste

Labels voor dit Bericht

Webhostingtalk.nl

Contact

  • Rokin 113-115
  • 1012 KP, Amsterdam
  • Nederland
  • Contact
© Copyright 2001-2021 Webhostingtalk.nl.
Web Statistics