Resultaten 16 tot 30 van de 33
Pagina 2 van de 3 Eerste 1 2 3 LaatsteLaatste
  1. #16
    Promox + Ceph, wat vragen
    geregistreerd gebruiker
    522 Berichten
    Ingeschreven
    12/04/11

    Locatie
    Zwijndrecht, Netherlands

    Post Thanks / Like
    Mentioned
    5 Post(s)
    Tagged
    0 Thread(s)
    48 Berichten zijn liked


    Naam: Axel Polfliet
    Bedrijf: Xynta BV
    Functie: Eigenaar
    URL: www.xynta.com
    Registrar SIDN: JA
    KvK nummer: 77237579
    Ondernemingsnummer: nvt
    TrustCloud: axel.polfliet
    View axelpolfliet's profile on LinkedIn

    Thread Starter
    Citaat Oorspronkelijk geplaatst door mgielissen Bekijk Berichten
    Draai je de VM's op een aparte node of op de Ceph node zelf?
    We hebben 3 aparte Proxmox nodes (minimale vereiste voor HA) welke gekoppeld zitten aan de Ceph nodes. De Proxmox nodes hebben een dubbele E5 processor, 196GB geheugen en een dubbele 1TB SATA disk (RAID1).

  2. #17
    Promox + Ceph, wat vragen
    geregistreerd gebruiker
    807 Berichten
    Ingeschreven
    09/04/08

    Locatie
    Weert

    Post Thanks / Like
    Mentioned
    13 Post(s)
    Tagged
    0 Thread(s)
    11 Berichten zijn liked


    Bedrijf: Openworx
    URL: www.openworx.nl
    Registrar SIDN: nee
    KvK nummer: 14129365
    Ondernemingsnummer: nvt

    Citaat Oorspronkelijk geplaatst door Axel Polfliet Bekijk Berichten
    We hebben 3 aparte Proxmox nodes (minimale vereiste voor HA) welke gekoppeld zitten aan de Ceph nodes. De Proxmox nodes hebben een dubbele E5 processor, 196GB geheugen en een dubbele 1TB SATA disk (RAID1).
    En welk os voor ceph nodes?
    https://www.openworx.nl | Cloud diensten - IT - ERP - Odoo Hosting

  3. #18
    Promox + Ceph, wat vragen
    geregistreerd gebruiker
    522 Berichten
    Ingeschreven
    12/04/11

    Locatie
    Zwijndrecht, Netherlands

    Post Thanks / Like
    Mentioned
    5 Post(s)
    Tagged
    0 Thread(s)
    48 Berichten zijn liked


    Naam: Axel Polfliet
    Bedrijf: Xynta BV
    Functie: Eigenaar
    URL: www.xynta.com
    Registrar SIDN: JA
    KvK nummer: 77237579
    Ondernemingsnummer: nvt
    TrustCloud: axel.polfliet
    View axelpolfliet's profile on LinkedIn

    Thread Starter
    Citaat Oorspronkelijk geplaatst door mgielissen Bekijk Berichten
    En welk os voor ceph nodes?
    CentOS 7

  4. #19
    Promox + Ceph, wat vragen
    www.xenius.be
    1.554 Berichten
    Ingeschreven
    26/11/11

    Locatie
    Oud-Turnhout

    Post Thanks / Like
    Mentioned
    42 Post(s)
    Tagged
    0 Thread(s)
    73 Berichten zijn liked


    Naam: Steve Vos
    Bedrijf: Xenius
    Functie: Zaakvoerder
    URL: www.xenius.be
    Ondernemingsnummer: 0505928838

    @Axel Polfliet : Heb je toevallig in Proxmox al eens een backup gemaakt van een VPS die draait op de Ceph cluster en dan de backup wegschrijven naar een andere lokatie ?
    Wat zijn je snelheden die je daarbij haalt ?

    Onze snelheden met Ceph ansich zijn meer dan voldoende, maar de snelheden die we met vzdump halen voor het maken van die backups is belachelijk traag en ik lees op verschillende fora's dat we niet alleen zijn..
    Met traag bedoel ik max 60MB/s terwijl we ze schrijven van ceph -> lokale storage op proxmox bij wijze van test (om data netwerk uit te sluiten)
    Xenius.be | Our solutions, our products, your success !

  5. #20
    Promox + Ceph, wat vragen
    geregistreerd gebruiker
    522 Berichten
    Ingeschreven
    12/04/11

    Locatie
    Zwijndrecht, Netherlands

    Post Thanks / Like
    Mentioned
    5 Post(s)
    Tagged
    0 Thread(s)
    48 Berichten zijn liked


    Naam: Axel Polfliet
    Bedrijf: Xynta BV
    Functie: Eigenaar
    URL: www.xynta.com
    Registrar SIDN: JA
    KvK nummer: 77237579
    Ondernemingsnummer: nvt
    TrustCloud: axel.polfliet
    View axelpolfliet's profile on LinkedIn

    Thread Starter
    Citaat Oorspronkelijk geplaatst door bibawa Bekijk Berichten
    @Axel Polfliet : Heb je toevallig in Proxmox al eens een backup gemaakt van een VPS die draait op de Ceph cluster en dan de backup wegschrijven naar een andere lokatie ?
    Wat zijn je snelheden die je daarbij haalt ?

    Onze snelheden met Ceph ansich zijn meer dan voldoende, maar de snelheden die we met vzdump halen voor het maken van die backups is belachelijk traag en ik lees op verschillende fora's dat we niet alleen zijn..
    Met traag bedoel ik max 60MB/s terwijl we ze schrijven van ceph -> lokale storage op proxmox bij wijze van test (om data netwerk uit te sluiten)
    Zelfde probleem hier;

    INFO: transferred 322122 MB in 3697 seconds (87 MB/s)
    INFO: archive file size: 852MB
    INFO: delete old backup '/mnt/pve/nfs-backup/dump/vzdump-qemu-103-2017_03_27-02_09_11.vma.lzo'
    INFO: Finished Backup of VM 103 (01:01:38)
    INFO: Starting Backup of VM 104 (qemu)

    Ook al gebruiken we een aparte Ceph pool met dedicated SATA storage en een SSD journaal waarmee over een intern netwerk wordt verbonden, blijven de snelheden vrij beperkt. Des te kleiner de vm image des te lager de snelheid.

  6. #21
    Promox + Ceph, wat vragen
    Bizway.nl
    1.435 Berichten
    Ingeschreven
    18/01/10

    Locatie
    Bodegraven

    Post Thanks / Like
    Mentioned
    13 Post(s)
    Tagged
    0 Thread(s)
    92 Berichten zijn liked


    Naam: Bart Lageweg
    Bedrijf: Bizway BV
    Registrar SIDN: ja
    ISPConnect: Lid
    KvK nummer: 28086287
    View nl.linkedin.com/in/bartlageweg's profile on LinkedIn

    Ik ben hier mee aan het spelen https://github.com/EnterpriseVE/eve4pve-barc gaat de goede kant op, is hoe dan ook een stuk sneller!
    Op zoek naar hostingpartijen die zich willen laten overnemen (met desgewenst aanblijven)

  7. #22
    Promox + Ceph, wat vragen
    www.xenius.be
    1.554 Berichten
    Ingeschreven
    26/11/11

    Locatie
    Oud-Turnhout

    Post Thanks / Like
    Mentioned
    42 Post(s)
    Tagged
    0 Thread(s)
    73 Berichten zijn liked


    Naam: Steve Vos
    Bedrijf: Xenius
    Functie: Zaakvoerder
    URL: www.xenius.be
    Ondernemingsnummer: 0505928838

    Niet echt veelbelovend ligt dus niet aan onze setup maar eerder een beperking van vzdump dus..
    @Bart L was die ook al tegengekomen maar vond het wat tricky dat op onze productie cluster te zetten..
    Draait het stabiel / zonder impact naar proxmox/ceph toe ?
    Xenius.be | Our solutions, our products, your success !

  8. #23
    Promox + Ceph, wat vragen
    Bizway.nl
    1.435 Berichten
    Ingeschreven
    18/01/10

    Locatie
    Bodegraven

    Post Thanks / Like
    Mentioned
    13 Post(s)
    Tagged
    0 Thread(s)
    92 Berichten zijn liked


    Naam: Bart Lageweg
    Bedrijf: Bizway BV
    Registrar SIDN: ja
    ISPConnect: Lid
    KvK nummer: 28086287
    View nl.linkedin.com/in/bartlageweg's profile on LinkedIn

    Jep, vzdump zorgt al langer voor hoofdpijn bij ons. Impact is nihil, dus op dat punt prima.
    Alleen het restore pad wil ik verder uitgetest hebben voordat wij het in het "wild" gaan inzetten.

    Ik hoop stiekem dat Proxmox voor die tijd met een eigen oplossing komt.
    Hang je toevallig in "Rust" rond? Dan drinken we er een biertje bij
    Op zoek naar hostingpartijen die zich willen laten overnemen (met desgewenst aanblijven)

  9. #24
    Promox + Ceph, wat vragen
    geregistreerd gebruiker
    1.892 Berichten
    Ingeschreven
    17/08/05

    Locatie
    Amsterdam

    Post Thanks / Like
    Mentioned
    34 Post(s)
    Tagged
    0 Thread(s)
    35 Berichten zijn liked


    Naam: Wieger Bontekoe
    Bedrijf: Skynet ICT B.V.
    Functie: CEO
    URL: skynet-ict.nl
    Registrar SIDN: Nee
    View wbontekoe's profile on LinkedIn

    Citaat Oorspronkelijk geplaatst door Bart L Bekijk Berichten
    Ik ben hier mee aan het spelen https://github.com/EnterpriseVE/eve4pve-barc gaat de goede kant op, is hoe dan ook een stuk sneller!
    Hoe ziet je config er uit? Onze backups lopen met 240MB/s op dit moment.. Maar geen Proxmox. Ben wel benieuwd om te zien waar het verschil in zit.
    Skynet ICT B.V. - The cause of the problem is: the printer thinks its a router.

  10. #25
    Promox + Ceph, wat vragen
    www.xenius.be
    1.554 Berichten
    Ingeschreven
    26/11/11

    Locatie
    Oud-Turnhout

    Post Thanks / Like
    Mentioned
    42 Post(s)
    Tagged
    0 Thread(s)
    73 Berichten zijn liked


    Naam: Steve Vos
    Bedrijf: Xenius
    Functie: Zaakvoerder
    URL: www.xenius.be
    Ondernemingsnummer: 0505928838

    mmm je bedoelt met vzdump ?? dan mag je mij wel eens vertellen waar je dat gepimpt hebt :-)
    Wij draaien ceph (3 nodes met telkens 4 disken + journal) en proxmox wel samen maar aangezien het bij @Axel Polfliet ook even traag gaat vermoed ik niet dat daar het probleem zit.. Vermoedelijk ergens een tuning in een of andere config file...
    Xenius.be | Our solutions, our products, your success !

  11. #26
    Promox + Ceph, wat vragen
    Bizway.nl
    1.435 Berichten
    Ingeschreven
    18/01/10

    Locatie
    Bodegraven

    Post Thanks / Like
    Mentioned
    13 Post(s)
    Tagged
    0 Thread(s)
    92 Berichten zijn liked


    Naam: Bart Lageweg
    Bedrijf: Bizway BV
    Registrar SIDN: ja
    ISPConnect: Lid
    KvK nummer: 28086287
    View nl.linkedin.com/in/bartlageweg's profile on LinkedIn

    Ons test cluster is op dit moment als volgt opgebouwd:

    4x 730XD - E5-2630 v3 - 128GB - 2x SSD Journal Cache - 12x SATA storage - intern 4x SATA raid10 2TB - OS + Backup gekoppeld met 2x 10Gb
    VZDump maakt een dump van de machines die lokaal draaien, en synct het daarna door naar de Freenas met 10Gb en dan weer offside enz

    VZDump duurt te lang, en maakt de machines traag, dus we kiezen nu voor ZFS backup, wat veeeeeeeeeeeel sneller gaat maar nog volledig gedekt is qua restore plan + automatisch logging verwerking in ons systeem is ook niet 100%.

    Oftewel nog niet productie ready.

    Voorkeur zou wel VZDUMP blijven, dus wat zit er in Proxmox anders dan in de config van CharlieRoot.
    Op zoek naar hostingpartijen die zich willen laten overnemen (met desgewenst aanblijven)

  12. #27
    Promox + Ceph, wat vragen
    www.xenius.be
    1.554 Berichten
    Ingeschreven
    26/11/11

    Locatie
    Oud-Turnhout

    Post Thanks / Like
    Mentioned
    42 Post(s)
    Tagged
    0 Thread(s)
    73 Berichten zijn liked


    Naam: Steve Vos
    Bedrijf: Xenius
    Functie: Zaakvoerder
    URL: www.xenius.be
    Ondernemingsnummer: 0505928838

    Denk dat ik een dieptepunt bereikt heb :-)

    Voor de rest draait dat dus mega vlot die ceph cluster..

    Code:
    INFO: status: 77% (124023668736/161061273600), sparse 3% (5721108480), duration 4184, 28/27 MB/s
    INFO: status: 78% (125646995456/161061273600), sparse 3% (5738385408), duration 4236, 31/30 MB/s
    INFO: status: 79% (127250333696/161061273600), sparse 3% (5750829056), duration 4288, 30/30 MB/s
    INFO: status: 80% (128857210880/161061273600), sparse 3% (5770162176), duration 4345, 28/27 MB/s
    INFO: status: 81% (130465595392/161061273600), sparse 3% (6265896960), duration 4389, 36/25 MB/s
    INFO: status: 82% (132072603648/161061273600), sparse 3% (6334771200), duration 4706, 5/4 MB/s
    INFO: status: 83% (133684264960/161061273600), sparse 3% (6342979584), duration 5034, 4/4 MB/s
    INFO: status: 84% (135295926272/161061273600), sparse 3% (6353661952), duration 5370, 4/4 MB/s
    INFO: status: 85% (136918990848/161061273600), sparse 4% (6987968512), duration 5583, 7/4 MB/s
    INFO: status: 86% (138514726912/161061273600), sparse 4% (6997786624), duration 5965, 4/4 MB/s
    INFO: status: 87% (140123308032/161061273600), sparse 4% (7003115520), duration 6298, 4/4 MB/s
    INFO: status: 88% (141734969344/161061273600), sparse 4% (7031791616), duration 6671, 4/4 MB/s
    INFO: status: 89% (143349252096/161061273600), sparse 4% (7043330048), duration 7014, 4/4 MB/s
    INFO: status: 90% (144958291968/161061273600), sparse 4% (7057313792), duration 7375, 4/4 MB/s
    INFO: status: 91% (146569953280/161061273600), sparse 4% (7067914240), duration 7714, 4/4 MB/s
    INFO: status: 92% (148181614592/161061273600), sparse 4% (7078080512), duration 8062, 4/4 MB/s
    INFO: status: 93% (149804679168/161061273600), sparse 4% (7469088768), duration 8306, 6/5 MB/s
    INFO: status: 94% (151408738304/161061273600), sparse 4% (7477616640), duration 8689, 4/4 MB/s
    INFO: status: 95% (153008996352/161061273600), sparse 4% (7492800512), duration 9020, 4/4 MB/s
    INFO: status: 96% (154624458752/161061273600), sparse 4% (7507050496), duration 9377, 4/4 MB/s
    INFO: status: 97% (156236120064/161061273600), sparse 5% (8147083264), duration 9598, 7/4 MB/s
    INFO: status: 98% (157843980288/161061273600), sparse 5% (8159281152), duration 9917, 5/5 MB/s
    Xenius.be | Our solutions, our products, your success !

  13. #28
    Promox + Ceph, wat vragen
    Internet Services
    3.204 Berichten
    Ingeschreven
    27/03/06

    Locatie
    Utrecht

    Post Thanks / Like
    Mentioned
    14 Post(s)
    Tagged
    0 Thread(s)
    43 Berichten zijn liked


    Naam: Jeroen
    View nl.linkedin.com/in/jeroenvheugten's profile on LinkedIn

    Is dat een replicated of erasure coded ceph pool? Staat de journal op SSD? Hoe is dat volume gekoppeld aan Ceph? Welke blocksize stuur je?

  14. #29
    Promox + Ceph, wat vragen
    www.xenius.be
    1.554 Berichten
    Ingeschreven
    26/11/11

    Locatie
    Oud-Turnhout

    Post Thanks / Like
    Mentioned
    42 Post(s)
    Tagged
    0 Thread(s)
    73 Berichten zijn liked


    Naam: Steve Vos
    Bedrijf: Xenius
    Functie: Zaakvoerder
    URL: www.xenius.be
    Ondernemingsnummer: 0505928838

    Replicated pool, journal staat op dedicated ssd. Blocksize 4M en vermoed dat daar het probleem zit..
    Xenius.be | Our solutions, our products, your success !

  15. #30
    Promox + Ceph, wat vragen
    geregistreerd gebruiker
    1.892 Berichten
    Ingeschreven
    17/08/05

    Locatie
    Amsterdam

    Post Thanks / Like
    Mentioned
    34 Post(s)
    Tagged
    0 Thread(s)
    35 Berichten zijn liked


    Naam: Wieger Bontekoe
    Bedrijf: Skynet ICT B.V.
    Functie: CEO
    URL: skynet-ict.nl
    Registrar SIDN: Nee
    View wbontekoe's profile on LinkedIn

    Citaat Oorspronkelijk geplaatst door bibawa Bekijk Berichten
    Replicated pool, journal staat op dedicated ssd. Blocksize 4M en vermoed dat daar het probleem zit..
    Het probleem staat goed beschreven op het Proxmox forum:

    When vzdump runs a backup of a running VM, it uses qemu directly, and through it, the specific 'backup' functionality therein. In doing so, qemu then hops through the rbd driver to start grabbing the data. The native block size that qemu uses for this functionality is 64kb. So for EACH 64kb request, ceph is reading in 4MB (it's block size) and returning the 64kb to qemu. This is HUGELY inefficient, and leads to exceptionally slow reads. This behavior can actually be recreated quite easily, and Mr. Han himself even has a few articles about this. For random reads, its usually a good idea to have the random data cached in a more near-line, high-speed format, such as flash or even RAM. In the case of sequential reads, however, read-ahead cache can be used to great effect. In proxmox, we have the cache=writeback option for storage, which enables the rbd write-cache, and inside each VM, it's simple to change /sys/block/vda/queue/read_ahead_kb to 16MB (What our testing has shown to be the sweet spot). The issue is that the read-ahead cache, something that would allow backups to move at wire-speed out of ceph (because each read would use the full 4MB, not discard 99% of it only to read it again), is enabled on a per-instance basis. When running a VM, the conf file enables the write-back, and the kernel inside the VM handles the read ahead. But on the proxmox host, there is no block device to modify the read ahead cache. So qemu will use the kernel default, which is 128kb. A minimum of 4MB is necessary for useable performance.
    https://forum.proxmox.com/threads/tw...backend.20692/

    Ik kwam wel tegen dat deze optie mogelijk wat verbetering met zich meebrengt:
    Code:
    echo 3 > /proc/sys/vm/drop_caches
    Skynet ICT B.V. - The cause of the problem is: the printer thinks its a router.

Pagina 2 van de 3 Eerste 1 2 3 LaatsteLaatste

Labels voor dit Bericht

Webhostingtalk.nl

Contact

  • Rokin 113-115
  • 1012 KP, Amsterdam
  • Nederland
  • Contact
© Copyright 2001-2021 Webhostingtalk.nl.
Web Statistics