Resultaten 16 tot 30 van de 39
Pagina 2 van de 3 Eerste 1 2 3 LaatsteLaatste
  1. #16
    VM's instabiel na migratie
    geregistreerd gebruiker
    285 Berichten
    Ingeschreven
    03/02/12

    Locatie
    Purmerend

    Post Thanks / Like
    Mentioned
    5 Post(s)
    Tagged
    0 Thread(s)
    0 Berichten zijn liked


    Naam: Merijn
    Bedrijf: Virtuality
    Functie: CEO
    URL: www.virtual-it.nl
    KvK nummer: 37138605
    View nl.linkedin.com/in/mevertse's profile on LinkedIn

    Als het aan de migratie zou liggen verwacht ik dat je het eerder zou merken.

  2. #17
    VM's instabiel na migratie
    Programmeur / Hoster
    3.952 Berichten
    Ingeschreven
    20/06/06

    Locatie
    Wijlre

    Post Thanks / Like
    Mentioned
    28 Post(s)
    Tagged
    0 Thread(s)
    647 Berichten zijn liked


    Naam: John Timmer
    Bedrijf: SystemDeveloper.NL
    Functie: Eigenaar
    URL: www.systemdeveloper.nl
    KvK nummer: 14083066
    View johntimmer's profile on LinkedIn

    zet vm.dirty_background_ratio eens op 5 en vm.dirty_ratio op 10. Misschien zelfs de vm.dirty_expire_centisecs op 1000 (als dat lager is wat je nu hebt).
    Dat betekent dat het vm zijn dirty pages eerder naar de storage schrijft, maar in kleinere blokken.

    Dat voorkomt dat er een situatie komt waarbij het vm 'opeens' de default 30% cache ram naar zijn storage moet duwen.

    Omdat ik natuurlijk niet weet welk vm, welk soort load heeft, zul je iets moeten spelen met die waarden.

    Zo zou je vm.dirty_background_ratio op 5 kunnen laten om te zorgen dat de cache asynchroon geflushed wordt als 5% van het ram gebruikt is, maar de vm.dirty_ratio op 70-80 zetten. (dan wordt de cache pas synchroon geforceerd naar cache als 80% in gebruik is.
    SystemDeveloper.NL - 64BitsWebhosting.EU : Softwareontwikkeling & Hosting freaks

  3. #18
    VM's instabiel na migratie
    geregistreerd gebruiker
    474 Berichten
    Ingeschreven
    22/03/07

    Locatie
    Soerendonk

    Post Thanks / Like
    Mentioned
    6 Post(s)
    Tagged
    0 Thread(s)
    5 Berichten zijn liked


    Registrar SIDN: nee
    KvK nummer: nvt
    Ondernemingsnummer: nvt

    Thread Starter
    Citaat Oorspronkelijk geplaatst door systemdeveloper Bekijk Berichten
    zet vm.dirty_background_ratio eens op 5 en vm.dirty_ratio op 10. Misschien zelfs de vm.dirty_expire_centisecs op 1000 (als dat lager is wat je nu hebt).
    Dat betekent dat het vm zijn dirty pages eerder naar de storage schrijft, maar in kleinere blokken.

    Dat voorkomt dat er een situatie komt waarbij het vm 'opeens' de default 30% cache ram naar zijn storage moet duwen.

    Omdat ik natuurlijk niet weet welk vm, welk soort load heeft, zul je iets moeten spelen met die waarden.

    Zo zou je vm.dirty_background_ratio op 5 kunnen laten om te zorgen dat de cache asynchroon geflushed wordt als 5% van het ram gebruikt is, maar de vm.dirty_ratio op 70-80 zetten. (dan wordt de cache pas synchroon geforceerd naar cache als 80% in gebruik is.

    Ik heb het getest, heb net de vm.dirty_background_ratio op 5 gezet en de vm.dirty_ratio op 10.
    Toen ben ik gaan testen met het migreren van VM's.
    In het begin leek dit verassend goed te gaan.
    Heb enkele VM's live op en neer gemigreerd tussen verschillende nodes.
    Dit ging perfect en alles bleef online.

    Echter daarna een andere VM een beetje druk gemaakt door alle custombuild updates te installeren, daarna direct afgesloten. Toen gemigreerd naar een andere node en daar opgestart.
    Hij startte tot het inlogscherm en daarna sloeg ie vast.
    Toen begonnen de meldingen weer binnen te stromen, diverse VPS'en onbereikbaar.

    Toen weer aan het testen op de nodes via SSH.
    ls uitvoeren op de nfs share van de SAN.
    Dit ging echt mega traag.

    Ik heb ondertussen ook een NFS share aangemaakt op het 1gbit netwerk van de san ipv het 10gbit netwerk.
    Dit om uit te sluiten dat het netwerkproblemen zijn. Via de 1gbit ging alles net zo traag.

    Zodra ik de VPS waar het probleem mee begonnen is stopte herstelde alles zich weer.
    Daarna startte ik deze VM weer en alles ging weer klapperen.
    Heb de VM nu terug gemigreerd naar de node waar hij vandaan kwam, opgestart en alles draait tot nu toe perfect.

    Ik hoop echt dat iemand met een gouden idee komt waar dit door kan komen...

  4. #19
    VM's instabiel na migratie
    Programmeur / Hoster
    3.952 Berichten
    Ingeschreven
    20/06/06

    Locatie
    Wijlre

    Post Thanks / Like
    Mentioned
    28 Post(s)
    Tagged
    0 Thread(s)
    647 Berichten zijn liked


    Naam: John Timmer
    Bedrijf: SystemDeveloper.NL
    Functie: Eigenaar
    URL: www.systemdeveloper.nl
    KvK nummer: 14083066
    View johntimmer's profile on LinkedIn

    Ja, ok, als 1 vps hangt omdat ie niet genoeg io kan doen, dan hangen de andere die IO willen op dat moment natuurlijk ook.

    Wat voor hardware gebruikt je? Voor zfs heb je namelijk behoorlijk wat nodig om goed te draaien. Ook niks wazigs im je dmsg logs?
    SystemDeveloper.NL - 64BitsWebhosting.EU : Softwareontwikkeling & Hosting freaks

  5. #20
    VM's instabiel na migratie
    geregistreerd gebruiker
    474 Berichten
    Ingeschreven
    22/03/07

    Locatie
    Soerendonk

    Post Thanks / Like
    Mentioned
    6 Post(s)
    Tagged
    0 Thread(s)
    5 Berichten zijn liked


    Registrar SIDN: nee
    KvK nummer: nvt
    Ondernemingsnummer: nvt

    Thread Starter
    Citaat Oorspronkelijk geplaatst door systemdeveloper Bekijk Berichten
    Ja, ok, als 1 vps hangt omdat ie niet genoeg io kan doen, dan hangen de andere die IO willen op dat moment natuurlijk ook.

    Wat voor hardware gebruikt je? Voor zfs heb je namelijk behoorlijk wat nodig om goed te draaien. Ook niks wazigs im je dmsg logs?
    In de dmesg van de San komt niks terug, in die van de nodes niets anders dan wat ik al eerder had geplaatst.

    SAN Specs:

    Xeon E5630
    64GB Ram
    Perc H200 geflashed naar LSI IT mode

    8x SM863 480GB SSD Pool 1
    5x SM863 960GB SSD Pool 2
    14x 2TB HDD + DC3700 Zil + Samsung L2arc

    Intel 10GBIT NIC

  6. #21
    VM's instabiel na migratie
    geregistreerd gebruiker
    285 Berichten
    Ingeschreven
    03/02/12

    Locatie
    Purmerend

    Post Thanks / Like
    Mentioned
    5 Post(s)
    Tagged
    0 Thread(s)
    0 Berichten zijn liked


    Naam: Merijn
    Bedrijf: Virtuality
    Functie: CEO
    URL: www.virtual-it.nl
    KvK nummer: 37138605
    View nl.linkedin.com/in/mevertse's profile on LinkedIn

    Een PERC H200 is wel een redelijk basic adapter voor deze setup. Met die disks zou ik kijken of je een H7x0 kunt vinden voor de servers. Niet dat ik natuurlijk met zekerheid kan zeggen dat het daar aan ligt overigens.

  7. #22
    VM's instabiel na migratie
    geregistreerd gebruiker
    285 Berichten
    Ingeschreven
    03/02/12

    Locatie
    Purmerend

    Post Thanks / Like
    Mentioned
    5 Post(s)
    Tagged
    0 Thread(s)
    0 Berichten zijn liked


    Naam: Merijn
    Bedrijf: Virtuality
    Functie: CEO
    URL: www.virtual-it.nl
    KvK nummer: 37138605
    View nl.linkedin.com/in/mevertse's profile on LinkedIn

    Het vreemde van de situatie die je beschrijft is dat alles traag is tot je de VM terug zet naar de host waar deze vandaag kwam. Dat is niet logisch als het zou komen door veel IO in de VM, dan zou dat meeverhuizen.
    Zie je veel MB/s gaan op je storage netwerk via de oorspronkelijke node misschien?

  8. #23
    VM's instabiel na migratie
    Server Freak
    3.640 Berichten
    Ingeschreven
    19/05/06

    Locatie
    Assen

    Post Thanks / Like
    Mentioned
    16 Post(s)
    Tagged
    0 Thread(s)
    215 Berichten zijn liked


    Naam: Sinterklaas

    H200 is inderdaad geen geweldige adapter. Wel vaker issues mee gezien. Wij hebben destijds alles vervangen door H710 controllers en het draaide veel smoother en stabieler.

  9. #24
    VM's instabiel na migratie
    geregistreerd gebruiker
    474 Berichten
    Ingeschreven
    22/03/07

    Locatie
    Soerendonk

    Post Thanks / Like
    Mentioned
    6 Post(s)
    Tagged
    0 Thread(s)
    5 Berichten zijn liked


    Registrar SIDN: nee
    KvK nummer: nvt
    Ondernemingsnummer: nvt

    Thread Starter
    Citaat Oorspronkelijk geplaatst door virtuality Bekijk Berichten
    Een PERC H200 is wel een redelijk basic adapter voor deze setup. Met die disks zou ik kijken of je een H7x0 kunt vinden voor de servers. Niet dat ik natuurlijk met zekerheid kan zeggen dat het daar aan ligt overigens.
    Voor ZFS doet die adapter toch verder niets?
    Alles staat in JBOD.
    De H7xx kunnen toch geen JBOD?
    Dus een snellere kaart heeft met JBOD toch geen zin?

  10. #25
    VM's instabiel na migratie
    geregistreerd gebruiker
    474 Berichten
    Ingeschreven
    22/03/07

    Locatie
    Soerendonk

    Post Thanks / Like
    Mentioned
    6 Post(s)
    Tagged
    0 Thread(s)
    5 Berichten zijn liked


    Registrar SIDN: nee
    KvK nummer: nvt
    Ondernemingsnummer: nvt

    Thread Starter
    Citaat Oorspronkelijk geplaatst door virtuality Bekijk Berichten
    Het vreemde van de situatie die je beschrijft is dat alles traag is tot je de VM terug zet naar de host waar deze vandaag kwam. Dat is niet logisch als het zou komen door veel IO in de VM, dan zou dat meeverhuizen.
    Zie je veel MB/s gaan op je storage netwerk via de oorspronkelijke node misschien?
    Zie het nu ik ga kijken weer en bedenk het me ook net.

    Op het moment dat alles instabiel wordt stopt proxmox met logs en grafieken.
    Dus op het moment dat het onderuit ligt zit er een wit stuk in de proxmox grafieken...
    VM's instabiel na migratie-proxmoxgrafiek-png

    In sommige gevallen staat er ook bij alle nodes een rood kruisje.
    Dat was vandaag echter niet het geval.

    Cluster netwerk is overigens een ander netwerk dan het storage netwerk.
    Cluster switch is al ooit vervangen en heeft het probleem niet gefixt.

  11. #26
    VM's instabiel na migratie
    Geregistreerd Gebruiker
    4.754 Berichten
    Ingeschreven
    23/04/05

    Locatie
    Eindhoven

    Post Thanks / Like
    Mentioned
    15 Post(s)
    Tagged
    0 Thread(s)
    353 Berichten zijn liked


    Naam: Toin Bloo
    Bedrijf: Dommel Hosting
    URL: www.dommelhosting.nl
    ISPConnect: Lid
    KvK nummer: 17177247

    geen grafieken = te hoge IO delay

    Zou het kunnen dat je switches / routers / servers het MAC adres vasthouden bij een migratie? Dan krijg je hele rare dingen en aangezien je storage over ethernet loopt, zit dat in dezelfde hoek. Wat zegt "arp"?

  12. #27
    VM's instabiel na migratie
    geregistreerd gebruiker
    1.892 Berichten
    Ingeschreven
    17/08/05

    Locatie
    Amsterdam

    Post Thanks / Like
    Mentioned
    34 Post(s)
    Tagged
    0 Thread(s)
    35 Berichten zijn liked


    Naam: Wieger Bontekoe
    Bedrijf: Skynet ICT B.V.
    Functie: CEO
    URL: skynet-ict.nl
    Registrar SIDN: Nee
    View wbontekoe's profile on LinkedIn

    Citaat Oorspronkelijk geplaatst door t.bloo Bekijk Berichten
    geen grafieken = te hoge IO delay

    Zou het kunnen dat je switches / routers / servers het MAC adres vasthouden bij een migratie? Dan krijg je hele rare dingen en aangezien je storage over ethernet loopt, zit dat in dezelfde hoek. Wat zegt "arp"?
    Dan zou de vm geen netwerk krijgen maar dat maakt de boel niet instabiel..
    Skynet ICT B.V. - The cause of the problem is: the printer thinks its a router.

  13. #28
    VM's instabiel na migratie
    geregistreerd gebruiker
    285 Berichten
    Ingeschreven
    03/02/12

    Locatie
    Purmerend

    Post Thanks / Like
    Mentioned
    5 Post(s)
    Tagged
    0 Thread(s)
    0 Berichten zijn liked


    Naam: Merijn
    Bedrijf: Virtuality
    Functie: CEO
    URL: www.virtual-it.nl
    KvK nummer: 37138605
    View nl.linkedin.com/in/mevertse's profile on LinkedIn

    @tvdh
    De grafiek die je laat zien, is dat het verkeer van de Vm of van de host? Je geeft aan dat de hosts een rood kruis laten zien, dat is in de management software? Draait die op een eigen server of op een VM?
    Heb je in de monitoring ook Pings naar de nodes en de VMs? Gaan die ook down tijdens dat dit optreed?

  14. #29
    VM's instabiel na migratie
    Programmeur / Hoster
    3.952 Berichten
    Ingeschreven
    20/06/06

    Locatie
    Wijlre

    Post Thanks / Like
    Mentioned
    28 Post(s)
    Tagged
    0 Thread(s)
    647 Berichten zijn liked


    Naam: John Timmer
    Bedrijf: SystemDeveloper.NL
    Functie: Eigenaar
    URL: www.systemdeveloper.nl
    KvK nummer: 14083066
    View johntimmer's profile on LinkedIn

    Misschien iets dufs... aangezien je dat probleem al zo lang hebt... is het geen structurele configfout ergens die je overal meesleept? Ik zou denken aan een secundair netwerk (voor backups oid) dat een overlappend subnet heeft met je storage of ergens een 'vergeten' dubbel ip. Dan kun je vaak wazige problemen krijgen die pas optreden als ergens een lease/ip/arp vernieuwd wordt. En dan kan dan net zo goed een vm/service/hardware aan de andere kant van het cluster zijn.

    Een bond verkeerd en waar 1 lijn van dood is, een setje vm's met een 2de nic verkeerd geconfigureerd, multipaths die minder multi zijn... noem maar op.
    SystemDeveloper.NL - 64BitsWebhosting.EU : Softwareontwikkeling & Hosting freaks

  15. #30
    VM's instabiel na migratie
    geregistreerd gebruiker
    474 Berichten
    Ingeschreven
    22/03/07

    Locatie
    Soerendonk

    Post Thanks / Like
    Mentioned
    6 Post(s)
    Tagged
    0 Thread(s)
    5 Berichten zijn liked


    Registrar SIDN: nee
    KvK nummer: nvt
    Ondernemingsnummer: nvt

    Thread Starter
    Citaat Oorspronkelijk geplaatst door systemdeveloper Bekijk Berichten
    Misschien iets dufs... aangezien je dat probleem al zo lang hebt... is het geen structurele configfout ergens die je overal meesleept? Ik zou denken aan een secundair netwerk (voor backups oid) dat een overlappend subnet heeft met je storage of ergens een 'vergeten' dubbel ip. Dan kun je vaak wazige problemen krijgen die pas optreden als ergens een lease/ip/arp vernieuwd wordt. En dan kan dan net zo goed een vm/service/hardware aan de andere kant van het cluster zijn.

    Een bond verkeerd en waar 1 lijn van dood is, een setje vm's met een 2de nic verkeerd geconfigureerd, multipaths die minder multi zijn... noem maar op.
    Zover ik kan zien is dit niet het geval.
    We hebben met een paar mensen de hele omgeving doorgelopen en niks geks gezien.
    Daarnaast heb ik alles een keer uitgebreid getekend in Visio zodat we een goed beeld hebben. Hierbij ben ik ook niets raars tegen gekomen.

    Ik zal wat achtergrond informatie geven, misschien gaat er bij iemand een lampje branden.

    - We zijn gestart met een Proxmox 3 cluster. Hierbij een SAN met omnios en napp-it. Bij het migreren van drukkere VM's kon heel het cluster gaan hangen zoals in dit topic beschreven.
    We hadden destijds nog een TP-Link 1GBIT storage switch. Dit destijds vervangen door een Cisco omdat we dachten dat het dat misschien was. Maakte geen verschil helaas.

    - Hierna een extra cluster opgezet, Proxmox 4 met een nieuwe Omnios napp-it san, over 10GBIT.
    Enkele belangrijke VM's zoals drukke webservers hier naar toe over gezet.
    In eerste instantie probeerden we dit te doen door het maken van een backup van de VM binnen proxmox en deze terug zetten in de nieuwe omgeving naar de SAN.
    Naar lokale storage kunnen we backups zonder problemen terug zetten.
    Als we echter een backup terug zetten naar de SAN kakt ook alles in, zelfde probleem als bij een migratie. Is dit misschien een aanwijzing voor wat er mis kan zijn?

    We hebben het nu opgelost door nieuwe VM's te maken en het VHD bestand van de oude VM direct op de SAN te kopiëren.
    Het komt met name bij deze VM's voor dat het migreren mis gaat (drukke webservers).

    Zouden misschien meerdere nodes hetzelfde bestand proberen te benaderen via NFS dat hier iets mis gaat?

Pagina 2 van de 3 Eerste 1 2 3 LaatsteLaatste

Labels voor dit Bericht

Webhostingtalk.nl

Contact

  • Rokin 113-115
  • 1012 KP, Amsterdam
  • Nederland
  • Contact
© Copyright 2001-2021 Webhostingtalk.nl.
Web Statistics