Likes Likes:  0
Resultaten 1 tot 11 van de 11
Geen
  1. #1
    DRBD split-brain.....nu dead-brain..
    geregistreerd gebruiker
    67 Berichten
    Ingeschreven
    09/01/14

    Locatie
    Rotterdam

    Post Thanks / Like
    Mentioned
    0 Post(s)
    Tagged
    0 Thread(s)
    1 Berichten zijn liked


    Naam: M. Aslan
    Bedrijf: Snel.com B.V.
    Functie: Directeur
    URL: www.snel.com
    KvK nummer: 24352386

    Thread Starter

    DRBD split-brain.....nu dead-brain..

    Heb 2 Proxmox machines in een 2 node HA cluster draaien met Proxmox. Storage is 1 SSD voor Proxmox zelf, 1 SATA schijf voor KVM en 1 SSD schijf voor KVM.

    Door een split-brain hebben we met veel pijn en moeite momenteel de situatie zo dat alles op 1 Proxmox machine draait (server1) en DRBD tussen de 2 machines draait niet.

    Nuttige output:
    server1:

    # cat /proc/drbd
    version: 8.3.13 (api:88/proto:86-96)
    GIT-hash: 83ca112086600faacab2f157bc5a9324f7bd7f77 build by root@sighted, 2012-10-09 12:47:51
    0: cs:Unconfigured
    1: cs:Unconfigured

    # cat /etc/drbd.d/r0.res
    resource r0 {
    on server1 {
    device /dev/drbd0;
    disk /dev/sdb1;
    address 172.16.10.10:7788;
    meta-disk internal;
    }

    on server2 {
    device /dev/drbd0;
    disk /dev/sdb1;
    address 172.16.10.20:7788;
    meta-disk internal;
    }
    }

    server2:

    # cat /proc/drbd
    version: 8.3.13 (api:88/proto:86-96)
    GIT-hash: 83ca112086600faacab2f157bc5a9324f7bd7f77 build by root@sighted, 2012-10-09 12:47:51
    0: cs:WFConnection ro:Secondary/Unknown dsiskless/DUnknown C r-----
    ns:0 nr:0 dw:0 dr:0 al:0 bm:0 lo:0 pe:0 ua:0 ap:0 ep:1 wo:b oos:0
    1: cs:WFConnection ro:Secondary/Unknown dsiskless/DUnknown C r-----
    ns:0 nr:0 dw:0 dr:0 al:0 bm:0 lo:0 pe:0 ua:0 ap:0 ep:1 wo:b oos:0

    r0.res, r1.res en global_common.conf zijn gelijk.

    Ik heb nu wel een idee (denk ik) waar de split-brain vandaan komt (caching) en heb alle configuraties aangepast maar heb nog geen idee hoe ik DRBD opnieuw kan instellen.

    Mijn idee was als volgt:
    1. Op server2 (waar momenteel geen data op staat) met drbdadm create-md nieuwe DRBD volume aanmaken (voorlopig bestaande uit 1 node)
    2. Daar de LVM instellen (PV's / VG's en LV's)
    3. Dan de LV's kopieren
    4. De KVM's online migreren vanuit Proxmox
    5. Dan op server1 DRBD in orde maken en toevoegen aan de volume van server2
    6. Dan HA weer aanzetten

    Iemand dit pad al bewandeld? Zijn er caveats? Tips? Vergeet ik iets?

  2. #2
    DRBD split-brain.....nu dead-brain..
    moderator
    7.009 Berichten
    Ingeschreven
    29/07/03

    Locatie
    Nijmegen

    Post Thanks / Like
    Mentioned
    12 Post(s)
    Tagged
    0 Thread(s)
    175 Berichten zijn liked


    Naam: Mike
    Bedrijf: admin.nu
    URL: www.admin.nu
    Registrar SIDN: Ja
    KvK nummer: 09139651

    Op de niet overlevende drbd kant:

    drbdadm secondary <disk>
    drbdadm -- disconnect <disk>
    drbdadm -- --discard-my-data connect <disk>

    Op de live (primary side)
    drbdadm connect <disk>

    controleer wel even voordat je de commands 1 op 1 knipt en plakt
    "Zo zijn ook wij één leverancier. Dé leverancier in gedegen Linux kennis, wanneer jij dat nodig hebt."
    Boek je admin vandaag nog via : www.admin.nu
    Gevestigd in Nederland en Moldavië

    Lees hier de webhostingtalk.nl forum regels en voorwaarden!

  3. #3
    DRBD split-brain.....nu dead-brain..
    geregistreerd gebruiker
    67 Berichten
    Ingeschreven
    09/01/14

    Locatie
    Rotterdam

    Post Thanks / Like
    Mentioned
    0 Post(s)
    Tagged
    0 Thread(s)
    1 Berichten zijn liked


    Naam: M. Aslan
    Bedrijf: Snel.com B.V.
    Functie: Directeur
    URL: www.snel.com
    KvK nummer: 24352386

    Thread Starter
    Helaas.

    dmesg zegt:
    Code:
    block drbd0: Starting worker thread (from cqueue [3031])
    block drbd0: open("/dev/sdb1") failed with -16
    block drbd0: worker terminated
    block drbd0: Terminating worker thread
    block drbd0: Starting worker thread (from cqueue [3031])
    block drbd0: open("/dev/sdb1") failed with -16
    block drbd0: worker terminated
    block drbd0: Terminating worker thread
    block drbd0: Starting worker thread (from cqueue [3031])
    block drbd0: conn( StandAlone -> Unconnected ) 
    block drbd0: Starting receiver thread (from drbd0_worker [22937])
    block drbd0: receiver (re)started
    block drbd0: conn( Unconnected -> WFConnection ) 
    block drbd0: Handshake successful: Agreed network protocol version 96
    block drbd0: Peer authenticated using 20 bytes of 'sha1' HMAC
    block drbd0: conn( WFConnection -> WFReportParams ) 
    block drbd0: Starting asender thread (from drbd0_receiver [22938])
    block drbd0: data-integrity-alg: <not-used>
    block drbd0: some backing storage is needed
    block drbd0: conn( WFReportParams -> Disconnecting ) 
    block drbd0: error receiving ReportSizes, l: 32!
    block drbd0: asender terminated
    block drbd0: Terminating asender thread
    block drbd0: Connection closed
    block drbd0: conn( Disconnecting -> StandAlone ) 
    block drbd0: receiver terminated
    block drbd0: Terminating receiver thread
    block drbd0: drbd_bm_resize called with capacity == 0
    block drbd0: worker terminated
    block drbd0: Terminating worker thread
    Ik krijg op server1:
    Code:
    # drbdadm up r0
    0: Failure: (104) Can not open backing device.
    Command 'drbdsetup 0 disk /dev/sdb1 /dev/sdb1 internal --set-defaults --create-device --no-disk-flushes --no-disk-barrier' terminated with exit code 10
    En:
    Code:
    # cat /proc/drbd 
    version: 8.3.13 (api:88/proto:86-96)
    GIT-hash: 83ca112086600faacab2f157bc5a9324f7bd7f77 build by root@sighted, 2012-10-09 12:47:51
     0: cs:Unconfigured
     1: cs:Unconfigured
    Bee Simple. Bee Smart.

  4. #4
    DRBD split-brain.....nu dead-brain..
    geregistreerd gebruiker
    282 Berichten
    Ingeschreven
    24/07/13

    Post Thanks / Like
    Mentioned
    11 Post(s)
    Tagged
    0 Thread(s)
    38 Berichten zijn liked


    Naam: -

    is je disk niet kapot?

  5. #5
    DRBD split-brain.....nu dead-brain..
    geregistreerd gebruiker
    67 Berichten
    Ingeschreven
    09/01/14

    Locatie
    Rotterdam

    Post Thanks / Like
    Mentioned
    0 Post(s)
    Tagged
    0 Thread(s)
    1 Berichten zijn liked


    Naam: M. Aslan
    Bedrijf: Snel.com B.V.
    Functie: Directeur
    URL: www.snel.com
    KvK nummer: 24352386

    Thread Starter
    Euhh....nee, heb ook nog een r1, die doet precies hetzelfde en heeft betrekking op een andere schijf. Ik ga er niet van uit dat beide schijven kapot zijn, er is ook geen enkele reden om dat wel aan te nemen (niets in de logs, niets vreemds aan de hand want KVM's werken goed).
    Bee Simple. Bee Smart.

  6. #6
    DRBD split-brain.....nu dead-brain..
    Programmeur / Hoster
    3.934 Berichten
    Ingeschreven
    20/06/06

    Locatie
    Wijlre

    Post Thanks / Like
    Mentioned
    28 Post(s)
    Tagged
    0 Thread(s)
    647 Berichten zijn liked


    Naam: John Timmer
    Bedrijf: SystemDeveloper.NL
    Functie: Eigenaar
    URL: www.systemdeveloper.nl
    KvK nummer: 14083066
    View johntimmer's profile on LinkedIn

    Heb je zeker lvm boven drbd draaien?
    Dan zul je lvm even moeten deactiveren op het kapotte volume en dit opnieuw syncen via drbd.
    Daarna het lvm volume weer activeren.
    En even controleren of je de disk devices in lvm.conf wel goed gefilterd hebt.
    SystemDeveloper.NL - 64BitsWebhosting.EU : Softwareontwikkeling & Hosting freaks

  7. #7
    DRBD split-brain.....nu dead-brain..
    geregistreerd gebruiker
    67 Berichten
    Ingeschreven
    09/01/14

    Locatie
    Rotterdam

    Post Thanks / Like
    Mentioned
    0 Post(s)
    Tagged
    0 Thread(s)
    1 Berichten zijn liked


    Naam: M. Aslan
    Bedrijf: Snel.com B.V.
    Functie: Directeur
    URL: www.snel.com
    KvK nummer: 24352386

    Thread Starter
    Juist ja, omdat ik LVM nu nog niet wil deactiveren (omdat server1 in zijn eentje draait nu) had ik dus het volgende plan:
    1. Op server2 (waar momenteel geen data op staat) met drbdadm create-md nieuwe DRBD volume aanmaken (voorlopig bestaande uit 1 node)
    2. Daar de LVM instellen (PV's / VG's en LV's)
    3. Dan de LV's kopieren
    4. De KVM's online migreren vanuit Proxmox
    5. Dan op server1 DRBD in orde maken en toevoegen aan de volume van server2
    6. Dan HA weer aanzetten

    En dus de vraag:
    Iemand dit pad al bewandeld? Zijn er caveats? Tips? Vergeet ik iets?

    PS Een andere goede reden om dit zo te willen doen is dat ik de LV's op 2 volumes wil spreiden om mijn werk, mocht er weer een split-brain ontstaan, te vergemakkelijken.

    [edit] Een andere goede reden blijkt, na nader onderzoek, dat LVM niet op drbd draait maar rechtsreeks op sdb1. Ik kom hier nog op terug.
    Laatst gewijzigd door snel.com; 31/01/15 om 10:00.
    Bee Simple. Bee Smart.

  8. #8
    DRBD split-brain.....nu dead-brain..
    Bizway.nl
    1.426 Berichten
    Ingeschreven
    18/01/10

    Locatie
    Bodegraven

    Post Thanks / Like
    Mentioned
    13 Post(s)
    Tagged
    0 Thread(s)
    92 Berichten zijn liked


    Naam: Bart Lageweg
    Bedrijf: Bizway BV
    Registrar SIDN: ja
    ISPConnect: Lid
    KvK nummer: 28086287
    View nl.linkedin.com/in/bartlageweg's profile on LinkedIn

    Geen idee of je spare hardware hebt, maar ik zou de boel eerst omgooien naar een andere machine (met Proxmox relatief simpel te doen) en dit opnieuw opbouwen.


    Sent from my iPhone using webhostingtalk mobile app
    Op zoek naar hostingpartijen die zich willen laten overnemen (met desgewenst aanblijven)

  9. #9
    DRBD split-brain.....nu dead-brain..
    geregistreerd gebruiker
    67 Berichten
    Ingeschreven
    09/01/14

    Locatie
    Rotterdam

    Post Thanks / Like
    Mentioned
    0 Post(s)
    Tagged
    0 Thread(s)
    1 Berichten zijn liked


    Naam: M. Aslan
    Bedrijf: Snel.com B.V.
    Functie: Directeur
    URL: www.snel.com
    KvK nummer: 24352386

    Thread Starter
    Helemaal geen slecht idee om de boel opnieuw in te richten op 2 nieuwe machines en dan de boel over te zetten. Zou je de nieuwe Proxmox machines opnemen in de cluster en dan een offline migration doen? Of gewoon de LV's kopieren? Ik neig naar het tweede.
    Bee Simple. Bee Smart.

  10. #10
    DRBD split-brain.....nu dead-brain..
    geregistreerd gebruiker
    797 Berichten
    Ingeschreven
    06/08/10

    Locatie
    Eindhoven

    Post Thanks / Like
    Mentioned
    10 Post(s)
    Tagged
    0 Thread(s)
    58 Berichten zijn liked


    Naam: Chris

    Ik zou ze live migreren, en daarna de oude servers uit het cluster gooien. Als je downtime kan vooroorloven is variant 2 een optie, maar die migrations kunnen bij grote migraties wel ff duren.



  11. #11
    DRBD split-brain.....nu dead-brain..
    geregistreerd gebruiker
    67 Berichten
    Ingeschreven
    09/01/14

    Locatie
    Rotterdam

    Post Thanks / Like
    Mentioned
    0 Post(s)
    Tagged
    0 Thread(s)
    1 Berichten zijn liked


    Naam: M. Aslan
    Bedrijf: Snel.com B.V.
    Functie: Directeur
    URL: www.snel.com
    KvK nummer: 24352386

    Thread Starter
    UPDATE:

    Gezien het feit dat de oude setup niet helemaal correct was heb ik een nieuwe cluster opgezet. Nu wel correct met fencing via IPMI en DRBD met Quorum DIsk via iscsi. LVM over de DRBD devices, met aparte PV's voor elke node. Vervolgens op oude Proxmox machine via NFS backups gemaakt, die NFS ook gemount op nieuwe Proxmox cluster en daar restore gedaan.

    Ging nog best makkelijk.

    Nu nog de monitoring voor DRBD en de IPMI devices fixen, dan is dit hoofdstuk klaar. Iedereen bedankt voor het meedenken.
    Bee Simple. Bee Smart.

Webhostingtalk.nl

Contact

  • Rokin 113-115
  • 1012 KP, Amsterdam
  • Nederland
  • Contact
© Copyright 2001-2018 Webhostingtalk.nl.
Web Statistics