Brakke RAID-10 set

[jinxedworld]

Ik ben op het moment bezig met een server die wat issues heeft. De machine draait op een RAID-10 array van 4x 1TB disks. P0 (u0-1-1)disk is degraded en P1 (u0-1-0) zit in een device-error. Ik had het vermoeden dat die P1 (u0-1-0) dan ook gecrashed was, dus ik heb de schijf geswapped en een rebuild + verify gestart. Nu blijft deze disk echter in device-error hangen. Iemand enig idee wat er aan de hand kan zijn? Er is al een RMA machine onderweg naar ons toe, maar ik zou toch graag zeker zijn dat het niet een dieper probleem is in de array zelf. Heeft weinig nut om de schijven in een identieke server te hangen waarna het feest overnieuw begint.

De raid-controller is recentelijk ook vervangen (2 maand geleden) aangezien deze wat kuren had. Lijkt me heel sterk dat het probleem dan daar nog in zit...

Waar ik nu vooral benieuwd naar ben:

p0 (u0-1-1) is degraded, en de RAID-1 (u0-1) is bezig met een rebuid. Loopt deze rebuild goed door ondanks dat p1 in warning staat? In mijn beleving zou de rebuild van p0 moeten slagen, en dan moet u0-1 op degraded moeten springen (wat dan wel weer op te lossen is natuurlijk). Heb ik hier gelijk, of sla ik de plank compleet mis?

Ik hoor het graag!



Unit UnitType Status %RCmpl %V/I/M Stripe Size(GB) Cache AVrfy
------------------------------------------------------------------------------
u0 RAID-10 REBUILDING 76% - 256K 1862.62 Ri ON

VPort Status Unit Size Type Phy Encl-Slot Model
------------------------------------------------------------------------------
p0 DEGRADED u0 931.51 GB SATA 0 - WDC WD1002FBYS-02A6
p1 DEVICE-ERROR u0 931.51 GB SATA 1 - WDC WD1002FBYS-02A6
p2 OK u0 931.51 GB SATA 2 - WDC WD1002FBYS-02A6
p3 OK u0 931.51 GB SATA 3 - WDC WD1002FBYS-02A6

Unit UnitType Status %RCmpl %V/I/M VPort Stripe Size(GB)
------------------------------------------------------------------------
u0 RAID-10 REBUILDING* 76% - - 256K 1862.62
u0-0 RAID-1 VERIFYING 99% - - - -
u0-0-0 DISK OK - - p3 - 931.312
u0-0-1 DISK OK - - p2 - 931.312
u0-1 RAID-1 REBUILDING 56% - - - -
u0-1-0 DISK WARNING - - p1 - 931.312
u0-1-1 DISK DEGRADED - - p0 - 931.312
u0/v0 Volume - - - - - 1862.62

[Mikey]

weet niet of je controller de feauture heeft, maar zet het automatisch uitzetten van spindles in ieder geval op off. Dat heeft hier ook voor veel rare problemen gezorgd.

[jinxedworld]

weet niet of je controller de feauture heeft, maar zet het automatisch uitzetten van spindles in ieder geval op off. Dat heeft hier ook voor veel rare problemen gezorgd.

Ah, nog een non-voetbal-liefhebber :).

Ik durf je niet te zeggen of de controller deze feature heeft. Ga ik zeker naar kijken! Maar buiten dat, klopt mijn theorie?

[jinxedworld]

Unit UnitType Status %RCmpl %V/I/M VPort Stripe Size(GB)
------------------------------------------------------------------------
u0 RAID-10 REBUILDING* 78% - - 256K 1862.62
u0-0 RAID-1 OK - - - - -
u0-0-0 DISK OK - - p3 - 931.312
u0-0-1 DISK OK - - p2 - 931.312
u0-1 RAID-1 REBUILDING 56% - - - -
u0-1-0 DISK WARNING - - p1 - 931.312
u0-1-1 DISK DEGRADED - - p0 - 931.312
u0/v0 Volume - - - - - 1862.62


Ok, de verify is gelukt, nu de hamvraag: Gaat U0-1 zichzelf weer opbouwen op basis van de data op U0-0? Ik heb me rot gegoogled... maar kan er echt niks zinnigs over vinden (kan ook komen omdat er maar 2 uur slaap in zit gister en vandaag natuurlijk).

[Mikey]

Je kan geluk hebben dat die warning er nu voor zorgt dat de raidset overeind blijft staan omdat je anders je hele raidset kwijt bent, zou er niet raar vanop kijken als je rebuild klaar is, de warning degraded wordt omdat het dan weer zou kunnen.

Probeer ook eens een andere voeding, misschien dat deze je stoorzender in het verhaal is.

[Zoiah]

Unit UnitType Status %RCmpl %V/I/M VPort Stripe Size(GB)
------------------------------------------------------------------------
u0 RAID-10 REBUILDING* 78% - - 256K 1862.62
u0-0 RAID-1 OK - - - - -
u0-0-0 DISK OK - - p3 - 931.312
u0-0-1 DISK OK - - p2 - 931.312
u0-1 RAID-1 REBUILDING 56% - - - -
u0-1-0 DISK WARNING - - p1 - 931.312
u0-1-1 DISK DEGRADED - - p0 - 931.312
u0/v0 Volume - - - - - 1862.62


Ok, de verify is gelukt, nu de hamvraag: Gaat U0-1 zichzelf weer opbouwen op basis van de data op U0-0? Ik heb me rot gegoogled... maar kan er echt niks zinnigs over vinden (kan ook komen omdat er maar 2 uur slaap in zit gister en vandaag natuurlijk).

Zoals ik het begrijp is de setup:
u0-0 is een RAID-1 over p3 en p2
u0-1 is een RAID-1 over p1 en p0
u0 is een RAID-0 over u0-0 en u-1.
En zo heb je in totaal een RAID-10.

u0-0 is een RAID-1 met 2 werkende members.
u0-1 is een RAID-1 met 2 kapotte members, dus ben je kwijt.
u0 is een RAID-0 met 1 kapotte member, dus ben je kwijt.

Als dit klopt, is volgens mij de enige manier om hier door te kunnen gaan te kijken of je hem device errors kan laten skippen. Volgens mij heb ik daar in 3ware wel eens een setting voor gezien.

Linux mdraid heeft er bv. geen optie voor, en daar heb ik dan wel eens een disk gecloned als bij een failure bleek dat niet te recoveren was vanwege een paar kapotte sectors.

[systemdeveloper]

Heb je die defecte disk wel eerste uit de array verwijderd voordat je hem swapte?

[Mikey]

Als een disk echt de limits hit, wordt hij automatisch eruit gezet en de array degraded.

[jinxedworld]

Heb je die defecte disk wel eerste uit de array verwijderd voordat je hem swapte?

Yes, met de tw_cli tool heb ik de defecte schijf uit de array gehaald, standaard procedure :).


Als een disk echt de limits hit, wordt hij automatisch eruit gezet en de array degraded.

True, echter was dit wel een erg dubieus scenario met een warning en een degraded, en dat de RAID-1 array probeert te rebuilden, met welke data hij dat probeerde is nog steeds onduidelijk. Lijkt er meer en meer op dat 2 schijven van de raid-1 subset van de raid-10 array tegelijk defect zijn geraakt. Als dat gebeurd kan je je array wel weggooien.

We hebben de schijven vervangen, de machine een format gegeven en zijn nu de handel uit backups aan het restoren. Loopt tot nu toe prima door. Alle klanten zijn weer een mooi tijdje up and running. Nu nog wat interne applicaties en dan zijn we weer terug op de kaart met deze server. Tussen de lopende restores door maar even wat uurtjes slaap pakken, wan slaap is karig sinds zondagavond, met uitzondering van een paar verdwaalde uurtjes...