Onderwerp: 3ware degraded raid 5

Ik heb een degraded raid 5 array op 1 van mijn servers.
Nu ben ik een beetje bang om op onbekende manieren te gaan rebuilden.

Ik heb een 9650SE-4LPML met 4 HD's, 3 worden gebruikt, en 1 stond als hot-spare, maar automatisch recoveren hierop is mislukt.

Code:

c0   [Sun Apr 20 11:16:29 2008]  WARNING   Sector repair completed: port=3, LBA=0x7680C45
c0   [Sun Apr 20 11:17:03 2008]  WARNING   Sector repair completed: port=3, LBA=0x766D745
c0   [Sun Apr 20 11:17:04 2008]  WARNING   Sector repair completed: port=3, LBA=0x760BA05
c0   [Sun Apr 20 11:17:04 2008]  WARNING   Sector repair completed: port=3, LBA=0x7680C45
c0   [Sun Apr 20 11:17:04 2008]  WARNING   Sector repair completed: port=3, LBA=0x7687035
c0   [Sun Apr 20 11:17:04 2008]  WARNING   Sector repair completed: port=3, LBA=0x760BA05
c0   [Sun Apr 20 11:17:04 2008]  WARNING   Sector repair completed: port=3, LBA=0x766D745
c0   [Sun Apr 20 11:17:04 2008]  WARNING   Sector repair completed: port=3, LBA=0x7687035
c0   [Sun Apr 20 11:17:04 2008]  ERROR     Degraded unit: unit=0, port=3
c0   [Sun Apr 20 11:20:54 2008]  INFO      Rebuild started: unit=0
c0   [Sun Apr 20 11:43:15 2008]  ERROR     Drive timeout detected: port=3, unit=0
c0   [Sun Apr 20 11:43:30 2008]  ERROR     Rebuild failed: unit=0
c0   [Sun Apr 20 11:43:30 2008]  ERROR     Degraded unit: unit=0, port=3
c0   [Sun Apr 20 11:44:50 2008]  WARNING   Drive removed: port=3
c0   [Sun Apr 20 11:44:50 2008]  ERROR     Degraded unit: unit=0, port=3
c0   [Wed Apr 23 19:09:58 2008]  INFO      Drive inserted: port=1
c0   [Wed Apr 23 20:51:23 2008]  INFO      Drive inserted: port=1

3 disks, verspreid over 2 units.

Code:

Unit  UnitType  Status         %RCmpl  %V/I/M  Stripe  Size(GB)  Cache  AVrfy
------------------------------------------------------------------------------
u0    RAID-5    DEGRADED       -       -       64K     148.99    OFF    OFF    
u1    RAID-5    INOPERABLE     -       -       64K     148.99    OFF    OFF    

Port   Status           Unit   Size        Blocks        Serial
---------------------------------------------------------------
p0     OK               u0     74.53 GB    156301488     WD-WMAP97754657     
p1     OK               u1     74.53 GB    156301488     WD-WMAP97958231     
p2     OK               u0     74.53 GB    156301488     WD-WMAP97797408     
p3     UNKNOWN          -      74.53 GB    156301488     WD-WMAP97771570

Unit 0 bevat 1 degraded disk.

Code:

//server15> /c0/u0 show

Unit     UnitType  Status         %RCmpl  %V/I/M  Port  Stripe  Size(GB)
------------------------------------------------------------------------
u0       RAID-5    DEGRADED       -       -       -     64K     148.99    
u0-0     DISK      OK             -       -       p2    -       74.4951   
u0-1     DISK      DEGRADED       -       -       -     -       74.4951   
u0-2     DISK      OK             -       -       p0    -       74.4951   
u0/v0    Volume    -              -       -       -     -       148.99

Unit 1 bevat er 2.

Code:

//server15> /c0/u1 show

Unit     UnitType  Status         %RCmpl  %V/I/M  Port  Stripe  Size(GB)
------------------------------------------------------------------------
u1       RAID-5    INOPERABLE     -       -       -     64K     148.99    
u1-0     DISK      DEGRADED       -       -       -     -       74.4951   
u1-1     DISK      OK             -       -       p1    -       74.4951   
u1-2     DISK      DEGRADED       -       -       -     -       74.4951   
u1/v0    Volume    -              -       -       -     -       148.99

Nou probeer ik om disk3 weer als spare toe te voegen aan unit0.
maar zonder succes.

Code:

//server15> /c0 add type=spare disk=3
Creating new unit on controller /c0 ...  Failed.

(0x0B:0x0020): Drive error

Pogingen om te rebuilden geven ook errors:

Code:

//server15> maint rebuild c0 u0 p1
Sending rebuild start request to /c0/u0 on 1 disk(s) [1] ... Failed.

(0x0B:0x0035): Replacement drive configuration is invalid for rebuild operation
//server15> maint rebuild c0 u0 p3
Sending rebuild start request to /c0/u0 on 1 disk(s) [3] ... Failed.

(0x0B:0x0020): Drive error

Het lijkt een beetje of de poortjes door elkaar zijn gehusseld.
Aangezien er bij de alarms word gewaarschuwd voor een kapotte disk3, maar dat was de spare.
En tijdens het rescannen zie ik nu tijdens alarms dat nieuwe disk @ port1 is. (terwijl deze als p3 UNKOWN) er staat.

Wat kan ik nu het beste doen?

Heb je de RAID-controller al 'ns vervangen door een identiek model om problemen hiermee compleet uit te sluiten?
Drie disks die simultaan "degraded" raken, is wel een beetje veel...

disks zijn dubbel degraded, in 2 units zitten dezelfde disks eigenlijk.

Dus disk 0,1,2 waren in gebruik, 3 = hot-spare (die blijkbaar ook dood is).

Unit 0: had disk 0,1,2 met disk 1 degraded, 0 & 2 OK.
Unit 1: had disk 0,1,2, met disk 0 & 2 degraded, 1 OK.

Data is ook nog bereikbaar, dus moet wel op unit 0 draaien nu.
Ik laat nu hot-spare & kapotte disk vervangen (als de nummers nog overeen komen met de echte nummers @ server). en hopen dat ie dan weer kan gaan rebuilden.

maak maar alvast een backup, verder heb ik pas ellendig zitten stoeien met de cli util van 3ware, die maakte er langzamerhand eengrotere puinhoop. Toen heb ik maar besloten om te booten en in de 3ware bios te komen en daar de boel te herstellen. Systeem herstart en rebuilden ging door op achtergrond.

hot-spare vervangen, en rebuild loopt nu. hot-spare was dus blijkbaar ookal kapot .
Hopelijk gaat nu alles gewoon goed.

Oorspronkelijk geplaatst door blaaat

hot-spare vervangen, en rebuild loopt nu. hot-spare was dus blijkbaar ookal kapot .
Hopelijk gaat nu alles gewoon goed.

ik vraag me toch af hoe het kan zijn dat meerdere zijn degraded

zou je dit kunnen onderzoeken ?
of het aan de controller ligt of aan omgeving schijven of dergelijke

wij hebben een hele vloot servers met 3ware maar tot op heden nog geen problemen ermee gehad als de 95xx bijvoorbeeld problemen geven gaan we ze liever uit voorzorg vervangen dan dat we dit soort problemen krijgen

Waarom de web utility niet installeren.
Werkt toch een stuk handiger dan die cli

Rebuilden via de webutil is heel eng. Ik heb het één keer gewaagd en alle linux users waren verdwenen. De processen liepen nog wel, maar de users waren nummertjes geworden. Ik heb het toen maar afgebroken

Wij doen het alleen nog maar via het bios. Dat gaat eigenlijk altijd goed.

Dan is waarschijnlijk het bestand /etc/passwd corrupt/onleesbaar geworden...

Heb zelf regelmatig rebuilds vanuit de web-interface gedaan en niets vreemds meegemaakt. Wat ik wel erg vaak heb meegemaakt is een degraded-raid1 terwijl er met de schijf/kabels niets aan de hand was.

Oorspronkelijk geplaatst door davhog

Heb zelf regelmatig rebuilds vanuit de web-interface gedaan en niets vreemds meegemaakt. Wat ik wel erg vaak heb meegemaakt is een degraded-raid1 terwijl er met de schijf/kabels niets aan de hand was.

Kijk even naar de smart history van de schijf, deze kan net errors genereren die binnen de marges blijft. Wij hebben een systeem gehad die steeds een hog had zonder aanleiding. Dit duurde een paar seconden en dan liep hij verder. Smart gaf wel errors aan, maar te weinig om de schijf uit de array te zetten.

Ik zie het probleem werkelijk waar niet. Je moet toch naar de colo, geen bier vandaag, en die HDD vervangen. In de BIOS aangeven dat hij een nieuwe heeft, terugrijden, wachten tot hij gerebuild is. Bier pakken.

Waarom zo ongelooflijk moeilijk doen met een CLI? Het is gewoon verrot!

Het is allemaal goed gerestored na het vervangen van de schijven, zonder enige problemen met de cli.

Pcies Daar heb je die kaart voor