Bekijk Volledige Versie : Areca ARC-1212 RAID Controller failure?
Beste WHT'ers,
Iemand dit ooit aan de hand gehad?
rejecting I/O to offline device
Deze melding zien ik dan een X aantal keer voorbij komen op het console (IPMI).
Heb het in de afgelopen week een paar keer voorbij zien komen (niet iedere dag) en inmiddels de RAID Controller vervangen, maar ik vraag me af of het daarmee is opgelost. Gebeurde meestal onder enigzins "zware" load, driver is up-to-date (althans niet beter te weten dan dat dat zo is, aangezien hier -> https://bugzilla.redhat.com/show_bug.cgi?id=511911 wordt gezegd dat de driver ge-update dient te worden). Web interface van de RAID Controller is op dat moment dan ook niet meer te bereiken tot dat de machine ge-reboot wordt.
Op Google kom ik verschillende dingen tegen, tot aan posts waarin mensen zeggen het MB vervangen te hebben.
Areca komt er hier niet meer in. Controllers als de Areca 1212 en Areca 1222 geven hier erg vaak problemen. Controllers doen helemaal niks meer of halen enorm slechte performance. De 1200 - 2 ports kaarten doen het daarentegen wel gewoon goed.
Hier zijn we helemaal tevreden over de LSI 9260-4i en 9260-8i, zijn echt super kaarten!
rensariens
20/06/12, 20:37
Gebruik je toevallig desktop schijven? Want dan krijg je dat soort errors inderdaad. Indien dat niet het geval is, is waarschijnlijk 1 van je disks niet meer goed.
Hier goede ervaringen met Areca (ook 8 disks). Ook hun support is erg goed en heeft hier al eens een RAID array weten te redden (oorzaak was deels defecte backplane).
Gebruik je toevallig desktop schijven? Want dan krijg je dat soort errors inderdaad. Indien dat niet het geval is, is waarschijnlijk 1 van je disks niet meer goed.
Hier goede ervaringen met Areca (ook 8 disks). Ook hun support is erg goed en heeft hier al eens een RAID array weten te redden (oorzaak was deels defecte backplane).
Nee, de meeste servers hebben allemaal WD server schrijven. Het is niet een van de schijven die stuk is, maar gewoon de complete RAID kaart.
crossplatform
20/06/12, 22:18
Heb dit inderdaad ook eens een keer gehad. Destijds ook de complete Areca kaart vervangen.
Opzich "goed" om te horen dat het bij jullie met het vervangen van de RAID Controller opgelost is, het lijkt er ook op dat ik het probleem hier lokaal kan reproduceren met de RAID Controller die ik gisteren vervangen heb i.c.m. de Linux stress tool.
rensariens
21/06/12, 10:31
Nee, de meeste servers hebben allemaal WD server schrijven. Het is niet een van de schijven die stuk is, maar gewoon de complete RAID kaart.
Vraag was in de richting van TS :) Vrij belangrijk om te weten wat voor schijven in gebruik zijn. Hier overigens een 20-tal areca kaarten in gebruik, 0 defecten (over 4 jaar).
Mijn ervaring is dat RAID controllers erg gevoelig zijn bij hoge load. Je zegt dat je de nieuwste drivers gebruikt, maar gebruik je ook de nieuwste firmware?
Vraag was in de richting van TS :) Vrij belangrijk om te weten wat voor schijven in gebruik zijn. Hier overigens een 20-tal areca kaarten in gebruik, 0 defecten (over 4 jaar).
RAID-1 FUJITSU MBA3300RC
RAID-1 SEAGATE ST32000444SS
Mijn ervaring is dat RAID controllers erg gevoelig zijn bij hoge load. Je zegt dat je de nieuwste drivers gebruikt, maar gebruik je ook de nieuwste firmware?
Ja
p.s. defecte ARC-1212 zojuist 2x laten crashen onder hoge load d.m.v. stress tool zelfde stress test los gelaten op een ARC-1680 en die blijft gewoon draaien.
Wij zien de laatste tijd dat Areca's die al een langere tijd draaien (2 a 3 jaar) ineens problemen beginnen te geven.
Ik begin wel te twijfelen of wij Areca nog voort zetten, in ieder geval de 12XX serie. De 16XX en 18XX daarintegen werken prima.
Zelf werk ik veel met LSI / 3Ware 9650 en sindskort ook 9750. Ook heeft de 3Ware kaartjes soms last bij hoge load (echter is er laatst wel een nieuwe firmware uitgebracht waardoor het nu wat stabieler draait). Bij de 9750 ben ik dat nog niet tegengekomen.
rensariens
21/06/12, 14:48
Wij zien de laatste tijd dat Areca's die al een langere tijd draaien (2 a 3 jaar) ineens problemen beginnen te geven.
Ik begin wel te twijfelen of wij Areca nog voort zetten, in ieder geval de 12XX serie. De 16XX en 18XX daarintegen werken prima.
Wido, weet je zeker dat dit aan de Areca's ligt? Wij hebben met 2 nodes hetzelfde gehad, maar dit bleken problemen met de chassis backplanes te zijn (Supermicro 825TQ).
Wij hebben dit probleem ook gehad, bleek door de Seagate disks te komen (die waren bij ons 6gb/s). De controller die we gebruikte was 3gb/s. Volgens seagate zou het allemaal compatible moeten zijn, maar in sommige gevallen kunnen deze problemen naar voren komen.
Ik moet helaas melden dat er in korte tijd nog 2 ARC-1680 zijn gesneuveld met precies hetzelfde probleem. Ik hoop van harte dat deze controllers uit een slechte batch voort zijn gekomen.
Ik moet helaas melden dat er in korte tijd nog 2 ARC-1680 zijn gesneuveld met precies hetzelfde probleem. Ik hoop van harte dat deze controllers uit een slechte batch voort zijn gekomen.
Laatst toevallig onze leverancier hierover gesproken en ze vertelden me ook dat er een hoge failure rate is bij Areca kaarten. De problemen worden niet door Areca officieel bevestigd, maar onze leverancier adviseert ook om gebruik te maken van andere RAID controllers. Wij maken nu alleen nog maar gebruik van LSI, en dat bevalt super!
Laatst toevallig onze leverancier hierover gesproken en ze vertelden me ook dat er een hoge failure rate is bij Areca kaarten. De problemen worden niet door Areca officieel bevestigd, maar onze leverancier adviseert ook om gebruik te maken van andere RAID controllers. Wij maken nu alleen nog maar gebruik van LSI, en dat bevalt super!
Misschien dezelfde leverancier :)? Het grote nadeel van de LSI kaarten is dat ik de eigen ethernet aansluiting / webserver mis. Tevens kan je natuurlijk niet zomaar een Areca vervangen door een LSI.
Misschien dezelfde leverancier :)? Het grote nadeel van de LSI kaarten is dat ik de eigen ethernet aansluiting / webserver mis. Tevens kan je natuurlijk niet zomaar een Areca vervangen door een LSI.
Waarschijnlijk wel :). Wij missen die aansluiting eigenlijk niet. LSI heeft software die je op de server kunt installeren, hiermee kun je allerlei e-mail notificaties instellen en kun je alles regelen. Ik vind dit zelfs beter en fijner werken dan Areca.
Als je meerdere Areca controllers hebt kun je niet zomaar om inderdaad, je zit natuurlijk ook met je spare onderdelen. Nog niet gesproken te hebben over alle data die je moet clonen naar de nieuwe array.
Areca komt er hier ook niet meer in. Areca is absurd picky als het gaat om model/type harddisk. Slechts een klein aantal schijven wordt goed ondersteund. Een kaart upgraden naar een nieuwer model gaat ook niet, want dan is de kans groot dat de disk in je oude kaart niet compatible is met de nieuwe kaart. En ik hoor inderdaad meer verhalen dat Areca niet zo best gaat.
Ik snap eerlijk gezegd niet hoe je die onboard ethernet aansluiting kan missen. Dat ding werkt amper tot niet. Continue verbinding gereset, etc. Alleen die areca proxy werkt goed, maar dan kun je net zo goed de CLI tool gebruiken (wat wij dan ook doen).
cyberbootje
07/08/12, 02:10
Lees dit topic nu pas, hier ook erg veel last gehad van Areca!
Komt al sinds 2 jaar hier niet meer binnen, zelfde problemen zoals hier beschreven.
Op het moment dat de server niet veel doet kan die makkelijk een jaartje of 2 vooruit maar op het moment dat we praten over intensief gebruik dan is het heel snel gedaan.
Mooi voorbeeld, een webshop draaide paar jaar terug 2 maanden prima en plots kreeg die server een paar K bezoekers per min te verwerken en traag dat de I/O werd....
dreamhost_nl
07/08/12, 12:04
Mooi voorbeeld, een webshop draaide paar jaar terug 2 maanden prima en plots kreeg die server een paar K bezoekers per min te verwerken en traag dat de I/O werd....
Dat hoeft toch geheel niets te maken te hebben met de controller?
Hier werkt de ethernet aansluiting juist veel beter dan die ArcHttp proxy. Het rare is dat ik een paar jaar geleden (toen we voor Areca gekozen hebben) alleen maar goede verhalen las over Areca. Ik hoop echt dat het bij deze failures blijft want anders wordt het toch echt tijd voor een ander merk denk ik. Laatst trouwens ook iemand gehoord die +- 400 Areca kaarten in gebruik heeft en nog nooit een failure heeft gehad, het kan dus wel...
Hier werkt de ethernet aansluiting juist veel beter dan die ArcHttp proxy. Het rare is dat ik een paar jaar geleden (toen we voor Areca gekozen hebben) alleen maar goede verhalen las over Areca. Ik hoop echt dat het bij deze failures blijft want anders wordt het toch echt tijd voor een ander merk denk ik. Laatst trouwens ook iemand gehoord die +- 400 Areca kaarten in gebruik heeft en nog nooit een failure heeft gehad, het kan dus wel...
Volgens mij heeft het ook met de firmware te maken, de laatste firmware; 1.49 uit m'n hoofd geeft de problemen.
cyberbootje
07/08/12, 13:10
Dat hoeft toch geheel niets te maken te hebben met de controller?
Zo op het eerste gezicht niet nee maar uiteraard hebben we het uitgezocht en grondig getest, bleek wel degelijk de kaart te zijn.
Dat samen met vergelijkbare problemen op andere Areca kaartjes(zelfde type) die we hadden was het voor ons helemaal duidelijk.
Dries.Pattyn
27/08/12, 14:23
Laatst toevallig onze leverancier hierover gesproken en ze vertelden me ook dat er een hoge failure rate is bij Areca kaarten. De problemen worden niet door Areca officieel bevestigd, maar onze leverancier adviseert ook om gebruik te maken van andere RAID controllers. Wij maken nu alleen nog maar gebruik van LSI, en dat bevalt super!
WeServIT,
Mag ik vragen hoe lang jullie deze LSI type 9260-4i en 9260-8i al in gebruik hebben?
(Ik zie nu te koop het type 9266, dat is misschien een nieuwer type?)
Na 1j en half de ARC-1222 in gebruik te hebben, is deze afgelopen weekend tijdens het nemen van snapshots gecrasht met de melding
H/W Monitor : Raid Powered On
Leverancier zegt deze te vervangen met hetzelfde type. (jah...)
Dit geeft me dan 1 jaar extra zeker?
We hebben hier ook 3ware (9650-se 2lp) ook in gebruik, in de 2 machines hebben we in 3 jaar tijd al 3 nieuwe kaarten ingestopt en 6 nieuwe disks (!).
Alle disks achter deze raid cards in productie zijn Western Digitals, de RE4 enterprise server raid editions.
Al deze RAID cards in deze servers zijn zwaarder belast, en schrijven en lezen eigenlijk constant aan enkele MB's /s.
In servers waar de areca RAID cards niet veel hoeven te doen (in het geval van iscsi storage in gebruik) is er uiteraard niet veel problemen merkbaar.
We hebben nog een ouder type ARC-1110 in gebruik, is intussen al ouder dan 4 jaar (denk ik?) tot nu toe werkt die stabiel.
Fingers crossed zeggen ze zeker?
Met zoveel kapotte RAID kaarten zou ik mij afvragen of het probleem niet elders zit. Ik koop al 10 jaar SuperMicro met 3Ware en ik heb nog nooit 1 kapotte 3Ware kaart gehad. 6 nieuwe disken zou kunnen als je net een slechte batch hebt, maar zou verband kunnen hebben met de reden dat al je RAID kaarten zo snel de geest geven.
Zelfbouw servers? Misschien slechte voeding?
Dries.Pattyn
27/08/12, 15:06
De disks gaven toen steeds bad sectors, al na enkele maanden productie.
achteraf gezien lag het niet aan de RAID cards, maar slechte western digital's.
Het ging om 320GB raid editions. (2 slechte batches dan, of?)
Maar je zit er natuurlijk wel mee.
We hebben toen eerst de disks veranderd.
Na enkele maanden (5 ofzo) opnieuw hetzelfde probleem met slechte sectoren.
=> Je zou op dat moment dan toch wel beginnen twijfelen of het nu aan de disks ligt of dan toch de kaart? toch?
Op dat moment de disks én de kaart vervangen. (één per één natuurlijk)
Nu, na een jaar en half, niets fout in de SMART te zien.
Krijg je foutmelding op de 3ware 9650-se 2lp zoals 'cannot flush cache to disk, data lost' oid.
Aan wat ligt het dan eigenlijk?
Wat ik me wel nog kan herinneren is het volgende:
Wanneer je de slechte disks op de testbank aansluitte (om ze te wissen) hoor je een constant geratel.
Is het dan de RAID card dat de disks laat falen, of is het dan een slechte batch van de disks.
Nu zijn we 4 jaar verder met die machines,
ik heb geen zin meer om er nog kosten tegen aan te gooien.
De hardware is ook te oud voor een upgrade.
Om een lang verhaal kort te maken, niets anders dan problemen dus.
Veel crashes, kernel panic's, ritjes naar het datacenter, extra downtime door fsck, telefoontjes naar het datacenter,
verlies klanten of bestempelen je onbekwaam,... achja, hoort erbij zeker?
Na al die ellende vraag je je wel eens af waarom installeer je eigenlijk nog een RAID card.
Dat klinkt meer als algemene hardware issues dan een probleem met een RAID controller. Ik denk dat je moederbord, voeding of iets anders gewoon gaar is. Een RAID controller kan nooit een disk stuk maken. Dus slechte sectoren kan niet veroorzaakt worden door de RAID controller. Dat kan eventueel wel door een slechte voeding, dat ie daardoor de bitjes niet goed kan lezen.
Als ik uit ga van een RAID1 set (mirroring), dan zou "Cannot flush cache to disk, data lost" voor mij direct een indicatie zijn dat er iets mis is met de hardware (bv. moederbord, of slecht contact van de PCI bus). Bij een RAID1 set zou deze melding namelijk betekenen dat de RAID controller de data niet heeft kunnen wegschrijven naar beide disken. De kans dat beide disken tegelijk stuk gaan lijkt me nihil / te verwaarlozen.
Het wegvallen van een disk (of alle disks) zou in theorie ook geen kernel panic mogen veroorzaaken. Je zult wel een hoop IO-errors zien en het systeem zal niet meer functioneren, maar de Kernel zou door moeten blijven draaien. Willekeurige kernel panics zijn meestal een indicatie van kapot geheugen.
Met kapot geheugen kun je ook de raarste foutmeldingen krijgen die je niet kunt plaatsen. De "cannot flush cache to disk, data lost" melding kan dan ook prima komen door een gare DIMM.
Ik had die machine eerlijk gezegd meteen vervangen na de 1e onverklaarbare kernel panic. Dat je klanten verliest is mijn inziens vooral je eigen schuld. Je hebt te lang aangemodderd met een machine die gewoon niet in orde is.
Dries.Pattyn
27/08/12, 15:20
Dat is duidelijk.
Het is wel zo dat de kernel panic's enkel voorkwamen tot we de raid en disks hebben vervangen.
Nadien niets van problemen meer gehad voor 2 jaar.
De machines draaien(den) nu eigenlijk 2 jaar goed, tot vorige week.
Het zou me dus verbazen mocht ram, mobo, of psu stuk zijn.
de machines zijn goed geladen 1.00 load gemiddeld, 3.00 tot 5.00 tijdens nacht voor backups.
Met de foutmeldingen in de nacht tijdens de backups dus.
En wederom een ARC-1680i naar z'n grootje, gaat goed, nog even en ze zijn zo ongeveer allemaal gesneuveld!
Wij hebben zelf ook diverse Areca raidcontrollers in gebruik en komen deze ook tegen bij klanten van ons. Ik kan er niet zo gauw eentje noemen die niet gesneuveld is. Voor nieuwe hardware zullen we deze dan ook niet meer gaan gebruiken en voor de bestaande hardware dit op zo kort mogelijke termijn aanpassen. Helaas kost dat laatste nogal wat tijd (en geld).
Bakker ICT
06/09/12, 14:00
Hier maken we al jaren gebruik van de ARC-1222, en gelukkig nog geen ellende gehad. Ja wat kapotte schijven, maar dat waren WD Raid Editions. Alle opstellingen met Fujitsu MBA3 15k / Seagate Cheetah 15K draaien tot nu toe zonder problemen. Ook met flinke load geen problemen.
Dries.Pattyn
15/09/12, 13:00
Intussen hebben wij opnieuw (2de keer in een maand) de ARC-1222 vervangen omdat ook de vervangkaart op regelmatige basis (soms elk uur) uitviel onder een beetje activiteit.
Onze leverancier (ahead-it) had ons (ter vervanging van de falende kaart arc-1222) een defecte kaart (arc-1222) opgestuurd in RMA, je staat er mooi natuurlijk, nadat de server terug online is, ga je hem niet nogmaals uitschakelen om er terug de oude in te steken.
Je verwacht overigens een werkende kaart, maarja...
Een tip: als je het eerste probleem opmerkt van uitval, begin alvast alle data te kopiëren naar een vervangmachine en haal de oude zsm uit productie.
De problemen worden steeds erger met de dag, en op de dag dat je de data er wil afhalen is de kaart zó 'op' dat je zelfs de data er niet meer afkrijgt (tenzij je een NIEUWE kaart bij de hand hebt natuurlijk).
Gelukkig was ahead-it zo vriendelijk om een credit nota op te stellen voor de areca 1222 (1,5j oude kaart) ter vervanging met de lsi megaraid 9266-8i .
Tevreden met de kaart, deze haalt zelfs hogere performantie 750MB/s in schrijfsnelheid!! (tov 450MB/s op de areca dacht ik)
nog wat leuke filmpjes die ik tegenkwam:
http://www.youtube.com/watch?v=WNyjVWeehrk&list=UUkOwcbKwaDM_iIRMUI0u8dA&index=26&feature=plcp
http://www.youtube.com/watch?v=w8E2cu26jsI
Wat ik heb begrepen van onze leverancier is dat het flashen van de "transport" firmware nog wel eens wil helpen bij ARC-1212/ARC-1222's. Deze transport firmware is te vinden op:
ftp://ftp.areca.com.tw/RaidCards/BIOS_Firmware/ARC1212_1222/Transport/
Indien je een hogere transport firmware hebt is het verstandig om te downgraden naar 4.7.3.0, dit wil het probleem van de hangende controller nog wel eens verhelpen.
Dries.Pattyn
15/09/12, 19:10
Misschien ligt het inderdaad hier aan,
ik heb wel de neiging de laatste firmware op te laden vóór dat ding in productie gaat.
DUS, mocht dat bij deze kaarten hieraan liggen, vind ik dat wel heel jammer.
Hier worden ze binnenkort opgehaald.