Onderwerp: Ervaringen met NAS systemen

Toen wij aan EMC de vraag stelde over het plaatsen van een ups, of over het hoe netjes afsluiten van zo'n emc wisten ze ook het antwoord niet direct. Ik heb uiteindelijk begrepen dat zo'n ding zelf een accu ingebouwd heeft. Wanneer de spanning wegvalt, doet het apparaat zelf een shutdown dmv de ingebouwde accu's (waarschijnlijk flushen van caches ed.).
Dat is in ieder geval wat EMC mij vertelde.

Oorspronkelijk geplaatst door hrodenburg

Toen wij aan EMC de vraag stelde over het plaatsen van een ups, of over het hoe netjes afsluiten van zo'n emc wisten ze ook het antwoord niet direct. Ik heb uiteindelijk begrepen dat zo'n ding zelf een accu ingebouwd heeft. Wanneer de spanning wegvalt, doet het apparaat zelf een shutdown dmv de ingebouwde accu's (waarschijnlijk flushen van caches ed.).
Dat is in ieder geval wat EMC mij vertelde.

Klopt.

Zodra de accu het kritieke punt bereikt stuurt deze naar de storage een signaal, vervolgens worden alle connecties verbroken en worden de caches naar de disks gedumpt en sluit het systeem af.

Misschien heeft een EqualLogic interne UPS'en of zelfs BBU's voor de cache?

Hij heeft in ieder geval een 72-uur batterij voor de cache. Zodoende gaat er niets stuk als zijn verbinding verbroken wordt. Of 'ie 't OS ook netjes af sluit (als dat uberhaupt van toepassing is i.v.m die cache batterij), dat weet ik niet. Ik heb 't niet getest en ben ook niet voornemens dit in mijn live omgeving te gaan testen

De Perc controllers in Dell servers hebben ook 72 uur backup aan de RAID controller. Toch heb ik gezien dat bij de stroomstoring op beide feeds dit problemen gaf. Twee 2950's van een klant met VMware crashte bij het booten na de storing.

Het bleek te komen doordat er een fsck nodig was door het abrupt uitvallen van de servers. De batterij in de Dell's is dus niet 100% sluitend.

Onze Dell's liepen wel door na opstarten zonder problemen, maar de backup storage server waar 2 Areca arrays in zitten, beide met backup accu had hetzelfde probleem. Eén van de arrays was in orde, de andere moets eerst via fsck nagelopen worden voordat de server weer bootte. Dat duurt even met een 3.5Tb RAID 5

Gelukkig is er geen echte schade opgelopen, 'slechts' langere downtime door de benodigde checks, maar de backup accu's op Perc en Areca zijn dus blijkbaar niet afdoende.

Wellicht dat het bij EMC's en/of Equallogic's wel altijd goed gaat, maar ik wil met zo'n investering ook wel zeker weten dat het ok is.

De Perc controllers in Dell servers hebben ook 72 uur backup aan de RAID controller. Toch heb ik gezien dat bij de stroomstoring op beide feeds dit problemen gaf. Twee 2950's van een klant met VMware crashte bij het booten na de storing

Kan dat niet komen omdat dan misschien de write cache op je disks nog aan staat? Of heeft dat er niets mee te maken?

/dev/mapper/storage.i-trends.nl-home:
Timing cached reads: 8808 MB in 2.00 seconds = 4413.06 MB/sec
Timing buffered disk reads: 212 MB in 3.01 seconds = 70.48 MB/sec
storage:/#

Hier onze resultaten.

Oorspronkelijk geplaatst door hrodenburg

Kan dat niet komen omdat dan misschien de write cache op je disks nog aan staat? Of heeft dat er niets mee te maken?

Dat zou inderdaad goed kunnen, dan mis je daar ook nog flink wat data.

Oorspronkelijk geplaatst door Wido

Dat zou inderdaad goed kunnen, dan mis je daar ook nog flink wat data.

Maar daar zijn nu juist die backup accu's van de RAID controller voor. Een beetje RAID kaart geeft ook een waarschuwing als je write-cache aan zet zonder aangesloten accu.

Die waarschuwt alleen voor de cache op de controller. Een beetje schijf heeft zelf ook nog een grote cache, die wordt niet beschermd door een bbu.

Oorspronkelijk geplaatst door FransVanNispen

Het bleek te komen doordat er een fsck nodig was door het abrupt uitvallen van de servers. De batterij in de Dell's is dus niet 100% sluitend.

Euhm, dit is toch vrij logisch? Denk je echt dat die battery cache weet heeft van welk fs erop draait, en wat journals zijn? Het enige wat die battery verzorgt is het gepowered houden van de ram op de raidkaart, en eens de machine terug online is en de disks beschikbaar zijn, eerst de changes in de ram nog gaan "committen" naar disk.

Je FS is hoe dan ook slecht ge-umount als je een stroompanne hebt, dus een check moet wel uitgevoerd worden.

En als je nu een areca of een dell of een hele storagebak hebt (equillogic), als je OS er opeens mee ophoudt, dan gaat je fs inconsistent zijn.

De seeker test is niet betrouwbaar, óf mijn eigenbouw server met een Areca RAID5 is ontzettend snel.

[root@vps02 ~]# ./seeker /dev/xvda
Seeker v2.0, 2007-01-15, http://www.linuxinsight.com/how_fast_is_your_disk.html
Benchmarking /dev/xvda [20480MB], wait 30 seconds..............................
Results: 2114 seeks/second, 0.47 ms random access time
[root@vps02 ~]# /sbin/hdparm -t /dev/xvda

/dev/xvda:
Timing buffered disk reads: 196 MB in 3.04 seconds = 64.55 MB/sec
[root@vps02 ~]#

Dit is gemeten in een VPS die op een Areca 1220 8x500Gb SATA (Seagate ES) in RAID 5 met 1 hot spare is gezet.

De bandbreedte is niet top, maar de seeks zijn behoorlijk hoog. De access tijd kan zelfs niet volgens mij.

Is dit niet een beetje TE snel?

DELL PE 2950, 6 x 146 SAS 15K, RAID5, LSI controller:

Code:

[root@mysql ~]# ./seeker /dev/sda
Seeker v2.0, 2007-01-15, http://www.linuxinsight.com/how_fast_is_your_disk.html
Benchmarking /dev/sda [208128MB], wait 30 seconds..............................
Results: 202 seeks/second, 4.95 ms random access time

[root@mysql ~]# hdparm -tT /dev/sda1
/dev/sda1:
 Timing cached reads:   13536 MB in  2.00 seconds = 6778.21 MB/sec
 Timing buffered disk reads:  100 MB in  0.19 seconds = 537.32 MB/sec