MDADM RAID10 performance problemen

[24x7hosting]

Beste WHTers,

Mijn back-up server heeft 4x 2TB Samsung F3 disks. Deze heb ik voor de grap even in een RAID0 en RAID10 gezet, maar was verrast door de slechte performance.

Als ik hdparm -t op een individuele disk uitvoer krijg ik ongeveer 110MB/s read performance. Bij een RAID0 middels mdadm (debian 5.0.8, kernel 2.6.32-4) krijg ik hetzelfde resultaat, terwijl er dus 4 disks tegelijk werken (toch?).

mdadm --create /dev/md0 -l 0 -c 1024 -n 4 /dev/sda /dev/sdb /dev/sdc /dev/sdd
/dev/md0: Timing buffered disk reads: 262 MB in 3.02 seconds = 86.84 MB/sec

mdadm --create /dev/md0 -l 10 -c 1024 -n 4 /dev/sda /dev/sdb /dev/sdc /dev/sdd
Timing buffered disk reads: 340 MB in 3.00 seconds = 113.31 MB/sec

RAID 5 is nog erger, slechts 71 MB/sec.

Komt dit omdat hdparm niet meerdere disks tegelijk test?

Wat kan er eventueel mis zijn? Ik merkte dit ook al bij een 4x1TB setup in RAID10. De server heeft een Xeon 3330 2.66GHz quad core en 8 GB geheugen aan boord.

En ja een hardware raid-controller werkt wel prima, maar voor simpele setups maak ik liever gebruik van mdadm.

[oehTie]

wat voor harddisk controller zit er in? Mogelijk kan deze niet veel meer doorvoeren...

je gebruikt software raid, op zich prima maar qua performance is een normale processor echt lang niet zo goed als een cpu op de hardware raidkaart zelf. Zelfs op 2,6 ghz zal het aardig wat cpu kosten om je raid goed aan te sturen.

[24x7hosting]

Bedankt voor de snelle reactie. Als ik kijk wat de CPU nodig heeft valt dit alles mee, zeker met deze snelheden.

De volgende controller(s) zitten erin:
00:1f.2 SATA controller: Intel Corporation 82801IR/IO/IH (ICH9R/DO/DH) 6 port SATA AHCI Controller (rev 02)

Ook heb ik een cheapo PCI kaartje bij een andere server met zelfde problemen
11:00.0 RAID bus controller: Promise Technology, Inc. PDC40719 [FastTrak TX4300/TX4310] (rev 02)

Bij de Promise verwacht ik ook niet veel, maar bij de onboard SATA controller had ik wel meer verwacht.

[wonko]

een raid 10 of 0 is niet zozeer belastend voor de CPU, de operaties zijn zeer eenvoudig (mirrorring of striping). Bij een raid 5 of 6, ga je meer verschil zien.

Wat je best doet om zeker te zijn is gewoon even die volumes aanmaken, een filesystem op maken, en dan even iozone en bonnie er op loslaten. En je resultaten hier even posten, want dit kan interessant zijn voor allen.

[hrodenburg]

Hey,
hdparm vind ik een slechte test. Volgens mij komt die test meestal niet verder dan de cache van je disken.
Beter kun je inderdaad even testen met bonnie++ met een testfile van minimaal 2x je RAM in je server. Dan weet je zeker dat je niet de snelheid van je cache zit te meten.

[24x7hosting]

Version 1.03d
------Sequential Output------ --Sequential Input- --Random-
-Per Chr- --Block-- -Rewrite- -Per Chr- --Block-- --Seeks--
Size K/sec %CP K/sec %CP K/sec %CP K/sec %CP K/sec %CP /sec %CP
16G 46502 66 48604 11 26203 3 75442 87 99888 6 293.5 0
------Sequential Create------ --------Random Create--------
-Create-- --Read--- -Delete-- -Create-- --Read--- -Delete--
files /sec %CP /sec %CP /sec %CP /sec %CP /sec %CP /sec %CP
16 +++++ +++ +++++ +++ +++++ +++ +++++ +++ +++++ +++ +++++ +++
hostname,16G,46502,66,48604,11,26203,3,75442,87,99 888,6,293.5,0,16,+++++,+++,+++++,+++,+++++,+++,+++ ++,+++,+++++,+++,+++++,+++

[dicktump]

Heb je bij de default chunk size hetzelfde probleem? Ik zou eerst even zoveel mogelijk de defaults aanhouden en als je daar redelijke performance mee krijgt pas de MD RAID tweaken.

De RAID was al wel gesynced, neem ik aan, toen je de test draaide?

[24x7hosting]

De chunk size maakte niet uit voor de hdparm test, ik heb van 32kk t/m 2MB getest. De RAID is gesynced, maar volgens mij moet zelfs een degraded RAID meer performance halen :-)

Met atop -d zie ik wel dat de disks bijna 100% belast worden (alle 4 tegelijk). Ze zijn dus zeker wel bezig om samen te werken, maar toch slechte resultaten....

iozone is nog even bezig.

[Jeeves_]

Welk filesystem gebruik je? D'r staat me iets bij van issues met XFS en mdadm RAID..

[24x7hosting]

Ik maak gebruik van ext3 en ext4. Deze test was op een ext4 systeem, zonder lvm of andere toeters en bellen.

[dicktump]

Hoeveel haal je op 1 disk rechtstreeks? Want die Samsung F3 schijven (de 1 TB 7200 rpm variant tenminste) halen in hun eentje al rond de 100 MB/s.

Met 4x1 TB Samsung F3 op MD RAID 10 haal ik in de meest positieve situatie boven de 400 MB/s.

[24x7hosting]

MD0 (RAID10 5400tpm Samsung F3 2TB) Timing buffered disk reads: 282 MB in 3.01 seconds = 93.81 MB/sec
sdA (enkele disk van de RAID10 set MD0) Timing buffered disk reads: 264 MB in 3.02 seconds = 87.45 MB/sec

MD2 (RAID10 7200tpm Sansung F3 1TB) Timing buffered disk reads: 194 MB in 3.00 seconds = 64.60 MB/sec
sdE (enkele disk van de RAID10 set MD2) Timing buffered disk reads: 378 MB in 3.03 seconds = 124.83 MB/sec

Oftewel, een enkele disk presteert soms beter dan de raid set :-)

[24x7hosting]

MD2 raid:

mdadm --detail /dev/md2
/dev/md2:
Version : 00.90
Creation Time : Sat May 21 14:28:51 2011
Raid Level : raid10
Array Size : 1949214464 (1858.92 GiB 1996.00 GB)
Used Dev Size : 974607232 (929.46 GiB 998.00 GB)
Raid Devices : 4
Total Devices : 4
Preferred Minor : 2
Persistence : Superblock is persistent

Update Time : Mon May 23 13:21:54 2011
State : clean
Active Devices : 4
Working Devices : 4
Failed Devices : 0
Spare Devices : 0

Layout : near=2, far=1
Chunk Size : 64K

UUID : 7301d676:3143e7e9:a7a22ef6:419bab26
Events : 0.64

Number Major Minor RaidDevice State
0 8 66 0 active sync /dev/sde2
1 8 82 1 active sync /dev/sdf2
2 8 98 2 active sync /dev/sdg2
3 8 114 3 active sync /dev/sdh2

MD0 raid:

mdadm --detail /dev/md0
/dev/md0:
Version : 00.90
Creation Time : Sun May 22 21:26:06 2011
Raid Level : raid10
Array Size : 3907028992 (3726.03 GiB 4000.80 GB)
Used Dev Size : 1953514496 (1863.02 GiB 2000.40 GB)
Raid Devices : 4
Total Devices : 4
Preferred Minor : 0
Persistence : Superblock is persistent

Update Time : Mon May 23 13:19:56 2011
State : clean
Active Devices : 4
Working Devices : 4
Failed Devices : 0
Spare Devices : 0

Layout : near=2, far=1
Chunk Size : 1024K

UUID : 0306bc9a:07b544bc:7f2b1f39:e153e83f
Events : 0.19

Number Major Minor RaidDevice State
0 8 0 0 active sync /dev/sda
1 8 16 1 active sync /dev/sdb
2 8 32 2 active sync /dev/sdc
3 8 48 3 active sync /dev/sdd

[24x7hosting]

Hoeveel haal je op 1 disk rechtstreeks? Want die Samsung F3 schijven (de 1 TB 7200 rpm variant tenminste) halen in hun eentje al rond de 100 MB/s.

Met 4x1 TB Samsung F3 op MD RAID 10 haal ik in de meest positieve situatie boven de 400 MB/s.

Kan je uit de history halen welk commando je gebruikte tijdens het aanmaken? Of is het default vanwege de installer? (dus met 64k chunk size)

[dicktump]

Dat lijkt me niet echt de bedoeling Hoe staan je BIOS instellingen mbt de SATA? Soms kun je kiezen tussen Enhanced (of AHCI, dat is dacht ik hetzelfde?) mode en Compatibility mode. Die laatste wil nog wel eens fors trager zijn. Anyway, als je AHCI ziet, zou die eigenlijk aan moeten staan.

Edit: met 'niet echt de bedoeling', bedoelde ik het snelheidsverschil tussen directe disk en MD RAID 10. Was een beetje een onduidelijke zin, na wat extra conversatie in dit topic.