Onderwerp: MDADM RAID10 performance problemen

Oorspronkelijk geplaatst door 24x7hosting

Kan je uit de history halen welk commando je gebruikte tijdens het aanmaken? Of is het default vanwege de installer? (dus met 64k chunk size)

Kan ik niet meer zo terugvinden, want dat was puur een testinstall om de snelheid te testen. Specificaties die ik hier heb staan, zijn de default settings voor RAID 10, met een far disklayout (f2) en Ext4 filesystem.

De snelheid die ik toen met dd haalde op de schijf, zonder cache, was:
16777216+0 records in
16777216+0 records out
8589934592 bytes (8.6 GB) copied, 20.523 s, 419 MB/s

Oorspronkelijk geplaatst door dicktump

Kan ik niet meer zo terugvinden, want dat was puur een testinstall om de snelheid te testen. Specificaties die ik hier heb staan, zijn de default settings voor RAID 10, met een far disklayout (f2) en Ext4 filesystem.

De snelheid die ik toen met dd haalde op de schijf, zonder cache, was:
16777216+0 records in
16777216+0 records out
8589934592 bytes (8.6 GB) copied, 20.523 s, 419 MB/s

Ik heb een f2 toegevoegd in het commando:
mdadm --create /dev/md0 -l 10 -c 1024 -p f2 -n 4 /dev/sda /dev/sdb /dev/sdc /dev/sdd
echter nog steeds 100MB/s

Ik vind het erg weinig. Weet je zeker dat er geen compatibility mode oid aan staat in de BIOS? Want dan zou een limiet van 100 of 133 MB/s mogelijk niet heel vreemd zijn.

Oorspronkelijk geplaatst door 24x7hosting

00:1f.2 SATA controller: Intel Corporation 82801IR/IO/IH (ICH9R/DO/DH) 6 port SATA AHCI Controller (rev 02)

Ziet eruit als een regeltje dat van lspci komt, en garandeert niet dat AHCI daadwerkelijk gebruikt wordt.

Wat levert "dmesg |grep -i ahci" op?
Als het goed is, ziet dat er ongeveer zo uit:

Code:

[    3.672465] ahci 0000:00:1f.2: version 3.0
[    3.672480] ahci 0000:00:1f.2: PCI INT B -> GSI 19 (level, low) -> IRQ 19
[    3.672603] ahci 0000:00:1f.2: irq 43 for MSI/MSI-X
[    3.689664] ahci 0000:00:1f.2: AHCI 0001.0300 32 slots 6 ports 3 Gbps 0x3f impl SATA mode
[    3.689669] ahci 0000:00:1f.2: flags: 64bit ncq sntf pm led clo pio slum part ems apst 
[    3.689674] ahci 0000:00:1f.2: setting latency timer to 64

De on-board controller van Intel zal het probleem niet mogen zijn, die kunnen de snelheid echt wel aan.
2 ssd'tjes in raid 0:

Code:

# hdparm -t /dev/md127

/dev/md127:
 Timing buffered disk reads: 1570 MB in  3.00 seconds = 522.99 MB/sec

Oorspronkelijk geplaatst door maxnet

Ziet eruit als een regeltje dat van lspci komt, en garandeert niet dat AHCI daadwerkelijk gebruikt wordt.

Wat levert "dmesg |grep -i ahci" op?
Als het goed is, ziet dat er ongeveer zo uit:

Code:

[    3.672465] ahci 0000:00:1f.2: version 3.0
[    3.672480] ahci 0000:00:1f.2: PCI INT B -> GSI 19 (level, low) -> IRQ 19
[    3.672603] ahci 0000:00:1f.2: irq 43 for MSI/MSI-X
[    3.689664] ahci 0000:00:1f.2: AHCI 0001.0300 32 slots 6 ports 3 Gbps 0x3f impl SATA mode
[    3.689669] ahci 0000:00:1f.2: flags: 64bit ncq sntf pm led clo pio slum part ems apst 
[    3.689674] ahci 0000:00:1f.2: setting latency timer to 64

De on-board controller van Intel zal het probleem niet mogen zijn, die kunnen de snelheid echt wel aan.
2 ssd'tjes in raid 0:

Code:

# hdparm -t /dev/md127

/dev/md127:
 Timing buffered disk reads: 1570 MB in  3.00 seconds = 522.99 MB/sec

AHCI staat aan, heb zojuist even BIOS bekeken. Daarnaast heb ik voor het testen even op IDE gezet, maar de performance is hetzelfde (110MB).

ahci 0000:00:1f.2: version 3.0
ahci 0000:00:1f.2: PCI INT B -> GSI 17 (level, low) -> IRQ 17
ahci 0000:00:1f.2: irq 28 for MSI/MSI-X
ahci 0000:00:1f.2: AHCI 0001.0200 32 slots 6 ports 3 Gbps 0x3f impl SATA mode
ahci 0000:00:1f.2: flags: 64bit ncq sntf led clo pmp pio slum part ccc
ahci 0000:00:1f.2: setting latency timer to 64
scsi0 : ahci
scsi2 : ahci
scsi5 : ahci
scsi6 : ahci
scsi7 : ahci
scsi8 : ahci

Die SSD's die je hebt getest, waren op exact dezelfde server? Even om uit te sluiten dat toch de hardware niet 100% is.

Ik heb nu ook geen ideeën meer eigenlijk... heb hier weinig problemen met MD RAID over het algemeen, alhoewel het vaak niet de performance van hw RAID haalt.

Oorspronkelijk geplaatst door dicktump

Die SSD's die je hebt getest, waren op exact dezelfde server? Even om uit te sluiten dat toch de hardware niet 100% is.

Niet zelfde server. Wel zelfde controller.

heb hier weinig problemen met MD RAID over het algemeen, alhoewel het vaak niet de performance van hw RAID haalt.

Met snelle schijven (SSDs) is het tegenwoordig eerder andersom.
Haal softwarematig meer IOPS dan met een Areca kaart.
En een Adaptec 5405 is in eerste instantie inderdaad sneller, totdat je opeens 0 IOPS hebt, omdat hij te heet wordt en zichzelf uitzet

Ik ga binnenkort even een andere distributie installeren (Ubuntu) en kijken wat ik daarmee scoor op de 2TB disks. Andere hardware met dezelfde debian install heeft namelijk vergelijkbare resultaten. Daar draaien 4x500GB disks in een RAID10 met een snelheid van zo'n 80MB/sec.

Ik ben weer een stuk verder... Met blockdev krijg ik meer performance uit mijn RAID set. Ik ga eens kijken wat ik nog meer kan tunen, want onder de 300MB vind ik nog steeds niet acceptabel als een single disk meer dan 100 haalt.

proxmox:~# blockdev --setra 2048 /dev/md2
proxmox:~# hdparm -t /dev/md2

/dev/md2:
Timing buffered disk reads: 334 MB in 3.03 seconds = 110.39 MB/sec
proxmox:~# hdparm -t /dev/md2

/dev/md2:
Timing buffered disk reads: 336 MB in 3.02 seconds = 111.21 MB/sec
proxmox:~# blockdev --setra 4096 /dev/md2
proxmox:~# hdparm -t /dev/md2

/dev/md2:
Timing buffered disk reads: 414 MB in 3.00 seconds = 137.98 MB/sec
proxmox:~# hdparm -t /dev/md2

/dev/md2:
Timing buffered disk reads: 448 MB in 3.00 seconds = 149.13 MB/sec
proxmox:~# blockdev --setra 8192 /dev/md2
proxmox:~# hdparm -t /dev/md2

/dev/md2:
Timing buffered disk reads: 644 MB in 3.03 seconds = 212.48 MB/sec
proxmox:~# blockdev --setra 16384 /dev/md2
proxmox:~# hdparm -t /dev/md2

/dev/md2:
Timing buffered disk reads: 702 MB in 3.00 seconds = 233.99 MB/sec
proxmox:~# blockdev --setra 16384 /dev/md2