Onderwerp: Ervaringen met NAS systemen

Onze Equallogic komt binnen nu en 2 weken. Als je er 't fijne van wilt weten ben je van harte welkom om 's te komen kijken op Eu. Dan laat ik 'm je zien.

Ben erg benieuwd

Daar is 'ie dan.

http://www.jesperweiland.nl/pics/san/DSC00662.JPG
http://www.jesperweiland.nl/pics/san/DSC00666.JPG
http://www.jesperweiland.nl/pics/san/DSC00664.JPG

Errrrrg snel en stoer apparaat. Wido, heb jij wat benchmarks van jouw doos over iSCSI, of is dat lastig omdat 'ie behoorlijk onder load is?

Oorspronkelijk geplaatst door Jesperw

Daar is 'ie dan.

http://www.jesperweiland.nl/pics/san/DSC00662.JPG
http://www.jesperweiland.nl/pics/san/DSC00666.JPG
http://www.jesperweiland.nl/pics/san/DSC00664.JPG

Errrrrg snel en stoer apparaat. Wido, heb jij wat benchmarks van jouw doos over iSCSI, of is dat lastig omdat 'ie behoorlijk onder load is?

Altijd leuk om te zien

Nee, ik heb geen iSCSI benchmarks, maar die van mij zullen ook nog incorrect zijn omdat ik nog draaien op Open-iSCSI 1.0, grotendeels.

Zodra Ubuntu Gutsy stable uit is, wil ik naar Xen 3.1 en Open-iSCSI 2.0-754, dat zit namelijk allemaal in Gutsy.

We draaien nu nog Xen 3.0.3 en daar zit de 2.6.16 kernel bij, Open-iSCSI 2.0 werkt niet zo lekker met de 2.6.16, daarom nog 1.0.

Open-iSCSI 2.0 is stukken sneller dan 1.0, dus pas dan krijg je goede benchmarks.

En ja, onze doos is flink onder load, dus mijn benchmarks zullen nooit optimaal zijn. Daarnaast ben ik er bijna zeker van dat Equallogic sneller is met iSCSI dan EMC. In ieder geval in onze setup, wij hebben een NAS doos, geen iSCSI optimized oplossing.

Ik denk dat je pas een goede vergelijking kan trekken wanneer je van EMC een iSCSI optimized opstelling hebt en van Equallogic een zelfde opstelling.

Yup, I see. Wij krijgen deze week nog een Dell Poweredge 2950 die middels 2 kabels zal worden aangesloten met 't SAN. Daarop draait 'HIT' software en kunnen we NFS exporteren. Maar 't is meer een extra'tje, denk niet dat we 't veel gebruiken.

Ons SAN is live. Kan iemand hier wat resultaten tegenover zetten?

Results: 857 seeks/second, 1.17 ms random access time

- wget http://www.linuxinsight.com/files/seeker.c
- gcc -o seeker seeker.c

Volgens mij is de EquallLogic wel een goede keuze geweest.

Dell was tijdens de aankoop niet over Equallogic te spreken, maar ondertussen nemen ze ze wel over. :P

Ik ben erg nieuwsgierig wat de throughput in MB/s is (zoals bonnie++ die laat zien)...

3 Gigabit/s maximaal. 3 Maal gigabit per interface, geloadbalanced. Da's dan ook direct de troughput. Wel Jumboframes en flowcontrol ingesteld.

Dat ziet er binnen een Xen VM bijvoorbeeld zo uit:

xsdenied:~# hdparm -t /dev/xvda

/dev/xvda:
Timing buffered disk reads: 332 MB in 3.02 seconds = 110.05 MB/sec

Oorspronkelijk geplaatst door Jesperw

Ons SAN is live. Kan iemand hier wat resultaten tegenover zetten?

Results: 857 seeks/second, 1.17 ms random access time

- wget http://www.linuxinsight.com/files/seeker.c
- gcc -o seeker seeker.c

Volgens mij is de EquallLogic wel een goede keuze geweest.

Dell was tijdens de aankoop niet over Equallogic te spreken, maar ondertussen nemen ze ze wel over. :P

Ik heb je bench ook gedraaid: Results: 220 seeks/second, 4.54 ms random access time

Uiteraard moet je er rekening mee houden dat ons platform al in productie is, evenals de machine waarop deze bench gedraaid is.

Ik heb hem ook nog even tegen een RAID-5 array gezet van 4x 300GB aan een Areca controller: Results: 59 seeks/second, 16.74 ms random access time

Dus die EqualLogic is zeker een goede keus geweest!

Ik kan deze wel eens tegen een DS4300 met FC-schijven houden als ik de tijd kan vinden

Code:

root@gutsy:/home/administrator# hdparm -t /dev/sda

/dev/sda:
 Timing buffered disk reads:  130 MB in  3.04 seconds =  42.69 MB/sec
root@gutsy:/home/administrator# ./seeker /dev/sda1
Seeker v2.0, 2007-01-15, http://www.linuxinsight.com/how_fast_is_your_disk.html
Benchmarking /dev/sda1 [1898MB], wait 30 seconds..........
Results: 79 seeks/second, 12.56 ms random access time
[/quote]

Op een VM getest die naast 7x Windows 2003 Enterprise VM's draait op een twee nodig cluster van de SAN. 

In hoeverre de dynamisch verdeelde resources invloed hebben op de prestaties weet ik niet...

Maakt /dev/sda en /dev/sda1 zoveel uit???


	
Code:
	
root@gutsy:/home/administrator# ./seeker /dev/sda
Seeker v2.0, 2007-01-15, http://www.linuxinsight.com/how_fast_is_your_disk.html
Benchmarking /dev/sda [2048MB], wait 30 seconds................
Results: 116 seeks/second, 8.55 ms random access time



	
Code:
	
root@gutsy:/home/administrator# hdparm -t /dev/sda1

/dev/sda1:
 Timing buffered disk reads:   24 MB in  4.50 seconds =   5.34 MB/sec

2x 73GB SCSI @ RAID 1

[root@esx02 root]# ./seeker /dev/sda
Seeker v2.0, 2007-01-15, http://www.linuxinsight.com/how_fast_is_your_disk.html
Benchmarking /dev/sda [34715MB], wait 30 seconds..............................
Results: 82 seeks/second, 12.08 ms random access time
[code]

Op de LUN @ RAID10 (6x 146GB FC 2GB) vanaf een node:

Code:

[root@esx02 root]# ./seeker /dev/sdb
Seeker v2.0, 2007-01-15, http://www.linuxinsight.com/how_fast_is_your_disk.html
Benchmarking /dev/sdb [418504MB], wait 30 seconds.............
Results: 14 seeks/second, 68.34 ms random access time
[root@esx02 root]# hdparm -t /dev/sdb

/dev/sdb:
 Timing buffered disk reads:   48 MB in  4.59 seconds =  10.46 MB/sec

Heeft iemand ook nog ervaring met oplossingen van bijvoorbeeld promise en/of adaptec (maxcom levert deze dingen)

Het zijn wat goedkopere oplossingen. Maar ik vraag me af of deze opkunnen tegen oplossingen zoals die van EMC / Equallogic / Dell etc.

Wij hebben een bugje ontdekt in de DS4300 Zonet even de zonering aangepast en de resultaten zijn een stuk beter

Code:

root@gutsy:/home/administrator# ./seeker /dev/sda
Seeker v2.0, 2007-01-15, http://www.linuxinsight.com/how_fast_is_your_disk.html
Benchmarking /dev/sda [2048MB], wait 30 seconds..............................
Results: 606 seeks/second, 1.65 ms random access time
root@gutsy:/home/administrator# hdparm -t /dev/sda

/dev/sda:
 Timing buffered disk reads:  266 MB in  3.00 seconds =  88.62 MB/sec
root@gutsy:/home/administrator#

Code:

[root@esx02 root]# hdparm -t /dev/sdb

/dev/sdb:
 Timing buffered disk reads:  256 MB in  3.02 seconds =  84.77 MB/sec
[root@esx02 root]# ./seeker /dev/sdb
Seeker v2.0, 2007-01-15, http://www.linuxinsight.com/how_fast_is_your_disk.html
Benchmarking /dev/sdb [418504MB], wait 30 seconds..............................
Results: 112 seeks/second, 8.87 ms random access time

Ik vraag me af in hoeverre de grote van de HD van belang is...

Zo, shadowfox, dat was me 't bugje wel

Dat scheelt nogal.

Ik heb het nog even tegenover een RAID-5 array van 8 WD Raptor (74GB) gezet.

De gebruikte RAID controller is overigens een 8-poorts Areca.

Code:

root@archive:~# ./seeker /dev/sdb
Seeker v2.0, 2007-01-15, http://www.linuxinsight.com/how_fast_is_your_disk.html
Benchmarking /dev/sdb [467299MB], wait 30 seconds..............................
Results: 118 seeks/second, 8.46 ms random access time
root@archive:~#

Zo zie je maar hoe veel sneller die dedicated NAS/SAN systemen zijn.

Areca 16 port - Raid 6 - Gewone seagate disks:

Results: 82 seeks/second, 12.52 ms random access time