Bekijk Volledige Versie : Raad, commentaar, evaluatie voor een nieuwe NAS
avanmessen
24/05/11, 15:35
Beste WHT' ers,
Momenteel gebruik ik als NAS een commercieel produkt,
namelijk een Synology RS810RP+, erg propere machine
met redundante voedingen, rebruiksvriendelijke interface,
laag stroomverbruik (70W), RAID10 op 4x SATA, ext3 FS.
Met deze hardware ben ik echter beperkt tot ~80MB/s aan
write en iets meer aan read onder NFS.
Nu dacht ik een SuperMicro SIS415 te bestellen met deze
specs :
X9SCi-LN4F moederbord (4x 1Gbps LAN)
Intel Core i3-2100 2x 3.1Ghz 65W
4096MB DDR3 ECC geheugen
4x 1TB SATA2 7200 rpm RAID edition
3Ware 9750-4i 512MB cache met BBU
Redundante voeding
En daar dan CentOS 5.6 op te draaien met het ext4 FS.
Bedoeling is om read/write te verbeteren, op meerdere
gebundelde Gbps LAN links dan uiteraard. NFS is een pré.
Wat denken jullie van zulke setup ?
:huh:
Waarvoor zal de NAS gebruikt worden, want denk dat dit ook wel zal meespelen in de beslissing om bvb voor 10k rpm of 15k rpm hd's te gaan ipv 7200rpm. Ben je er verder zeker van dat de bottleneck bij je NAS ligt en niet bij je switch en/of host pc die maar 80MB/s aan kan.
en als tweede waarom niet 's kijken naar freenas (vergelijkbare interface - compatible met nfs, iscsi en SMB (cifs), heeft bovendien een goede op Nassen toegesneden UI, en ondersteuning van meer dan alleen maar hw-raid (denk aan zfs, wat het ook erg goed doet als je meerdere raid kaarten in een pool wilt gaan gebruiken).
ik heb inmiddels al weer redelijke ervaring met Freenas 8 (wat een verademing (voor pro gebruik dan)).
http://www.anandtech.com/show/3963/zfs-building-testing-and-benchmarking
En niet geheel onbelangrijk.. wat is het beschikbare budget?
avanmessen
25/05/11, 10:03
@The-BosS
Ik ga zowieso voor 7200rpm disks gaan, momenteel zijn het trouwens "green" drives aan 5400rpm !
Switch is D-Link DGS-1224T en heb dit met een Dell PowerConnect 2824 ook getest, zelfde speed.
Specs op de Synology site geven maximaal ~100MB/s aan maar met 7200rpm drives dus ...
@ichat
FreeNAS heb ik bekeken, maar niet zeker van de performance op ICH10 met een RAIDZ van 3 disks
plus 1 spare bvb ? Machine wil ik graag 1U houden maar toch graag speed optrekken naar 200MB/s,
kan er wel één SSD bijkrijgen ipv de optical drive voor caching bvb.
@ jeffrey - Budget maximaal 2000 Euro
Waar heb je 200MB/s voor nodig? Want vanaf 1 host ga je dat over gigabit ook niet zo maar halen. En bij random io al helemaal niet met 4 sata disks.
avanmessen
25/05/11, 10:23
Waar heb je 200MB/s voor nodig? Want vanaf 1 host ga je dat over gigabit ook niet zo maar halen. En bij random io al helemaal niet met 4 sata disks.
Moederbord heeft 4x Gb LAN, dacht dit te trunken om de speed te kunnen delen over verschillende hosts die elk 1x Gbps link hebben.
avanmessen
25/05/11, 11:59
@ ichat
Heb nog wat zitten rondneuzen omtrent ZFS.
Blijkbaar kan je een ZFS versie van RAID10 configureren
wat betere prestaties dan RAIDZ zou opleveren, ook met
vier disks. Ik zou dan ook 8GB RAM steken ipv 4GB voor de
ARC en de SSD gebruiken als ZIL om de write performance
te verhogen.
Vraag blijft, is dit sneller dan een 3Ware 97504i in RAID10 ?
@ ichat
Heb nog wat zitten rondneuzen omtrent ZFS.
Blijkbaar kan je een ZFS versie van RAID10 configureren
wat betere prestaties dan RAIDZ zou opleveren, ook met
vier disks. Ik zou dan ook 8GB RAM steken ipv 4GB voor de
ARC en de SSD gebruiken als ZIL om de write performance
te verhogen.
Vraag blijft, is dit sneller dan een 3Ware 97504i in RAID10 ?
Theoretisch, Ja. Practisch hangt dit af van de hardware die je koopt, zolang je processor maar snel genoeg is en je voldoende geheugen & cache toevoegt kan dit sneller worden. Echter, de voordelen van ZFS zitten em niet primair in snelheid, maar meer in betrouwbaarheid wat betreft data bescherming en uitbreidbaarheid.
Als je througput wil, ga je hoe dan ook voor meer spindles moeten gaan, of gaan werken met grote caches.
Tim.Bracquez
25/05/11, 13:37
Freenas is een goede keuze, samen met een SSD die je inzet in je RAIDZ als cache. Je kan dan wat meer in SSD's extra in vesteren omdat je geen RAID cards nodig hebt. Zorg wel voor voldoende RAM en snelle (cache) CPU
avanmessen
25/05/11, 13:42
Als je througput wil, ga je hoe dan ook voor meer spindles moeten gaan, of gaan werken met grote caches.
Wat prijsvergelijkingen zitten maken bij ahead-it.
1U met quad cores, 8GB RAM, redundante PSU, zonder disks komt op ~1250 Euro
2U met quad cores, 8GB RAM, redundante PSU, zonder disks komt op ~1550 Euro
In de 2U machine kan ik tot 8 disks gaan en hoe meer hoe sneller dus ?
Stroomverbruik ligt dan echter wat hoger maar de veiligheid ook ...
Indien ik bvb in een 2U server 6 disks wens te gebruiken (best of both worlds), kan
ik nadien 2 extra disks makkelijk toevoegen met FreeNAS 8 ? Welke type array bouw
ik dan best naar performance gericht ?
q: is dit sneller dan een hardware raid,
A: nee niet per defenitie, ik ken situaties, waarin het daadwerkelijk iets sneller KAN zijn dan
hardware raid 10 (en dan waarschijnlijk omdat je firmware niet optimaal is voor het bereik van je
eigen requests... - MAAR het is wel schaalbaarder en vrijer. - en bovendien staat niets je in de weg
om onder raid z alsnog een of meerdere raid setjes te laten draaien..
waar je dus normaal met dure - raid switches en jbod modules moet werken om op een later moment een grotere array aan te spreken, kun je ook gewoon een 'budget' raid kaart (let op: ik heb het hier nog steeds over 'server class kaarten') in raid 10 erbij zetten, en vervolgens je zfs-pool uitbereiden. en kom je op een gegeven moment tot de conclussie dat je aan je 4de raid10 setup bent aanbeland op een raid z2 (raid 6)
ik zou in dit geval dus overwegen om voor wat meer envoudigere oplossingen te gaan,
maar die wel in een degelijke setup te plaatsen. (je zou zoiets ook met lvm hebben kunnen doen) maar raid-Z is dan wat mij betreft toch DUIDELIJK de voordeligere.
maar als je twijfelt, om welke reden dan ook, moet je eigenlijk gewoon een lab opzetten met een databaseje en een test opstelling en gewoon een middagje kijken of het doet wat je zou willen...
zeker freenas is wat dat betreft ZO enorm gemakkelijk te configureren dat het bij een middagje hobby kan blijven... en iedereen heeft toch wel een paar sata schijven op de plank...
avanmessen
25/05/11, 15:50
Ik zit te dromen van het ZFS equivalent van RAID51.
Twee RAIDZ pools van 3 disks die gemirrored worden.
Dan mag ik 3 disks van één RAIDZ pool verliezen zonder
enig data verlies of 2 in één pool en 1 in de andere pool.
Klopt dit of zit ik er naast ?!
Performance zal wel niks zijn vergeleken met RAID10 !
:)
avanmessen
27/05/11, 13:27
Machine wordt zo dadelijk besteld !
Supermicro SI7NSC820 met Xeon E5506, 8GB RAM en 8x SATA 7200rpm.
Ik stel voor om zowel RAIDZ als RAID10 te testen en de resultaten hier
te posten als referentie.
:lovewht:
Klinkt goed! We zijn zeer benieuwd naar je report/resultaten.
roel//s3s.eu
30/05/11, 00:34
Beste,
als je ZFS wil gebruiken
Geen 3ware maar LSI gebruiken en geen Raid controller, en klets er direct maar wat ram bij .
mvg
r
avanmessen
20/08/11, 00:17
Hier zijn dan mijn bevindingen met volgende setup :
FreeNAS 8 (64-bit)
Intel Xeon e5506 CPU
12GB DDR3 geheugen
500GB SATA 7200rpm
ZFS RAID10 van 8 disks
De write tests :
Sequential write speed test met 512k blocks :
12288262144 bytes transferred in 75.689973 secs (162349935 bytes/sec)
Sequential write speed test met 2048k blocks :
12289310720 bytes transferred in 115.161414 secs (106713788 bytes/sec)
Sequential write speed test met 8192k blocks :
12289310720 bytes transferred in 85.318903 secs (144039718 bytes/sec)
Sequential write speed test met 16384k blocks :
12280922112 bytes transferred in 119.301632 secs (102940102 bytes/sec)
Sequential write speed test met 65536k blocks :
12280922112 bytes transferred in 102.807383 secs (119455644 bytes/sec)
Deze tests heb ik meerdere malen uitgevoerd, de snelheid bleef telkens
tussen de 100 en 165MB/s.
De read tests :
Sequential read test met 512k blocks :
12288262144 bytes transferred in 21.364429 secs (575173909 bytes/sec)
Sequential read test met 2048k blocks :
12289310720 bytes transferred in 28.492068 secs (431323932 bytes/sec)
Sequential read test met 8192k blocks :
12289310720 bytes transferred in 22.289588 secs (551347595 bytes/sec)
Sequential read test met 16384k blocks :
12280922112 bytes transferred in 20.966205 secs (585748455 bytes/sec)
Sequential read test met 65536k blocks :
12280922112 bytes transferred in 25.456337 secs (482430843 bytes/sec)
Voor de read tests werd de RAM steeds gevuld met een andere file
om caching te omzeilen en zeker 100% echte disk access te testen.
Meerdere malen uitgevoerd, snelheid steeds tussen 430 en 590MB/s.
Wat denken jullie van deze resultaten ? Ik ben zelf wel héél tevreden
over de performantie, vooral afgewogen tegen de prijs van net geen
1900,00 Euro !
:drool:
welke tool gebruik je voor het meten van die waarden? Welke client gebruik je, en welke netwerkverbinding? Tenzij je meer dan 1Gbps hebt aan netwerk, is 165 (en hoger) niet mogelijk, en zit je vermoedelijk met caching aan de client-side?
Of meet je op je NAS zelf?
avanmessen
20/08/11, 23:42
welke tool gebruik je voor het meten van die waarden? Welke client gebruik je, en welke netwerkverbinding? Tenzij je meer dan 1Gbps hebt aan netwerk, is 165 (en hoger) niet mogelijk, en zit je vermoedelijk met caching aan de client-side?
Of meet je op je NAS zelf?
Gewoon op de NAS zelf met dd, ik heb wel steeds gezorgd om het geheugen
te overschrijven met andere data vooraleer een test te doen, om zo zeker de
werkelijke disk access te meten.
Dit is enkel sequentiëel maar geeft toch wel een idee, vooral vergeleken met
dezelfde test op mijn vorige NAS !
Ben van 100MB/s naar 590MB/s gegaan :drool:
Zou je hier eens een i/o meting kunnen uitvoeren ?
avanmessen
21/08/11, 06:14
Zou je hier eens een i/o meting kunnen uitvoeren ?
Op welke manier, met welke tool, wat had je graag getest gezien ?
Mount dat ding al eens op een client, en doe eens ofwel een test met bonnie, ofwel met iozone.
avanmessen
22/08/11, 09:40
Mount dat ding al eens op een client, en doe eens ofwel een test met bonnie, ofwel met iozone.
Clients gaan over gigabit en zullen dus beperkt zijn op ~100MB/s.
Ik test dit later op de dag nog wel even ...
avanmessen
22/08/11, 10:27
Windows client met disk throughput tester :
Sequential write 81,5 MB/s
Sequential read 89,4 MB/s
Windows caching stond af en dit op een live
omgeving via een shared gigabit link met nog
twee andere virtuele machines.
De storage is nu live en uiteraard ook nog in
gebruik door de andere Xen servers.
Niet slecht !
:w00t:
En random? Ik ken maar weinig file servers die alleen sequentieel worden aangesproken in een mixed omgeving.
Zou je ook eens iets kunnen draaien om random read/write te testen vanaf een client (Crystal Diskmark of zo?) Thx
edit : zoals hierboven dus...
Mount dat ding al eens op een client, en doe eens ofwel een test met bonnie, ofwel met iozone.
Hetzelfde op de server zelf, alle speeds zeggen mij helemaal niets totdat er io's naast staan.
random read en random write met kleine blocksizes is het enige wat een nuttige benchmark kan geven. Ik bouw u zo, met één schijf, een storageoplossing die sequentieel alles wegblaast.