Onderwerp: ZFS Storage, ZIL+L2ARC Cache

Goede avond,

Ik ben opzoek naar een storage server (loopt een ander topic over), hiervoor heb ik o.a. een quote opgevraagd bij ixsystems (de zakelijke variant van freenas), in de quote die ik ontvangen heb staat iets interessants.

Ik ben er eigenlijk altijd vanuit gegaan dat voor een goede/snelle ZFS setup je 2 ZIL SSD disken in raid1 nodig hebt en weg kunt komen met 1x een L2ARC SSD disk,

Wat ik dus begrepen heb is dat je raid1 nodig in je ZIL zodat mocht je een corrupte SSD hebben, je data in iedergeval niet corrupt raakt, bij de L2ARC caching disk is dit minder relevant omdat ZFS hier goed mee om gaat.

Dat gezegd hebbende kreeg ik dus een quote van IXSystems, hierin stellen ze een unit voor waarin 12 disken gaan
8x Hitachi 2TB Ultrastar Enterprise SAS 6Gb/s 7200RPM 64MB Cache
1x Write cache STEC S842 200GB 6Gb/s SAS MLC SSD (S842E200M2)
1x Read cache STEC S841 400GB 6Gb/s SAS MLC SSD (S841E400M2)

Waarom zouden ze maar 1x een ssd voor ZIL gebruiken? Heb ik het bij het verkeerde eind met mijn raid1 setup in ZIL?

Omdat ze in de offerte Enterprise grade SAS-SSDs aanbieden. Deze beschikken over diverse veiligheidsmechanismen, waarmee onder andere stroomuitvallen en uitval van een chip kan worden opgevangen.

Oorspronkelijk geplaatst door SF-Jeroen

Omdat ze in de offerte Enterprise grade SAS-SSDs aanbieden. Deze beschikken over diverse veiligheidsmechanismen, waarmee onder andere stroomuitvallen en uitval van een chip kan worden opgevangen.

Klopt maar dat neemt niet weg dat hij kapot kan gaan...

Ik zou sowieso niet voor 1 ssd, maar 2 gaan. Het is inderdaad een voordeel dat als de ene corrupt raakt dat het door de andere ssd weer hersteld kan worden, maar dat is een extratje. Als een uitvalt dan kan je andere het opvangen omdat write caching gevoeliger ligt dan read caching.

Je wilt immers niet dat je veel data verliest, door een falende ssd.

Read cache moet je ook dubbel doen. Stel dat je read cache ssd weg valt dan heb je een enorm performance probleem totdat hij vervangen is.

Wij draaien ook op een 12bay SuperMicro met achterin nog 2x2.5" hot-swap voor ssds. ZIL hebben we op een aparte 10GB partitie en de rest van de SSDs is voor cache (dus 10GB mirror zil en 980GB cache). Draait perfect.

Sent from my GT-I9505 using webhostingtalk mobile app

Nog even een extratje, neem 12 disks... liefst in mirror (raid10). Je krijgt een hoop extra IOps met die 4 extra disks in je set en dat is wel nodig ook met 7,2k disks.

En lekker veel geheugen (64GB+) voor extra snelle cache. CPU is niet zo boeiend, mag een voordelige quad core e5 zijn, single socket.

Sent from my GT-I9505 using webhostingtalk mobile app

Hoe meer disks, hoe meer iops, maar met 2TB schijven en RAID-10 moet je wel regelmatig scrubben. Ik heb overigens 14 systemen staan met meer dan 500 SAS disks in totaal. Allemaal met 1x L2ARC SSD, nog nooit een disk gefaald, en 99% van de hits komt toch uit de ARC (bij mij althans), dus mocht er een stuk gaan is dat z'on issue niet. Overigens zou ik tegenwoordig overwegen helemaal geen L2ARC meer te nemen, maar al dat geld in meer RAM te investeren. Een SAS-SSD is qua prijs per GB bijna vergelijkbaar met een GB memory. De L2ARC is ook niet persistent na een reboot (hoewel je dat anders zou vermoeden).