Onderwerp: Ervaring met Nexenta

Ik heb zelf ook een tijdje met Nexenta gespeeld, maar nu de Oracle deal rond is is het wat vaag rond Solaris en weet ik eerlijk niet hoe het in de toekomst zit met de solaris development. Solaris 11 is weer volledig closed source en er is een source splitoff, maar of die echt leefbaar is op langere termijn ....

Dit is uiteindelijk onze config geworden:

- 16x 1TB SAS2 Seagate constellation (beste config zijn we nog aan het testen)
- 2x Intel X25-M 80GB (Nexenta raid 1)
- 1x Intel X25-M 80GB (L2ARC)
- 1x OCZ Vertex 2 Pro 50GB (ZIL)
- 48GB DDR3
- Intel Xeon E5620
- LSI SAS 9211-i8

Deze wordt twee maal uitgevoerd met de HA optie van nexentastor. Overigens de reden dat we voor OCZ als zil hebben gekozen is dat deze supercap heeft. De zo geliefde x25-e heeft dit niet.

Hoe ga je hem gebruiken?
We zijn er achter gekomen dat bij ISCSI verkeer een ZIL eigenlijk weinig nut heeft (omdat de ZIL standaard niet word gebruikt, of je moet de write back cache uit zetten, maar uiteindelijk is het langzamer)

Daarnaast heb je 1 disk voor je ZIL, als deze crasht dan is de kans groot dat je data corrupt raakt, aangezien jullie hem HA configgen neem ik aan dat de data wel belangrijk is.

Oorspronkelijk geplaatst door Powermage

Hoe ga je hem gebruiken?
We zijn er achter gekomen dat bij ISCSI verkeer een ZIL eigenlijk weinig nut heeft (omdat de ZIL standaard niet word gebruikt, of je moet de write back cache uit zetten, maar uiteindelijk is het langzamer)

Daarnaast heb je 1 disk voor je ZIL, als deze crasht dan is de kans groot dat je data corrupt raakt, aangezien jullie hem HA configgen neem ik aan dat de data wel belangrijk is.

We gaan de storage gebruiken voor onze cloud omgeving. De nodes maken via ISCSI gebruik van de opslag. Overigens wordt in zone A redundante uitgevoerd en zonde B ook. Dus 4 omgevingen totaal.

Heb je statistieken waaruit blijkt dat de nexenta slechter presteert met ZIL? Als de ZIL overigens crash, dan moet dit niet uitmaken. Enkel de performance zal op dat moment droppen.

Afaik is je data weg cq corrupt als je ZIL disk stuk is. Dat was het in mijn testopstelling in ieder geval wel toen ik de SSD stuk maakte. Om die reden heb ik hem op ons ZFS volume (dat we gebruiken voor backups) maar gewoon weggelaten. Of je moet ze weer in raid zetten uiteraard (maar daar had mijn chassis geen ruimte meer voor)

Oorspronkelijk geplaatst door Jesperw

Afaik is je data weg cq corrupt als je ZIL disk stuk is. Dat was het in mijn testopstelling in ieder geval wel toen ik de SSD stuk maakte. Om die reden heb ik hem op ons ZFS volume (dat we gebruiken voor backups) maar gewoon weggelaten. Of je moet ze weer in raid zetten uiteraard (maar daar had mijn chassis geen ruimte meer voor)

ZIL heb je bij ZFS sowieso ook als er geen aparte disk voor is. Sinds ZFS v19 moet hoeft de ZIL disk niet meer in mirror. Zoals o.a. hier valt te lezen: http://kerneltrap.org/mailarchive/fr...0/9/17/6884955

Ik zal dit in elk geval nog eens gaan testen.

Oorspronkelijk geplaatst door Serveo

http://kerneltrap.org/mailarchive/fr...0/9/17/6884955

You will lose any data that was
in the ZIL, but the pool will be intact.

Klinkt niet erg geruststellend.

Als in: je ZFS bestandssysteem zelf is niet corrupt, maar als er de laatste 5 seconden iets synchroon was weggeschreven, is die data foetsie.

Oorspronkelijk geplaatst door maxnet

Klinkt niet erg geruststellend.

Als in: je ZFS bestandssysteem zelf is niet corrupt, maar als er de laatste 5 seconden iets synchroon was weggeschreven, is die data foetsie.

Dit risico is nog te overzien. Het lijkt me vele malen minder desastreus als het kwijt raken van je gehele bestandssysteem.

Oorspronkelijk geplaatst door Serveo

Dit risico is nog te overzien. Het lijkt me vele malen minder desastreus als het kwijt raken van je gehele bestandssysteem.

Tuurlijk is het kwa schaal minder erg.

Echter als dit als een acceptabel verlies wordt gezien, kan je ook overwegen om ZIL helemaal uit te zetten.
Beetje een afweging van waarvan de kans groter is, een stroomstoring of dat de OCZ het begeeft.

RMA rate van OCZ SSDs is gestegen naar 3,5% in het laatste hardware.fr overzicht

Geachte gebruikers van Nexenta,

Ik maak jullie er graag even op attent dat hardware een héél belangrijk onderdeel is van een goede Nexentastor oplossing. ZFS levert fantastische voordelen op en performantie, maar er dient héél duidelijk te worden gesteld dat dit geen plug & play oplossing is zoals daar zijn van Open-E en OpenFiler. Een goede afstelling van hardware met betrekking tot de drivers en firmwares is uitzonderlijk belangrijk. Het gebruik van niet gecertifieerde SSD's zoals OCZ kunnen andere problemen veroorzaken die niet direct naar boven komen. Een volledige lijst van onderdelen is beschikbaar via www.nexenta.com, Aangaande HA functionaliteit moet je zeker een goeie partner kiezen die u lokaal ondersteuning kan geven, dit is niet een 1-2-3 klaar oplossing. Een volledige lijst met Nexenta partners is tevens te vinden op www.nexenta.com, die kunnen u zeker en vast goed helpen en ze zijn vertegenwoordigd in bijna alle landen van Europa. Om Nexenta partner te worden dient men minstens 3 gecertifieerde techniekers te hebben en bewezen omzet.

Vandaag hebben we met Nexenta een Proof-of-concept gemaakt op basis van een Metro-cluster tussen twee datacenters (zonder gebruik te maken van TCP/IP of iSCSI) Deze oplossing biedt de mogelijkheid om VM's tussen twee datacenters te verhuizen en tevens alle data 100% synchroon te hebben tussen beide datacenters. Performantie hierbij hangt af van de link tussen beide, in de proof of concept is dit 10Gbit fibre over een afstand van 35KM. Indien gewenst kunnen jullie vragen posten en zal ik die proberen te beantwoorden hieromtrent in deze post.

Als laatste, Nexenta 4.0 zal de kernel hebben Illumos genaamd (Q4 2011), dewelke enkel de opensource code bevat van ZFS en die totaal niet meer afhankelijk is van SUN/ORACLE. De volledige ontwikkeling is in handen van Illumos, waarbij Nexenta natuurlijk één van de partners is :-) meer info : https://www.illumos.org/

Nexenta is ook downloadbaar als gratis editie, maar hou er aub rekening mee dat dit geen stable final ondersteunde versie is, elk gebruik ervan is op uw eigen verantwoordelijkheid en troubleshooten doe je via Google :-), de bedoeling van dit is louter development & testing, dus geen productie omgevingen...

mvg
R.

Oorspronkelijk geplaatst door roel@s3s.be

Het gebruik van niet gecertifieerde SSD's zoals OCZ kunnen andere problemen veroorzaken die niet direct naar boven komen.

Roel,

Zelf diverse contacten gehad met Andy Bennett van Nexenta. Deze adviseerde inderdaad de X25E net zoals jullie. Echter deze hebben geen supercap. In mij komt dan de vraag op waarom deze dan zo gepusht wordt gezien de consequenties van een powerloss op deze SSD?

Zoals hierboven aangegeven heb ik inmiddels gekozen voor OCZ vertex 2 pro gezien deze wel supercap heeft. Drive werkt overigens, alleen staat inderdaad niet op de lijst http://www.nexenta.com/corp/images/s...-supported.pdf.

De X25E is SLC, wat normaal gesproken gebruikt wordt bij enterprise storage.

Oorspronkelijk geplaatst door gjtje

De X25E is SLC, wat normaal gesproken gebruikt wordt bij enterprise storage.

SSD's met SLC zonder supercap hebben de zelfde problemen bij powerloss ;-). Dus om dan 400+ euro voor een x25-e neer te leggen zonder supercap. Alles moet enterprise zijn bij nexentastor, maar om dan een SSD te pushen zonder supercap vind ik onverantwoordelijk.

Beste Serveo,

intussen is de Intel X25-E lange tijd achterhaald en is het vooral STEC en binnenkort waarschijnlijk Toshibe eSSD die met SAS interface de klok zal slaan. Toshiba komt binnen vanaf 1500$, een STEC tel je het dubbel .

De reden voor die keuze van Intel SSD lag voor de hand toen Sun die gebruikte, enterprise storage vendors gebruiken eSSD van STEC, Pliant, .... wat 10 x de prijs is en ook 90 000 IOPS levert, (een intel SSD 20.000) en komen met SAS en tevens supercap.

mvg

Oorspronkelijk geplaatst door Serveo

Heb je statistieken waaruit blijkt dat de nexenta slechter presteert met ZIL? Als de ZIL overigens crash, dan moet dit niet uitmaken. Enkel de performance zal op dat moment droppen.

Nope, ik heb er geen statistieken van,
maar in onze setup zagen we in de grafieken dat de ZIL niet gebruikt werd, na wat onderzoek (je komt t ook tegen op de nexenta forums) maar een support case aangemaakt, het is een design keuze om de ZIL bij ISCSI niet te gebruiken wanneer Write Back cache aan staat op het volume, als deze uit staat word de zil gebruikt, maar bij ons was dat langzamer.