Bekijk Volledige Versie : Ervaring met Nexenta
systemdeveloper
20/08/10, 16:34
Voor een paar VPS platformen ben ik momenteel een beetje aan het rondkijken voor recente 100% HA setupjes en kwam zo op Nexenta uit.
Heeft iemand hier al ervaring meer, is het de prijs waard, zijn er betere EN goedkopere oplossingen?
Het licentieverhaal van nexenta is niet direct iets waar ik erg happy van wordt, want dat lijkt op een 7-8k voor een 4TB storage en 1,5K per jaar uit te komen. Dat lijkt me een beetje zonde van het geld aangezien ik minimaal 3 onafhankelijk HA omgevingen nodig heb.
Iemand ervaring met dit spul of gelijkwaardigs?
Voor een paar VPS platformen ben ik momenteel een beetje aan het rondkijken voor recente 100% HA setupjes en kwam zo op Nexenta uit.
Heeft iemand hier al ervaring meer, is het de prijs waard, zijn er betere EN goedkopere oplossingen?
Het licentieverhaal van nexenta is niet direct iets waar ik erg happy van wordt, want dat lijkt op een 7-8k voor een 4TB storage en 1,5K per jaar uit te komen. Dat lijkt me een beetje zonde van het geld aangezien ik minimaal 3 onafhankelijk HA omgevingen nodig heb.
Iemand ervaring met dit spul of gelijkwaardigs?
Randy heeft kennis/ervaring mbt VMWare als ik me niet vergis. Daar zou het ook mee moeten kunnen denk ik (maar de prijs weet ik niet).
Afhankelijk van de eisen (100% HA is mogelijk) zou een setup bestaande uit een paar systemen ook opgezet kunnen worden op basis van KVM met losse storage. De licentie kosten zijn een relatief klein deel van de kosten verwacht ik, de grootste kosten posten zijn toch de inhuur van kennis (indien afwezig). Wij hebben een setup die HA is (voor zover mogelijk binnen 1 DC/netwerk) voor de storage units en de hoogste kosten blijven toch echt de kosten voor kennis/uren.
Tot slot: iedere HA omgeving is afhankelijk van de zwakste schakel, valt een server gedeeltelijk uit (raid controller valt bijv. uit) terwijl het OS door draait dan kan het ondanks de theoretisch correcte opzet in de praktijk nog downtime opleveren (helaas).
systemdeveloper
22/08/10, 12:46
Wij gebruiken nu xenserver op een 20 tal nodes met 4 open-e storages. Er kan uiteraard altijd wel iets mis gaan maar meestal ligt dit dan toch aan externe factoren (buiten de racks, zeg maar).
Nexenta heeft een leuke storage oplossing, die is 100% HA (ik heb het niet over de nodes dus,he), maar voor een 4TB oplossing kijk ik naar een 8k per storage, 7,5k voor een 'HA licentie' en 1,5K per jaar aan verplicht support.
Open-E heeft ook licentiekosten maar dan spreek je over een 1400 euro eenmalig voor 2 x een 16TB licentie. Heb ik ook een 4 tal van draaien, werkt ook wel goed trouwens, maar ik was op zoek naar iets heftigers/kant-en-klaar gedoe.
De 'gratis' oplossing met drdb en hb werkt zelfs goed, al schaalt dat voor geen reet, maar wat Nexenta betreft heb ik alleen wat 'hear say' dat het zo geweldig is en dat is van de leverancier die het ons al een half jaar probeert te verkopen :)
Vandaar dat ik een beetje benieuwd was naar praktijk ervaringen met dat spul.
Ik hoor wel vaker 'mooie' verhaaltjes :)
Je kan toch ook even testen met de gratis versie (tot 1TB dacht ik), zo leer je de (web)interface kennen en hoe hij het doet. Voor mij persoonlijk was het niet direct wat ik zocht en ben dus maar bij freenas gebleven.
Je zou ook kunnen kijken naar storage oplossingen van sun (oracle) die gebruik maken van zfs, denk dat dit kwa kosten goedkoper kan uitvallen.
En zeg ook even tegen je leverancier dat 100% HA niet bestaat, er is altijd een kans dat het mis gaat. Overlaatst nog een kennis gezien en die hadden op het bedrijf een nieuwe raid60 storage gezet omdat dit ook zo veilig was. Ze hebben 1 keer een stroomstoot gehad en resultaat was voeding, 4 raidcontrolers en 10 HD's kapot van het storage device. Gevolg niets meer te redden, gelukkig nemen ze iedere dag nog een goede ouderwetse tape backup.
En zeg ook even tegen je leverancier dat 100% HA niet bestaat, er is altijd een kans dat het mis gaat.
Zelf hebben we meegemaakt dat 2 systemen die als storage dienst doen en redundant draaien uitvielen doordat 1 systeem geen hardeschijven meer zag (vond drbd niet zo leuk). Helaas werd dit niet automatisch gedetecteerd door hb hierdoor viel op een gegeven moment het geheel praktisch uit want hij kon de data niet meer kopieren naar de andere server. Nadat er een reboot op de een was uitgevoerd ging hij alles rebuilden (terwil alles weer draaide).
De downtime neemt dan toch behoorlijk wat tijd/energie in (eerst probleem uitzoeken, dan nog oplossen en alle VPSen opnieuw opstarten).
systemdeveloper
22/08/10, 14:49
Maar dan bedoel je dus dat beiden storages op hetzelfde stroom circuit zitten en beide ook nog eens kapot zijn gegaan? Dat is volgens mij dan meer een elektrisch probleem in de voeding. Maar dan nog, 1 storage zou gewoon in rook moeten kunnen opgaan natuurlijk.
FreeNAS heb ik ook nog ergens draaien. In principe ben ik daar meer tevreden over dan de Open-E dozen, maar dat kan ook wel een beetje met mijn FreeBSD fetisisme te maken hebben :)
De 'remote handson' die de utpkabels overramt omdat ze tussen de rackdeur zitten of een utp in een verkeerde switchpoort steekt (ander vlan bv) kan ook voor genoeg downtijd zorgen. Op die fiets haal je ook geen 100% uiteraard :)
FreeNAS heb ik ook nog ergens draaien. In principe ben ik daar meer tevreden over dan de Open-E dozen, maar dat kan ook wel een beetje met mijn FreeBSD fetisisme te maken hebben :)
Same here, maar heb ergens vernomen dat FreeNAS zou verder gaan onder debian om zfs beter te gaan supporten. Dus lijkt dan meer naar de nexenta kant van het verhaal te gaan kwa os/drivers. En dat de FreeNAS BSD versie onder andere naam zou verder gaan.
systemdeveloper
22/08/10, 15:52
Same here, maar heb ergens vernomen dat FreeNAS zou verder gaan onder debian om zfs beter te gaan supporten. Dus lijkt dan meer naar de nexenta kant van het verhaal te gaan kwa os/drivers. En dat de FreeNAS BSD versie onder andere naam zou verder gaan.
Damn, het ik net het genot dat FreeNAS eindelijk eens goed met Xenserver overweg kan op iSCSI gebied...wordt het debian, haha :)
Damn, het ik net het genot dat FreeNAS eindelijk eens goed met Xenserver overweg kan op iSCSI gebied...wordt het debian, haha :)
Mwah, niemand verplicht je om je huidige versie te upgraden ;)
Damn, het ik net het genot dat FreeNAS eindelijk eens goed met Xenserver overweg kan op iSCSI gebied...wordt het debian, haha :)
Even een paar url's met forum uitleg:
http://sourceforge.net/apps/phpbb/freenas/viewtopic.php?f=5&t=3966
http://linux.slashdot.org/story/09/12/06/152205/FreeNAS-Switching-From-FreeBSD-To-Debian-Linux
nieuwe freenas is nu dus http://www.corenas.org/, staat trouwens ook een artikel in over FreeNAS vs NexentaStor (community edition)
Ik heb het idee dat de website van Nexenta zelf nogal 'dure' prijzen hanteerd, je kan beter eens contact opnemen met enkele leveranciers, wij krijgen als het goed is deze week een Nexentadoosje geleverd via s3s.be, voor de prijs dat hun de hardware en licentie leveren zou ik t niet los kunnen doen (zelf componenten halen en de licentie via nexenta) dus ik vermoed dat daar veel op te halen valt.
s3s.be is volgens mij een redelijke schuiver, in Nederland heb je Inprove.nl heb het idee dat die een enorme nexenta kennis hebben, maar daar betaal je natuurlijk ook voor.
systemdeveloper
24/08/10, 12:43
Ik heb het idee dat de website van Nexenta zelf nogal 'dure' prijzen hanteerd, je kan beter eens contact opnemen met enkele leveranciers, wij krijgen als het goed is deze week een Nexentadoosje geleverd via s3s.be, voor de prijs dat hun de hardware en licentie leveren zou ik t niet los kunnen doen (zelf componenten halen en de licentie via nexenta) dus ik vermoed dat daar veel op te halen valt.
s3s.be is volgens mij een redelijke schuiver, in Nederland heb je Inprove.nl heb het idee dat die een enorme nexenta kennis hebben, maar daar betaal je natuurlijk ook voor.
Van s3 kreeg ik voor een 4TB ha oplossing al direct te maken met 9k aan licenties. 2 x ruim 1500 voor 2 x 4tb gold support, een HA cluster Plugin (?) die nog eens ruim 4000 kost en bijna 1500 jaarlijks voor een support fee... Allemaal los van de hardware nog, want die heb je toch nodig.
Eenzelfde setup met Open-E kost eenmalig 1200 euro.
Ik wil best wat centen op tafel leggen hoor, maar niet 6K voor een interface alleen.
Deze kreeg ik:
Nexenta Licences
- 2 x 4TB Gold Support 24x4x7 (8TB netto)
2 x € 1.554,43 exc. VAT
- HA Cluster Plugin : € 4008,82 exc. VAT
Total : € 7.117,68 exc. VAT
Annual fee support: € 1.423.53 exc. VAT
voor zo'n bakkies:
LSI 630J JBOD enclosure 3.5” SAS-2
- 12 x 3.5” HDD SAS / SSD
- Single or Dual ESM
- Two host interfaces 6Gb’s per ESM
- One expansion interface per ESM
- 12 x 600GB Seagate SAS-2 15Krpm
- Up to 512 devices per channel
- 3 – years warranty
- List price: € 8.599,00 exc. VAT per JBOD
roel//s3s.eu
24/08/10, 13:59
Beste John,
Nexenta is een investering die je doet voor je storage area network, je betaald ieder jaar voor software assurance en support (24x7x4) ongeacht wat je hardware is. M.a.w. als je hardware wil vervangen door betere hardware, of na 3 jaar je bestaande hardware wil vervangen kan je je software licentie blijven gebruiken en ben je het niet kwijt. Het is dus een lange termijn investering die elke cent waard is, want het bespaart uiteindelijk in hardware kost (die kapot gaat) en in stroomverbuik (minder hardware nodig)
ik wil nog even benadrukken dat door het gebruik van Nexenta uw hardware kosten naar omlaag gaan door volgende punten:
- SSD caching verhoogt de IOPS (10.000 iops per vhost is perfect haalbaar)
- inline deduplication & compression verlagen de behoefte van capaciteit zeker in vm omgeving
- peformance door caching verminderd ook de noodzaak aan SAS disken omwille van de verhoogde IOPS via SSD.
- replicatie synchroon en asynchroon naar een andere storage over IP kunnen uw schrik van data verlies volledig weghalen indien HA te duur is.
Maar mijn evaring met Nexenta is alleen positief te noemen, zeker met vmware en Xen kunnen we gerust een aantal klanten aantonen die dit met alle plezier bevestigen.
tot slot, HA is 100% hardware&Software fouten redundant (4 losse hardware components) maar kost geld!
roel//s3s.eu
24/08/10, 14:07
Je kan toch ook even testen met de gratis versie (tot 1TB dacht ik), zo leer je de (web)interface kennen en hoe hij het doet. Voor mij persoonlijk was het niet direct wat ik zocht en ben dus maar bij freenas gebleven.
Je zou ook kunnen kijken naar storage oplossingen van sun (oracle) die gebruik maken van zfs, denk dat dit kwa kosten goedkoper kan uitvallen.
En zeg ook even tegen je leverancier dat 100% HA niet bestaat, er is altijd een kans dat het mis gaat. Overlaatst nog een kennis gezien en die hadden op het bedrijf een nieuwe raid60 storage gezet omdat dit ook zo veilig was. Ze hebben 1 keer een stroomstoot gehad en resultaat was voeding, 4 raidcontrolers en 10 HD's kapot van het storage device. Gevolg niets meer te redden, gelukkig nemen ze iedere dag nog een goede ouderwetse tape backup.
Beste,
voor de duidelijkheid is Nexenta niet getrouwd met Hardware raid controllers, ZFS zit totaal anders in elkaar, in geval van bovenstaand probleem zit je met een 4 onafhankelijke onderdelen die elk perfect van elkaar gescheiden kunnen zijn van stroom en netwerk. een hardware raid controller kan inderdaad bij stroomstoot de raid set omzeep helpen (meermaals gezien) . Bij Nexenta zit je met een operating system die tot op het block niveau op de hoogte is van zijn data. Als de stroom wegvalt zitten er beveiligingen in om je data consistent te houden.
We spreken over 100% redundantie , maar bv. een brand/stroom kan natuurlijk wel alles kapot maken.
systemdeveloper
24/08/10, 17:53
Ik ga in de komende 2 weken eens wat spul testen hier testen. Blijft leuk spul allemaal, ook Nexenta, maar uiteindelijk gaat de klant voor de kosten opdraaien, dus daar moet ik uiteraard ook een beetje rekening mee houden.
roel//s3s.eu
26/08/10, 12:13
Beste Jon,
ik krijg mijn demo setup aanstaande vrijdag normaal terug, dit is een setup met zowel SATA, SAS en SATA 10K disken met SSD's ...
Klant heeft getest tegen Eqaullogic, en kon ervaren wat performance is ... :-)
vergeet niet dat de hardware setup (qua onderdelen en aantal) heel belangrijk is om performance te boosten als je gaat testen. gebruikservaring qua interface test je héél gemakkelijk in een vm.
laat maar iets weten als je iets nodig zou hebben van demo materiaal.
mvg
Van s3 kreeg ik voor een 4TB ha oplossing al direct te maken met 9k aan licenties. 2 x ruim 1500 voor 2 x 4tb gold support, een HA cluster Plugin (?) die nog eens ruim 4000 kost en bijna 1500 jaarlijks voor een support fee... Allemaal los van de hardware nog, want die heb je toch nodig.
Eenzelfde setup met Open-E kost eenmalig 1200 euro.
Ik wil best wat centen op tafel leggen hoor, maar niet 6K voor een interface alleen.
Deze kreeg ik:
Nexenta Licences
- 2 x 4TB Gold Support 24x4x7 (8TB netto)
2 x € 1.554,43 exc. VAT
- HA Cluster Plugin : € 4008,82 exc. VAT
Total : € 7.117,68 exc. VAT
Annual fee support: € 1.423.53 exc. VAT
voor zo'n bakkies:
LSI 630J JBOD enclosure 3.5” SAS-2
- 12 x 3.5” HDD SAS / SSD
- Single or Dual ESM
- Two host interfaces 6Gb’s per ESM
- One expansion interface per ESM
- 12 x 600GB Seagate SAS-2 15Krpm
- Up to 512 devices per channel
- 3 – years warranty
- List price: € 8.599,00 exc. VAT per JBOD
Ben toch nieuwsgierig wat voor systeem het uiteindelijk is geworden... :-)
systemdeveloper
21/02/11, 14:51
Het is geen nexenta geworden maar FreeBSD setups met een raid 0 frontend en raid 5 backend in een HA setup.
Ik ben ook eens begonnen met Nexenta testen en het ziet er leuk uit. Hoewel het gewoon ZFS is, ben ik wel gecharmeerd van de Auto-Sync features, neemt mij een hoop werk uit handen.
Al mensen die het in productie hebben draaien?
Ik ben ook eens begonnen met Nexenta testen en het ziet er leuk uit. Hoewel het gewoon ZFS is, ben ik wel gecharmeerd van de Auto-Sync features, neemt mij een hoop werk uit handen.
Al mensen die het in productie hebben draaien?
Niet in productie, maar ik ben er vandaag ook begonnen ermee te spelen :) Ziet er inderdaad mooi uit :)
Wij hebben het inmiddels in productie draaien, neem maar even contact op via msn mocht je er vragen over hebben.
Een tip die ik in zijn algemeenheid inmiddels wel kan meegeven: gebruik GEEN deduplication. Dit gaf bij ons serieus veel problemen ondanks de 24 GB geheugen en de SSD's (flink verhoogde latency 150+ ms, daardoor hoge WA, waardoor hoge loads). Bleek achteraf dat dit nog te weinig geheugen was dus uiteindelijk maar besloten om het uit te schakelen en het geld voor extra geheugen te investeren in schijven, dus dedup uit, alle data naar andere zvol kopieren en de LUN waar dedup op stond te verwijderen... OEPS: http://bugs.opensolaris.org/bugdatabase/view_bug.do?bug_id=6924390
Blij dat ik nu van dedup af ben :thumbup:!
Verder wil de NMC (webinterface) regelmatig crashen, maar gelukkig is het instelgedeelte nu wel afgerond dus hoef er geen zware taken meer mee uit te voeren.
MSN gebruik ik al een hele tijd niet meer, daar hebben we XMPP voor :)
Maar in wat voor een omgeving draai je het? Ik zit nu te denken aan:
- 11x 500GB SAS 7200RPM (10 in RAIDZ + hotspare)
- 2x Intel X25-M 80GB voor ZIL
- 2x Intel X25-M 80GB voor L2ARC
- 1x Intel X25-M 80GB voor Nexenta
- 32GB DDR3
- AMD Opteron 6128 CPU (8 core, 2.1Ghz)
- LSI SAS controllers
Dit draait bij mij nu prima op snelheid, het doet gewoon wat ZFS hoort te doen.
Ik ben echter benieuwd naar de Nexenta support. Vertrouwen heb ik opzich wel in ZFS, maar ik heb nu al twee mails richting Nexenta gestuurd, na een week nog geen reactie.
We denken aan de Gold license, maar ik wil mijn geld wel richting een betrouwbaar bedrijf sturen.
Hier speelt op dit moment een gelijke beslissing, maar dan een configuratie op basis van sata-600. De licentiekosten voor Nexenta zijn in mijn ogen hoog, vandaar dat ik de scope iets vergroot. Hierbij kwam ik uit bij EON (http://sites.google.com/site/eonstorage/). Heeft iemand hier al eens naar gekeken?
@Jeroen Ik zal morgen eens op msn komen om het een en ander te bespreken. :-)
Licentie kosten hoog!? Ik vind dat juist erg mee vallen, als de support ook goed is zie ik geen probleem.
Licentie kosten hoog!? Ik vind dat juist erg mee vallen, als de support ook goed is zie ik geen probleem.
In vergelijking met een totale storage zit je gelijk aan de kosten van EMC. Wido, welke LSI controller heb je in de configuratie opgenomen?
In vergelijking met een totale storage zit je gelijk aan de kosten van EMC. Wido, welke LSI controller heb je in de configuratie opgenomen?
In mijn beleving is een EMC toch heeeel wat duurder.. misschien met allemaal 160 GB schijfjes niet (met kleine hoeveelheden storage is EMC nog betaalbaar meen ik) maar ik zou voor onze setup toch 20.000 per SAN meer kwijt zijn bij EMC :).
In mijn beleving is een EMC toch heeeel wat duurder.. misschien met allemaal 160 GB schijfjes niet (met kleine hoeveelheden storage is EMC nog betaalbaar meen ik) maar ik zou voor onze setup toch 20.000 per SAN meer kwijt zijn bij EMC :).
Klopt, dan heb ik het inderdaad over een basic EMC setup. Bij het uitzoeken van de setup kwam ik overegens het volgende tegen: http://www.nexenta.com/corp/content/view/274/119/. Als ik de ervaring van je lees m.b.t. de cache. Heeft dat hiermee te iets maken?
In vergelijking met een totale storage zit je gelijk aan de kosten van EMC. Wido, welke LSI controller heb je in de configuratie opgenomen?Heb er nu een SuperMicro ding in zitten: AOC-USAS-L8i
Ik vertrek zo richting de CeBIT, daar staat Nexenta ook, eens kijken wat ze daar allemaal nog te vertellen hebben.
MSN gebruik ik al een hele tijd niet meer, daar hebben we XMPP voor :)
Maar in wat voor een omgeving draai je het? Ik zit nu te denken aan:
- 11x 500GB SAS 7200RPM (10 in RAIDZ + hotspare)
- 2x Intel X25-M 80GB voor ZIL
- 2x Intel X25-M 80GB voor L2ARC
- 1x Intel X25-M 80GB voor Nexenta
- 32GB DDR3
- AMD Opteron 6128 CPU (8 core, 2.1Ghz)
- LSI SAS controllers
Dit draait bij mij nu prima op snelheid, het doet gewoon wat ZFS hoort te doen.
Ik ben echter benieuwd naar de Nexenta support. Vertrouwen heb ik opzich wel in ZFS, maar ik heb nu al twee mails richting Nexenta gestuurd, na een week nog geen reactie.
We denken aan de Gold license, maar ik wil mijn geld wel richting een betrouwbaar bedrijf sturen.
Wido, advies is dat je het OS niet op een single SSD moet laten draaien, heb vele SSD schijven zien crashen. Wij installeren en supporten onder andere Nexenta.....
Ik heb zelf ook een tijdje met Nexenta gespeeld, maar nu de Oracle deal rond is is het wat vaag rond Solaris en weet ik eerlijk niet hoe het in de toekomst zit met de solaris development. Solaris 11 is weer volledig closed source en er is een source splitoff, maar of die echt leefbaar is op langere termijn ....
Dit is uiteindelijk onze config geworden:
- 16x 1TB SAS2 Seagate constellation (beste config zijn we nog aan het testen)
- 2x Intel X25-M 80GB (Nexenta raid 1)
- 1x Intel X25-M 80GB (L2ARC)
- 1x OCZ Vertex 2 Pro 50GB (ZIL)
- 48GB DDR3
- Intel Xeon E5620
- LSI SAS 9211-i8
Deze wordt twee maal uitgevoerd met de HA optie van nexentastor. Overigens de reden dat we voor OCZ als zil hebben gekozen is dat deze supercap heeft. De zo geliefde x25-e heeft dit niet.
Hoe ga je hem gebruiken?
We zijn er achter gekomen dat bij ISCSI verkeer een ZIL eigenlijk weinig nut heeft (omdat de ZIL standaard niet word gebruikt, of je moet de write back cache uit zetten, maar uiteindelijk is het langzamer)
Daarnaast heb je 1 disk voor je ZIL, als deze crasht dan is de kans groot dat je data corrupt raakt, aangezien jullie hem HA configgen neem ik aan dat de data wel belangrijk is.
Hoe ga je hem gebruiken?
We zijn er achter gekomen dat bij ISCSI verkeer een ZIL eigenlijk weinig nut heeft (omdat de ZIL standaard niet word gebruikt, of je moet de write back cache uit zetten, maar uiteindelijk is het langzamer)
Daarnaast heb je 1 disk voor je ZIL, als deze crasht dan is de kans groot dat je data corrupt raakt, aangezien jullie hem HA configgen neem ik aan dat de data wel belangrijk is.
We gaan de storage gebruiken voor onze cloud omgeving. De nodes maken via ISCSI gebruik van de opslag. Overigens wordt in zone A redundante uitgevoerd en zonde B ook. Dus 4 omgevingen totaal.
Heb je statistieken waaruit blijkt dat de nexenta slechter presteert met ZIL? Als de ZIL overigens crash, dan moet dit niet uitmaken. Enkel de performance zal op dat moment droppen.
Afaik is je data weg cq corrupt als je ZIL disk stuk is. Dat was het in mijn testopstelling in ieder geval wel toen ik de SSD stuk maakte. Om die reden heb ik hem op ons ZFS volume (dat we gebruiken voor backups) maar gewoon weggelaten. Of je moet ze weer in raid zetten uiteraard (maar daar had mijn chassis geen ruimte meer voor)
Afaik is je data weg cq corrupt als je ZIL disk stuk is. Dat was het in mijn testopstelling in ieder geval wel toen ik de SSD stuk maakte. Om die reden heb ik hem op ons ZFS volume (dat we gebruiken voor backups) maar gewoon weggelaten. Of je moet ze weer in raid zetten uiteraard (maar daar had mijn chassis geen ruimte meer voor)
ZIL heb je bij ZFS sowieso ook als er geen aparte disk voor is. Sinds ZFS v19 moet hoeft de ZIL disk niet meer in mirror. Zoals o.a. hier valt te lezen: http://kerneltrap.org/mailarchive/freebsd-fs/2010/9/17/6884955
Ik zal dit in elk geval nog eens gaan testen.
http://kerneltrap.org/mailarchive/freebsd-fs/2010/9/17/6884955
You will lose any data that was
in the ZIL, but the pool will be intact.
Klinkt niet erg geruststellend.
Als in: je ZFS bestandssysteem zelf is niet corrupt, maar als er de laatste 5 seconden iets synchroon was weggeschreven, is die data foetsie.
Klinkt niet erg geruststellend.
Als in: je ZFS bestandssysteem zelf is niet corrupt, maar als er de laatste 5 seconden iets synchroon was weggeschreven, is die data foetsie.
Dit risico is nog te overzien. Het lijkt me vele malen minder desastreus als het kwijt raken van je gehele bestandssysteem.
Dit risico is nog te overzien. Het lijkt me vele malen minder desastreus als het kwijt raken van je gehele bestandssysteem.
Tuurlijk is het kwa schaal minder erg.
Echter als dit als een acceptabel verlies wordt gezien, kan je ook overwegen om ZIL helemaal uit te zetten.
Beetje een afweging van waarvan de kans groter is, een stroomstoring of dat de OCZ het begeeft.
RMA rate van OCZ SSDs is gestegen naar 3,5% in het laatste hardware.fr overzicht (http://www.hardware.fr/articles/831-7/taux-pannes-composants.html)
roel@s3s.be
12/05/11, 15:47
Geachte gebruikers van Nexenta,
Ik maak jullie er graag even op attent dat hardware een héél belangrijk onderdeel is van een goede Nexentastor oplossing. ZFS levert fantastische voordelen op en performantie, maar er dient héél duidelijk te worden gesteld dat dit geen plug & play oplossing is zoals daar zijn van Open-E en OpenFiler. Een goede afstelling van hardware met betrekking tot de drivers en firmwares is uitzonderlijk belangrijk. Het gebruik van niet gecertifieerde SSD's zoals OCZ kunnen andere problemen veroorzaken die niet direct naar boven komen. Een volledige lijst van onderdelen is beschikbaar via www.nexenta.com, Aangaande HA functionaliteit moet je zeker een goeie partner kiezen die u lokaal ondersteuning kan geven, dit is niet een 1-2-3 klaar oplossing. Een volledige lijst met Nexenta partners is tevens te vinden op www.nexenta.com, die kunnen u zeker en vast goed helpen en ze zijn vertegenwoordigd in bijna alle landen van Europa. Om Nexenta partner te worden dient men minstens 3 gecertifieerde techniekers te hebben en bewezen omzet.
Vandaag hebben we met Nexenta een Proof-of-concept gemaakt op basis van een Metro-cluster tussen twee datacenters (zonder gebruik te maken van TCP/IP of iSCSI) Deze oplossing biedt de mogelijkheid om VM's tussen twee datacenters te verhuizen en tevens alle data 100% synchroon te hebben tussen beide datacenters. Performantie hierbij hangt af van de link tussen beide, in de proof of concept is dit 10Gbit fibre over een afstand van 35KM. Indien gewenst kunnen jullie vragen posten en zal ik die proberen te beantwoorden hieromtrent in deze post.
Als laatste, Nexenta 4.0 zal de kernel hebben Illumos genaamd (Q4 2011), dewelke enkel de opensource code bevat van ZFS en die totaal niet meer afhankelijk is van SUN/ORACLE. De volledige ontwikkeling is in handen van Illumos, waarbij Nexenta natuurlijk één van de partners is :-) meer info : https://www.illumos.org/
Nexenta is ook downloadbaar als gratis editie, maar hou er aub rekening mee dat dit geen stable final ondersteunde versie is, elk gebruik ervan is op uw eigen verantwoordelijkheid en troubleshooten doe je via Google :-), de bedoeling van dit is louter development & testing, dus geen productie omgevingen...
mvg
R.
Het gebruik van niet gecertifieerde SSD's zoals OCZ kunnen andere problemen veroorzaken die niet direct naar boven komen.
Roel,
Zelf diverse contacten gehad met Andy Bennett van Nexenta. Deze adviseerde inderdaad de X25E net zoals jullie. Echter deze hebben geen supercap. In mij komt dan de vraag op waarom deze dan zo gepusht wordt gezien de consequenties van een powerloss op deze SSD?
Zoals hierboven aangegeven heb ik inmiddels gekozen voor OCZ vertex 2 pro gezien deze wel supercap heeft. Drive werkt overigens, alleen staat inderdaad niet op de lijst http://www.nexenta.com/corp/images/stories/pdfs/hardware-supported.pdf.
De X25E is SLC, wat normaal gesproken gebruikt wordt bij enterprise storage.
De X25E is SLC, wat normaal gesproken gebruikt wordt bij enterprise storage.
SSD's met SLC zonder supercap hebben de zelfde problemen bij powerloss ;-). Dus om dan 400+ euro voor een x25-e neer te leggen zonder supercap. Alles moet enterprise zijn bij nexentastor, maar om dan een SSD te pushen zonder supercap vind ik onverantwoordelijk.
roel//s3s.eu
30/05/11, 00:41
Beste Serveo,
intussen is de Intel X25-E lange tijd achterhaald en is het vooral STEC en binnenkort waarschijnlijk Toshibe eSSD die met SAS interface de klok zal slaan. Toshiba komt binnen vanaf 1500$, een STEC tel je het dubbel .
De reden voor die keuze van Intel SSD lag voor de hand toen Sun die gebruikte, enterprise storage vendors gebruiken eSSD van STEC, Pliant, .... wat 10 x de prijs is en ook 90 000 IOPS levert, (een intel SSD 20.000) en komen met SAS en tevens supercap.
mvg
Heb je statistieken waaruit blijkt dat de nexenta slechter presteert met ZIL? Als de ZIL overigens crash, dan moet dit niet uitmaken. Enkel de performance zal op dat moment droppen.
Nope, ik heb er geen statistieken van,
maar in onze setup zagen we in de grafieken dat de ZIL niet gebruikt werd, na wat onderzoek (je komt t ook tegen op de nexenta forums) maar een support case aangemaakt, het is een design keuze om de ZIL bij ISCSI niet te gebruiken wanneer Write Back cache aan staat op het volume, als deze uit staat word de zil gebruikt, maar bij ons was dat langzamer.
Wij hebben onze Nexenta omgeving inmiddels draaien (nog niet in productie), maar daar ook gekozen voor de STEC SSD's voor de ZIL, puur vanwege performance redenen.
Wido, semi off-topic,... wat is het toekomstpad van Nexenta nu Opensolaris weggevallen is? Hebben ze daar info over?
Wonko, Nexenta is een van de drijvende krachten achter de Illumos http://blogs.nexenta.org/blog/2010/08/03/what-is-illumos-and-what-does-nexenta-have-to-do-with-it/
Wido, en anderen:
Wij hebben in ons Nexenta cluster allemaal webservers (10 TB aan files) welke gelezen en geschreven worden, normaal website gebruik, en dit beginnen we te merken in de performance. Wij hebben op dit moment een 160 GB SSD als cache maar willen er dus SSD's bij plaatsen. Nu komt bovenstaande leverancier met de Toshiba suggestie vanwege de 90K IOPS, echter ik ben zelf van mening dat 100 GB aan 90K IOPS teveel van het goede is omdat het maar 100 GB is, als alternatief voor dat bedrag zouden we 3-4 SSD's van 160 GB aan 20K IOPS ieder (Intel's) kunnen plaatsen: meer cache maar minder IOPS.
Wat is jullie mening.. meer cache (GB's) met minder IOPS of weinig cache (GB's) met meer IOPS?
Hoe veel RAM heb je er in zitten bij die 10TB?
Je hebt dus problemen met je random IOps? Volgens mij kan je met dtrace zien hoe veel data er in de L2ARC bij zou moeten, wat echter niet lukt.
Wellicht dat je deze vraag ook bij Nexenta kan neerleggen, daar zitten wel een paar goede ZFS experts.
Mijn gok is toch gewoon een extra 160GB SSD plaatsen, of meerdere, bijna elke SSD is snel genoeg om random read IOps te regelen.
Hoe veel RAM heb je er in zitten bij die 10TB?
Je hebt dus problemen met je random IOps? Volgens mij kan je met dtrace zien hoe veel data er in de L2ARC bij zou moeten, wat echter niet lukt.
Wellicht dat je deze vraag ook bij Nexenta kan neerleggen, daar zitten wel een paar goede ZFS experts.
Mijn gok is toch gewoon een extra 160GB SSD plaatsen, of meerdere, bijna elke SSD is snel genoeg om random read IOps te regelen.
Probeer anders deze vraag even bij Andy Bennet neer te leggen. Heb je nog wel genoeg vrije slots voor een aantal disks?
Cache is cache, snelheid is belangrijk, niet zozeer de totale capaciteit... In een ZFS is de cache normaal enkel de ZIL, en wordt er dus geen permanente data op gezet.
Ik zou gaan voor IOPS. Bij random write is het IOPS die je wil, niet diskspace.
De vraag is/word inderdaad ook bij Nexenta zelf neergelegd, aantal vrije sloten is geen probleem. Ik zal nog eens dieper in het ZIL verhaal duiken, dat het geen permanente data is, is logisch, maar of je 100 GB snel beschikbaar hebt of 600 GB lijkt mij persoonlijk wel verschil uit te maken, of dit dan tegen 20K of 90K IOPS is lijkt me beide meer dan zat.. hoeveel % van die 90K word nou daadwerkelijk gebruikt?
Ik ga nog eens even googlen, was sowieso benieuwd hoe jullie dit zagen!
Het gaat om lezen, right? Dan heb je niet te maken met de ZIL, maar met je ARC (RAM) en L2ARC.
Heb je al wel een paar SSD's als ZIL? Zo ja, welke? Wij gebruiken daar de STEC ZeusRAM van 8GB, die leveren zo'n 80k write IOps, dat is voor je ZIL wel zo fijn.
Kijk even in je pool overzicht, daar staat bij ons:
mirror groups: 10, caches: 6, logs: 2, spares: 2, devices: 30
We hebben dus 6 caches (L2ARC, 6x160GB) en twee logs (ZIL, 2x8GB).
Als je dus veel lees IOps hebt en daar performance ondervind, dan kan je of je ARC (RAM) uitbreiden of je L2ARC (SSD's).
Zijn het echter allemaal random IOps, dan gaat op een bepaald moment je L2ARC vergroten ook niet meer helpen, want dan zijn alles cold-hits en moet het alsnog van de disk afkomen. Maar wij zien dat ongeveer 30% van alle data ook regelmatig wordt geraadpleegd.
Gebruik je overigens compressie? Dat aanzetten kan je een flinke performance boost opleveren. Hoewel je CPU meer werk te doen heeft, hoeft er minder van de disk te worden gelezen en dat scheelt tijd.
hrodenburg
17/06/11, 13:31
@DutchTSE: Hoeveel RAM heb je er nu inzitten? Extra ram doet het natuurlijk ook goed als cache. En heb je dedup aan of uit staan?
Er zit nu 24 GB aan ram in, extra ram werkt uiteraard altijd goed, maar dan moet het SAN uit en dat geeft downtime. Daarom eerst de SSD's uitbereiden aangezien daar ook winst te behalen is. Wij zijn ooit begonnen met dedup ingeschakeld maar hebben dit uitgezet omdat er helemaal geen performance meer overbleef, vervolgens alle data gevmotioned zodat er nu niets 'gededupped' is.
Onze ZIL doet helemaal niets volgens de disk stats, dit schijnt een bug te zijn in de Intel firmware aldus S3S.. Verder 1x 160 GB als L2ARC en die willen we dus gaan uitbereiden. Onze settings per zvol:
Blocksize: 32K
Compression: off
Checksum: on
Deduplication: off
Ik zou sowieso compression aanzetten :) ljzb gebruiken, geen gzip.
hrodenburg
21/06/11, 09:56
Dedup heb ik ook slechte ervaringen mee. Het lijkt leuk, maar dat is het meestal niet door alle bijkomende ellende. Even wat zitten lezen over lzjb compressie en dat klinkt inderdaad dan weer wel interessant.
Ik ben verre van een Nexenta expert, maar is het niet zo dat je write cache op je initiators aan hebt staan? Want dan wordt je ZIL niet gebruikt. Dat is bij mij namelijk het geval. Verder is 24gb ook weer niet heel weinig, dus lijkt mij uitbreiding van je ssd wel logisch inderdaad.
En uit interesse, welk merk/type SSD gebruik je als L2ARC device?
Dedup heb ik ook slechte ervaringen mee. Het lijkt leuk, maar dat is het meestal niet door alle bijkomende ellende. Even wat zitten lezen over lzjb compressie en dat klinkt inderdaad dan weer wel interessant.
Ik ben verre van een Nexenta expert, maar is het niet zo dat je write cache op je initiators aan hebt staan? Want dan wordt je ZIL niet gebruikt. Dat is bij mij namelijk het geval. Verder is 24gb ook weer niet heel weinig, dus lijkt mij uitbreiding van je ssd wel logisch inderdaad.
En uit interesse, welk merk/type SSD gebruik je als L2ARC device?Welke write-cache bedoel je? Standaard flushed ZFS constant naar de disks, als je daar een ZIL bij hebt, dan levert je dat veel performance op.
Daarom is een snelle ZIL bij ZFS zo belangrijk, om die cache flushes constant te kunnen verwerken.
hrodenburg
21/06/11, 10:25
Ik bedoel de write back cache, wat ook al eerder genoemd is in dit thread.
Nope, ik heb er geen statistieken van,
maar in onze setup zagen we in de grafieken dat de ZIL niet gebruikt werd, na wat onderzoek (je komt t ook tegen op de nexenta forums) maar een support case aangemaakt, het is een design keuze om de ZIL bij ISCSI niet te gebruiken wanneer Write Back cache aan staat op het volume, als deze uit staat word de zil gebruikt, maar bij ons was dat langzamer.
om dit topic eens een schop te geven...
Ik lees veel over de compression op je zvol's aan te zetten, nu komt er binnenkort een nieuw volume bij, dus dat is makkelijk, maar is het bij een bestaand volume echt zo simpel als compression aanzetten?
ik neem aan dat het enige tijd duurt voordat hij alles omgezet heeft, of dat hij dit stukje bij beetje doet (wat hij veranderd comprest hij direct) iemand een idee?
om dit topic eens een schop te geven...
Ik lees veel over de compression op je zvol's aan te zetten, nu komt er binnenkort een nieuw volume bij, dus dat is makkelijk, maar is het bij een bestaand volume echt zo simpel als compression aanzetten?
ik neem aan dat het enige tijd duurt voordat hij alles omgezet heeft, of dat hij dit stukje bij beetje doet (wat hij veranderd comprest hij direct) iemand een idee?Ja, aan zetten!
Ik raad je wel aan naar 3.1.1 te upgraden overigens.
Als je compression aanzet doet hij NIETS met de bestaande files, ze worden pas compressed wanneer ze opnieuw geschreven worden. Als een file dus nooit veranderd zal er ook niets compressed aan worden.
Die upgrade naar 3.1 wilde ik binnenkort inplannen, echter is t bij nexenta weer vaag geregeld daar op de normale nexenta.com (we gebruiken een enterprise licentie voornamelijk om terug te kunnen vallen op support) er niets over te vinden is.
edit: alles gevonden, gewoon upgraden vanaf de console en de update is wel beschikbaar.
hrodenburg
24/08/11, 18:21
Ik gebruik de community versie Nexenta Core. Of het dus bij de commerciele versie ook zo werkt weet ik niet. MAAR....
Onlangs heb ik ook 1 van onze servers geupgrade. Na deze update kun je ook je zpool versie bijwerken. Echter, als je dat ook voor je syspool doet, moet je daarna wel weer even de bootloader opnieuw installeren (voordat je reboot). Als je namelijk anders reboot, boot je server niet meer, en moet je met de livecd van bijv. OpenIndiana aan de slag. Dit omdat de ingebouwde rescue console van nexenta niet de nieuwere zpool versie ondersteund.
Ik had dus al deze fout gemaakt. Niet echt een drama, maar wel weer een geklooi met booten van de cd en de bootloader fixen.
In deze thread staat meer informatie: http://nexenta.org/boards/1/topics/2670
Wees gewaarschuwd dus :)
Wij hebben van de week ons RAM moeten uitbreiden van 24GB naar 96GB RAM (al had 48GB ook gewerkt).
We hebben 6 Intel X25-M 160GB SSD's als L2ARC, maar daar gebruikte we er maar 4 van. Elk blok in je L2ARC vereist ook een 4k pointer (onze blocksize) in je RAM. Bij 600GB RAM gebruikte wij hierdoor ruim 12GB aan pointers, met de ARC en het overige RAM gebruik werd dat ineens erg krap..
OOM meldingen begonnen ons om de oren te vliegen. We hadden dit al aan zien komen en het geheugen stond in bestelling. Maar je zal altijd zien dat het te laat komt ;)
Met 96GB draait het een stuk soepeler, we gebruiken nu met 2.6TB aan data op het platform al 34GB aan RAM. We zijn nog verder aan het migreren dus het RAM gebruik zal alleen nog maar stijgen.
Uiteraard gaat er veel richting de ARC, maar pas op met je L2ARC! Een L2ARC kost ook RAM!