Onderwerp: Ervaringen met NAS systemen

Nee, wij redden het prima met performance.

We doen iets van 15k IOps over de NFS, dat gaat prima.

Verder hebben wij maximaal 4Gbit naar buiten toe, een NS504 (ons headend) heeft namelijk 4x Gbit koper.

Intern is het meen ik wel 2Gbit, maar dat is per shelf. Echter komt bij ons het meeste uit de cache van de NS504, de disks worden dus niet voor elke request aangesproken.

Voor ons voldoet het in principe prima.

Oorspronkelijk geplaatst door Wido

Klopt, je kan niet zo even je eigen disks er in stoppen.

Bij EMC heb je lifetime warranty op je eschijven, gaat er 1 kapot? Zij komen hem direct vervangen voor je.

Daar betaal je echter wel voor. Wij hebben een uitbreiding gepland staan voor nog eens 15x 300GB FC schijven, die zijn dus wel een mooie 1300 euro per stuk, dan nog niet in de prijs meegenomen de shelf waar de disks in moeten.

Ja kan dus niet even je eigen disks er in stoppen, dat accepteren ze niet.

Klinkt redelijk en logisch idd.

De CX300 met 5 x 146Gb FC2 kost ongeveer net zoveel als mijn auto. Dit is voor ons dus momenteel iets teveel van het goede om 2 a 3 machines VDS'en te laten delen om Live Migration mogelijk te maken.

Van Dell heb ik nu een andere optie voorgeschoteld gekregen: NX1950+MD3000 en 2 Gbit switches. Dat kost de helft, maar doet wellicht ook minder aan performance.

Iemand ervaring met deze config? Het budget zal 10-14k zijn. Wellicht dat iemand een tip heeft wat de beste prijs/prestatie config is voor dit budget?

Ik vond dat op zich ook wel een aardige, die NX1950 (heb ik een offerte voor) maar het is een iets meer Dell zelfbouw oplossing dan zo'n EMC SAN. Maar ook goedkoper natuurlijk.

Ik denk dat dat best een aardige oplossing is voor het budget wat je hebt. Bovendien was 't alsnog behoorlijk rap, praat 't NFS en iSCSI tegelijk en zit 't simpel in elkaar.

Alleen jammer dat die 1U servers allebei windows draaien..

Ik denk dat je aan die Dell PowerVault zeker geen miskoop zal doen, ik ben alleen benieuwd wat er aan OS op draait.

Voor 2 a 3 machine's zou ik persoonlijk ook niet gaan voor een systeem van EMC, dat pakt erg duur uit, ik denk dat zoiets op termijn pas interessant is.

Oorspronkelijk geplaatst door Wido

Ik denk dat je aan die Dell PowerVault zeker geen miskoop zal doen, ik ben alleen benieuwd wat er aan OS op draait.

Het zijn 2 Dell 1950 servers met *kuch* Windows Server Unified Storage Edition *kuch* via SAS kabels verbonden met een MD3000 disk cabinet. Die windows bakken praten dan iSCSI, NFS, CIFS, enzo.

Dat disk cabinet kun je krijgen met SATA en SAS (misschien ook wel FC).

Gelukkig merk je als 't goed is weinig van de Windows core en krijg je er gewoon een beheer tool bij waarmee je alles kunt gaan inrichten.

Ja, ok. Ik denk dat het prima draait, echter zal de performance stukken minder zijn.

De enterprise systemen hebben ontzettend slimme caches waardoor je zulke performance kan halen.

Maar NFS vanuit een Windows box? Dat vind ik wel knap, ik dacht dat NFS niet zo lekker draaide met Microsoft spul.

Maar verder denk ik nog steeds dat de performance hoog genoeg zal zijn voor 2 a 3 machine's die wat VDS'en draaien.

Al moet je niet verwachten dat je constant een Gbit dicht kan zetten.

NFS onder windows draait op zich wel goed hoor, ik heb een klant met Linux webservers en Dell NAS systemen die op Windows draaien.

Da's 't probleem niet. Ik zou alleen in mijn eigen serverpark geen kritische windows dozen willen gebruiken. Maar da's meer een principe verhaal omdat ik niet over Windows server te spreken ben.

Op dit moment overweeg ik sterk om op basis van een SuperMicro SC933E1 en een X7DB3 board met een 16 of twee maal een 8 poorts RAID kaart een systeem te bouwen met Open-E en afhankelijk van de groei van het platform komend jaar of het jaar erop alsnog voor een EMC CX3-10/20 te gaan.

Aangezien ik reeds over het nodige FB-667 geheugen en SAS schijven beschik, is dit een relatief goedkope optie. Daarbij kan ik dan een SC933T wegzetten met en x aantal 500 of 750Gb SATA schijven voor backups.

Als je alle toeters en bellen van een EMC niet nodig hebt zou ik daar ook geen geld aan uit geven.
Je zou ook Dell kunnen bellen en bijvoorbeeld op basis van een MD1000 werken, dan heb je in ieder geval je disk array zo ver mogelijk redundant uitgevoerd en je kan hem makkelijk uitbreiden. Ik neem aan dat ze best kunnen accepteren dat je daar je eigen schijven in stop.

Oorspronkelijk geplaatst door FransVanNispen

Op dit moment overweeg ik sterk om op basis van een SuperMicro SC933E1 en een X7DB3 board met een 16 of twee maal een 8 poorts RAID kaart een systeem te bouwen met Open-E en afhankelijk van de groei van het platform komend jaar of het jaar erop alsnog voor een EMC CX3-10/20 te gaan.

Aangezien ik reeds over het nodige FB-667 geheugen en SAS schijven beschik, is dit een relatief goedkope optie. Daarbij kan ik dan een SC933T wegzetten met en x aantal 500 of 750Gb SATA schijven voor backups.

Wij hebben ook een SuperMicro draaien met daarin 15x 500GB en een Open-E enterprise.

Daar ben ik totaal niet tevreden over. De snelheden zijn ok, maar de stabiliteit niet echt.

Vaak komen wijzigingen uit de webinterface niet door, dan moet je het systeem rebooten voordat ze actief zijn.

Daarnaast vind ik de webinterface van Open-E niet fijn werken, erg onlogisch allemaal.

Wij draaien daar vooral SMB en NFS op, iSCSI gebruiken we niet vanaf dat ding.

Is er misschien andere software die eenvoudig vanaf een flash draait? FreeNAS misschien een optie?

Als Open-E instabiel is, is het absoluut geen optie voor een SAS array. Voor de backup server overigens ook niet, want ik zie geen FTP ondersteuning op de site staan.

Ik heb ook wel zitten denken aan zo'n Supermicro oplossing (Al zie ik daar bij deze vanaf :P) maar je mist dan:

- Redundancy
- Schaalbaarheid
- Echte power
- Extreme stabiliteit.

Als ik mijn hele hosting core op een storage platform ga zetten dan mag hij simpelweg nooit uitvallen. Doet 'ie dat wel dan stort alles in.

Daarom toch maar zo'n SAN oplossing die 100% redundant is.

Ze sluiten (m.b.v. ingebouwde UPS'jes) zelfs netjes af als beide powerfeeds weg zijn (for some reason).

Ik dacht iets te bouwen met 2 freebsd dozen en dan een shared diskarray (scsi of sas).
Failover dan doen door heartbeat, valt de ene node uit mount de andere de diskarray en start de NFS services (met locking).

Als de clients dan NFS over UDP gebruiken heb je ook niet echt problemen met hangende connecties.

Op het niveau van een EMC komt het zeker niet maar als instap wel een goede oplossing denkik.

Maar wat nu als je NIC faalt waardoor heartbeat in failover gaat? Dan gaan in 1x 2 dozen tegen een blockdevice praten, dat gaat gegarandeerd voor datacorruptie zorgen.

Ik heb het laatst getest, 2 machines tegelijk laten schrijven op een ext3 filesystem over iSCSI, nou, dat filesystem was zo rot als het maar kon daarna.

Dat wil je denk ik niet met een productie filesystem.

Ik heb vorig jaar ook alle opties bekeken, Open-E met iSCSI, Clustered Filesystem (GFS), een EqualLogic SAN met daarvoor Linux NFS dozen, maar er zaten in alle wat gevaren.

FreeNAS ken ik verder niet, dus daar kan ik niets over zeggen.

En wat als het kapot gaat? Wat dan? Heb jij even een nieuwe RAID controller op voorraad e.d.?

Ik zeg nu niet direct dat je een enterprise platform moet gaan kopen, maar denk er goed over na.

Je betaald niet alleen voor de hardware, maar ook voor die SLA waarin binnen 4 uur je hardware vervangen is, die support die er 24/7/365 is.

Zo maar even een goede SAN/NAS bouwen doe je niet, het kan op zo veel punten fout lopen.

EDIT

Kijk hier eens naar: http://crew.pcextreme.nl/~wido/img/san_nas.png

Dat ziet er mooi uit, je SAN dubbel, je NAS dubbel.

Maar denk hier aan:
* Hoe ga je je SAN realtime laten syncen?
* Hoe ga je vanaf de fallback SAN terug syncen naar de master zodra deze weer up komt?
* Hoe doe je dit zonder downtime of andere problemen?
* Wat als er om een of andere reden een failover komt op je NAS systemen en deze met zijn 2'en naar de iSCSI gaan schrijven?

Dat zijn gevaarlijke situaties die je niet wil in je productie-omgeving.

Stel iemand trekt de cross-cable tussen beide NAS'en uit, dan komt er een failover, met alle gevolgen van dien.

Zo kan het allemaal prima draaien, maar het kan ook grandioos fout gaan.

Oorspronkelijk geplaatst door Wido

Maar wat nu als je NIC faalt waardoor heartbeat in failover gaat? Dan gaan in 1x 2 dozen tegen een blockdevice praten, dat gaat gegarandeerd voor datacorruptie zorgen.

Nu de praktische uitwerking is natuurlijk een ander punt, al wou ik mijn heartbeat sowieso over serial laten gaan.

Tis ook niet om te gaan concurreren met een EMC, maar een zulke oplossing kan je wel al bouwen vanaf +-5k en lijkt me dus wel een mogelijk alternatief bij laag budget (zolang je natuurlijk inhouse kennis hebt voor het beheer van *NIX systemen).