Onderwerp: SAN gezocht

Hallo,

Ik ben me op dit moment rustig aan het oriënteren op een SAN met SSD caching.
Dit voor centrale opslag van een aantal virtuele machines die draaien met Proxmox.

Ik ben hier niet zo in thuis en ik zou graag wat advies willen. In beginsel ben ik ook op zoek naar een niet al te dure oplossing, als dit later echter goed voor ons werkt zou het budget natuurlijk vergroot kunnen worden, of als er heel duidelijke meerwaarde is voor een duurdere oplossing.

Ik heb allerlei oplossingen voorbij zien komen, onder andere bijvoorbeeld kant en klare oplossingen zoals Dell equallogic, maar ook 3U supermicro servers die als SAN gebruikt worden.

Waar zouden jullie in dit geval voor kiezen?

Is het slim om één duurdere SAN te nemen die op alles dubbel uitgevoerd is, of zouden jullie eerder gaan voor 2 aparte SAN's die naar elkaar repliceren?

In geval van een niet kant en klare oplossing, maar een storage server van bijvoorbeeld Supermicro, welk OS zouden jullie dan adviseren en welke manier dit laten verbinden met Proxmox? Kan de SSD caching worden verzorgd door de software of is er een dure raid controller nodig?

Ik hoor het graag!

Hebben ooit FreeNAS gedraaid (op een USB stick) in een SuperMicro server, ZFS icm SSD caching.
Werkte vlot, was stabiel en tevens erg makkelijk te configureren via de GUI. FreeNAS geven nu ook
gratis webinars, handig om de GUI en configuratie aan te voelen.

Replicatie naar een 2de FreeNAS is ook makkelijk in te stellen en de kostprijs ligt ook relatief laag.

En hoe verbinden jullie dit dan naar de nodes? NFS of iscsi of is GlusterFS een betere optie?

Er zijn wel honderden overwegingen te bedenken met honderden voor of nadelen, allemaal weer afhankelijk van je eigen ervaring en wat je wilt, en voor alles kan je weer scenario's bedenken... De keuze om te connecten naar je hypervisor hangt vooral af van de gekozen hypervisor, vmware is het NFS of Iscsi, Hyper-V is het alleen maar iscsi.

Een van de goedkoopste dingen die je kan gebruiken is ZFS gebasseerd, hier kan je simpelweg uit de goedkoopste hardware een goed performend systeem krijgen, echter vergt dat wel wat kennis op BSD/linux (afhankelijk van je distro) gebied om dit goed te beheren, je kan een setje goede SSD's pakken voor je schrijf (log) cache en goedkopere SSD's om de read's te cachen em eem aamta; raid6's met grote sata TB disken voor de bulk te hebben.
Vervolgens kan (indien dit voldoende voor je is) je een 2e machine voor replica gebruiken en heb je een redelijke setup draaien.
De sizing van de machines is dan weer afhankelijk van je eisen, maar pak je een wat grotere behuizing waar je lege hot-swap bays in hebt en je kan bij groei altijd disken, ssd's's en ram geheugen toevoegen om alles te laten versnellen

Het andere uiterste zijn de grote systemen van de grote jongens, maargoed, dan praat je weer over hele andere bedragen...

Wat wij zelf een fijne tussenweg vonden is Open-E DDS, ja het heeft beperkingen (zoals ssd caching gebeurt op de LSI raid controller, geen ram caching etc), maar de software is relatief goedkoop (en je krijgt er support op), en het kan een active-active setup aan (replica was voor ons niet voldoende)

En hoe zouden jullie de replicatie inrichten? Ik lees dat glusterfs erg goed werkt en simpel is, maar alleen erg traag. En dat drbd een stuk sneller is maar complexer. Of is het ook in orde als je bijvoorbeeld elke nacht een backup maakt van je centrale storage? Ik neem dat realtime synchroniseren wel het slimst is..

Wij hebben hier die oefening een anderhalf jaar geleden ook gemaakt

-> Er zijn genoeg opensource alternatieven te vinden: freenas, openfiler.. op zich leuk om mee te spelen maar we wilden hier geen productiesysteem op draaien, er zijn teveel afhankelijke factoren in de ketting (hardware vendor, software vendor..)

-> Daarnaast zijn we gaan kijken naar Open-E en Nexanta, op zich wel leuk spul maar hun wijziging in licentiestructuur maakte het voor ons niet echt interessant, we hebben hiervoor contact gehad met Ahead-It

-> We zijn dan ook gaan kijken naar Equallogic / HP MSA /... systemen, systemen die op het eerste zich duur 'lijken'..

Uiteindelijk is voor ons de keuze gevallen op een MSA2040

-> Volstaat momenteel perfect voor onze omgeving
-> Kan uitgebreid worden met SATA/SAS/SSD disken zodat je tiered storage creert
-> Momenteel volstaat gigabit op iSCSI voor ons, op termijn zal dit ongetwijfeld 10gigabit worden, de upgrade is hier zeer eenvoudig: SFPs wisselen en klaar (vroeger was het de hele controller)
-> Alles zit bij 1 software vendor

Op zich was het een dure aankoop, maar achteraf gezien ben ik er wel heel blij mee, het is bij manier van spreken uit de doos halen insteken en het werkt , heb je problemen bel je naar 1 nummer en wordt je niet naar het kastje van de muur gestuurd omdat het wel niet aan de software ligt maar aan de hardware...

Bedankt voor jullie reactie.
Werken jullie met 1x deze SAN of hebben jullie nog een fallback oplossing of iets dergelijks?

Oorspronkelijk geplaatst door bibawa

Wij hebben hier die oefening een anderhalf jaar geleden ook gemaakt

-> Er zijn genoeg opensource alternatieven te vinden: freenas, openfiler.. op zich leuk om mee te spelen maar we wilden hier geen productiesysteem op draaien, er zijn teveel afhankelijke factoren in de ketting (hardware vendor, software vendor..)

-> Daarnaast zijn we gaan kijken naar Open-E en Nexanta, op zich wel leuk spul maar hun wijziging in licentiestructuur maakte het voor ons niet echt interessant, we hebben hiervoor contact gehad met Ahead-It

-> We zijn dan ook gaan kijken naar Equallogic / HP MSA /... systemen, systemen die op het eerste zich duur 'lijken'..

Uiteindelijk is voor ons de keuze gevallen op een MSA2040

-> Volstaat momenteel perfect voor onze omgeving
-> Kan uitgebreid worden met SATA/SAS/SSD disken zodat je tiered storage creert
-> Momenteel volstaat gigabit op iSCSI voor ons, op termijn zal dit ongetwijfeld 10gigabit worden, de upgrade is hier zeer eenvoudig: SFPs wisselen en klaar (vroeger was het de hele controller)
-> Alles zit bij 1 software vendor

Op zich was het een dure aankoop, maar achteraf gezien ben ik er wel heel blij mee, het is bij manier van spreken uit de doos halen insteken en het werkt , heb je problemen bel je naar 1 nummer en wordt je niet naar het kastje van de muur gestuurd omdat het wel niet aan de software ligt maar aan de hardware...

Wij werken momenteel met 1 MSA2040, dat is een afweging die je moet maken, in zo'n MSA is alles al redundant, het enige wat er echt fout kan lopen is de backbplane.. Maar daar zijn we dan weer gecoverd door een 4U care pack..

Ik heb net even in mijn oefenomgeving het volgende opgezet

Freenas met ZFS en SSD cache verbonden via NFS naar 2 proxmox nodes.
Werkt erg goed, HA werkt ook.
Performance was wel wat minder, maar na het uitzetten van synchronous writes op ZFS ging dit een stuk beter, zal nog wel goed even de gevolgen hiervan moeten bekijken. Weten jullie dit zo?

Ga het ook eens met iscsi ipv NFS testen.

Wij hebben een stuk of 20 FreeBSD ZFS servers draaien (geen Free/TrueNAS maar zelf ingericht dmv Puppet). Voordeel is dat we FreeBSD 10.x draaien, waarin veel ZFS optimalisaties zitten, en geen nutteloze GUI erbij hebben. Werkt perfect, afgelopen jaar alle servers 100% uptime en beschikbaarheid van de bestanden.

Wij gebruiken uitsluitend Huawei servers, waarin in 2HE - 26 slots zitten (24 front, 2 rear). We gebruiken SAS schijven voor de storage + SSDs voor de ZIL/L2ARC. Wij schrijven alles synchroon weg. Performance is erg goed.

Uitzetten van sync is een slecht idee. Als de stroom dan uitvalt ben je de dirty data kwijt. Afhankelijk van je instellingen is dat meestal iets tussen de laatste 5 en 30 seconden. ZFS is on-disk altijd consistent, maar je applicatie kan dus wel corrupt worden als dit gebeurd.

En hebben jullie dit als centrale storage of direct alles op die servers draaien?

Tot nu toe is mijn test met NFS een heel stuk sneller dan ISCSI...

Een groot deel is NFS (omdat we dezelfde data vanaf verschillende machines tegelijk benaderen, NAS), maar we hebben er ook een paar met iSCSI die VMs serveren. iSCSI zou eigenlijk altijd sneller moeten zijn.

Oorspronkelijk geplaatst door SF-Jeroen

Een groot deel is NFS (omdat we dezelfde data vanaf verschillende machines tegelijk benaderen, NAS), maar we hebben er ook een paar met iSCSI die VMs serveren. iSCSI zou eigenlijk altijd sneller moeten zijn.

Ik heb altijd geleerd dat er nagenoeg geen verschil zit tussen ISCSI en NFS qua performance, gehaal afhankelijk van de hardware, setup en manier van wegschrijven en ack.

Wij kiezen trouwens voor ISCSI omdat dat protocol multipath IO ondersteunt en je mijn inziens daar beter het wegvallen van een netwerkpath mee kan opvangen en de load kan spreiden over meerdere switches.

En voor wat de replicatie van de ene san naar de andere, hoe zou ik dat goed in kunnen regelen? Het zijn natuurlijk allemaal vhd bestanden en deze veranderen constant. Hij moet die dus de hele tijd synchroniseren en dat lijkt me vrij lastig.

Ik zat te denken aan eventueel een 2e san zonder disken neer te hangen en bij een eventuele moederbord crash de disken omsteken en verder draaien. Of anders elke nacht een backup, maar dan kun je dus 24 uur oude gegevens krijgen.

Zijn hier betere methoden voor wat betreft synchronisatie?

ZFS heeft gewoon build-in replicatie (dmv van copy-on-write snapshots + zfs send/receive). Je kan gewoon elke minuut (bijvoorbeeld) een sync doen naar je tweede server.

Performance hangt er natuurlijk vanaf hoe je het inricht. Als je bijvoorbeeld binnen een VM een NFS mount doet naar je data dan is dat vooral heel traag wanneer je veel kleine files hebt. Als je bijvoorbeeld een iSCSI block-device zou attachen binnen die VM en daar je data op zetten geeft dat veel meer iops. Maar kan natuurlijk ook buiten de VM, en er zijn meerdere mogelijkheden.