Bekijk Volledige Versie : SAN welk model, advies!
timmerdanny
29/12/16, 20:17
Hoi WHT,
Na enige ongeluk met een van de eerste server die ik lanceerde zit ik met problemen dat mijn disk (SSD's) niet snel performen. Het model wat ik heb van HP Proliant G9 heeft geen mogelijkheid om RAID controller in te bouwen. Nu heb ik 2 andere servers ook in het datacenter met wel een RAID controller maar zit te twijfelen over een SAN.
Is hier iemand die met een SAN werkt? Mijn huidige set-up is dat ik zo veel mogelijk SSD's in een server prop. Ik verwacht in de toekomst dat ik nog een aantal servers ga plaatsen, het leek mij eens interessant om te kijken naar de mogelijkheden van een SAN. Of is dit iets voor hele grootte bedrijven? Wat ik momenteel draai is ESXi 6.0 met Windows en Linux VPS'en.
Mijn vragen tot nu toe:
Wat voor netwerkapparatuur heb ik nodig met een SAN? Is een gigabit switch voldoende?
Als je met een SAN werkt, rusten jullie de fysieke server dan uit met een RAID controller met HDD's?
Hoe doen jullie dat als de SAN failt?
Wat voor OS draait een SAN?
avanmessen
29/12/16, 20:57
Wij draaien onze VMware datastore op een HP MSA SAN welke tiering (icm SSD) ondersteunt.
Beide VMware nodes zijn rechtstreeks met koper verbonden aan beide controllers, dus iedere
server krijgt 1Gbps via iSCSI met redundantie voor storage communicatie. Ons gebruik is erg
beperkt daar wij geen mega VPS hosters zijn.
Je kan later bvb naar 10GBE overstappen op koper icm een Netgear switch (goedkoop) of het
materiaal rechtstreeks in fiberchannel aansluiten (twee nodes) en later dan een fiberchannel
switch in gebruik nemen als je meer nodes wil aansluiten.
Indien de SAN failt hebben wij een RAID1 in elke VMware node waarop een disaster recovery
machine "slaapt", via deze kunnen we in geval van nood de gewenste machines van de backup
server recupereren. Een SAN is echter volledig redundant opgebouwd om dergelijke situatie te
voorkomen.
Wat voor netwerkapparatuur heb ik nodig met een SAN? Is een gigabit switch voldoende?
Als je met een SAN werkt, rusten jullie de fysieke server dan uit met een RAID controller met HDD's?
Hoe doen jullie dat als de SAN failt?
Wat voor OS draait een SAN?
Wat noem je precies "niet snel performen". Heb je een benchmark met fio gedaan? Waar ligt het probleem? Als je SSDs het zelf niet trekken denk ik niet dat een SAN gaat helpen. Maar het kan natuurlijk ook zo zijn dat je een SAS/SATA-expander in je server hebt zitten die niet genoeg lanes heeft.
Wat voor netwerkapparatuur heb ik nodig met een SAN? Is een gigabit switch voldoende?
Let er wel op dat de latency naar je storage toeneemt als deze over het netwerk moet. Dit gaat flink effect hebben op het aantal iops wat je servers maximaal kunnen halen. Met een 1GE switch kun je maximaal 125 MBps data overzetten, je SSDs kunnen waarschijnlijk meer, dus kom je al snel op 10GE switches uit (of je moet LACP gaan gebruiken, maar dan nog zal het per flow maximaal 125 MBps zijn). Ook is de latency op 10GE een stuk lager (== meer iops).
Als je met een SAN werkt, rusten jullie de fysieke server dan uit met een RAID controller met HDD's?
Fysieke server als in hypervisor? Dat lijkt me erg afhankelijk van wat jij nodig hebt. Ga je alleen je OS erop hosten? Ga je ook ephemeral data lokaal hosten? etc. etc.
Hoe doen jullie dat als de SAN failt?
Overstappen op de 2e SAN (live replicatie) ;)
Wat voor OS draait een SAN?
Bij ons FreeBSD
timmerdanny
29/12/16, 21:12
Ik gebruik momenteel de HP ingebouwde B110i RAID controller (software). Ik merk dat me RAID Array ongeveer de 40 mbits haalt terwijl mijn SSD's de 550 horen te halen. Ik neem aan dat jullie dan software gebruiken als FreeNAS? Mijn budget is momenteel nog niet heel erg groot maar ik zit wel te kijken naar een laatste investering in 2016. Wat voor HDD zet je dan in de fysieke server zelf om ESXi op te draaien? Je VM's draaien dan op de SAN.
Ik gebruik momenteel de HP ingebouwde B110i RAID controller (software). Ik merk dat me RAID Array ongeveer de 40 mbits haalt terwijl mijn SSD's de 550 horen te halen. Ik neem aan dat jullie dan software gebruiken als FreeNAS? Mijn budget is momenteel nog niet heel erg groot maar ik zit wel te kijken naar een laatste investering in 2016. Wat voor HDD zet je dan in de fysieke server zelf om ESXi op te draaien? Je VM's draaien dan op de SAN.
40 Mbit... lezen, schrijven, random, sequentieel? welke blocksize? synchroon?. Misschien is het handig als je even de hele set-up beschrijft: Welk type SSDs, Aantal SSDs, Welk type server (voornamelijk hoeveel lanes per disk & wat is de bandbreedte van elke lane).
Wij gebruiken vanilla FreeBSD met ZFS, daarin zitten dan flinke arrays met SAS-HDDs + SSDs voor de acceleratie.
CharlieRoot
31/12/16, 11:21
Ik gebruik momenteel de HP ingebouwde B110i RAID controller (software). Ik merk dat me RAID Array ongeveer de 40 mbits haalt terwijl mijn SSD's de 550 horen te halen. Ik neem aan dat jullie dan software gebruiken als FreeNAS? Mijn budget is momenteel nog niet heel erg groot maar ik zit wel te kijken naar een laatste investering in 2016. Wat voor HDD zet je dan in de fysieke server zelf om ESXi op te draaien? Je VM's draaien dan op de SAN.
Ik zie niet helemaal in waarom je niet gewoon de raid controller los doet?
www.hp.com/hpinfo/newsroom/press_kits/2014/ComputeEra/HP_SmartStorage_ProLiantGen9_DataSheet.pdf
Ja dat past wel lijkt me, zijn de kosten ook niet.
timmerdanny
31/12/16, 12:37
Ik zie niet helemaal in waarom je niet gewoon de raid controller los doet?
www.hp.com/hpinfo/newsroom/press_kits/2014/ComputeEra/HP_SmartStorage_ProLiantGen9_DataSheet.pdf
Ik heb de HP server: 783361-425. Die werkt nog met SATA kabels naar de disken. Er zit ook geen SAS/HDD backplane in. IK heb al geprobeerd om te upgraden naar de HP SMart Array P440, maar ik kwam met de kabels niet uit. Na langdurig contact met HP bleek dat het model 783361-425 een (aanbieding) model is waar de RAID controller niet in past/compatable is.
Hierbij een benchmark van wat ik nu haal:
https://s27.postimg.org/4r0c25xcz/disks.jpg
Ik heb het vermoeden dat de read snelheid door de cache komt die de server doet. Ik zit te kijken naar de HP P440ar misschien heeft die meer geluk met mijn model. De andere servers heb ik inderdaad geen problemen met de snelheid van de disks, maar die zijn uitgerust met de P440ar.
Ik moet de eerste HP server nog tegenkomen waar geen SmartArray in past.. Dat hij werkt met SATA kabels maakt toch geen jota uit ? Dan koop je er een sata => sas breakout kabeltje bij en klaar :-)
Wij maken momenteel ook nog gebruik van een HP MSA , maar gaan overstappen naar Ceph wat ons overigens zeer goed bevalt en beter performt dan de MSA..
Alles op de C partitie? Windows zet daar standaard de write cache van uit.
wel een vreselijk brakke wite performance hoor.
RAID controller icm met SSD is sowieso niet aan te raden. Al eens naar een ZFS oplossing gekeken? Daarnaast is 10gbe ook geen verkeerde keuze. Me jouw huidige setup kun je zonder 10gbe switch werken.
CharlieRoot
04/01/17, 12:22
Ik heb de HP server: 783361-425. Die werkt nog met SATA kabels naar de disken. Er zit ook geen SAS/HDD backplane in. IK heb al geprobeerd om te upgraden naar de HP SMart Array P440, maar ik kwam met de kabels niet uit. Na langdurig contact met HP bleek dat het model 783361-425 een (aanbieding) model is waar de RAID controller niet in past/compatable is.
Hierbij een benchmark van wat ik nu haal:
https://s27.postimg.org/4r0c25xcz/disks.jpg
Ik heb het vermoeden dat de read snelheid door de cache komt die de server doet. Ik zit te kijken naar de HP P440ar misschien heeft die meer geluk met mijn model. De andere servers heb ik inderdaad geen problemen met de snelheid van de disks, maar die zijn uitgerust met de P440ar.
Deze passen er zonder problemen in
HPE Smart Array P440/4GB with FBWC - Storage controller (RAID)
HPE Smart Array P441/4GB with FBWC - Storage controller (RAID)
Extra aanschaffen:
HPE - SAS interne kabelset
timmerdanny
04/01/17, 13:20
Deze passen er zonder problemen in
HPE Smart Array P440/4GB with FBWC - Storage controller (RAID)
HPE Smart Array P441/4GB with FBWC - Storage controller (RAID)
Extra aanschaffen:
HPE - SAS interne kabelset
Hi Charlie,
Dank voor je antwoord. Helaas heeft HP geen kabelset voor SATA disks. De RAID controller heeft een double-wide-sas connector. HP heeft mij verteld dat er geen kabel is die van double-wide-sas naar sata kabels bestaat. De kabel die te vinden is in de quick specs heeft een double wide <> SAS die je normaal aansluit op een HDD backplane. Helaas heeft mijn server geen HDD backplane. De kabel die er nu in zit is dus een single wide <> sata.
mgielissen
18/01/17, 13:14
Wat is de best practice voor ceph en disks: via een raidcontroller of net als zfs direct de disks aansturen?
De disken rechstreeks op het moederbord.
Wij werken met Dell servers daar moet er een Perc controller in en daar presenteren wij elke disk als RAID0
mgielissen
18/01/17, 19:36
Ok, ceph is (zoals zfs) slim genoeg om te kunnen omgaan met disk failures ed?
We hebben dus de volgende smaken:
- GlusterFS: draait boven op een filesystem, eenvoudig in richten. Mijn ervaring is dat de performance tegenvalt
- NFS via ZFS: ZFS stuurt disks rechtstreeks aan, maar alleen lokaal. Mirror (standby) ZFS server via ZFS sync, loopt telkens iets achter. Performance is goed. Wel 2 aparte storage bakken.
- Ceph: stuurt disks rechtstreeks aan en via netwerk. Geen aparte standby server nodig. Hoe meer disks/nodes hoe beter de performance. Kan op de hypervisor zelf, voorkeur is losse storage.
Dan zou ceph de beste keuze zijn?
Optie 1 en 2 kan ik niet echt , wij draaien nu Ceph ondertussen op ons Proxmox cluster ongeveer 2 maand in productie en ik moet zeggen we hebben er nog geen moment spijt van gehad..
Het grote voordeel vind ik persoonlijk de schaalbaarheid, we zijn bezig met onze vmware cluster te migreren naar het Ceph platform. We zijn initieel gestart met 3 nodes (ceph/proxmox) en in totaal een 12TB storage hoe verder we in het project vorderen en meer noden krijgen aan storage / compute voegen we gewoon een extra R710 bij met 6 disken (4x OSD, 2x SSD) en een 10Gbit kaart en klaar.. We krijgen een hele hoop storage erbij en we zijn niet steenarm..
Ons vmware cluster draait op een traditionele HP MSA iSCSI SAN en als ik de performance vergelijk dan is dat niet half zo performant als dat Ceph Cluster.
Gewoon in het begin ruim de tijd nemen om het concept achter ceph te begrijpen en te leren en vragen te stellen en het concept ook in vraag te stellen.. Vooral het crushmap geheel is echt belangrijk voor een redundante setup van je cluster, daar staat en valt heel je redundantie mee...
Ik zou voor Ceph gaan :-)
mgielissen
18/01/17, 19:56
Voor ZFS moet je disks hebben met dezelfde capaciteit, met ceph kun je volgens mij disks met verschillende capaciteiten door elkaar gebruiken?
bibawa: je doet de storage op de proxmox node zelf?
Inderdaad wij draaien ceph en Proxmox op dezelfde nodes.. Initieel was dit wel handig maar we zien nu wel dat we sneller storage nodig hebben dan compute, toekomstige uitbreidingen zullen dus in eerste instantie gebeuren als ceph only nodes..
Je kan inderdaad disken gewoon mixen, in je crushmap stel je een weight in per disk / capacteit, op die manier is de crushmap ook aware van hoe hij die data optimaal moet verdelen..
Wij maken gebruik van 3PAR (HPE) en ik moet zeggen dat we nooit iets anders meer willen. Je betaald er wel wat voor maar dan heb je ook wat.
Maar als je naar budget moet kijken (wie niet?) dan is dat misschien wel wat te hoog gegrepen voor velen.
Mja dat is natuurlijk ook een optie, maar ik denk voor de doorsnee hoster die echt op zijn prijszetting moet letten dat dat gewoonweg geen optie is ... Ook hou niet zo van de denkwijze die dat soort bedrijven hanteren.. wil je iets dan betaal je ervoor..
Je zou dan ook naar Nimble kunnen kijken, die hanteren dat principe niet alles zit in de licentie inbegrepen en leuk speelgoed ..
't is maar wat je wilt en wilt uitgeven, aan ons is het in ieder geval niet (meer) besteed.. Er draait nu nog 1 HP MSA en die gaat ook de deur uit..
@TS Als je intresse mocht hebben laat maar weten !
Wij draaien Ceph ook op de node zelf. Wel de ondertussen de beroemde 730xd serie, wat zijn dat fijne bakken als je veel spindels wil inzetten en nog ruimte wil hebben voor Journal disken (2x achterkant),lokale backup disken (er kunnen 4 3.5 inch disken intern!) en alle soorten smaken aan de voorkant.
CharlieRoot
24/01/17, 22:00
Wij maken gebruik van 3PAR (HPE) en ik moet zeggen dat we nooit iets anders meer willen. Je betaald er wel wat voor maar dan heb je ook wat.
Maar als je naar budget moet kijken (wie niet?) dan is dat misschien wel wat te hoog gegrepen voor velen.
Ga eens testen met Ceph en ik beloof je dat je 3Par/HP direct aan de kant zet. Hebben wij ook gedaan.
- - - Updated - - -
Mja dat is natuurlijk ook een optie, maar ik denk voor de doorsnee hoster die echt op zijn prijszetting moet letten dat dat gewoonweg geen optie is ... Ook hou niet zo van de denkwijze die dat soort bedrijven hanteren.. wil je iets dan betaal je ervoor..
Je zou dan ook naar Nimble kunnen kijken, die hanteren dat principe niet alles zit in de licentie inbegrepen en leuk speelgoed ..
't is maar wat je wilt en wilt uitgeven, aan ons is het in ieder geval niet (meer) besteed.. Er draait nu nog 1 HP MSA en die gaat ook de deur uit..
@TS Als je intresse mocht hebben laat maar weten !
Voor welke hoster dan ook. De prijs/kwaliteit verhouding is heel anders bij 3PAR dan met Ceph. Dan kijk ik nog niet eens naar flexibiliteit, beschikbaarheid en de kostprijs per GB.
Voor welke hoster dan ook. De prijs/kwaliteit verhouding is heel anders bij 3PAR dan met Ceph. Dan kijk ik nog niet eens naar flexibiliteit, beschikbaarheid en de kostprijs per GB.
Inderdaad, bij HPE moet je voor elk knopje dat je wenst te activeren diep in de buidel tasten..
Ik zou je ook aanraden om ermee te gaan testen en spelen.. met Ceph dan echte aanrader :-)