PDA

Bekijk Volledige Versie : Upgraden naar SAN netwerk



Xaroth
04/10/11, 18:05
Mensen,

Wij hebben op dit moment een klein netwerk met een aantal ESX bakken, nu ben ik bezig een project op te zetten om een upgrade slag uit te voeren van ESX zelf, en wil hierbij ook net hele netwerk maar overhoop gooien (als je dan toch bezig bent, het gelijk maar goed doen.. of zoiets).

Wj hebben op dit moment een tweetal ESX bakken die het meerendeel van onze instances draait (elk een stuk of 14 instances), echter deze draaien op interne opslag ( 1+Tb aan raptors, plus tweemaal 2TB aan backup opslag ), en doen hun backup ronde naar elkaar (zodat in geval van iets ernstigs, dat 1 server alle instance backups heeft).

Het concept is om iSCSI te gaan gebruiken als opslag/backup omgeving voor de ESX hosts, en heb al wat kleine testjes kunnen draaien met een test esx host die connect naar een iSCSI target (in dit geval OpenFiler)...

Nu zou ik graag willen weten wat jullie adviseren waar op gelet moet worden, waar moet ik op letten met de benodigde switches, en wat voor merken iSCSI oplossingen jullie zijn bevallen.


Bij voorbaat dank.

QBell
04/10/11, 18:52
Waarom per sé iSCSI? Is fiber geen optie?
Hoeveel doorvoer (MB/s) verwacht je per seconden per ESX bak?
Hoeveel budget heb je / wat wil je (wil je kant en klare enterprise of gedegen zelf wat in elkaar zetten)
Voor de switches is dit ook weer belangrijk (Wil je op 1G copper of 10G gaan draaien).

Randy
04/10/11, 19:22
iops, iops, iops.

Geen SATA disken maar SAS, bij voorkeur 15K. Zorg voor redundant controllers op je storage zodat je firmware-upgrades kunt doen zonder downtime. Dell EqualLogic is leuk en tegen bijna 0% financierbaar bij Dell. Voor switching zorg ervoor dat je flow-control aan hebt staan. Dedicated switches (2 paden per node) zijn een vereiste zodat je ok hier firmware upgrades en maintenance op kan uitvoeren zonder merkbare downtime.

Installeer bij EqualLogic de MPIO Multipath plugin (HIT-kit) en gebruik als het even kan Broadcom NIC's met TOE, zodat zij de initiators zijn en je van de software initiator af kunt stappen. Doorvoersnelheid is verder weinig relevant. We ontsluiten zelf de storage op 10 Gbit maar dit is meer om het kabelmanagement makkelijker te maken dan dat de behoefte er is. Doorgaans gaat er nog niet eens een halve gigabit over de paden.

Wido
04/10/11, 19:28
Als je voor Ethernet/iSCSI kiest, zorg dan voor genoeg poorten zodat je bonding/LACP kan toepassen. Jumbo frames zijn wel aan te raden :)

Je kan voor FC gaan, maar dat is gewoon een stuk duurder. Aan je huidige setup te zien is daar denk ik het budget niet voor, ook ga je dat performance verschil niet zó maar merken.

QBell
04/10/11, 19:52
Je kan voor FC gaan, maar dat is gewoon een stuk duurder. Aan je huidige setup te zien is daar denk ik het budget niet voor, ook ga je dat performance verschil niet zó maar merken.

Daarom de vragen ook.

Waar ik goede ervaringen mee heb zijn de storage machines van IQStor. Deze heb je zowel in FC als in iSCSI (ik heb alleen ervaring met de FC versie).
De prijs ligt zo rond de 10k (dubbele controller fiber en half gevuld met SATA disken, kunnen er 15 in).

Wido
04/10/11, 20:16
iops, iops, iops.

Geen SATA disken maar SAS, bij voorkeur 15K. Zorg voor redundant controllers op je storage zodat je firmware-upgrades kunt doen zonder downtime. Dell EqualLogic is leuk en tegen bijna 0% financierbaar bij Dell. Voor switching zorg ervoor dat je flow-control aan hebt staan. Dedicated switches (2 paden per node) zijn een vereiste zodat je ok hier firmware upgrades en maintenance op kan uitvoeren zonder merkbare downtime.

Installeer bij EqualLogic de MPIO Multipath plugin (HIT-kit) en gebruik als het even kan Broadcom NIC's met TOE, zodat zij de initiators zijn en je van de software initiator af kunt stappen. Doorvoersnelheid is verder weinig relevant. We ontsluiten zelf de storage op 10 Gbit maar dit is meer om het kabelmanagement makkelijker te maken dan dat de behoefte er is. Doorgaans gaat er nog niet eens een halve gigabit over de paden.Ik denk dat een EQL snel buiten het budget loopt en het is niet eens per definitie beter.

Wij draaien nu al een tijdje de PS6010 (Hybride SSD + SAS), ben niet echt overtuigd. Ook het ontbreken van multipath over verschillende subnets is een ramp.

Dan laten we de HIT-kit nog even buiten beschouwing :)

Ik denk dat de TS (aan zijn post te zien) helemaal niet zo'n dikke SAN nodig heeft. Een degelijke iSCSI doos die multipath kan doen lijkt me in zijn situatie al meer dan voldoende.

Xaroth
04/10/11, 23:51
Ik denk dat een EQL snel buiten het budget loopt en het is niet eens per definitie beter.

Wij draaien nu al een tijdje de PS6010 (Hybride SSD + SAS), ben niet echt overtuigd. Ook het ontbreken van multipath over verschillende subnets is een ramp.

Dan laten we de HIT-kit nog even buiten beschouwing :)

Ik denk dat de TS (aan zijn post te zien) helemaal niet zo'n dikke SAN nodig heeft. Een degelijke iSCSI doos die multipath kan doen lijkt me in zijn situatie al meer dan voldoende.

Op zich hebben we geen dikke SAN nodig, correct.. we verbruiken wel veel data, maar actief is er op zich niet zo veel lees/schrijf aan de hand (iig, je zou meer verwachten met het data verbruik)... Het gaat meer om multipathing, en clustering (of iig replicatie).
Dit is ook de reden waarom ik FC buiten beschouwing heb gelaten; voor de prijs heb ik liever iets wat meer (voor ons) nuttige dingen heeft.

Tot zover alvast bedankt voor degene die gereplied hebben, heb in ieder geval al genoeg om uit te gaan zoeken (but keep it comming! :) )

Mikey
05/10/11, 09:37
Op zich hebben we geen dikke SAN nodig, correct.. we verbruiken wel veel data, maar actief is er op zich niet zo veel lees/schrijf aan de hand (iig, je zou meer verwachten met het data verbruik)... Het gaat meer om multipathing, en clustering (of iig replicatie).
Dit is ook de reden waarom ik FC buiten beschouwing heb gelaten; voor de prijs heb ik liever iets wat meer (voor ons) nuttige dingen heeft.

Tot zover alvast bedankt voor degene die gereplied hebben, heb in ieder geval al genoeg om uit te gaan zoeken (but keep it comming! :) )

Maar je wilt toch niet de verkeerde besparing maken waarbij een van de belangrijkere onderdelen niet redundant zouden zijn ? Je zou ook bij promise kunnen kijken naar de vtrak lijn. Dual voeding en controllers mogelijk

Randy
05/10/11, 20:47
Een andere leuke oplossing is Infortrend wanneer je met minder dan enterprise uit kan. Je koopt de unit en plaatst je eigen disks. Mixed tussen SATA, SAS en SSD kan daarbij. Voor prijzen kun je op de website van StorageManagement (http://www.storagemanagement.nl/infortrend_18.html) kijken. Dit zijn ook erg leuke units die ik in het verleden zelf gebruikt heb.

Je koopt dus de case met mogelijkheden voor redundacy en de bijbehorende software en plaatst zelf je eigen disks. Keuze uit eSAS (niet redundant), iSCSI (redundant) en Fibre Channel (redundant) als koppelvlak.

Bart L
05/10/11, 22:22
Ziet er leuk uit Randy. Alleen hoe staat dit in verhouding met de http://www.qnap.com/nl/pro_detail_feature.asp?p_id=204 bijv?

Mikey
06/10/11, 00:58
Ziet er leuk uit Randy. Alleen hoe staat dit in verhouding met de http://www.qnap.com/nl/pro_detail_feature.asp?p_id=204 bijv?

Eerst wat mij opvalt en voor ons dus gelijk de showstopper zou betekenen: Geen mogelijkheid tot redundante hostcontroller. Maw als je daar productie opdraait en je raid subsysteem stopt ermee heb je dus een serieus probleem....

Wij hebben in ieder geval zeer positieve ervaring met deze: http://promise.com/storage/raid_series.aspx?region=en-global&m=17&rsn1=1&rsn3=1 Welliswaar geen iscsi maar direct redundant sas gekoppeld, geen overhead etc etc.

Xaroth
06/10/11, 11:55
Een andere leuke oplossing is Infortrend wanneer je met minder dan enterprise uit kan. Je koopt de unit en plaatst je eigen disks. Mixed tussen SATA, SAS en SSD kan daarbij. Voor prijzen kun je op de website van StorageManagement (http://www.storagemanagement.nl/infortrend_18.html) kijken. Dit zijn ook erg leuke units die ik in het verleden zelf gebruikt heb.

Je koopt dus de case met mogelijkheden voor redundacy en de bijbehorende software en plaatst zelf je eigen disks. Keuze uit eSAS (niet redundant), iSCSI (redundant) en Fibre Channel (redundant) als koppelvlak.

Ik kwam Infortrend ook paar keer tegen tijdens mn eigen zoektocht; wat mij alleen niet duidelijk is is wat (om toch in de net-niet-enterprise omgeving te blijven) ze extra kunnen bieden tov Nexenta en Open-E (afgezien van de prijs verschillen).. op dit moment ligt mijn voorkeur toch steeds meer te neigen naar Open-E, meerendeel omdat ze bieden wat wij inschatten direct nodig te hebben, zonder gelijk enterprise-prijzen te hanteren.


Nu een extra vraag voor een ieder; wat voor switches raden jullie aan.. we gebruiken in ons netwerk een stuk of wat HP Procurve 2810, die ons tot nu toe enorm zijn bevallen.. echter zie ik onder de HP gebruikers dat aangeraden wordt om de 2900-series te gebruiken, heeft iemand hier ervaring mee?

Randy
06/10/11, 14:02
Gebruik switches dedicated en als ze flow-control ondersteunen, zet dit aan. Ik heb geen ervaring met de 2800, maar de 2900-serie werkt goed.

sdetroch
06/10/11, 14:32
Ook tevreden (voorlopig dan toch) van Equallogic hier (maar heeft idd ook zijn beperkingen).
Naast FC op de poorten ook jumbo frames aanzetten op switches of vlans die het interne storage netwerk verzorgen.
Equallogic heeft deze (en misschien nog volgende week) een promotie van 50% korting dacht ik zo via onze sales manager vernomen te hebben.

Xaroth
06/10/11, 17:17
Gebruik switches dedicated en als ze flow-control ondersteunen, zet dit aan. Ik heb geen ervaring met de 2800, maar de 2900-serie werkt goed.

de 28XX series ondersteunt het wel, maar niet in combinatie met jumboframes.. het is of de een, of de ander..

sdetroch
07/10/11, 01:57
de 28XX series ondersteunt het wel, maar niet in combinatie met jumboframes.. het is of de een, of de ander..

Wij hebben 2810's en die werken wel met beiden.
Flow Control aanzetten op poort niveau, jumbo frames aanzetten op vlan niveau.
"vlan 1 jumbo" bijvoorbeeld en "sh vlans" om te controleren of ze wel degelijk aanstaan.

Running configuration:
; J9022A Configuration Editor; Created on release #N.11.15
...
interface 25
name "xxxx"
flow-control
speed-duplex auto-1000

vlan 7
name "xxx"
untagged 13,16,25-26,29,45-47
jumbo
...

Xaroth
07/10/11, 10:33
Wij hebben 2810's en die werken wel met beiden.
Flow Control aanzetten op poort niveau, jumbo frames aanzetten op vlan niveau.
"vlan 1 jumbo" bijvoorbeeld en "sh vlans" om te controleren of ze wel degelijk aanstaan.

Running configuration:
; J9022A Configuration Editor; Created on release #N.11.15
...
interface 25
name "xxxx"
flow-control
speed-duplex auto-1000

vlan 7
name "xxx"
untagged 13,16,25-26,29,45-47
jumbo
...

das goed om te weten :)

Xaroth
07/10/11, 12:31
nu ik toch nog bezig ben met switches, sdetroch, heb jij toevallig ervaring met ipv6 over je 2810s? ik weet dat er veel procurve switches zijn die ipv6 support hebben gekregen met een patch ergens vorig jaar, maar kan er verder niks over vinden op de 2810 docs... nu moet ik wel zeggen dat de HP site qua zoekbaarheid dicht in de buurt komt van die van conrad...

hrodenburg
07/10/11, 14:03
Behalve dat je dan wel in de log van de 2810 deze melding ziet.
Hier ging het met een testje nog niet helemaal goed (flow control aanzetten dan).
firmware versie: N.11.15


FFI: port 1 both flow ctrl and jumbo frames enabled.
Flow control may not function properly.

Randy
07/10/11, 14:42
Flow control gebruiken. Dit biedt een aanzienlijk stabielere doorvoer. Daar kunnen jumboframes niet tegenop. Ik twijfel overigens persoonlijk een beetje aan Jumboframes. Nog geen breaking performanceverschil kunnen ontdekken in labsituaties.

sdetroch
07/10/11, 14:56
nu ik toch nog bezig ben met switches, sdetroch, heb jij toevallig ervaring met ipv6 over je 2810s?

Geen ervaring mee (en hoop het zo lang mogelijk zo te houden :-) )

sdetroch
07/10/11, 14:57
Flow control gebruiken. Dit biedt een aanzienlijk stabielere doorvoer. Daar kunnen jumboframes niet tegenop. Ik twijfel overigens persoonlijk een beetje aan Jumboframes. Nog geen breaking performanceverschil kunnen ontdekken in labsituaties.

Ik heb ook nog geen merkelijk verschil kunnen ontdekken.
Probleem is dat je bij de A-merken, als je support wil op je hardware/software, je die jumbo frames moet hebben aanstaan. Anders is dat zeker de 'fout' in de configuratie en willen ze niet verder kijken vooraleer dit enabled is.