PDA

Bekijk Volledige Versie : Advies/ervaringen nodig voor een entry SAN omgeving



blerry
13/10/08, 17:50
Graag wou ik wat advies/ervaringen krijgen m.b.t. de aanschaf van een entry SAN omgeving.

Ik heb aardig wat topics en reviews op het internet bekeken en ben op 4 verschillend type hardware uitgekomen namelijk (ISCSI):

DELL MD3000i
IBM DS3300
Supermicro server(open-e)
Eventueel een Equallogic.

Het platform wat erop komt te draaien is een ESX omgeving.

Mijn vragen zijn:

- Wat de persoonlijke ervaringen zijn m.b.t. bovenstaande servers.

- SATA of SAS op het internet geen duidelijk antwoord te vinden, ik neig naar SAS.

- M.b.t. kosten is een entry san omgeving met VMWARE te realiseren met een budget van 40k/45k waarbij de SAN server dubbel word uitgevoerd.

- Is qua redunatie het verstandig om een een tweede SAN als backup te hebben.

Graag verneem ik ook de ervaringen van gebruikers die dit traject al een keer hebben doorlopen wat zijn de valkuilen ? waarmee moet je rekening houden als je de eerste stappen zet naar een SAN omgeving ?

Wido
14/10/08, 10:51
Die 40k is dat inclusief je VMware licenties?

En weet 1 ding goed, die Open-E dingen zijn gewoon Linux op de achtergrond, niets mis mee, maar je plaatst het wel in een heel ander straatje op die manier.

Lees dit eens: http://crew.pcextreme.nl/~wido/doc/high_available_drbd_iscsi_setup_hardy.pdf

Zo kan je op basis van Linux een hele mooie zelf-bouw SAN maken, kan je prima uptimes en stabiliteit uit halen, dat is geen probleem.

Echter, welke eisen heb je? Denk je veel I/O's te gaan doen? Hoe veel opslag heb je nodig? Wat ga je er precies mee doen?

Zo hebben wij op basis van het bovenstaande document een SAN op basis van Solid State Drives (SSD, MTron) gemaakt en daar draaien we onze MySQL servers vanaf.

In totaal hebben we 170GB netto opslag, is niet erg veel, maar wel meer dan nodig, het moest alleen supersnel beschikbaar zijn.

Weppel
14/10/08, 11:06
Let op dat je met een Dell MD3000i vanaf maximaal 16 unieke IP's verbinding kan maken via iSCSI. Dit is een software limitatie van de MD3000i die vaak over het hoofd word gezien.

blerry
14/10/08, 11:38
@Wido

De 40k is inderdaad inclusief VMWARE licenties, het gaat voornamelijk om het virtualiseren van windows server 2003 en 2008 waarbij dan de nadruk ligt op Hosted Exchange , Hosted TS (terminal services). Qua IO inschatten voor zo'n omgeving heb ik zelf geen idee kan me voorstellen dat een MYSQL server meer I/O nodig heeft.

De link die je hebt gepost heb ga ik zeker mee aan de slag lijkt me uit persoonlijke oogpunt een leuk stukje techniek om te testen.

@Weppel

Dat ben ik inderdaad tegen gekomen op diverse fora waar dit aangekaart werd.
Ook het feit van het gelimiteerde aantal snapshot lijkt me zorgelijk. Zou dat een issue kunnen zijn wat betreft een solide backup strategie ?

Wido
14/10/08, 12:11
40k inclusief VMware is niet zo heel veel, als je een redundante SAN wil van zeg EqualLogic, EMC, NetApp of iets dergelijks ben je dat al alleen voor de SAN kwijt.

Het document wat ik gepost heb kan worden gebruikt voor flinke setups, zo hebben wij zelf ook draaien:

* SuperMicro 3U 16x Hot-Swap SAS
* Redundant Power
* Areca 1680ix met 4GB Write-Cache en BBU
* 16x Seagate 147GB SAS 15k RPM (RAID-50)

Je kan dus gewoon prima een snelle setup bouwen, maar dan moet je ook daar wel geld aan uitgeven, als je met SATA disks gaat werken dan kan je te maken krijgen met een flinke performance loss.

Wij draaien dan RAID-50, maar voor nog meer performance kan je ook kijken naar RAID-10.

Maak eerst eens een inschatting van hoe veel GB/TB je netto nodig hebt en hoe veel VM's je er vanaf wil draaien.

bakkerl
14/10/08, 12:36
Als de SAN zelf dubbel uitgevoerd moet zijn, dan gaat het voor dat bedrag lastig worden. Anders moet een basis omgeving haalbaar zijn..

even snel/grof gerekend:



ESX3i servers** (incl licenties): 2 stuks: 16000
switches voor iscsi netwerkje (2 stuks) 3000
equallogic Equallogic PS5000E 4TB* 20000
Overige vmware licentes (VS+windows) 2000
-----
41000

* 4TB RAW capacity, 16x250GB SATA drives
raid 10 met 2 spares: 7x250GB: 1.75TB bruikbaar

** Iets van 2.66Ghz dual Quadcores met 32GB geheugen, geen interne disken.


Even vanuit gegaan dat de esx servers zelf ook nog gekocht moeten worden.

ensermo
14/10/08, 12:41
Ik heb een tijdje geleden bij een kantoor afdeling (dus standaard fileserver, printserver, exchange server, w2003 omgeving) geholpen bij het migreren van fysieke servers naar twee HP Proliants DL380 G5 met een MSA2000i SAN. (iSCSI).
(Dit model http://h18006.www1.hp.com/storage/disk_storage/msa_diskarrays/san_arrays/msa2000i/index.html)

Wat licenties VMware betreft weet ik niet wat ze betaald hebben want ze gebruiken een externe partij. Maar voor de starter kit van de MSA2000 hebben ze nieteens 5000 betaald (ex schijven). Ik heb de offerte nog ergens liggen met schijven etc.
Ik weet dat er een starter kit was voor de fiber channel optie toen rond de 8500 euro met switch en aansluitingen voor 2 servers (geen redunante power supply).

Dit is een entry level SAN, maar komen "kant en klaar" van HP. In hun geval was het goed voor hun omgeving/doel, maar je moet zelf even kijken hoeveel servers je erop gaat aansluiten en wat uiteindelijke doel is. De meeste kantoortoepassingen/w2003 en kleine providers hebben ruim genoeg aan die entry level.

Trouwens bij deze entry levels zit ook de beperking van 16 hosts max maar ze verwachten niet (komende jaren) om zoveel servers aan te sluiten.

Verder zou ik voor SAS gaan. Behalve dat er snellere uitvoeringen zijn (15RPM) weet ik van HP bijvoorbeeld dat de SAS 3 jaar garantie hebben (met de SAN) en de SATA maar 1 jaar. Qua prijs verschillen ze nauwelijks (prijs/performancewise)

Hou in je budget ook ruimte voor backup mogelijkheden.

VMware heeft tegenwoordig ook een maandelijkse licentie structuur ipv in een keer een groot bedrag betalen. Dat kan ook gunstig zijn voor de instapkosten.

blerry
14/10/08, 12:48
@Bakkerl Bedankt voor kosten overzicht , dit komt wel overeen met wat wij in gedachten hadden qua kosten.

@Ensermo Bedankt voor de situatie schets deze komt erg veel overheen met onze begin setup. Ik zal ook zeker de HP San bekijken of deze een optie zijn.

Een tweede san zal prijs technisch inderdaard erg moeilijk haalbaar zijn (gaat het wel proberen bij het management) , zat meer te denken aan een wat duurdere service contract m.b.t. de san en dan naar een goede backup oplossing te zoeken om de data van de san te backuppen.

Wido
14/10/08, 13:12
Maar je hebt niets aan je mooie backups wanneer je SAN uit valt, dan ligt de dienstverlening namelijk ook plat ;)

gjtje
14/10/08, 14:02
De vraag is, waarom zou die uitvallen? Bij een goede SAN kan je de helft uitzetten en het draait nog door. Natuurlijk, het ding kan in de brand vliegen, dan moet je het maar van de 4 uur response service hebben. ;)

Als je niet je hele set-up in mirror draait is niet vrij onzinnig de san wel te mirroren.

bakkerl
14/10/08, 14:36
Natuurlijk, het ding kan in de brand vliegen, dan moet je het maar van de 4 uur response service hebben. ;)

4 uur response service wil nog niet zeggen dat je binnen 4 uur een nieuwe heb staan. Al staan ze na 3 uur en 55 minuten op de stoep en bestellen ze een nieuwe met een levertijd van 2 weken (even extreem), dan hebben ze de afgesproken 4 uur behaald.

4 uur response is wat anders dan 4 uur resolve sla.

gjtje
14/10/08, 14:55
Dat staat toch ook nergens?

luser
14/10/08, 15:45
Dat is gewoon zo, ik doe consulting/beheer voor redelijk wat klantjes (voornamelijk netwerk) welke de nodige 4h contractjes hebben met bv. cisco, nokia,... en daar komt het zelden voor dat iets binnen de 4h er is. Een sup720/fwsm/ace/... kan zelf enkele dagen duren daar het behoorlijk kostelijk spul is.
De leverancier zelf is inorde daar ze binnen de 4h een onderdeel dispatchen naar jouw toe, soms moet het alleen uit UK of Duitsland komen en zelfs moet spoed kan dit een halve dag duren.

DennisWijnberg
16/10/08, 12:11
Wij draaien onze hostingomgeving op een Dell EqualLogic PS500E SAN (dus iSCSI) en dat bevalt perfect. Een tweede SAN vonden wij destijds wat overdreven omdat je er die 99,999% uptime garantie bij krijgt.

De systemen van Dell EqualLogic zijn inderdaad zo redudant uitgevoerd dat de kans dát er was mist gaat nog steeds aanwezig is (zoals altijd), maar de impact zeer beperkt is van een niet functionerende voeding of HDD.

Overweeg wel even goed wat je met de SAN wilt doen. De SAS/SATA overweging is er een die erg belangrijk kan blijken. Kijk ook even naar de limieten. Wil je daar meer over weten dan kan je altijd ff een collega van mij bellen (onze EqualLogic specialist), die kan je precies vertellen wie/wat/hoe/waar en vooral, waarom. PM me anders even voor zijn nummer.

bami82
16/10/08, 16:56
Als het goed is komt FISHworks deze maand uit, wellicht intressant voor je alhoewel ik zelf liever iets koop wat zich al bewezen heeft. De presentaties van sun zagen er in elk geval erg goed uit.

http://www.computerworld.com/action/article.do?command=viewArticleBasic&taxonomyName=nas&articleId=9114139&taxonomyId=148&intsrc=kc_top

bvankuik
16/10/08, 19:37
Een tijdje geleden keken wij voor een laboratorium naar snelle opslag en een van de dingen die de revue passeerde, was een ATA-over-Ethernet (AoE) appliance van Coraid http://www.coraid.com/

Echter in deze discussies zie ik zulke dingen nooit de revue passeren. Staat deze uberhaupt op de kaart?

Simple
16/10/08, 19:40
Wij zijn aan het kijken naar Lefthand Networks. Wellicht de moeite waard om even te bekijken.

luser
17/10/08, 00:41
Wij zijn aan het kijken naar Lefthand Networks. Wellicht de moeite waard om even te bekijken.

Die zijn ondertussen van HP ;)

Simple
17/10/08, 09:52
Ja ik weet het.. Langzaam aan blijven alleen de grote partijen over.

Bakker ICT
22/10/08, 21:31
Bij het aanschaffen van een Equallogic van Dell, wat ziet hier dan allemaal bij? Ik bedoel, ik lees 20k , dus dan vraag ik me af wat je hier allemaal voor krijgt. Schijven in of ex, snelle support vanuit dell (99,9% uptime lees ik net) etc.

bakkerl
22/10/08, 21:43
Bij het aanschaffen van een Equallogic van Dell, wat ziet hier dan allemaal bij? Ik bedoel, ik lees 20k , dus dan vraag ik me af wat je hier allemaal voor krijgt. Schijven in of ex, snelle support vanuit dell (99,9% uptime lees ik net) etc.

Voor de ongeveer 20k heb een een 3u doos met daarin 16 sata schijven welke intern geheel redunant is uitgevoerd. Dubbele voeding er aan, 6 netwerk aansluiting (3 actief, 3 passief) en je beschikbare storage zou nooit meer offline hoeven gaan (in geval Equallogic ook bij een update naar een nieuwe doos niet).

Bij Dell zit er meestal een 3 jarig 4 uurs contract bij. Dus als een disk toch stuk gaat komen ze hem vervangen (wat die zelf al bij dell kan melden dmv een email).

Bij Equallogic krijg je alle software er standaard bij, welke bij andere SAN's vaak los moet aanschaven. Snapshotting, Mirroring en dat soort dingen zitten er dus standaard altijd bij.

De 16 disken kun je in raid 5 plaatsen of in raid 10. In het laatste geval hou je dus 7x je disk cappaciteit over (16 disken: 2 hotspare, 14 in raid10 = 7xcapaciteit).
In geval van de 20k uitvoering kom je rond de 16x250GB sata disken. Bij 750GB sata disken zul je richting de 37k gaan. Een 16x 400GB SAS 10k rpm versie zal rond de 37k zijn. Voor een exacte prijs kun je bij Dell informeren.

Jesperw
22/10/08, 22:15
Voor de ongeveer 20k heb een een 3u doos met daarin 16 sata schijven welke intern geheel redunant is uitgevoerd. Dubbele voeding er aan, 6 netwerk aansluiting (3 actief, 3 passief) en je beschikbare storage zou nooit meer offline hoeven gaan (in geval Equallogic ook bij een update naar een nieuwe doos niet).

Bij Dell zit er meestal een 3 jarig 4 uurs contract bij. Dus als een disk toch stuk gaat komen ze hem vervangen (wat die zelf al bij dell kan melden dmv een email).

Bij Equallogic krijg je alle software er standaard bij, welke bij andere SAN's vaak los moet aanschaven. Snapshotting, Mirroring en dat soort dingen zitten er dus standaard altijd bij.

De 16 disken kun je in raid 5 plaatsen of in raid 10. In het laatste geval hou je dus 7x je disk cappaciteit over (16 disken: 2 hotspare, 14 in raid10 = 7xcapaciteit).

Raid50 of Raid10 ;)

Bakker ICT
22/10/08, 22:28
Wat is de performance winst tov, en waarom zou je voor een Equallogic gaan en niet voor een evt goedkoper alternatief (bijv dat Wido aandraagt). Het is dan geen out of the box oplossing en heeft wat meer configuratie en beheer nodig, wanneer er een schijf kapot is kan ik het natuurlijk ook zelf vervangen.

Wat ik probeer is de prijs een beetje af te zetten aan hoeveel je er dus allemaal mee kan doen, lastig om te zeggen om hoeveel virtuele machines er bijv op zouden kunnen draaien, maar als dit natuurlijk bij Equalogic vele malen meer is dan met een zelf bouw systeem of alternatief dan is die 20k wel anders te bekijken en eventueel wel een optie.

Hopelijk kan iemand mij hier wat duidelijkheid over geven, ben zelf vooral veel aan het lezen en experimenteren wat de beste oplossing is voor in de toekomst om te gaan gebruiken als SAN voor opslag van VPS-en (VZ) om te zorgen voor meer performance en snelheid, failover mogelijkheden, en uiteraard veiligheid van data en backups.

bakkerl
22/10/08, 22:40
Bij een enkel exemplaar ga je het verschil werken omdat de data over alle disken opgeslagen zal worden, afhankelijk van je raid settings. Dit heeft een voordeel tov van fixed partities.

Maar bel Dell eens voor een demonstatie zou ik zeggen ;)

WilloW
23/10/08, 00:20
Bij een enkel exemplaar ga je het verschil werken omdat de data over alle disken opgeslagen zal worden, afhankelijk van je raid settings. Dit heeft een voordeel tov van fixed partities.

Maar bel Dell eens voor een demonstatie zou ik zeggen ;)

Dell bellen? Nee Hans van StorageManagment :)

Wij hebben sinds 2 weken nu ook een EqualLogic hangen en ik kan zeggen ... het is geweldig het kost wel wat geld, onze setup kost nu ongeveer 26.000 euro hiervoor hebben wij een EqualLogic met 4TB opslag in Raid 50, 2 switchen en support contract voor 4 jaar.

Ik denk dat dit ook wel beetje het minimale is. Het kan uiteraard wel goedkoper bij EqualLogic maar dan lever je wel in op bepaalde dingen zoals support en betrouwbaarheid.

Bakker ICT
23/10/08, 01:06
Ik gaat zeker contact opnemen met StorageManagement, tnx voor de tip.

Mag ik vragen wat jullie hiervoor gebruikten en wat de winst nu is met het gaan voor Equalogic.

WilloW
23/10/08, 04:28
Hoi,


Ik gaat zeker contact opnemen met StorageManagement, tnx voor de tip.

Mag ik vragen wat jullie hiervoor gebruikten en wat de winst nu is met het gaan voor Equalogic.

Hiervoor hadden wij gewoon in iedere PowerEdge 2950 een complete Raid 5 set zitten (traag en duur). Nu hebben wij al onze PowerEdge 2950 machines bijna diskless en draait alles vanaf de EqualLogic en ik denk dat wij zo'n 20% meer snelheid hebben per VM.

En het is nu stuk flexibeler

bakkerl
23/10/08, 09:21
Dell bellen? Nee Hans van StorageManagment :)


Een offerte opvragen bij beide kan ook voordelig zijn. Bij sommige modellen is StorageManagment goedkoper, bij andere modellen is Dell goedkoper.
EQ is nu eenmaal van Dell.

DennisWijnberg
23/10/08, 09:35
Als je eerst bij mij een offerte opvraagt en dan pas bij anderen garandeer ik je dat ik goedkoper ben (dan zowel EQ als StorageManagement)!

WilloW
23/10/08, 09:56
Als je eerst bij mij een offerte opvraagt en dan pas bij anderen garandeer ik je dat ik goedkoper ben (dan zowel EQ als StorageManagement)!

ik wacht nog steeds op onze offerte :)

DennisWijnberg
23/10/08, 10:06
Oh? Je hebt een PM.

Als je of zelf eerst een offerte aanvraagt bij Dell of zelf Dell partner bent o.i.d. dan mogen wij de korting niet geven... :(

bakkerl
23/10/08, 10:14
Als je eerst bij mij een offerte opvraagt en dan pas bij anderen garandeer ik je dat ik goedkoper ben (dan zowel EQ als StorageManagement)!

Stuur mij dan maar een offerte voor een Equallogic PS5000E 12TB :)
Offerte aanvraag voor dell ligt klaar, dan wacht ik nog even met die te versturen.

En je heb nog wel een leuke op je site staan:
"- Perfecte support mogelijkheden tot minimaal 5 jaren na aanschaf"

DennisWijnberg
23/10/08, 10:16
Stuur mij dan maar een offerte voor een Equallogic PS5000E 12TB :)

En je heb nog wel een leuke op je site staan:
"- Perfecte support mogelijkheden tot minimaal 5 jaren na aanschaf"

Zo ben ik... Bedankt voor de melding, is aangepast!

Cliff
23/10/08, 11:02
Dat is gewoon zo, ik doe consulting/beheer voor redelijk wat klantjes (voornamelijk netwerk) welke de nodige 4h contractjes hebben met bv. cisco, nokia,... en daar komt het zelden voor dat iets binnen de 4h er is. Een sup720/fwsm/ace/... kan zelf enkele dagen duren daar het behoorlijk kostelijk spul is.
De leverancier zelf is inorde daar ze binnen de 4h een onderdeel dispatchen naar jouw toe, soms moet het alleen uit UK of Duitsland komen en zelfs moet spoed kan dit een halve dag duren.

Wat betreft Cisco ben ik daar prima tevreden over, heb vaak zat dezelfde dag nog vervangende supervisors gehad. Aangezien ze redundant zijn hier, gaf ik altijd aan dat het wat minder haast was, maar was nog steeds dezelfde dag binnen. Prima service dus ;)