Bekijk Volledige Versie : Nas/san + twee servers
BDigitinternetdiensten
24/11/10, 19:09
Momenteel heb ik het volgende over:
Dell poweregde 2950, 4/8gb, 6x2tb met twee keer xeon 5130.
En twee keer het volgende: Dell poweregde 1950 , twee keer quad, 32gb
Ik wil de 2950 als opslag gebruiken voor de 1950 systemen. Op de 1950 installeer ik dan vmware esxi 4.1 voor een x aantal vpsjes.
Echter nooit met storage gewerkt dus tijd om te testen. Echter welke software zet ik op de 2950? En hoe snel zal het zijn om de storage voor de vpsen extern te draaien? Of toch maar lokaal opslaan?
Iemand tips?:)
AB-Systems
24/11/10, 19:13
Je kunt op de 2950 NAS software draaien (bijv. Freenas of openfiler maar zo zullen er nog meer zijn)
Deze configureer je vervolgens dat het middels NFS of ISCSI een schijf / koppeling kan aanbieden.
Vervolgens koppel je deze aangemaakte set weer op de 1950's..
Wel een advies hierbij. Probeer je public netwerk en je NAS netwerk (het onderlinge netwerk tussen de 2950 en 1950's via een gescheiden netwerk te doen..)
Benny, kijk eens naar openfiler of nexenta voor op je 2950. Je kan vervolgens de 2950 als san gebruiken via iscsi waardoor je een centrale opslag voor de VPSen.
Zelf met beiden varianten goede ervaring:)
Benny,
Randys goede Whopper-woensdag tip (http://www.nexentastor.org/projects/site/wiki/CommunityEdition).
(FreeNAS en OpenFiler is leuk, maar het net niet voor productie-platformen).
Speel hier eens mee, zorg wel voor een aparte storage-switch. Zo kom je deze avond wel door. Gebruik wel iSCSI, geen NFS.
Mocht je support en continuiteit wensen is er naast de Community editie ook een commerciele versie beschikbaar.
BDigitinternetdiensten
24/11/10, 19:22
Randy,
Welke van de twee raad je aan? Nog een idee om beide nics te trunken? Merk je dan het veel langzamer is? Of valt dit mee? Hoeveel vps
BDigitinternetdiensten
24/11/10, 19:23
Randy,
Welke van de twee raad je aan? Nog een idee om beide nics te trunken? Merk je dan het veel langzamer is? Of valt dit mee? Hoeveel vpsen zou ik minstens goed kunnen draaien? Heb bijv een vps die nogal veel sql doet dus die red het al net op vmware met hdd's lokaal.
Randy,
Welke van de twee raad je aan? Nog een idee om beide nics te trunken? Merk je dan het veel langzamer is? Of valt dit mee? Hoeveel vps
Nexenta. Trunken heeft in beginsel weinig tot geen zin en is pas effectief bij gebruik van meerdere nodes. Hoewel een Gbit langzaam lijkt in vergelijking met de SAS (3 Gbit) bus, is het meer dan voldoende.
Ik ben niet zo kapot van SATA-disken, maar wanneer je RAID-10 pakt (Prijs per Gbyte is toch verwaarloosbaar) kom je een heel eind.
Voor groot SQL werk zou ik het afraden. Ik had destijds een Infortrend in gebruik met mixed SATA/SAS/SSD. Door met meerdere disks en mount-points te werken, kun je erg effectief werken door de iops te gebruiken waar je ze nodig hebt.
Staar je beslist niet blind op doorvoersnelheid. De output van hdparam zegt niets. Je wilt snelle accesstimes en veel iops hebben.
Ik zou niet trunken maar mpio gebruiken bij iscsi.
Je kan ook naar open-e kijken, hoewel de niet gratis versie nuttig is voor productie.
Ik ben niet zo kapot van SATA-disken, maar wanneer je RAID-10 pakt (Prijs per Gbyte is toch verwaarloosbaar) kom je een heel eind.
Voor groot SQL werk zou ik het afraden. Ik had destijds een Infortrend in gebruik met mixed SATA/SAS/SSD. Door met meerdere disks en mount-points te werken, kun je erg effectief werken door de iops te gebruiken waar je ze nodig hebt.
Kijk even naar de Seagate 2 TB schijf, deze is er met SAS-2 aansluiting @ 6 Gb/s. Wij hebben net 2 SAN's geleverd gekregen met 18x deze schijf in ieder. Kan helaas nog geen performance testjes laten zien.
En Nexenta ondersteund SSD's als caching (read/write), een must have voor je iops.
(en niet geheel onbelangrijk: de 2 TB seagate's kosten 15 euro meer dan een 2 TB SATAII schijf, beide geen desktop drives natuurlijk).
BDigitinternetdiensten
24/11/10, 20:32
Ik heb hier nog zes keer samsung 2tb over liggen vandaar. Hebben jullie ervaring met esx installeren op een USB stick? Zie dat heel veel mensen doen die dan storage hebben op een equallogic bak.
Morgen eens het eea testen :)
AB-Systems
24/11/10, 21:08
Wijzelf hebben er inderdaad ervaring mee (installeren op USB) en werkt goed als je inderdaad geen lokale storage gebruikt..
kijk alleen van te voren even of je de USB stick toevallig in de kast kan plaatsen ipv erbuiten..
Bij de installatie van ESXi kies je dan vervolgens de USB ipv de eventuele lokale schijven.. (wel even op letten dat die bij het rebooten natuurlijk in de juiste boot volgorde staat...)
BDigitinternetdiensten
24/11/10, 22:17
Zal acht of vier gig geheugen nog uithalen in de nas? Hoeveel vpsen/nodes verwachten jullie.
AB-Systems
24/11/10, 22:18
In de nas niet echt naar mijn idee.. ligt er even aan welk pakket je er voor gebruikt..
marsipulami
24/11/10, 22:30
Gebruik wel iSCSI, geen NFS.
OFFTOPIC: randy, ben wel benieuwd waarom je iscsi aanraad tenopzichte van nfs. tweakers.net is dit jaar na de overstap op iscsi weer teruggaan op nfs wat blijkbaar beter functioneerde als iscsi.
http://tweakers.net/plan/513/nieuwe-fileserver-in-gebruik-genomen.html
OFFTOPIC: randy, ben wel benieuwd waarom je iscsi aanraad tenopzichte van nfs. tweakers.net is dit jaar na de overstap op iscsi weer teruggaan op nfs wat blijkbaar beter functioneerde als iscsi.
http://tweakers.net/plan/513/nieuwe-fileserver-in-gebruik-genomen.html
En dat lag aan die md3000i die gekke dingen deed. Niet aan iscsi.
Ahhh, storage, de eeuwige vraag. Wat heb je nodig:
- IOPS: tenzij je je kist volduwt met SSD disks, is de enige mogelijkheid hier om spindles, spindles en nog eens spindles te hebben. Hoe meer spindles, hoe beter. Twaalf-bay-chassis of beter
- SAS of SATA? Ik ga voor SATA: goedkoop, grote storage, en het doorvoerprobleem naar disk is op te lossen door meer spindles te steken. Disks van 500 GB zijn zo spotgoedkoop dat je clusters met 1000 disks zou kunnen bouwen.
- een slimme opstelling: copy on write, wat je bij ZFS doet belanden, wat je ofwel Opensolaris geeft (doodgemaakt door Oracle) of Nexentra (zal volgens mij binnenkort sterven wegens geen Opensolaris meer). BtrFS is the new kid to watch volgens mij.
- cache cache cache: RAM met hopen (als je ZFS doet)
- cache cache cache deel twee: ZIL op twee SSD disks
- exporteren van je store naar buiten toe: SAN of NAS dus. Ik prefereer iSCSI. Filesysteem en dergelijke zijn het probleem van de client, storage levert enkel block-devices.
- redundantie: zorg dat je bak niet down moet voor het vervangen van een disk of een voeding
- redundantie: zorg dat je geen probleem hebt als één bak down gaat.
Enkel het laatste punt is serieus moeilijk te tacklen. De rest is logisch denken en goede kennis van systeembeheer/tools/...
@ Wonko en de rest een vraag.
Wat voor een type switch gebruiken jullie. Een SAN switch of een "normale" gigabit switch?
Even een tip, mocht je toch met Openfiler ook wat willen spelen. Zet niet het vinkje bij een filesystem check, want dan gaat je data er aan. Ik draai Openfiler in een testcase thuis, maar alle data was daarna corrupt. Na wat rondvragen en zoeken blijken meer mensen hier last van te hebben.
Zolang je dat vinkje niet aanzet is er niets aan de hand.
een gewone gig-switch die bundling/trunking kan... (LACP of iets gelijkaardigs).
Kippenijzer
29/11/10, 11:40
Hier heb ik 2 storage-servers met DRBD (primary/primary mode) en multipath (active/passive) draaien. De storage-servers hangen met een 3xGbit trunk aan dubbele (stacked) Cisco's (LACP active mode) en de VPS servers hangen met 2xGbit trunk aan de Cisco's. Op deze manier kunnen switch-uitval, storage-uitval en netwerk-kabel/poort uitval worden tegen gegaan.
Voor SQL draai ik wel lokale disks, de snelheid van de iSCSI, zelfs al is het puur SAS op Smart Array Hardware Raid volstaat niet.
Ik heb gewoon 2 fysieke nodes die ClusterSQL draaien, en de management node ervan in HA. Al met al is het zo een aardig snelle setup.
avanmessen
29/11/10, 13:41
Draai zelf probleemloos shared storage
op NFS met een 800Mbps throughput.
iSCSI performance is identiek meen ik ?
Ga toch NexentaStor even bekijken ;)