Bekijk Volledige Versie : Raid-1 of NAS/SAN
Webservice
23/07/08, 04:52
Wij hebben een 30-tal servers die allen in software Raid-1 staan.
Nu is het afgelopen jaar een 6 of 7 keer misgegaan met een HD.
Slechts 2x heeft de raid-1 perfect gewerkt (nieuwe HD erin, syncen en klaar), de andere keren is het echter steeds misgelopen.
Fouten werden van een defecte schijf gewoon gekopieerd: resultaat alle schijven defect.
Daar sta je dan met Raid-1, is een overgang naar NAS/SAN de oplossing en moet het dan RAID5-10 zijn, of kan dat daar ook gebeuren?
Mijn ervaring met een SAN heb ik nooit problemen gehad.
Wat ik zelf altijd deed als een hd niet meer werkte, ging ik naar de console om de schijf uit te schakelen en deze kon ik eruit halen, daarna vervangen en weer lid maken van de raid set.
Een stuk of 5 keer gedaan en altijd zonder problemen.
Bij een lokale disk heb ik wel een keer mee gemaakt dat de hd uit viel en tijdens het vervangen dat alle data in 1 keer weg was.
Misschien hardware RAID gebruiken? Dit werkt beter dan software RAID en de kosten hiervoor zijn lager dan overschakelen naar een NAS/SAN.
In de beschrijving staat dat fouten werden gekopieed, hardware-raid doet daar vrij weinig beter aan.
Fouten in het filesysteem los je niet op met raid maar met back-ups. Daar zal een nas/san of want dan ook niet tegen helpen.
In de beschrijving staat dat fouten werden gekopieed, hardware-raid doet daar vrij weinig beter aan.
Fouten in het filesysteem los je niet op met raid maar met back-ups. Daar zal een nas/san of want dan ook niet tegen helpen.
Precies. Het enige dat je op kunt vangen zijn echte hardware problemen aan de disks.
Wat je wel kunt doen op een SAN is snapshots maken en op die manier weer snel online zijn. Denk bij een SAN echter wel aan een aanzienlijke kostenpost. Als dat geen issue is, is dat the way to go.
Wat je wel kunt doen op een SAN is snapshots maken en op die manier weer snel online zijn. Denk bij een SAN echter wel aan een aanzienlijke kostenpost. Als dat geen issue is, is dat the way to go.
Een heerlijke oplossing die snapshots. Al werkt een kopie van een LVM volume ook aardig als je zonder SAN werkt.
Duur is relatief; TS geeft aan een 30-tal servers te hebben. Neem 60 disks á 100 voor SATA of 200 voor SCSI en 30 raidcontrollers á 150 kom je ook al een aardig eind in de richting van een prijs van een goede instap SAN. (Excl. supportfee, installatie, beheer).
Je kunt nu lekker groeien en diskless nieuwe servers aanschaffen om te booten vanaf SAN. En de snelheid van je servers zal ook nog eens toenemen omdat de i/o niet echt meer een beperking is. De rest van de investering bespaar je op disk/raidkosten van een server en win je driedubbel op snelheid en kwaliteit.
Misschien biedt je coloprovider ook wel SAN-storage aan? Ik weet dat er in verschillende datacentra (EUNetworks, ISP, Virtu) partijen zijn die je van een shared SAN kunnen voorzien.
eXtreme Service
23/07/08, 14:39
Wij werken hier ook vooral met software Raids en om eerlijk te zijn NOG geen problemen mee ondervonden. Hebben ook uitvoerig liggen testen en bij een fout gewoon hd uit de array weghalen, uitpluggen, nieuwe inpluggen en hij kan weer verder.
Echter nog nooit een HD moeten vervangen bij een echt probleem.
Waren dit toevallig systemen met zeer hoge loads of een hoge cpu belasting ?
Webservice
27/07/08, 01:43
De problemen hebben zich voor gedaan op allerlei soorten servers.
Een daarvan was een onbelaste windows-servers. Disk-1 ging er steeds uit.
Dan disk vervangen en tijdens resyncen ging hij op zelfde punt er steeds uit.
Na scan/check-disk op Disk-0 vond ik idd fouten. Leuke was dan: bij resyncen zei de server dat hij geen gerepareerde file-systemen kan mirroren!
Op de laatste (een linux), kon ik niet meer booten vanaf disk-a, vanaf disk-b ging dit prima, dus disk a vervangen. Tijden hersyncen van root-partitie ging deze er ook uit.
Manueel gekopieerd naar nieuwe schijf, dan fsck laten lopen op de root-partitie (via boot-disk), en idd ook daar fouten gevonden (zero bytes and bad superblocks).
Als dat nu 1x gebeurd tja, maar gaat meer fout dan goed.
Hardware-raid is overwogen (er zit zelfs een Intel-raidcontroller standaard in onze supermicro's, maar die bypassen we omdat we geen deugdelijke monitoring daarvan hebben gezien, ook ondersteuning voor slackware was een ramp)
Zo te lezen zal het wel een SAN worden, maar dan zitten we weer met het probleem dat we een single point of failure aan het maken zijn (mag niet gedroomd hebben dat zo een ding crashed, we hebben backup-servers, maar ze allen tegelijk omzetten: liever niet)
LVM en snapshots is fantastisch, maar dan als backup, niet als raid.
.... overigens staat dat volgens mij ook nog niet helemaal op punt (gezien onze ervaringen met Xen op LVM)
eXtreme Service
27/07/08, 02:08
Komen we weer op hetzelfde uit, 100% risico's uitsluiten lukt niet. Dus moet je zelf afwegen hoe ver je wilt en kan gaan.
Software Raid is voor ons een goeie keuze en heeft ons gelukkig nog nooit in de steek gelaten wat toch wel wilt zeggen dat dit geen slechte keuze is.
Hardware raid kunnen we gaan gebruiken en hebben we zelfs liggen maar tot nu toe toch nog niet moeten gebruiken. Want als die raid kaart dan weer stuk gaat ben je weer bij af.
SAN is een mooie oplossing alleen zijn wij ook niet van de mening om alles op 1 systeem af te schuiven aangezien elk systeem het wel eens kan laten afnemen.
Om een goed voorbeeld te geven. Is een webhoster op dit forum die vroeger 1 cluster had maar in plaats van deze uit te bouwen toch maar heeft gekozen een 2de op te zetten om niet alles aan 1 systeem toe te vertrouwen.
Om een goed voorbeeld te geven. Is een webhoster op dit forum die vroeger 1 cluster had maar in plaats van deze uit te bouwen toch maar heeft gekozen een 2de op te zetten om niet alles aan 1 systeem toe te vertrouwen.Welke hoster doel je op?
In principe is een goede SAN niet één systeem. Er zitten dubbele controllers in, dubbele voedingen, disks in raid, het zit wel in één behuizing natuurlijk.
Sommige SAN's schalen op door disks bij de plaatsen, bij anderen plaats je een hele nieuwe unit bij, die kan je vaak dan ook weer in een raid-configuratie opnemen, dan ben je ook niet meer afhankelijk van één unit.
Ik heb gisteren nog een machine gehad met problemen (RAID1).
Als het budget het toelaat zou ik kiezen voor een SAN, anders kun je wellicht ook eens kijken of upgraden naar machines met RAID5 een oplossing is.
Ook een SAN moet je backupen.
euh, de "onboard" intel raid op supermicro is eigenlijk geen echte hardware raid. Alle werk moet nog steeds gedaan worden door de drivers in het OS en de main cpu. Ben je beter af met software raid.
Neem eens een echte hardware raid (genre areca) aub? Bovendien snap ik niet wat een SAN gaat doen aan filesystem fouten?
3Ware en Areca was dat ik gebruikte. Bij raid5 hadden we nooit echt problemen bij stukke disks, maar bij raid1 wel. Beide waren echter niet echt snel en toch elke keer een paar honderd euro per server.
Als je filesystem echt stuk is dan is 'ie stuk. Om de schade te beperken kun je wel met je (Regelmatig geschedule'de) snapshots snel verder. Bovendien is je verbinding er naartoe meestal redundant, kun je hardware replacements doen zonder down te gaan en is de performance vele maken hoger dan een gewone server met 'n zelfde aantal disks.
jeroen2496
28/09/08, 11:42
Hoeveel moet zo'n SAN oplossing kosten?
FransVanNispen
28/09/08, 14:36
Hoeveel moet zo'n SAN oplossing kosten?
Met redundant controllers en support al snel een 25 to 30k voor ca 4Tb opslag. Als het op basis van 15k SAS moet nog wat meer.
Als ik van de Equalogic uit ga, houdt rekening met onderstaande prijzen:
Single controller, 8x 250 Gbyte (2TB): 11,500
Single controller, 16x 250 Gbyte (4TB): 14.000
Redundant controller, 16x 250 Gbyte (4TB): 18.000
Dit zijn de modellen tot 20K en SATA uitvoering.
Ik zou alleen geen single controller model kiezen en er komt nog een paar mille bij voor support die je denk ik wel gaat willen. Maar al met al zijn ze wel wat scherper geprijsd nu.
Die 48TB variant is per gig de meest interessante keus als je veel nodig hebt, maar ik vind 't wel een beetje een domper dat die geen 10gig praat. Ik denk dus dat ik maar gewoon met PS5000E's door ga in m'n stack. :)
P.s Wellicht ten overvloede, maar houd rekening met 't feit dat die TB's altijd bruto zijn. Dus dat je er bij 8TB bijvoorbeeld 5.7TB van over houd.
Ramon Fincken
28/09/08, 17:40
bruto uitgaande dat je windows pakt of liever gezegd, afhankelijk van welk FS je pakt?
of doel je op heel wat anders?
Ik doel op 't feit dat je bij een 8TB SAN in de default setting (Raid50 met 2 hotspares), 5.7TB netto schrijfruimte overhoud.
Ramon Fincken
28/09/08, 17:46
ja dat had ik door, maar waarom is dat het geval?
Dat uh, is altijd zo bij raid :). Je hebt wat minder netto over. Het is misschien niet zo'n toevoeging dat ik 't vermeld, maar je zult je er maar in verrekenen. ;)
Ramon Fincken
28/09/08, 19:16
ah wacht, vanwege de 0 ... nu zie ik hem :)
Komende week eens spelen met een MD3000, 3 Gbit SAS aansluiting. Eens kijken hoe dat gaat. Jij er al ervaring mee Jesper? Zag ooit eens een reply van je op t.net.
Als ik van de Equalogic uit ga, houdt rekening met onderstaande prijzen:
Single controller, 8x 250 Gbyte (2TB): 11,500
Single controller, 16x 250 Gbyte (4TB): 14.000
Redundant controller, 16x 250 Gbyte (4TB): 18.000
Dit zijn de modellen tot 20K en SATA uitvoering.
Lijkt me wat aan de trage kant om 30 RAID-1 arrays te vervangen (afhankelijk van de I/O activiteit per server natuurlijk). Ik denk dat je hiervoor toch wel minimaal 10.000RPM schijven nodig hebt, wat het kostenplaatje toch wel aanzienlijk opkrikt.
Dat vind ik 't voordeel van bijvoorbeeld de EMC CX3 die hier staat. Je koopt een (redundante) controller unit en daar koppel je disk arrays aan. Zo zit er een "dure" array aan met 15k disks voor Exchange en SQL en een goedkopere met 7,2k disks voor data opslag.
Nadeel is natuurlijk wel dat standaard alles fiber channel is, hoewel dat ook weer een voordeel is aangezien je dan wel in een keer een gescheiden netwerk hebt voor je SAN.
Hoewel je voor de totaal prijs misschien ook wel 2 EqualLogic's kan kopen. :P
Lijkt me wat aan de trage kant om 30 RAID-1 arrays te vervangen (afhankelijk van de I/O activiteit per server natuurlijk). Ik denk dat je hiervoor toch wel minimaal 10.000RPM schijven nodig hebt, wat het kostenplaatje toch wel aanzienlijk opkrikt.
Als dat zo was, had ik nooit zo'n doos gekocht. Wij draaide 150 VM's en een stuk of 5 webhosting clusters voor grote (loadbalanced) omgevingen op ons SAN. Geen enkel probleem, nog altijd snel, perfect.
Toen zat de ruimte alleen vol, dus nu hebben we er een PS5000E bij. Daardoor is 'ie nog weer dubbel zo snel.
Tijdens de aankoop van onze PS100E waren we huiverig over 't gebruik van SATA, omdat die disks gewoon een bepaalde max hebben. Ze hebben ons daar toen met een heel technisch verhaal laten zien hoe bijvoorbeeld de Equallogic's dit doen en we hebben een demo gehad. Ik verbaas me zelf nog wel elke dag over wat ze uit zo'n doos halen. :cool:
Lijkt me wat aan de trage kant om 30 RAID-1 arrays te vervangen (afhankelijk van de I/O activiteit per server natuurlijk). Ik denk dat je hiervoor toch wel minimaal 10.000RPM schijven nodig hebt, wat het kostenplaatje toch wel aanzienlijk opkrikt.
Als je ervaring met de Equalogic zou hebben wou je weten dat dit niet het geval is. Ooit een raid-5 array gebouwd met 8+ disks en een echte raidcontroller met veel cache? Probeer het eens en je ziet het verschil met een raid-1 setje en een 3Ware kaartje. Ga je die raid-5 arrray ook nog eens stripen naar raid-50 heb je een ander probleem; je GE verbinding kan te langzaam worden. Jesper kan dit wel beamen. Een SATA EQL kan met gemak 100 servers aan en dan zit je nog niet aan je 75% utilisatiegrens.
De PS5000X (10K SAS, 6,4 TB met 16x 400 Gbyte) zit op 32.000.