Bekijk Volledige Versie : SAN inrichting (DELL MD3000i)
Momenteel zijn we onze virtualisatie setup aan het opbouwen.
We hebben momenteel een MD3000i over iSCSI met de volgende config:
- Array 1: 10x 1TB S-ATA 7.200 Near-Line
- Array 2: 4x 146GB SAS 15.000
De VM-diskfiles komen op Array 1, Array 2 heeft nog geen bestemming.
Ik heb me kapot ge-googled, maar kan niet vinden welke array-type voor ons het beste geschikt is.
De mogelijkheden zijn: RAID-5, RAID-6 en RAID-10.
RAID-10 komt als eerste in mij op voor Array 1, maar RAID-5 levert meer spindles op en wellicht dus een hogere performance. Maar wellicht hebben jullie hier een andere mening over.
Ik ben erg benieuwd naar jullie suggesties, en voornamelijk de onderbouwing daarbij.
De setup zal voornamelijk met VMware ESXi gebruikt gaan worden.
Persoonlijk zou ik voor raid6 gaan omdat deze 2 parity's heeft, wat dus een beter betrouwbaarheid geeft. Met raid5 loop je het risico dat als er een hd kapot is en je de raid aan het rebuilden bent en er op dat moment nog een hd kapot gaat je volledige array kapot is. Wat bij raid6 het geval niet is, nu niet denken dat raid6 onfeilbaar is.
Bij raid10 zit je direct al met het feit dat je 50% van je storage capaciteit verliest waar dit bij raid6 maar 40% verlies is (en bij raid5: 20% verlies).
ik zou voor raid 10 gaan, raid5 en raid6 hebben voor hun schrijf capaciteit maar een fractie beschikbaar. Als er een vm stevig begint te swappen heb je een performance dip. De sas schijven zou ik deels inzetten voor eventueel swappen.
Ik neem aan dat je idee hebt van de hoeveelheid iops die je nodig gaat hebben (lezen en schrijven)? Bedenk ook even hoe lang het kost om de array te rebuilden bij een rotte disk en of je de lage performance tijdens een rebuild kunt verkopen aan klanten, is dat niet zo moet je een layout kiezen die wel past.
Voordeel van raid5/6 is minder verlies en schaalbaarheid, echter moet dat wel de gevraagde performance leveren. Als je raid-5 kiest zou ik zeker een hot-spare inschakelen.
Ik weet trouwens wel zeker dat die 4 sas disks meer performance zullen leveren dan die 10 sata disks. Misschien je indeling herzien en bijvoorbeeld boot of swap disks op sas plaatsen.
Vergeet overigens niet dat RAID5 een simpele XOR is en bij raid6 er aardig cpu gevraagd wordt voor het berekenen van het gehele verhaal.
Bij raid10 zit je direct al met het feit dat je 50% van je storage capaciteit verliest waar dit bij raid6 maar 40% verlies is (en bij raid5: 20% verlies).
Dit klopt niet compleet. Bij RAID 5 verlies je één schijf, bij RAID 6, twee schijven. RAID 10 is inderdaad 50% overhead.
RAID 10 zal je de beste performance opleveren en ook het hoogste aantal IOPS.
Als je dus de berekening maakt en je komt toe de eerste jaren met 5TB netto RAID 10, dan is dit inderdaad de beste keuze. Voor de 146GB SAS disks kan je RAID 10 ( 290GB netto ) of RAID 5 ( 450GB netto ) kiezen, en op deze disks de bootdisks zetten van bvb database of exchange servers. ( alles wat zwaar wordt belast )
Is snelle opslag minder cruciaal, dan plaats je de VPS files op de SATA array.
Het verlies van GBtjes neem ik voor lief.
Belangrijkste is performance, maar ook in worstcase scenario een rebuild (tijd of merkbaarheid op de array).
Ik begrijp uit jullie suggesties, dat RAID-10 de snelste keuze is.
Ik zou verwachten dat juist RAID-5 de meeste IOPS zou hebben, door deze meer spindles ter beschikking heeft?
Onze berekening toont aan dat we op dit moment effectief 2TB nodig zullen hebben (voor nu +3 jaar).
Hoe concludeer je dat raid-5 meer spindles heeft?
Hoe concludeer je dat raid-5 meer spindles heeft?
Wellicht dat ik fout zit, maar door de raid 1 (binnen de 10), houd je effectief 5 spindles over.
Bij de RAID-5 houd je er 8 of 9 over. Of zie ik dat verkeerd?
Wellicht dat ik fout zit, maar door de raid 1 (binnen de 10), houd je effectief 5 spindles over.
Bij de RAID-5 houd je er 8 of 9 over. Of zie ik dat verkeerd?
Afhankelijk van de controller. Maar alle doorgaande controllers pakken in raid 10 gewoon alle spindles voor het lezen.
Mocht je overigens toch gaan twijfelen over raid 5 of raid 6 http://www.tomshardware.com/reviews/RAID-SCALING-CHARTS,1662.html
cyberbootje
29/12/10, 12:36
In de testjes die we hebben uitgevoerd zijn we ook tot de conclusie gekomen dat raid 10 toch meer performance(meer IOPS) heeft dan raid 5 of 6.
Dat was gedaan met de MD3200I met 10 x 15K sas.
Model moet niet zo heel veel uit maken gezien het de nieuwere versie is en de 10 schijven kunnen 1 op 1 gezien worden.
Uiteindelijk gaat het om de keuze tussen snelheid en effectieve opslag en wij hebben gekozen voor de snelheid.
@pid: Er zijn een paar beperkingen welke de MD3000i heeft t.o.v. multi-path waarvan je jezelf even bewust moet zijn, anders gaat hij geheel onterecht zeggen dat hij een storing heeft.
Realiseer je daarnaast ook dat het illegaal is om te hosten op ESXi zonder de bijbehorende VSPP licentie waarook een stukje certificering bijhoort.
Mocht je specifieke vragen hebben shoot, stel ze gerust privé. Ik zelf zou lekker voor RAID5 gaan voor beide arrays.
Model moet niet zo heel veel uit maken gezien het de nieuwere versie is en de 10 schijven kunnen 1 op 1 gezien worden.
Sorry cyberbootje maar hier komt dus degelijk de corrigerende tik. De MD3200I heeft totaal andere RAID controllers en kan meer throughput aan.
@pid: Er zijn een paar beperkingen welke de MD3000i heeft t.o.v. multi-path waarvan je jezelf even bewust moet zijn, anders gaat hij geheel onterecht zeggen dat hij een storing heeft.
Realiseer je daarnaast ook dat het illegaal is om te hosten op ESXi zonder de bijbehorende VSPP licentie waarook een stukje certificering bijhoort.
Mocht je specifieke vragen hebben shoot, stel ze gerust privé. Ik zelf zou lekker voor RAID5 gaan voor beide arrays.
De beperkingen waar je over schrijft heb ik nog niet ondervonden cq. weet niet precies waar je op doelt.
Ik weet dat het volgens de licentie voorwaarden niet is toegestaan.
We zijn druk in de weer om de VMware certificeringen te verkrijgen en VMware-partner te worden. De setup is nu ter inrichting, de licenties die we nu hebben (Essentials Plus) dekken nu de lading. Vanaf moment van verhuur dienen we VMware-partner te zijn met de juiste certificeringen.
Overigens is het niet voor Perfect-Internet Diensten, maar voor een van mijn andere bedrijven.
Wat is de reden dat jij zou kiezen voor RAID-5? Snelheid? Betrouwbaarheid?
De beperkingen waar je over schrijft heb ik nog niet ondervonden cq. weet niet precies waar je op doelt.
Ik weet dan ook niet hoe jij je storage network in elkaar hebt gebouwd, indien je het als Dell in zijn techcenter specificeert doet zit je redelijk safe maar ga je voor iets meer complexiteit dan zul je dit probleem krijgen.
Zie de bijlage voor een voorbeeld hoe dit eruit ziet in je "Modular Disk Storage Manager Client". Dit probleem doet zich ook niet voor als je maar één RAID controller hebt.
Ik weet dat het volgens de licentie voorwaarden niet is toegestaan.
Het ging me om het bewust zijn, niet om het op de vingers slaan. :chinese:
Wat is de reden dat jij zou kiezen voor RAID-5? Snelheid? Betrouwbaarheid?
Snelheid en Betrouwbaarheid. De mix is precies goed en daar ben ik dus erg over te spreken. RAID6 verhoogd de betrouwbaarheid nog een stap hoger zoals ookal reeds genoemd is maar in een chassis van 15 x 300GB SAS behoud ik dan maar zo weinig storage over, dit is dan ook de reden waarom ik heb gekozen voor RAID 5 in deze opstelling met meerdere disk groups om zo optimaal gebruik te maken van een dual raid controller.
Indien je er behoefte aan hebt kan ik gewoon vanuit mijn werkgever een consultancy klusje bij je uitvoeren.
cyberbootje
29/12/10, 16:23
Sorry cyberbootje maar hier komt dus degelijk de corrigerende tik. De MD3200I heeft totaal andere RAID controllers en kan meer throughput aan.
Uhm, sorry hoor maar wel graag in contrast houden.
Wij hebben het getest met raid 5, 6 en 10 op dezelfde controller en in vergelijking was 10 sneller.
Uiteraard zal de 3200i sneller zijn dan de 3000i, dat zal best omdat hij nieuwer is maar de vergelijking is gemaakt op dezelfde hardware.
Ik zeg nergens hoeveel sneller hij is tegenover de 3000i, die vergelijking maak ik niet, zou ook idd totaal niet kloppen!
Tim.Bracquez
29/12/10, 16:25
@Unixboy: En wat als er 1 disk kapot is? Dan mag je jou haasten... en zie hier maar al te vaak bij het rebuilden dat er nog één er uitvalt, en dan is het gedaan... Zo zou ik niet durven slapen!
Naar mijn mening is RAID-10 de beste oplossing, kost je dubbel zoveel (dubbel storage) maar heb je meer dan dubbel zoveel aan terug. Zekerheid en performance !
@Unixboy: En wat als er 1 disk kapot is? Dan mag je jou haasten... en zie hier maar al te vaak bij het rebuilden dat er nog één er uitvalt, en dan is het gedaan... Zo zou ik niet durven slapen!
Je hebt sowieso altijd één hot-spare, dit is een minimum in MD3000i.
Zodra die gebruikt wordt gaat er iemand bij Dell hard rijden om het 4 uur mission critical te behalen. Zelfs met een NBD maak ik me dan nog niet erg dik.
Uhm, sorry hoor maar wel graag in contrast houden.
Wij hebben het getest met raid 5, 6 en 10 op dezelfde controller en in vergelijking was 10 sneller.
Uiteraard zal de 3200i sneller zijn dan de 3000i, dat zal best omdat hij nieuwer is maar de vergelijking is gemaakt op dezelfde hardware.
Ik zeg nergens hoeveel sneller hij is tegenover de 3000i, die vergelijking maak ik niet, zou ook idd totaal niet kloppen!
Het was niet mijn bedoeling het geheel uit zijn contrast te trekken. Indien dit gebeurde hiervoor mijn excuses.
Het ging mij erom dat het chassis wel degelijk een hele andere architectuur heeft, daar wilde ik bewustzijn in veroorzaken. Het aantal io p/s zal lager zijn op een MD3000i dan op een MD3200i, dit is alles. De indeling van je raid blijft geheel hetzelfde en in theorie beroept Delll ook dat je het zou kunnen swappen tussen de chassis echter is dit NIET zo. Dit is door de R&D afdeling van Dell bevestigd en klanten welke migreren van een MD3000i naar MD3200i zullen zich moeten vergrijpen naar andere oplossing.
cyberbootje
29/12/10, 16:41
Het ging mij erom dat het chassis wel degelijk een hele andere architectuur heeft, daar wilde ik bewustzijn in veroorzaken. Het aantal io p/s zal lager zijn op een MD3000i dan op een MD3200i, dit is alles. De indeling van je raid blijft geheel hetzelfde en in theorie beroept Delll ook dat je het zou kunnen swappen tussen de chassis echter is dit NIET zo. Dit is door de R&D afdeling van Dell bevestigd en klanten welke migreren van een MD3000i naar MD3200i zullen zich moeten vergrijpen naar andere oplossing.
Ben ik volledig mee eens, ga er eigenlijk wel van uit dat mensen hier bewust genoeg zijn om die link te leggen, als mensen dat niet zelf kunnen dan behoren ze geen techniek aan te raken lijkt me;)
Maar idd, om het dan helemaal voor te kauwen:
- R10 is sneller (gebleken uit eigen testjes)
- Ik noemde de MD3200I alleen om een link te leggen met het topic
- De aantal IOPS op de 3200I zal vast sneller zijn dan de 3000I
Ben ik volledig mee eens, ga er eigenlijk wel van uit dat mensen hier bewust genoeg zijn om die link te leggen, als mensen dat niet zelf kunnen dan behoren ze geen techniek aan te raken lijkt me;)
Maar idd, om het dan helemaal voor te kauwen:
- R10 is sneller (gebleken uit eigen testjes)
- Ik noemde de MD3200I alleen om een link te leggen met het topic
- De aantal IOPS op de 3200I zal vast sneller zijn dan de 3000I
Het zal je verbazen hoeveel managers hier ook komen, mede dankzij google en daarvoor zijn dit soort dingen zeker handig.
Daarnaast zou je de verwachting hebben dat alle mensen welke techniek aan hebben fatsoenlijk kunnen denken, helaas wordt ik hierin nog dagelijks teleurgesteld (als ik consultancy klussen doe).
Je hebt sowieso altijd één hot-spare, dit is een minimum in MD3000i.
Zodra die gebruikt wordt gaat er iemand bij Dell hard rijden om het 4 uur mission critical te behalen. Zelfs met een NBD maak ik me dan nog niet erg dik.
Worst scenario (wat we helaas eens mee mochten maken):
- Ook de hot spare blijkt een probleem te hebben. => Alles uit.
- Dell doet zijn best (zelfs binnen een uurtje of zo vanuit USA aan het werk)
- Na 3 dagen hebben ze het opgelost. (Waren we heel blij mee :-)
De tussenliggende dagen (+NACHTEN) hebben we doorgewerkt, om alle snapshots + laatste backup uit de storage te halen en op reservesystemen weer online te krijgen. Willen we niet graag weer meemaken.
Dus liever 's nachts naar datacentrum om vooraf schijf te wisselen (kost me maar één nacht nachtrust).
Vrgr. Eef
Worst scenario (wat we helaas eens mee mochten maken):
- Ook de hot spare blijkt een probleem te hebben. => Alles uit.
- Dell doet zijn best (zelfs binnen een uurtje of zo vanuit USA aan het werk)
- Na 3 dagen hebben ze het opgelost. (Waren we heel blij mee :-)
De tussenliggende dagen (+NACHTEN) hebben we doorgewerkt, om alle snapshots + laatste backup uit de storage te halen en op reservesystemen weer online te krijgen. Willen we niet graag weer meemaken.
Dus liever 's nachts naar datacentrum om vooraf schijf te wisselen (kost me maar één nacht nachtrust).
Vrgr. Eef
Ik snap dat het iedereens worst dream is wanneer je hot spare ook stuk is.
Ik ben mezelf enorm bewust van het feit dat iedereen een andere behoefte heeft wanneer het op informatisering aan komt. Ik begrijp alleen niet hoe je hele machine dan uit productie kan gaan, in mijn configuratie[s] betekend dit dat er een disk group failed. dit betekend nog niet dat de volledig MD in kwestie niet bereikbaar is.
Ben enorm benieuwd naar je casus kan me voorstellen dat je het te publiekelijk vind om deze informatie hier te bespreken, indien dit het geval is wacht ik met smacht op jou privé berichtje.
Ben enorm benieuwd naar je casus kan me voorstellen dat je het te publiekelijk vind om deze informatie hier te bespreken, indien dit het geval is wacht ik met smacht op jou privé berichtje.
Wat wij er van geleerd hebben (en dat mag ook publiekelijk ;-):
- De wet van Murphey, is geen theorie alleen, maar bestaat echt. Als iets stuk kan gaan, etc. ... houd er dan rekening mee dat het ook echt gaat gebeuren. En ja, dat kan ook vandaag zijn.
- En dat wetende:
1. Zorg dat je je spullen voor elkaar hebt. En we zorgen er allemaal voor dat de "kernzaken" wel werken, dus daar zit geen probleem, maar zorg ervoor dat al je veiligheidsonderdelen het minstens zo goed doen. Want...
2. (zie wet van Murphey) het zou maar zo kunnen zijn dat die dadelijk de hoofdtaak over moeten gaan nemen!
En volgens mij zijn dat "waarheden", die ieder op dit forum al lang kent (maar ze helaas vergeet of (nog erger) denkt dat het wel zal meevallen.
Vrgr Eef
Tim.Bracquez
31/12/10, 09:51
Ik begrijp alleen niet hoe je hele machine dan uit productie kan gaan, in mijn configuratie[s] betekend dit dat er een disk group failed
Zijn meerdere mogelijkheden hoe dit kan gebeuren... Dell kan je dan ook niet altijd even snel een oplossing verzinnen. Graag een RAID leveltje meer, graag een extra storage als het maar om zekerheid gaat.
Wat Eef (aristo) hier aanhaalt, zorg er ook altijd voor dat je zonder je SAN verder kan voor de komende x dagen. Want gaat die op zijn gat, dan sta je daar...
Zijn meerdere mogelijkheden hoe dit kan gebeuren... Dell kan je dan ook niet altijd even snel een oplossing verzinnen. Graag een RAID leveltje meer, graag een extra storage als het maar om zekerheid gaat.
Bedankt voor de oprechte medeleven, ik heb alleen de zaken redelijk goed voor elkaar het ervoor zorgen dat je een off-site backup hebt.
Wat Eef (aristo) hier aanhaalt, zorg er ook altijd voor dat je zonder je SAN verder kan voor de komende x dagen. Want gaat die op zijn gat, dan sta je daar...
Nogmaals, de implementatie maakt hier wel degelijk het verschil.
Off-site backups behoren erbij + redundante MD3000i. Ik weet als geen ander dat Murphy altijd op zijn fiets zit.... maar dit moet je gewoon goed afgetikt hebben. De keuzes die ik maak zijn goed overwogen en ik zorg er dan ook voor dat zelfs met 4hrs mission critical ik de zaken goed voor elkaar heb, zelfs zonder SANs kan ik met degraded performance de bestanden nog aanbieden. :thumbup: