PDA

Bekijk Volledige Versie : SAN noden in een datacenter



DUR0N
29/11/09, 23:15
Ik zie hier veel middelgrote hosting providers die net te klein zijn om een beestige SAN uit te bouwen, zouden er zijn die dat wel willen doen?

Mensen die mij hier al een tijdje volgen zouden gemerkt kunnen hebben dat ik nogal graag (en veel) met high-end server materiaal bezig ben. Blades, SAN, Routing, dagelijkse kost. Nu kan ik voor een prijsje aan een nagenoeg ongebruikte HP EVA 8000/8400 graken, met meer disks in dan ik zelf ooit zou kunnen volkrijgen.
Vandaar de vraag: zou der een markt zijn om storage space van mij af te nemen? Redundante 4GB FC lijnen per afnemer, 16 poorten op de SAN switchen. Bij mijn initiele berekeningen zou het om 1 euro per GB gaan (lijkt mij goedkoop?).

Een ideetje, ik gooi het maar in de groep.

WebMeso
29/11/09, 23:29
Er zou best animo voor kunnen zijn. Maar zitten in die berekeningen ook de stroom en colocatie prijzen verwerkt? Welke soort schijven gaat het om en welke snelheid hebben deze? In welk netwerk wordt het geplaatst? Dat lijkt mij wel belangrijke informatie, voordat men het af wil nemen voor die prijs.

DUR0N
29/11/09, 23:54
Op jaarbasis alles inbegrepen (buiten fiber kaarten voor in de servers natuurlijk)

Ik zou gaan voor 300GB FC 10k rpm schijven. 15k schijven zijn nog een pak duurder al is hun performance er ook wel naar. EVA's ondersteunen mix'n'match dus dat zou ik zou die beslissing gewoon aan de klant kunnen overlaten.
Een onoverkomelijk euvel is dat er maar 1 vloer van 1 DC per EVA kan gecoverd worden, en ik weet niet hoe happig sommige datacenters zijn tegenover fiber kabels doorheen een suite.

Tim.Bracquez
30/11/09, 00:04
Denk dat je beter opzoek gaat naar een 'partner' die een virtualisatie pool wil starten. Dit ook omdat die kabels doorheen de vloer moeten gelegd worden. Of gewoon colocatie aanbieden voor virtualisatieplatformen met de nodige power/cooling voor high-end machines en voorzieningen voor SAN storage.

1 Euro per GB is 'spot goedkoop'. Ik vermoed dat hier niet het volledige managment en/of nodige garanties bij de leverancier bijgeteld zijn?
Toch wel leuk weten wanneer er wat mis gaat dat je binnen de x uur iemand op de vloer hebt staan.

The-BosS
30/11/09, 00:16
Een onoverkomelijk euvel is dat er maar 1 vloer van 1 DC per EVA kan gecoverd worden, en ik weet niet hoe happig sommige datacenters zijn tegenover fiber kabels doorheen een suite.

Hangt af van de afspraken die je maakt met het datacenter en hoeveel je betaald, fibers van jouw SAN naar meet-me-room zou geen enkel probleem moeten zijn lijkt mij. Dan is het aan jouw afnemers om dan met het datacenter hun fibers naar de meet-me-room te regelen. Of je zou bvb in Equinix vlan's kunnen afnemen op hun inhouse exchange. Zolang je betaald maakt het voor de meeste datacenters niet veel uit. Hoe zouden grotere providers anders hun eigen fiber ringen in de verschillende datacenters binnen krijgen ;)

Randy
30/11/09, 00:19
Het laatste wat je wil, is dat derden switching gaan doen op je storage. De genoemde prijs is voor een active-passive set-up of inclusief back-ups? Ik vind het zelf wat aan de hoge kant. Maar moet ook zeggen dat mijn prijzen op de MSA2000i berekend zijn.

In complete capaciteit (je hebt nog blades over...) met storage heb ik altijd wel interesse. Een en ander is afhankelijk van de voorwaarden, lokatie en connectiviteit.

DUR0N
30/11/09, 00:30
Ja, switching zou ik ook niet direct zien zitten.
1 euro per gb per jaar lijkt mij redelijk. Een HP service contract met 4h onsite support zit er in verrekend. Connecties yahar.
Een passive node erbij is een goed punt, maar EVA's zijn op zich al volledig redundant dus ik weet niet of dat zoveel zin heeft.
Qua backups denk ik dat de interesse minder zal zijn, er wordt toch meestal snapshotting op hypervisor en file niveau gedaan.

Randy
30/11/09, 00:36
Snapshots zijn evil, en zeker geen back-ups. Leuk op serverniveau voor je een grote update gaat uitrollen, maar op SAN-niveau zie ik er geen toegevoegde waarde in. (mede door de licentieprijzen van HP) :)

DUR0N
30/11/09, 00:45
Ha, je bedoelde backup units, niet file backups. Een MSL6000 zou hem binnen de 24u nipt kunnen kopieren op tape als er 10% resources reserved voor zijn, ter informatie :)
Twee controllers, vier voedingen, twee PDU's, elke shelf ook twee voedingen, alles dubbel aan elkaar geknoopt. Alleen als de stroom wegvalt stopt-ie met werken. Slechte failovers kan je altijd hebben, zelfs met een volledige hot spare unit (nog nooit tegengekomen).

gjtje
30/11/09, 01:25
Bij standaard configuraties zit je aan max lengte van de kabels van zo'n 5M. Langer kan wel maar dan gaat de meter nog veel harder lopen. Ik denk dat de kleine hoster nog al tegen de prijs van de FC componenten zal aanhikken. Redundante HBA's met kabels en support en je bent weer 1000 euro verder.

DUR0N
01/12/09, 11:38
5-10-15m is doenbaar, en met andere SPF's kan daar nog aan gesleuteld worden.
1000 euro om een server aan en SAN te hangen is misschien nog net doenbaar, maar de 50-100-150k om er een rack disks aan te hangen is meestal de dooddoener.

Jesperw
01/12/09, 12:23
Ik vind het wel een goede ontwikkeling als partijen kwalitatief hoogwaarde storage gaan afnemen. Ik zie ook wel dat mensen supermicro storage dozen als SAN en basis van hun virtualisatie gaan gebruiken. Dat vind ik prima, maar ik zou 't niet aandurven.

Niet doordat 't Supermicro is (dat zijn mijn nodes ook), maar die storage bakken zijn als SAN lang niet betrouwbaar genoeg.

Daarom: Doen en ik denk dat er altijd wel interesse is, zeker voor 1 euro per jaar. Da's heeeel weinig. :)

Randy
01/12/09, 12:25
Per jaar? Ik dacht per maand. Per jaar teken ik er meteen voor. Ik zie dat ik het inderdaad verkeerd gelezen heb.

Tim.Bracquez
01/12/09, 12:33
Per jaar? Ik dacht per maand. Per jaar teken ik er meteen voor. Ik zie dat ik het inderdaad verkeerd gelezen heb.
Klopt vandaar mijn opmerking over de 'spot prijs' :) (kon het niet geloven)

Trouwens zo vroeg wakker Randy?

vipeax
01/12/09, 12:36
Trouwens zo vroeg wakker Randy?
Niet geslapen... :O


Nu kan ik voor een prijsje aan een nagenoeg ongebruikte HP EVA 8000/8400 graken
Hoeveel schijven zitten er al bij dan? 1 euro a la GB, 290 euro per jaar per schijf (of minder als er backup schijfjes zijn en natuurlijk 10GB vrij voor de vakantie foto's).

Randy
01/12/09, 12:38
Helemaal goed! (updatenacht). Maar dit is geen lounge :lovewht:

Voor die genoemde prijs zijn de aanschafkosten voor een TOE FC NIC natuurlijk te verwaarlozen. Heb je ook nog blades vrij? In dat geval, wil ik wel serieus met je in overleg om te kijken hoe het een en ander commercieel weg te zetten is.
Mocht het alsnog te duur zijn of niet passen binnen de infra, kun je altijd nog met een FC2iSCSI omzetter werken.

t.bloo
01/12/09, 12:54
Als je dat tweedehandse spul commercieel weg zet, wat reken je dan als percentage voor toekomstige vervanging? 300% ofzo???!?

Randy
01/12/09, 13:08
Als je dat tweedehandse spul commercieel weg zet, wat reken je dan als percentage voor toekomstige vervanging? 300% ofzo???!?

Het is HP mét servicecontract begrijp ik Toine. Dus redelijk actueel spul mét support van de leverancier. Een 4H carepack erbij en draaien maar. Ruim 95% van de fouten wordt immers niet door HP hardware veroorzaakt maar door de beheerder..

gjtje
01/12/09, 18:26
Maar meer dan 5 jaar zullen ze toch niet gaan supporten, of dan wordt het commercieel zo onaantrekkelijk dat je beter nieuw kan kopen.

€1 per GB is ook wel erg weinig, betalen hier nu ongeveer € 10 per GB aanschaf (15k FC4) dus dan zou je al 10 jaar met je disks moeten doen om alleen de kosten er uit te halen. Of HP is een stuk voordeliger. :(

DUR0N
01/12/09, 21:13
Of ik betaal een fractie van de nieuwprijs. :)

HP levert support tot ongeveer 5 a 7 jaar tegen een aanvaardbare prijs. Onlangs hadden we een stel DL360s en een ouwe MSA500 van het jaar toebbak en de support daarop begon gevaarlijk dicht tegen de nieuwprijs aan te lopen.
Vrij jammer want die bakken hadden een uptime van 100%. Nooit uitgezet na het opstarten, altijd netjes geweigerd om firmware upgrades te doen.

Armand
02/12/09, 12:49
Ik zou graag inhaken, ik ben ook aan het oriënteren op een betaalbare (lees lowbudget) SAN. In eerste insteek als test opstelling, maar hopelijk deels productie.

Nu begrijp ik dat er veel bottelnecks kunnen optreden met betrekking tot iops en latency.
Nu ben ik benieuwd waar jullie voorkeur naar uit zoe gaan.

Ik wil sowiso werken met een dedicated server die als SAN moet fungeren.
Server wordt voorzien van een Areca SAS/SATA controller met een externe port doorgelust naar SAS expander in een JBOD machine.

Nu komen de kosten en de performance op een soort wip te zitten :-)
Ik wil graag hotswapable snelle storage, en betaalbaar.

Ga ik dan voor het lage segment (kleinere) 7200rpm schijven, en gooi ik die hele machine vol om maar extra spindels te krijgen, of ga ik voor 10k of 15k SAS schijven.
Daarnaast wil ik 4x Gbit koppelen op een gbit switch vanaf de dedicated SAN server.

Nu kan ik me dus voorstellen dat de uiteindelijke doorvoersnelheid van 4gbit (+/- 400MB/sec) dus de limiet wordt voor mijn SAN, maar dat het aantal kleine lees en schrijfacties altijd binnen deze ratio valt.

Kan iemand eens zeggen waar hij rekening mee zou houden, rekening houdend met budget ;-)

gjtje
02/12/09, 15:15
1: jbod brrrrrrrrrrrrrrr, 1 disk stuk alles weg, niet doen dus.
2: low budget san is eigenlijk tegenstrijdig, een san is van oorsprong het hart van de IT omgeving, low budget past daar niet

SAS vs SATA en rpm's is een eindeloze afweging. Belangrijk is om te weten wat je er mee gaat doen? Statische data (documenten, back-ups) kan prima vanaf 7200rpm SATA, een iets hogere zoektijd is geen probleem en data wisselt weinig waardoor het aantal iops laag is.
Dynamische data (databases, virtuele machines) wordt verdeeld over 10k en 15k sas, bijv 8x 10k disks in raid-10 kan net zo veel kosten als 4x 15k in raid05 en sneller zijn maar dan heb je weer meer kosten aan onderhoud (meer disks) en meer disk arrays nodig. Kwestie van rekenen en kijken wat het beste uitkomt. Een 15k disk kost ook veel meer stroom dan 10k, en nu met sff disks ligt de verhouding weer anders.

Als regel kan je nemen, per disk in een array: 7200 sata +/- 60 iops, 15k sas 160 iops, 10k sas ergens daar tussen in.
Dat zijn de werkelijke iops die zo'n disk aan kan. Al die 1000000 kletskoek iops waar je over leest gebeurt d.m.v. caching en caching biedt nooit een 100% garantie, zeker bij een kleine SAN i.c.m. met de grote ruimte die sata biedt zal je cache regelmatig te klein zijn.

Armand
02/12/09, 15:25
@gjtje: Het is een supermicro JBOD chassis, wat ik begreep, zit daar niks anders in dan een SAS expander en redundante voeding voor deze harddisks.

Ik ga er gemakshalve vanuit dat mijn Areca controller via deze expander alle schijven als losse schijven ziet. (alsof je een 24 ports raidcontroller hebt, waarin iedere schijf los mag uitvallen. )

Het dilemma over of een SAN wel of niet lowbudget kan wil ik toch even in het midden laten. Het gaat in eerste instantie om een test waarbij ik 5 servers wil ozmetten in VM's.

Waar ik echter mee zit (uit mijn eigen ervaring):
- Een machine met een forum op een ENKELE SATA disk draait (+/- 3mbit 95%) heeft geen problemen (hoop geheugen).

Kan ik dan stellen dat als een soortgelijke belasting berekend moet worden naar een SAN ik voor die server bij wijze 1 7200 disk noodzakelijk heb.

Ik vermoed dat het puur testen en proberen is, maar toch! :-)

gjtje
02/12/09, 16:11
Yup, die vergelijking kan je wel maken. Je zou in principe op je san elke lun aan 1 fysieke disk kunnen binden dan is het niet anders dan nu (alleen via het netwerk ;)).

Randy
02/12/09, 16:13
Supermicro is enkel de hardware. Alles staat of valt met de beheerssoftware. Ik zou zelf eens kijken naar de eonstore. Betaalbare behuizingen die expandable zijn en SAS en SATA kunnen mixen. Deze heb ik ook draaien in een testlab, dat uiteindelijk onbedoelt een productie omgeving geworden is. Een extra chassis, wat SAS disken en ik kon gewoon doorgaan.
Wel heb je 'slechts' 2x 1 Gbit. Maar ook al heb je 4x 1 Gbit, de snelheid zal nooit sneller zijn dan de traagste bus: 1 Gbit dus tenzij je veel nodes hebt. Pieken doe ik in die omgeving (8 nodes, ~250 VM's) eigenlijk nooit boven de 400 Mbit/se en met het aantal iops kon ik nog ruim uit.
Het systeem is erg flexibel. Wil je geen iSCSI maar eSAS of FC is het enkel een andere controllerkaart erin prikken.

Op een ander elocatie draait een EqualLogic van Dell, en moest ik de keuze nog een keer maken, zou ik hier zeker niet voor gaan. Prijstechnisch is het gewoon te duur en te weinig flexibel voor mijn omgeving. (Soms wil ik veel storage voor weinig geld: 1TB SATA disken, Soms wil ik snelle toegangstijden: 15K RPM disken en voor normale VM's wil ik 10K RPM disken)

Armand
02/12/09, 19:40
@Randy, dat ziet er interessant uit! Zoals ik het dus zie zit in die S16E-R1130 / S16E-G1130 dus alles om een iscsi san te runnen (behalve de disks) ?

@randy & gtje:
Wellicht heb ik het nu verkeerd, maar ik lees het nu bij infortrend ook weer op de website. Als ik een extra jbod aan een host controller hang, ziet die schijven dan als losse schijven voor de controller welke bruikbaar worden in een raid array? Of wordt dat een echte JBOD waarin alle schijven als 1 grote schijf gezien worden?

Tommi
02/12/09, 19:42
@ Armand

Bij mijn weten stuurt de raidcontroller alles aan als aparte schijven, een array bouwen moet dus ook mogelijk zijn. Het word dus bij mijn weten( correct me if i'm wrong ) als aparte disk's gezien ipv 1 grote schijf!

Randy
02/12/09, 19:48
@Randy, dat ziet er interessant uit! Zoals ik het dus zie zit in die S16E-R1130 / S16E-G1130 dus alles om een iscsi san te runnen (behalve de disks) ?

Yes. Je bepaald zelf welke disks je erin doet. Dit mag ook een combinatie van SAS en SATA zijn. SSD's heb ik nog niet geprobeerd. Ik heb net een 1U behuizing met 2,5" disks besteld met een stapel SSD's als storage voor de database.

Ikzelf draai in RAID-6 op deze machines. Op de EqualLogic weer RAID-50. Kwa performance merk ik vrijwel geen verschil, maar heb dan ook geen zware wordloads met middleware, odb en veel transacties. En normale webservers doen vrijwel... niets. Laatst nog een meting gedaan op wat drukke webservers en daar zit je op ~10% write en de rest allemaal reads. En die reads, komen vrijwel allemaal weer uit de LInux cache.

Tommi
02/12/09, 19:53
Dit ziet er inderdaad leuk uit en heeft goeie scherpe instapprijzen. De machines zijn nogwel excl BBU en met 512MB geheugen op de raidcontroller.
Randy, je hebt natuurlijk de BBU erbij genomen, echter heb je ook het geheugen nog uitgebreid van de controller? En zoja, wat is de max ervan?

Randy
02/12/09, 19:58
2 Gbyte en vanzelfsprekend met BBU zodat de writecache (BBWC) aan kan.
Kwa prijs ben je niet veel meer kwijt dan Supermicro shizzle, alleen krijg je nu beheer software erbij. En zelf rommelen is duurder.

Tommi
02/12/09, 20:00
2 Gbyte en vanzelfsprekend met BBU zodat de writecache (BBWC) aan kan.
Kwa prijs ben je niet veel meer kwijt dan Supermicro shizzle, alleen krijg je nu beheer software erbij. En zelf rommelen is duurder.

Oke:) Klinkt allemaal goed en zoals gezegd heeft het leuke instapsprijzen.
We gaan er eens naar kijken!

Randy
02/12/09, 20:01
Oké. Ik stel voor dat je dan even een nieuw topic aanmaakt (Goed voor je ratio ;)) en we hier niet verder gaan. Misschien dat een admin anders even een split/merge kan uitvoeren?

jeffrey
04/12/09, 12:13
Supermicro is enkel de hardware. Alles staat of valt met de beheerssoftware. Ik zou zelf eens kijken naar de eonstore. Betaalbare behuizingen die expandable zijn en SAS en SATA kunnen mixen. Deze heb ik ook draaien in een testlab, dat uiteindelijk onbedoelt een productie omgeving geworden is. Een extra chassis, wat SAS disken en ik kon gewoon doorgaan.
Wel heb je 'slechts' 2x 1 Gbit. Maar ook al heb je 4x 1 Gbit, de snelheid zal nooit sneller zijn dan de traagste bus: 1 Gbit dus tenzij je veel nodes hebt. Pieken doe ik in die omgeving (8 nodes, ~250 VM's) eigenlijk nooit boven de 400 Mbit/se en met het aantal iops kon ik nog ruim uit.
Het systeem is erg flexibel. Wil je geen iSCSI maar eSAS of FC is het enkel een andere controllerkaart erin prikken.


Randy , hoe performed eonstor in vergelijking met equallogic? en over welke eostor's heb je precies?

Jesperw
04/12/09, 12:40
Zo'n EONstor ziet er best leuk uit, maar volgens mij moet je die kopen vóór je een Equallogic hebt gebruikt, want anders kun je er echt niet mee omgaan. Die interface is (net als Open-E) erg onlogisch en onhandig als je 't met EQL vergelijkt.

Sander-
04/12/09, 14:31
Zo'n EONstor ziet er best leuk uit, maar volgens mij moet je die kopen vóór je een Equallogic hebt gebruikt, want anders kun je er echt niet mee omgaan. Die interface is (net als Open-E) erg onlogisch en onhandig als je 't met EQL vergelijkt.

Daarnaast is het de vraag in hoeverre je dezelfde betrouwbaarheid, redundantie, support en uptime krijgt. Je draait toch op gewone X86 hardware en niet op hardware die ontworpen is voor SAN storage.

Armand
05/12/09, 16:55
Ik wilde nog even terug inhaken op dit onderwerp.
Ik kwam deze Areca controller tegen:
http://www.areca.com.tw/products/iscsi_to_sas_backplane.htm

Zowel cabled als backplane versie.
Zoals ik het lees (correct me if im wrong) doet deze niks anders dan je SAS JBOD chassis van RAID voorzien en via iSCSI LUN devices aanbied aan je netwerk. (Via 2x 1gbit.)

Ik lees steeds maar over de heile graal (Equallogic) maar dat ligt gewoon vér buiten ons budget. Ik wil echter een testomgeving met virtualisatie via SAN opzetten met de insteek hem ook echt te kunnen gebruiken in productie. Het is alleen ontzettend moeilijk om cijfers te vinden wat je kunt verwachten van hardware.

Nu ben ik ergens bang dat mijn SAN juist de bottelneck gaat worden bij virtualisatie projectjes. (Al zijn het allemaal LAMP servers met 512 tot 1GB ram geheugen die ik wil virtualiseren.)

Als je zou mogen kiezen: ga je dan voor virtualisatie d.m.v. een low-budget (lees: mindere) SAN of zou je gewoon goede backups regelen en vps-en allemaal via de local disks draaien?

Yourwebhoster
05/12/09, 16:59
Voor een budget is het waarschijnlijk pas bij 8-10+ nodes redelijk om een SAN te draaien. Anders kan je beter backups maken en op de local hdd's draaien. Wel in RAID 1 natuurlijk.

gjtje
06/12/09, 11:22
Voor een klein aantal hosts zou je ook naar een Dell MD3000i kunnen kijken. 't Is geen super san maar bijv wel voorzien van redundante onderdelen op kritieke punten. De kosten vallen best wel mee, volgens mij mag je er tot 16 hosts op aansluiten via iscsi.

wonko
06/12/09, 11:54
Bekijk ook even een gewone goede doos, zonder raid kaart, met voldoende geheugen en een 12-tal disks, en die voorzien van bvb OpenSolaris, met ZFS en dan de Comstar iSCSI stack. Als je je ZIL nog op een SSD zet, heb je al helemaal een fijn en goedkoop SAN-apparaat.

Randy
06/12/09, 11:57
Bekijk ook even een gewone goede doos, zonder raid kaart, met voldoende geheugen en een 12-tal disks, en die voorzien van bvb OpenSolaris, met ZFS en dan de Comstar iSCSI stack. Als je je ZIL nog op een SSD zet, heb je al helemaal een fijn en goedkoop SAN-apparaat.

En voor de mensen die allergisch zijn voor (open)Solaris maar wel bekend met Debian/Ubuntu: Kijk eens naar Nexenta (http://www.nexenta.org/), The best of both worlds. Ubuntu met een Solaris/BSD kernel en échte tools als dtrace en strace. En natuurlijk zeer goede ZFS ondersteuning. Een geniaal bestandssysteem! Heb hier op een speeldoos zeer goede resultaten gehaald (4x 146G 10K SFF SAS + 64G Kingston Vbudget SSD als cache).

wonko
06/12/09, 12:12
Randy, ik zou toch afraden om nexenta te gebruiken. Ze lopen altijd iets achter op de OpenSolaris releases, en support/googlen naar fouten ga je sneller vinden met de originele tools. Verder is heel de toolset die belangrijk is (ps, netstat,...) toch nog altijd solaris-style, enkel het compileren en het installeren van vim of zo is iets eenvoudiger (en daar is opensolaris nu ook al een heel eind gekomen.

Het komt er in dergelijke opstellingen (gewone hardware) altijd op neer om zoveel mogelijk platters en iops te hebben, en goede caching. Het is verbazend wat je kan met ZFS, 12 SATA disks en 1 SSD disk, en een goede controller (ik heb getest met een Areca in passthrough "jbod" mode ) in een eenvoudig intel chassis. De screenshots zijn zonder veel franjes en tuning, gewoon opensolaris erop, en gaan...

Armand
06/12/09, 17:41
Bekijk ook even een gewone goede doos, zonder raid kaart, met voldoende geheugen en een 12-tal disks, en die voorzien van bvb OpenSolaris, met ZFS en dan de Comstar iSCSI stack. Als je je ZIL nog op een SSD zet, heb je al helemaal een fijn en goedkoop SAN-apparaat.

Klinkt interessant!
Maar waarom zonder raid kaart?

wonko
06/12/09, 21:41
ZFS gaat vrij intelligent om met de disks (blocks/sectoren/...), en haalt daar wel wat voordeel uit, en het ging om een goedkoop alternatief voor alle Equallogic-en-aanverwanten-geweld.

Armand
06/12/09, 22:14
Bedankt Wonko!
Zeer interessant stuff :-)

Yourwebhoster
06/12/09, 22:17
Ik ga maar eens het een en ander hiermee (ZFS) uit testen, bedankt:)

Armand
07/12/09, 10:49
@Wonko:
Ik lees dat de recovery tools pas eind 2009 gepland stonden/staan. (Ik heb verder nog geen ervaring met ZFS) maar zoals ik de specs lees is het erg "redundant" en "slim".
Maar de recovery tools zal niet zonder reden vraag naar zijn? :$

En hoe zou je dit als SAN setup kunnen gebruiken?
Ik lees dat je in principe ZFS via iSCSI kunt gebruiken (niet shared per LUN uiteraard)
Maar gebruik jij dit ook? Vind het wat grijs omdat het zowel blockdevice als filesystem in één lijkt te zijn :)

wonko
07/12/09, 12:23
@Wonko:
Ik lees dat de recovery tools pas eind 2009 gepland stonden/staan. (Ik heb verder nog geen ervaring met ZFS) maar zoals ik de specs lees is het erg "redundant" en "slim".
Maar de recovery tools zal niet zonder reden vraag naar zijn? :$

En hoe zou je dit als SAN setup kunnen gebruiken?
Ik lees dat je in principe ZFS via iSCSI kunt gebruiken (niet shared per LUN uiteraard)
Maar gebruik jij dit ook? Vind het wat grijs omdat het zowel blockdevice als filesystem in één lijkt te zijn :)

Recovery-tools heb ik nog niet nodig gehad. Near-live data backups zijn te bekomen met zfs send en receive, en met snapshots kom je ook al een heel eind. De opbouw van het filesysteem, en zijn intelligentie, zou corruptie moeten voorkomen, als je het gewoon gebruikt zoals het moet (zil bvb niet uitzetten!).

Het is idd een blockdevice en filesysteem in één. Het is het samensmelten van linux MD, LVM en een filesysteem in één product.

Je kan op je ZFS gewoon volumes maken, en deze via iSCSI exporteren als een block-device. En dan heb je een SAN. Shared is mogelijk, maar dan moet je een geclustered FS draaien op je initiators. Wij gebruiken het zo voor enkele opslagdozen.

Armand
16/12/09, 10:57
@Wonko:
Ik ben weer bezig geweest, wellicht kan je me voorzien van wat additionele informatie, want door een belletje van een Promise dealer ben ik toch weer aan het twijfelen geslagen :p

Ik had mijn zinnen gezet op een ZFS Solaris opstelling als iSCSI target.
( Vooral de SSD cashe optie vind ik erg interessant! )
Wat ik wilde doen, en hier komt die:

2 Host machines. (Oude hardware die we hebben) voorzien van Solaris in een intern netwerk. Via een HBA beide Solaris machines koppelen aan de zelfde JBOD chassis.

Nu zit ik me helemaal het rambam te zoeken naar een SAS Expander voor de Jbod met 4 externe poorten, of een manier om 2 expanders binnen te kunnen crossen. (Wat ik begrijp uit de topologie van SAS moet dat kunnen.) Waardoor je als het ware 1 hosts kunt switche met de zelfde disk array.

Uiteraard wil je dit niet continu, amar op basis van HA vervolgens wel of niet de pci-e slot aanzetten op de Primary Host.

Klinkt het allemaal nog logisch wat ik zo zeg?
Soort DRBD HA maar dan maar met 1x een disk array er achter.

Nu gaat mijn eigen setup nog wel het één en ander kosten. (Exclusief de disks.)
En dat valt natuurlijk altijd tegen :-) (Zeker omdat je in je hoofd zo goedkoop mogelijk iets probeert te realiseren.)

Via een dealer van promise kreeg ik het aanbod om het instap 1820 model te nemen van Promise VessRaid. Deze heeft 8 disks en 2 voedingen, met slechts 1 controller en is voorzien van iSCSI met 4x 1Gbit.

Zijn er mensen met positieve en negatieve ervaringen met Promise i.c.m. Xen?
Ik lees over het algemeen goede verhalen als backup device, maar ook weer van die mensen die roepen: "ik zou het nooit in een productie omgeving gebruiken." Dus een hoop tegenstrijdigheden!

In mijn optiek:

Voordelen Promise:
- out of the box, plug &play.
- betaalbaar
- een merk / leverancier

Nadelen Promise:
- slechts 1 controller.
- helaas niet alleen positieve verhalen op internet.

Voordelen Zelfbouw:
- Tweakbaar naar eigen wensen
- Meer HA qua hardware controller
- Geen hardware raid maar cpu raid d.m.v. ZFS. <-- beter restorable?

Nadelen Zelfbouw:
- Kosten moeilijk in te schatten.
- Geen support.
- Software Raid via OS (ZFS). <-- performance?
- Kost een hoop tijd.

Nou moet ik zeggen dat tijd geen belemmering is, daar ik het ontzettend leuk vind om spelenderwijs dingen te leren en te kunnen handelen :-)

Maar goed, ieder die nog een nuttige toevoeging heeft, graag!

wonko
16/12/09, 14:27
je vergelijkt appelen met peren: je zelfbouw maak je overloos complex en redundant, en de promise doos is enkele storage oplossing. Vergelijk je promise doos met een eenvoudige kist met een 6 tot 10-tal disks en OpenSolaris erop.

Armand
16/12/09, 14:36
Wat is jouw definitie voor wanneer iets een SAN mag heten, of wanneer het een storage doos is? Want als wat LUN's kunnen exporteren via iSCSI kan je toch zowel VM's hosten als hier heen backuppen. (Mijninziens net welk labeltje je er aan hangt.)

Wellicht lijkt het overloos complex wat ik wil, maar ik probeer single point of failures zoveel mogelijk te voorkomen binnen mijn budget. Daarnaast is een DRBD HA setup wat mij betreft niet de meest energie zuinige en goedkope. (2x disk array online.)

Ik snap je punt dat je Promise niet 1 op 1 kunt vergelijken, maar zoals ik al vaker lees hier zijn er heel veel mensen die een SAN draaien puur op basis van de redundancy IN de SAN, en niet een hot-standby/spare hebben of iets dergelijks.

Ik ben dus benieuwd of je hier met een Promise op zou kunnen rekenen.
Voor een backup device is het niet erg als die even niet bereikbaar is, maar voor een SAN waarvan Virtuele machines draaien wordt het toch wat minder prettig. :)

Yourwebhoster
16/12/09, 17:05
Ik snap je punt dat je Promise niet 1 op 1 kunt vergelijken, maar zoals ik al vaker lees hier zijn er heel veel mensen die een SAN draaien puur op basis van de redundancy IN de SAN, en niet een hot-standby/spare hebben of iets dergelijks.

Ik ben dus benieuwd of je hier met een Promise op zou kunnen rekenen.
Voor een backup device is het niet erg als die even niet bereikbaar is, maar voor een SAN waarvan Virtuele machines draaien wordt het toch wat minder prettig. :)
Ik zit ook met dat probleem en wil zelf in principe met een server met normale HW RAID gaan draaien en via drbd naar een spare SAN laten schrijven met heartbeat. En iscsi (zover het er nu uit ziet) zal verder gebruikt worden.

Jesperw
16/12/09, 17:41
Ik heb vandaag eens met dat Nexenta storage lopen spelen. Best leuk! Voor 10k heb je de software voor 2 storage units en high availability (realtime, synchroon, active/active). Dan alleen nog hardware. Maar dan kun je voor 20k wel storage hebben over 2 locaties.

Heb je 1 locaties, dan koop je voor dat geld ook een Equallogic :P

Sander-
16/12/09, 23:33
Ik zit ook met dat probleem en wil zelf in principe met een server met normale HW RAID gaan draaien en via drbd naar een spare SAN laten schrijven met heartbeat. En iscsi (zover het er nu uit ziet) zal verder gebruikt worden.

Tja, ik heb dit doorgerekend deze week en als ik uit ga van het volgende:
- 3U Supermicro met 16x hotswap bays
- RAID kaart met BBU
- Intel quadport card
- Quadcore met 8GB geheugen
- 16 x 10.000 rpm 450GB SAS

Dan kom ik per node al snel richting de 8 a 10k. Doe dat 2 keer en je zit op 16/20k. Vervolgens moet je er software op kopen of ontwikkelen en daarnaast onderhouden, updaten etc. Als ik in ons geval die uren ga doorrekenen dan is het prijsverschil met een proffesionele boxed oplossing zoals een equallogic gewoon te klein om het een goede oplossing te noemen. In mijn businesscase, waarin ik onze kostprijs uurtarieven doorreken kom ik zelfs duurder uit dan een soortgelijk Equallogic (op basis van offerte met flinke korting tov listprice).

Enige oplossing die in mijn berekening goedkoper uitkwam was EonStor, of een oplossing waarbij je kiest voor minder redunancy, maar dat was voor ons een harde eis.

Voordeel van Eonstor is dat je minder afhankelijk bent van EonStor voor het leveren van bijv hdd's, je kunt ze gewoon zelf erin zetten, wat hoop geld scheelt. Nadeel hiervan is dat je RMA van HDD's etc ook zelf moet regelen met betreffende leverancier ipv all-in support contract zoals bij Dell Equallogic. Ander puntje wat ik bij EonStor nog niet echt kon doorgronden was de support op de unit, voor zover ik dat heb kunnen achterhalen is de echte mission-critical support niet mogelijk vanuit de fabrikant, maar moet dit via de verkoopkanalen. Maar hier kan Randy wss wel wat meer over zeggen.

Kan je overigens mededelen dat wij voor een Equallogic zullen gaan, zijn nu de details aan het uitwerken en hopelijk in de loop van januari kunnen we met de unit aan de slag.

Yourwebhoster
17/12/09, 00:01
@Sander
het is maar wat je zelf wilt, voor mijn budget en wat ik er in ga stoppen (zeker geen 450Gb schijfjes, meer iets van 147 GB) is dat wel haalbaar. En de spare SAN kan in principe met normale (goedkope) schijven draaien omdat deze tijdelijk de andere SAN moet opvangen, natuurlijk moet de andere SAN zsm terug komen ivm prestatie problemen. In sommige gevallen zal dit niet voldoen, ik doe het zelf ook net een tikje anders (wel gewoon de zelfde schijven/configuratie) omdat ik kleinere schijven gebruik en dus minder kosten, ik heb die extra ruimte op dit moment niet nodig. Zoiets is dus echt situatie afhankelijk en afhankelijk van de eisen die je zelf stelt natuurlijk.

Sander-
17/12/09, 12:51
@Sander
het is maar wat je zelf wilt, voor mijn budget en wat ik er in ga stoppen (zeker geen 450Gb schijfjes, meer iets van 147 GB) is dat wel haalbaar. En de spare SAN kan in principe met normale (goedkope) schijven draaien omdat deze tijdelijk de andere SAN moet opvangen, natuurlijk moet de andere SAN zsm terug komen ivm prestatie problemen. In sommige gevallen zal dit niet voldoen, ik doe het zelf ook net een tikje anders (wel gewoon de zelfde schijven/configuratie) omdat ik kleinere schijven gebruik en dus minder kosten, ik heb die extra ruimte op dit moment niet nodig. Zoiets is dus echt situatie afhankelijk en afhankelijk van de eisen die je zelf stelt natuurlijk.

Tja, als je als 2e SAN een goedkopere configuratie neemt dan heb je wel het risico dat bij langdurige uitval je performance er flink onder gaat leiden. Daarnaast is het kwa disks ook kijken naar prijs/prestatie, je prijs per GB is bij 147GB disks misschien wel hoger dan bij 450 (dat was iig bij ons zo) omdat je netto minder over houdt maar wel zelfde stroomverbruik hebt van de 2 machines, dezelfde raid-kaart etc. Dat is even berekenen voor je eigen situatie, maar dat zijn wel dingen die veel uit kunnen maken. Daarnaast hangt het er ook vanaf wat je eigen uren kosten en of je dr tijd voor "over" hebt.

Neemt niet weg dat wij richting de toekomst dit soort dingen zeker weer zullen overwegen, het is natuurlijk ook wel fijn om vendor onafhaknelijk te kunnen zijn. En als dat net zo betrouwbaar en goedkoper is, tja waarom dan dief zijn van je eigen portemonnee ;-)

Mikey
17/12/09, 13:20
Sander-,

Wat ik me afvraag of je met die 450Gb schijven niet teveel ruimte hebt ten opzichte van de performance die je uiteindelijk gaat halen.... We hebben 6,5TB staan voor vms maar als ik zie hoeveel er gebruikt wordt en hoeveel ruimte er nog is qua performance dan kun je beter wat kleinere nodes pakken ipv grote en uiteindelijk de ruimte niet gebruiken...

Sander-
17/12/09, 16:55
Sander-,

Wat ik me afvraag of je met die 450Gb schijven niet teveel ruimte hebt ten opzichte van de performance die je uiteindelijk gaat halen.... We hebben 6,5TB staan voor vms maar als ik zie hoeveel er gebruikt wordt en hoeveel ruimte er nog is qua performance dan kun je beter wat kleinere nodes pakken ipv grote en uiteindelijk de ruimte niet gebruiken...

Hangt er vanaf wat voor type klanten je hebt. Wij hebben een aantal klanten die graag ook hun data op snelle storage willen hebben. Dan praat je dus over webapplicaties met flinke hoeveelheden filestorage voor bijv een sloot foto's etc. Groot deel van die data wordt niet gebruikt, het zit achter slot en grendel voor de gewone bezoekers en is voor een hele kleine doelgroep interessant. Zelfde geld bijvoorbeeld voor PDF's met specs etc die snel een aantal mb per file in beslag nemen en waar je er enkele duizenden van hebt.

Op basis van een analyse van ons huidig gebruik met deels een SAN en deels local disk kwam ik nog niet halverwege de IO's die de Equallogic ruw kan leveren zonder caching. En dat is een gebruik van circa 2TB. Netto krijgen we met die Equallogic 4.7TB, dus als het soort belasting gelijk blijft voorzie ik geen problemen. En mocht het wel zo zijn, dan hebben we mooi stukje ruimte dat we aan onze backup omgeving kunnen uitlenen voor backups van de uitwijklocatie en lokale backups bij klanten. Dat gebeurd toch op moment dat de belasting van de virtualisatie machines minimaal is.

Kan me trouwens wel voorstellen dat je performance een bottleneck is als je 16 x 1TB S-ATA ofzo erin gooit.

Mikey
17/12/09, 17:10
Kan me trouwens wel voorstellen dat je performance een bottleneck is als je 16 x 1TB S-ATA ofzo erin gooit.

Nou daar doel ik dus op, iets wat je veel ziet, zoveel mogelijk storage in een bak schuiven. En uiteindelijk tot de conclusie komen dat er ontzettend veel ruimte niet eens nodig was.....

Sander-
17/12/09, 17:18
Nou daar doel ik dus op, iets wat je veel ziet, zoveel mogelijk storage in een bak schuiven. En uiteindelijk tot de conclusie komen dat er ontzettend veel ruimte niet eens nodig was.....

Tja, bij een SAN wordt vaak gedacht dat diskspace de belangrijkste factor is, maar eigenlijk is de belangrijkste berekening die je moet maken die van de iops. Helaas is dat nogal eens moeilijk, omdat al die apparaten (gelukkig) cachen, dus tja dan maar op basis van ruwe disks en alles wat over blijft is mooi meegenomen. Wij zijn in onze berekening uitgegaan van 130iops per 10k SAS disk, 14 disks actief in gebruik (2 spare), kom je op 1820iops ruwe capaciteit.

wonko
17/12/09, 22:21
alles hangt af van je toestel en de noden. Ik ben zeer tevreden van de sun thumpers als storage arrays, 46 SATA disks, verdeeld over 6 LSI controllers... Maar elk zijn noden. Ik zo zelf niet het geld uitgeven aan SAS en grote SAS disks, steek er dan gewoon wat extra SATA disks in, en spreid je data en iops. In the end is het voornamelijk het aantal heads, platters en spindles die het aantal iops bepaald.

Yourwebhoster
17/12/09, 23:26
Over een jaartje (hoop ik) zitten we een stuk minder met dit probleem... Leve de SSD's:) Hoop dat ze een stuk goedkoper worden...

wdv
18/12/09, 16:46
alles hangt af van je toestel en de noden. Ik ben zeer tevreden van de sun thumpers als storage arrays, 46 SATA disks, verdeeld over 6 LSI controllers... Maar elk zijn noden. Ik zo zelf niet het geld uitgeven aan SAS en grote SAS disks, steek er dan gewoon wat extra SATA disks in, en spreid je data en iops. In the end is het voornamelijk het aantal heads, platters en spindles die het aantal iops bepaald.

In hoeverre is zo'n thumper intern redundant? De Sun website is daar wat onduidelijk over, en de Sun mannetjes die bij ons langskwamen hadden er ook niet veel nuttigs over te vertellen. Kan alles in dat ding uitvallen, of zijn er intern toch nog SPOFs?

gjtje
18/12/09, 16:51
Access times worden niet veel beter met heel veel sata disks, dat lukt alleen met disks met meer rpm's.

Mikey
18/12/09, 17:13
In hoeverre is zo'n thumper intern redundant? De Sun website is daar wat onduidelijk over, en de Sun mannetjes die bij ons langskwamen hadden er ook niet veel nuttigs over te vertellen. Kan alles in dat ding uitvallen, of zijn er intern toch nog SPOFs?

Vaak zie je dat alles redundant is behalve de controller. In de meeste gevallen is het op moment je kies voor een single controller unit verstandig om een spare controller mee te bestellen. Vervangen van de controller zelf is een fluitje van een cent :)

frankske
18/12/09, 20:57
Thumper heeft 6 controllers :) Wel is elke disk maar met 1 controller verbonden, maar als je de juiste disk/matrix/z-raid bedenkt, is het uitvallen van 1 controller niet direct een probleem.

Wel heb je maar 1 moederboard / software-image. Dat is dus je SPOF. Merk op dat zelfs de duurste equallogic ook een actieve backplane als SPOF heeft.

wdv
18/12/09, 21:48
edit: nevermind

Mikey
19/12/09, 00:16
Wel heb je maar 1 moederboard / software-image. Dat is dus je SPOF. Merk op dat zelfs de duurste equallogic ook een actieve backplane als SPOF heeft.

We hebben ons voor laten lichten dat de backplane van de equallogic's gewoon dom is en geen componenten bevat. Dus daar de noodzaak niet was om deze redundant uit te voeren...

wonko
19/12/09, 08:51
Mikey, de equallogic backplane is vermoedelijk passief volgens het "geen logica erop" principe, maar er zit wel degelijk meer op dan enkel databanen (als je kijkt zitten er enkele chips op, wat ze doen weet ik wel niet), en zal dus daar ergens tussenin vallen. Als je ervan uit gaat dat die chips kunnen falen, dan is ie dus een POF.

DUR0N
21/12/09, 00:57
Backplane redundantie (aka. twee machines) wordt bij veel stukken zwaar overschat. Als je dat al als SPOF gaat zien zal je bij de meeste dingen met een backplane in in het kosten/baaten plaatje een serieuze vergissing maken. Tegen dat dat een issue wordt, is volledige redundantie in een tweede datacenter al lang aan de orde...in de meeste gevallen.