Bekijk Volledige Versie : SAN voor Xenserver
GuusDeGraeve
20/06/09, 22:44
Ik heb twee xenservers staan die ik gebruik voor vpsjes op te runnen. Deze zitten in een resource pool met een iscsi target.
Dit iscsi target heb ik voorlopig geinstalleerd met openfiler op een oude Athlon 64bit met een SATA HD van 500GB erin om wat te testen.
Nu ben ik opzoek naar een behoorlijk goedkope SAN oplossing om deze setup op te zetten voor productie.
Opzoek dus naar iets zoals de DELL Equalogic, echter liggen die buiten mijn budget. Ik zou graag openfiler gebruiken als iSCSI target om budget te besparen maar toch kwa performantie goed zitten.
Zijn zulke systemen goedkoper te vinden? Gewoon de hardware dan, waar ik eventueel nog hard disks in kan steken en openfiler kan opzetten?
Kijk eens naar de SAN oplossingen van SuperMicro. Ahead-it heeft ze wel. Zijn prima dingen en goedkoper dan Dell, Netapp e.d.
Kun je prima openfiler opdraaien...
Tim.Bracquez
20/06/09, 23:09
OpenFiler kan ik je niet aanraden hiervoor... Het is gewoon te instabiel.
Je zet beter je eigen HA iSCSI target dan op (wido heeft hier op WHT dit eens gepost als ik me niet vergis) als je toch die look-a-like SAN weg op wilt gaan.
Met een goede disk (raid set) kan je best nog goede performance halen, weliswaar zal de Equallogic je hierin nog steeds verbazen. Nuja alles heeft zijn prijs, hangt af wat in je budget past
kijk hier eens:
http://www.ncs.nl/mail/mailing090324.htm
is al een tijdje terug maar misschien kunnen ze je ergens mee helpen ?
rackhost.be
21/06/09, 01:36
even een vraagje tussendoor als dat mag :-)
werk ook met xen, en het idee van SAN is super
maar ik denk dan, als de SAN eruit ligt, ligt alles eruit ...
dubbelen jullie dan ook SAN naar een 2e in geval van ... ?
freenas is ook zoiets, maar niet zo uitgebreid als openfiler dacht ik
GuusDeGraeve
21/06/09, 01:44
even een vraagje tussendoor als dat mag :-)
werk ook met xen, en het idee van SAN is super
maar ik denk dan, als de SAN eruit ligt, ligt alles eruit ...
dubbelen jullie dan ook SAN naar een 2e in geval van ... ?
freenas is ook zoiets, maar niet zo uitgebreid als openfiler dacht ik
Dat vraag ik mij nu eigenlijk ook af.
Al denk ik dat in de meeste SANs veel dingen redundant zijn uitgevoerd, voeding en netwerkcontroller bijvoorbeeld. Dat zijn al minder struikelblokken dus. Maar als het dan toch stilvalt, wat in dat geval?
rackhost.be
21/06/09, 01:57
dit mss ook even uitproberen?
http://www.freenas.org/
gebaseerd op freebsd
Same question here :).
Zou het voor kleiner gebruik niet makkelijker zijn om gewoon 2 servers in een cluster te zetten. Mocht je raidset of schijf kapot gaan dan kan je de vpsen op die server live migraten naar de andere server. Als de server helemaal niks meer doet de vps restoren op de 2e server vanuit de backup server.
Als voorbeeld: 4 a 6 vpsjes verspreid over 2 servers (3 per server of verdeeld naar belasting) + 1 backup. Is dus 3U en 3x stroom.
Als je met SAN gaat werken heb je neem ik aan meerdere servers. En een backupserver. Zit je dus al aan 4U en dus ook 4x stroom. En als de SAN kapot gaat dan kan je dus niks. Live migration e.d. gaan dan niet op. Je hebt dus geen uitwijk mogelijkheid.
Extra kosten dus, zowel voor hardware als maandelijks.
* Dit is dus bij kleiner gebruik. Ik neem aan dat de grote bedrijven alles redundant hebben en dus ook een SAN wel in een kluster of iets dergelijks hebben hangen.
GuusDeGraeve
21/06/09, 02:07
FreeNAS heb ik al eens uitgeprobeerd, al denk ik dat dit niet veel stabieler zal zijn dan openfiler. Bovendien heeft het net zoals openfiler een hoop services die ik totaal niet zal gebruiken.
Zijn er geen systemen die enkel iSCSI doen en niets meer?
keuze genoeg hoor ...
- Dell equallogic
- EMC
- Dell Powervault MD3000i
- Promise VTRAK
- zelfbouw server met Open-E
- ...
keuze genoeg hoor ...
- Dell equallogic
- EMC
- Dell Powervault MD3000i
- Promise VTRAK
- zelfbouw server met Open-E
- ...
Misschien moet je de beginpost eens lezen?? Iets met budget...
Misschien moet je de beginpost eens lezen?? Iets met budget...
Zelfbouw met open-E maak je zo duur als je zelf wilt.
een AX150i vind je op ebay ook al voor 2-3000 euro, net zoals een Promise VTrak M210i
Je zal toch altijd op zo'n bedrag uitkomen, maar er is meer dan genoeg op ebay te vinden.
Dat je perse een EMC, EqualLogic, NetApp of dat dan ook moet hebben voor uptime en stabiliteit is best wel onzin, maar dat wordt graag geroepen door de fabrikanten :)
Zie: http://crew.pcextreme.nl/~wido/doc/high_available_drbd_iscsi_setup_hardy.pdf
Inmiddels heb ik ongeveer 10 van zulke setups draaien, van SSD based tot setups met enkele TB's er in, rockstable en niets over te klagen.
Een aantal zijn al sinds maart 2008 online en hebben sindsdien nooit een failover nodig gehad of een probleem gehad, het gaat er om dat je het goed beheerd.
Een dergelijke setup heeft inderdaad geen mooie GUI's, je zal zelf moeten weten waar je mee bezig bent op de CLI.
Ik bouw die setups gewoon op standaard SuperMicro hardware met Areca RAID Controllers, waar je gewoon op moet letten is:
* redundante voedingen
* BBU voor je RAID Controller
* Bonding voor je NICs (of met dm-multipath werken)
Voor 10.000 euro heb je echt een mooie SAS based opstelling staan waar je goede uptimes mee kan halen.
Wij hebben zelf ook EMC draaien en daar heb ik ook heel erg tevreden over, alleen wat ik het gevaarlijke vindt is de vendor lock-in, gaat er iets mis met het systeem dan kan je alleen bij de data door de vendor aan te spreken.
Daarom kies ik er voor zelf mijn SAN en NAS systemen te bouwen op basis van OSS zodat ik altijd bij mijn data kan en van niemand afhankelijk ben.
Sun zijn koers spreekt mij dan ook erg aan, alles wat in een Sun NAS/SAN zit is ook gewoon OSS beschikbaar, zoals ZFS en OpenSolaris.
Maar die deze keuze moet uiteraard iedereen voor zichzelf maken, ik heb hier alleen mijn motivaties geplaatst.
Wido, ik lees dit:
Ik heb daarnaast mijn syncer staan op “10M”, dit betekend dat het syncen tussen twee
machine's met maximaal 10MegaByte per seconde gaat.
Dit betekend dus, wanneer je protocol “C” gebruikt, je nooit sneller dan 10MegaByte per
seconde naar je disk kan schrijven.
In een productie-omgeving heb ik Gigabit connecties, waardoor mijn syncer-rate daar op
“60M” staat, hierdoor kan ik dus met maximaal 60MegaByte per seconde schrijven naar mijn
targets.
Zit je dan bij vrij zware belasting (bv 400MB/s write, wat een SAS SANs gerust aankan) niet met twee SANs met elk verschillende data, omdat het nog niet gesynct is over de 1Gb verbinding?
Normaal moeten de SANs toch 1 op 1 (e.g. realtime) syncen? Je kan niet zomaar voor high-availability en realtime failover (VMware) een disk gaan koppelen via iSCSI failover die "iets" andere data bevat; anders heb je corrupte data? Bij ons doen we het syncen altijd over een 10GB verbinding met crossed cable, prijstechnisch nog steeds interessant; ; geen bottleneck en 1 op 1 synchnonisatie.
Wij syncen op dit moment met gbit, en switchen automatisch nfs over. In de praktijk i s hetgeen wat geschreven moet worden nagenoeg realtime, verder kun je op nfs gebied ook aangeven indien je echt zeker wilt weten dat je data aanwezig is, dat hij pas schrijft op moment de nfs server dat aangeeft.
Wido, ik lees dit:
Zit je dan bij vrij zware belasting (bv 400MB/s write, wat een SAS SANs gerust aankan) niet met twee SANs met elk verschillende data, omdat het nog niet gesynct is over de 1Gb verbinding?
Normaal moeten de SANs toch 1 op 1 (e.g. realtime) syncen? Je kan niet zomaar voor high-availability en realtime failover (VMware) een disk gaan koppelen via iSCSI failover die "iets" andere data bevat; anders heb je corrupte data? Bij ons doen we het syncen altijd over een 10GB verbinding met crossed cable, prijstechnisch nog steeds interessant; ; geen bottleneck en 1 op 1 synchnonisatie.Daarvoor is juist protocol "C" in DRBD: http://www.drbd.org/users-guide/s-replication-protocols.html
Daarmee sync je dus realtime en dat werkt goed. Op dit moment is in onze setup 1Gbit meer dan genoeg, op sommige machine's staat de syncer rate wel op 100M.
Maar je moet er wel voor zorgen dat beide machine's qua specs het zelfde zijn, anders krijg je rare bijwerkingen.
GuusDeGraeve
21/06/09, 18:14
Bedankt voor de howto!
Daarvoor is juist protocol "C" in DRBD: http://www.drbd.org/users-guide/s-replication-protocols.html
Daarmee sync je dus realtime en dat werkt goed. Op dit moment is in onze setup 1Gbit meer dan genoeg, op sommige machine's staat de syncer rate wel op 100M.
Maar je moet er wel voor zorgen dat beide machine's qua specs het zelfde zijn, anders krijg je rare bijwerkingen.
Het uitgangspunt van DRBD is juist om realtime te syncen ;)
Het uitgangspunt van DRBD is juist om realtime te syncen ;)Klopt, alleen heb je nog gradaties in hoe realtime ;) A, B of C. Elk protocol met zijn voordelen en nadelen ;) A is niet zo realtime als C is :)
GuusDeGraeve
22/06/09, 10:12
Zijn er eigenlijk mensen die zelf al slechte ervaringen hebben gehad met openfiler? Ik ben deze nu enkele dagen intensief aan het testen (met enkel de iSCSI service enabled) en tot nu toe loopt dat echt perfect!
Bovendien kan je in openfiler via console ook heel eenvoudig DRBD en Heartbeat opzetten.
Tim.Bracquez
22/06/09, 10:23
Zijn er eigenlijk mensen die zelf al slechte ervaringen hebben gehad met openfiler? Ik ben deze nu enkele dagen intensief aan het testen (met enkel de iSCSI service enabled) en tot nu toe loopt dat echt perfect!
Hier in een test setup haalde die maar slechte resultaten in snelheid tegenover een eigen setup.
Tevens zijn er al meerdere verhalen dat die al zijn LVM's na een reboot wel eens kan vergeten.
Meerdere hangers op meerdere hardware bij echt intensief gebruik (lees echt de max van wat het ding toen kon)
Veel extratjes die draaien (ja zet je uit etc) maar toch, véél dingen die erin zitten die je niet nodig hebt als je enkel iSCSI gaat gebruiken.
Met webmin kan je stabieler LVM's gaan beheren. Het is niet dat je elke dag hierin moet gaan aanpassen, dus dat kan lijkt me van de CLI ook.
Nuja dat is mijn ervaring hierin.
eXtreme Service
22/06/09, 12:41
Zelf ben ik echt wel te spreken over openfiler. Echter zijn er hier en daar toch wel belangrijke minpunten die ons tegenhouden om deze software te gaan gebruiken.
Zo is de performance waar Tim het al over had die abnormaal laag ligt. Een test met HDparm op CentOS van een Raid 5 met 3 hardeschijven gaf een disk read aan van 250MB/s. Openfiler echter met 5 hardeschijven in Raid 5 gaf zelfs maar een disk read van 131MB/s.
Daarnaast gebruikt Openfiler rPath wat het custom maken van dit systeem heel moeilijk maakt. Software om een hardware raid controller (MegaRaid van LSI in ons geval) te beheren is, buiten de CLI, niet mogelijk om te installeren.
Buiten dat is het control panel niet zo gebruiksvriendelijk opgebouwd. De support van dit project via het forum is ook niet echt om op terug te vallen in het geval van problemen.
Daarom ook dat wij waarschijnlijk toch zelf onze SAN zullen samen bouwen en gewoon iSCSI initiator zullen installeren op een CentOS.
Ook hier zal je eerst een lijstje moeten maken van wat je wil, en wat belangrijk is. Wil je alleen op een centrale plek data opslaan, wat voor performance eisen stel je daar aan. Wil je zelf 't beheer doen? Is uitbreidbaarheid belangrijk, etc.
Zelfbouw kan prima werken, een "echte" SAN kopen is natuurlijk niet alleen maar veel geld uitgeven. Je koopt ook bepaalde kosten af waar je anders zelf mee te maken krijgt (patch management, test omgeving, troubleshooting, kennisdeling). Verder kan het zijn dat een klant bepaalde eisen stelt. Als je een EMC SAN koopt weet je gewoon dat je storage omgeving een SLA heeft van 99,999%. Bij zelfbouw kan je dat hooguit bewijzen als je al een vergelijkbare oplossing langere tijd hebt staan, en dan blijft de populatie waarover de resultaten zijn berekend erg klein.
't Blijft een kwestie van vooraf prioriteiten en eisen stellen.
Daarvoor is juist protocol "C" in DRBD: http://www.drbd.org/users-guide/s-replication-protocols.html
Daarmee sync je dus realtime en dat werkt goed. Op dit moment is in onze setup 1Gbit meer dan genoeg, op sommige machine's staat de syncer rate wel op 100M.
Maar je moet er wel voor zorgen dat beide machine's qua specs het zelfde zijn, anders krijg je rare bijwerkingen.
Hey Wido,
Bedankt voor de mooie info wederom. Wij zijn op dit moment ook aan het oriënteren op nieuwe storage. Onze huidige open-e voldoet niet, de software levert ons meer problemen op dan dat het oplost.
Wat voor specs hebben jullie storage machines? Met name cpu/geheugen/raid controller/nics dan?
Alvast bedankt.
Hey Wido,
Bedankt voor de mooie info wederom. Wij zijn op dit moment ook aan het oriënteren op nieuwe storage. Onze huidige open-e voldoet niet, de software levert ons meer problemen op dan dat het oplost.
Wat voor specs hebben jullie storage machines? Met name cpu/geheugen/raid controller/nics dan?
Alvast bedankt.Geen echte standaarden, maar we gebruiken twee modellen:
* 8x SAS (Dual Core, 8GB RAM)
* 16x SAS (Quad Core, 16GB RAM)
Dat is wat we ongeveer aanhouden, maar daarbij wel altijd een moederbord van minimaal 1.5 jaar oud, dit ivm driver ondersteuning e.d. Ook zijn daar de kinderziektes uit waardoor je een stuk stabieler systeem hebt.
Denk verder ook aan ECC Ram, BBU's voor je RAID Controller, redundante stroom, IPMI, etc, etc.
De echte performance van je storage komt toch uit je disks en RAID Controller, een snellere CPU of ander mobo gaat daar niet heel veel aan veranderen.
Zelf draaien wij op de X7 serie van SuperMicro, zowel in de 8x SAS als 16x SAS versies.
Verder de Areca ARC-1222 controller en de ARC-1680ix-16 (op de 1680 wat extra write-cache).
In de servers zit dan vaak nog een extra Intel Quad NIC kaart voor wat bonding en/of multipath.
Bakker ICT
24/06/09, 10:30
Mag ik vragen hoeveel VPS-sen je hier van afdraait? Even een ruwe schatting, ligt natuurlijk helemaal aan wat voor klanten er op zitten, maar met een indicatie kan je tenminste enigzins een berekening maken tov SATA wat het nou eingelijk per vps kost.
Mag ik vragen hoeveel VPS-sen je hier van afdraait? Even een ruwe schatting, ligt natuurlijk helemaal aan wat voor klanten er op zitten, maar met een indicatie kan je tenminste enigzins een berekening maken tov SATA wat het nou eingelijk per vps kost.Mag je best vragen, maar is geen vergelijking op te maken. Het gaat om IOps, meer niet. Een VPS kan al een SAN van 16 disks plat trekken, maar je kan er ook 500 op draaien en allemaal niet zo veel doen.
DennisWijnberg
24/06/09, 11:59
@GuusDeGraeve:
Ben je ook al bekend met de Dell EqualLogic PS4000 serie? Die is vorige week woensdag gelanceerd en is gewoon een stuk goedkoper (heeft ook wat andere specs though).
Heb je daar al eens naar gekeken?
Bakker ICT
24/06/09, 12:13
@wido Helemaal true, maar een normale/gemiddelde klant ? Ik neem aan dat je wel ongeveer weet hoeveel klanten je per SAN wilt hebben om het rendabel te hebben.
@DennisWijnberg Noem eens wat vanaf prijzen ? Voor de E en de X?
GuusDeGraeve
24/06/09, 12:33
Ik heb ondertussen een Transtec Provigo 410 op de kop kunnen tikken :). Heb dus voorlopig wat ik nodig heb. Nu de koppeling met een Xenserver pool nog in werking krijgen, blijkt ook niet simpel te zijn :).
DennisWijnberg
24/06/09, 12:38
@BakkerICT. Ik mag geen prijzen noemen hier ben ik bang. In het aanbiedingforum mag ik dat wel. Zelf even klikken dus.
Bakker ICT
15/07/09, 22:38
@wido Helemaal true, maar een normale/gemiddelde klant ? Ik neem aan dat je wel ongeveer weet hoeveel klanten je per SAN wilt hebben om het rendabel te hebben.
Zou je hier overigens nog antwoord op kunnen geven? Plus wat voor RAID level je gebruikt voor de bijv 8 SAS raid. Ik zit te denken over een systeem met 8x 300 GB 15K SAS schijven, met een Areca 1222 en BBU. Je kan natuurlijk 2x RAID 10 of RAID 50 of RAID 60, welke afweging heb jij toendertijd gemaakt.
En gebruik je verder het RAM ook nog voor cache-ing ?
Zou je hier overigens nog antwoord op kunnen geven? Plus wat voor RAID level je gebruikt voor de bijv 8 SAS raid. Ik zit te denken over een systeem met 8x 300 GB 15K SAS schijven, met een Areca 1222 en BBU. Je kan natuurlijk 2x RAID 10 of RAID 50 of RAID 60, welke afweging heb jij toendertijd gemaakt.
En gebruik je verder het RAM ook nog voor cache-ing ?Bij 8x SAS gebruik ik RAID-10, maar dan neem ik wel de 146GB disks, daarbij zet ik er 8GB RAM in als Write-Back cache, naast wat de RAID Controller al heeft.
Onze ervaring heeft ons geleerd dat we dat kunnen vullen tot ongeveer 200 a 300GB data waarna er te veel IOps komen, maar dat is het gemiddelde profiel van onze klanten.
Dus nee, echt een antwoord is hier niet op. En hoe veel klanten je er op kwijt wil? Is afhankelijk van in hoe veel jaar je afschrijft en hoe veel je per klant vraagt :)
Bakker ICT
16/07/09, 13:36
Nee heb je gelijk in, maar met de ervaring van anderen kan je wel een klein beetje inschatten. Waarom overigens geen RAID-50 ? Neem aan dat die snellere leessnelheden haalt.
Overigens super bedankt voor je informatie, heel erg fijn om de juiste keuze te maken omdat het voor mij toch wel een flinke initiele investering is.
RAID-10 is sneller dan RAID-50, 't voordeel van 50 is dat bij veel disks het verlies kleiner is.
Bakker ICT
16/07/09, 14:38
Ok dank, ja dat is waar:) Ik weet genoeg :P Maar eens wat knopen gaan doorhakken dan.
Overigens, voor dat netwerk bonding, hebben jullie daar eerst nog een switch tussen hangen of hangen ze direct aan de SAN? Dus het interne LAN voor de storage.
Ok dank, ja dat is waar:) Ik weet genoeg :P Maar eens wat knopen gaan doorhakken dan.
Overigens, voor dat netwerk bonding, hebben jullie daar eerst nog een switch tussen hangen of hangen ze direct aan de SAN? Dus het interne LAN voor de storage.
Dat hangt natuurlijk af van de omvang van je setup. Heb jij genoeg aan 4 1 op 1 crosslinks of wil je meer, dan hang je hem natuurlijk aan een switch. Wij zijn een dergelijke setup ook aan het onderzoeken en wij willen op dit moment kiezen voor een LAN based opstelling vanwege de flexibiliteit.
Bakker ICT
20/07/09, 18:05
" daarbij zet ik er 8GB RAM in als Write-Back cache, naast wat de RAID Controller al heeft.
Wat in het geval van een crash/power failure... de write back cache van de Areca heeft de BBU nog die hem voorkomt dat er corruptie optreedt, maar de RAM niet ?
Wat in het geval van een crash/power failure... de write back cache van de Areca heeft de BBU nog die hem voorkomt dat er corruptie optreedt, maar de RAM niet ?Daar heb je inderdaad een goed punt. Ik heb zelf echter meerdere tests uitgevoerd en heb het niet voor elkaar gekregen een om hierdoor corruptie op te laten treden in een productie omgeving.
Al is het inderdaad een potentieel gevaar.
Storageman
01/08/09, 07:44
<knip> 2 berichten en 2x spam, mss even de regels lezen?
FreeNAS heb ik al eens uitgeprobeerd, al denk ik dat dit niet veel stabieler zal zijn dan openfiler. Bovendien heeft het net zoals openfiler een hoop services die ik totaal niet zal gebruiken.
Zijn er geen systemen die enkel iSCSI doen en niets meer?
Dan laat je ze uit ? ;) Standaard staat vrij weinig aan.
Bovenstaande posts over de (in)stabiliteit van openfiler kan ik helaas niet beamen, we gebruiken al vanaf het begin af aan openfiler in een HA met NFS resync. Niets te klagen, performance ligt goed en het spul knalt lekker door.
Waar je op moet letten bij vooral een NAS is dat je je niet moet blindstaren op het aantal MB/s, maar vooral (Wat Wido ook zegt) het aantal IOps. Ook indeling van je RAID volumes op de kaart zelf speelt een hele grote rol.
Wij hebben wel gemerkt dat RAID-10 t.o.v. RAID-5 echt bijna 4x sneller is. RAID-5 was in een test-setup van ons echt niet vooruit te branden..
Wel interessant, mijn provider xls gebruikt raid 6. Als je googlet zie je niet veel informatie of dat mensen het niet veel gebruiken. Ligt natuurlijk aan welke controllers je hebt (ze zullen dat wel op orde hebben), maar hoe denken jullie over raid 6?