Bekijk Volledige Versie : opslag methoden?
Ik ben de laatste tijd ook een beetje aan het kijken naar virtualisatie. Ik vind het zeer interessant echter vraag ik me af wat de 'beste' opslag methode is.
Ik weet bijvoorbeeld dat je met xen image files kan gebruiken echter is dit aan te raden ivm snelheid? Welke opslag methode is aan te raden? NFS of toch lokaal op de server?
Niemand een bijdrage aan iets wat lijkt mij vrij belangrijk is? Het is lijkt me het verschil tussen snel en langaam van je vps'en....
Als je lokaal gaat raad ik je een snelle RAID set aan met LVM er over heen.
Een NFS root kan, maar is toch wat aan de trage kant, maar voor sommige dingen kan het prima volstaan.
Als je verder gaat kan je er voor kiezen om voor iSCSI te kiezen, aan je SAN kant kan je dan kiezen uit:
- Een oplossing van bijv EMC (www.emc.com)
- Open-E iSCSI (www.open-e.com)
- iSCSI Enterprise Target (http://iscsitarget.sourceforge.net/)
Zie ook mijn document: http://crew.pcextreme.nl/~wido/doc/xen_en_iscsi.pdf
Ik ben zelf op dit moment aan het testen met Open-iSCSI 2.0 icm Xen 3.0.4, maar daar heb ik nu nog geen resultaten van en dat zal ook nog wel even op zich laten wachten. Met 2.0 zou je hogere snelheden moeten halen, ik zit nu op 35 ~ 40MB/sec over een Gigabit lijn, ik wil dat toch naar de 60MB/sec zien te krijgen.
Hier draait het ook vanaf een iSCSI san, de swappartities lokaal op lvm raid-1.
Op basis van wat voor 'n systemen draaien jullie die iSCSI setups? Ik ben er zelf ook naar aan het kijken. De prijsverschillen tussen een iSCSI supermicro met bijvoorbeeld 2 TB RAID5 en glasvezel en een EMC systeem zijn groot.
Momenteel zitten er in onze virtualisatiemachines allemaal RAID5 sets met hotspares. Da's alleen prijstechnisch niet zo handig als er een paar van die machines zijn. :)
Een EMC is leuk speelgoed echter moet je je bij een SAN eerst lang afvragen wat je precies nodig hebt. Hier was het een afweging tussen iops en prijs, SATA voldoet, SCSI is natuurlijk netter echter ook een stuk duurder.
Het gebruik is nu nog marginaal dus een zelfbouw sata raid-5 systeem voldeed prima, de CPU, ook al is het een Xeon, kan het wat druk krijgen dus een hardware iscsi kaart is waarschijnlijk een wijze investering. De volgende uitbreiding zal dan op basis van sas worden.
Kijk ook eens naar NetApp..
Ook NetApp bied iSCSI systemen, al vond ik de licentie systemen daar nogal tegen staan, daarom de keuze voor EMC.
gtje, welke initiator gebruik je? Open-iSCSI? en welke versie?
Wat gebruik je als target software op je iSCSI machine?
open-iscsi 2.0.754, en voor Windows 2003 die van Microsoft.
De target is iET (iscsitarget.sourceforge.net)
Configuratie is erg simpel en het werkt stabiel. 't Doet nu zo'n 30 -60MB/s seconden dus dat lijk me best redelijk. Er is nog genoeg ruimte voor optimalisatie, 't netwerk is nog gewoon standaard gigabit.
30 - 60MB/sec is zeker goed. Ik moet ook maar eens naar 2.0 gaan, ik draai nog Open-iSCSI 1.0-485
Zowel netApp als EMC zijn eigenlijk geen block storage leveranciers van oorsprong, zij bouwen filers (NAS) en sinds shared block storage populairder aan het worden is leveren ze systemen uitgebreid hiermee. Als je puur voor block storage gaat in verband met je virtual machines kun je beter kijken naar een oplossing die daar voor ontworpen is zoals bijvoorbeeld Equalogic.
Ik ben zelf al enige maanden bezig met uitzoeken welke SAN apparatuur wij willen gaan gebruiken en het valt gewoon op dat Equalogic veel beter performed op iSCSI dan dat HP, NetApp, EMC etc doen.
Wat prijstechnisch ook een leuk systeem is en ook erg goed performed is de iQstor 1250.
Beide merken leveren overigens units die volledig redundant zijn (optioneel) en in het geval van Equalogic zijn de units te clusteren zodat ze een grote virtuele bak storage vormen waarbij de units onderling zorgen voor striping / loadbalancing om de doorvoersnelheid omhoog te trekken. Redelijk lineair schalen dus...
Wij hebben overigens voor we ook maar iets hebben aangeschaft in samenwerking met Equalogic eerst eens een inventarisatie gedaan van wat de servers die we willen consolideren met Xen nu eigenlijk aan IO verbruiken. Daarvoor hebben we een week iostat gedraaid op elke server en Equalogic heeft hiervan een analyse gedaan. Ik kan je aanraden zoiets te doen aangezien je SAN feitelijk wel een hele berg aan snelle lokale filesystemen moet vervangen. Je kunt je aardig vergissen in wat je verbruikt aan IOPS en MB/s througput...
Owww...mocht je geinteresseerd zijn in oplossingen van Open-E, bedenk dat ze niet beschikken over een failover optie...ze kunnen wel twee systemen repliceren, maar als de active server omvalt zul je zelf de passive server actief moeten maken en in de tussentijd zijn wel al je iSCSI connecties doodgegaan zodat al je VM's plat liggen. Zowieso is die oplossing in de praktijk net zo duur voor primary storage dan een unit die van zichzelf al redundant is aangezien twee units met Open-E ook twee keer een investering is voor echt alle onderdelen.
Aan de initiator kant moet je ook eens kijken naar de Device Mapper kernel module...die heeft een multipath module waarmee je twee of meer ethernet interfaces kunt combineren voor een hogere throughput en tevens failover op netwerk nivo. Je kunt er compleet andere routes naar je storage mee definieeren zodat er op dat gebied geen spof meer overblijft. Het is mogelijk hier vanaf te booten als je de boel netjes in je initrd stopt. Als je je guests direct laat booten vanaf iSCSI ben je meteen af van het managen van je lun's op de host machine.
Voor een ander project ben ik op dit moment bezig met Intel SAN apparatuur. Het zijn vrij kleine nodes die je bij elkaar mikt tot één groot systeem. Voordeel is dat de performance vrij snel meeschaalt doordat elke extra unit extra snelheid oplevert. Het lijkt erg op de hierboven beschreven Equilogic eenheden.
Het werkt verder ook op basis van iSCSI met natuurlijk een mooie beheer interface. ;)
@ mxcreep, ik ben het met je eens, EqualLogic is op SAN niveau sneller dan EMC.
Wij stonden echter voor de keus, we doen zowel SAN als NAS en is het slim om dan twee losse systemen aan te schaffen waar een systeem van EMC voldoet?
Nee, daarom hebben wij gekozen voor een systeem wat beide kan.
Verder kan ik alleen maar beamen wat je net zegt.
@ mxcreep, ik ben het met je eens, EqualLogic is op SAN niveau sneller dan EMC.
Wij stonden echter voor de keus, we doen zowel SAN als NAS en is het slim om dan twee losse systemen aan te schaffen waar een systeem van EMC voldoet?
Nee, daarom hebben wij gekozen voor een systeem wat beide kan.
Verder kan ik alleen maar beamen wat je net zegt.
Ik wilde ook zeker niet aangeven hiermee dat je een slechte keuze maakt aan een EMC unit hoor, zeker niet...het is erg mooie apparatuur. Met mijn post probeerde ik alleen aan te geven dat mensen die wel alleen naar een SAN oplossing kijken verder moeten kijken dan de tot nu toe hier besproken oplossingen, vooral als de kosten ook meespelen. Voorlopig heb je met jou verhaal over jullie iSCSI oplossing in elk geval hier en daar wat oogjes geopend van mensen...en dat lijkt me toch nuttig ;)
Nee, ok, dan is dat ook duidelijk voor iedereen :)
Voor een ander project ben ik op dit moment bezig met Intel SAN apparatuur. Het zijn vrij kleine nodes die je bij elkaar mikt tot één groot systeem. Voordeel is dat de performance vrij snel meeschaalt doordat elke extra unit extra snelheid oplevert. Het lijkt erg op de hierboven beschreven Equilogic eenheden.
Het werkt verder ook op basis van iSCSI met natuurlijk een mooie beheer interface. ;)
Heb je iets van info / linkje van die systemen ?
Ben wel benieuwd namelijk...
@Wido: In het stukje wat ik schreef gaf ik ook aan dat de DM service interessant kan zijn voor je...dankzij bonding van netwerk interfaces kun je je iSCSI snelheid opschalen en tevens redundant maken. Waarmee heb je overigens je snelheden getest ?
Bonding kan al heel lang in linux ;), maar misschien dat je er niet van kan booten. Overigens moet je wel opletten dat je dan niet features zoals TOE kwijtraakt, dat scheelt ook weer aan performance.
Ze hebben 't goed verstopt maar hier is er meer over te vinden: http://www.intel.com/design/servers/storage/ssr212ma/index.htm
@Wido: In het stukje wat ik schreef gaf ik ook aan dat de DM service interessant kan zijn voor je...dankzij bonding van netwerk interfaces kun je je iSCSI snelheid opschalen en tevens redundant maken. Waarmee heb je overigens je snelheden getest ?Ik heb mijn snelheden getest met onder andere bonnie++ en dd.
DM en Bonding ken ik inderdaad al, heb alleen nog geen tijd gehad om het te testen.
@Wido
Wel een aanrader om mee te gaan spelen dan...zowieso is de redundancy wel lekker, maar ook de snelheid gaat er lekker op vooruit. Gebruik je overigens wel jumbo frames voor je iscsi ? Persoonlijk heb ik namelijk het idee dat 60MB/s niet echt heel hoog is...Ik kan de situatie natuurlijk niet inschatten, maar wij hebben wat tests gedaan op een Equalogic PS100E demo machine en daarmee trek je een Gbit verbinding toch redelijk makkelijk vol. Dat zou die EMC toch ook makkelijk moeten kunnen. Hoogstwaarschijnlijk valt er dus op netwerk/initiator gebied nog wel wat te tweaken.
@Gjtje
Je kunt booten vanaf DM devices...vereist uiteraard wel een aangepaste initrd...
Ik kende deze machines al...onder andere upservers verkoopt ze...
Zij gaven alleen zelf aan dat ze ze in verhouding tot de kosten niet echt snel vonden...helaas hadden ze geen machine ter beschikking om te testen, had het liever zelf uitgezocht. Het leek mij wel een mooi systeem namelijk...zeker met meerdere nodes geclusterd. De hogere prijs zit em overigens vooral in de additionele software....vooral de scalability package en de snapshot package zijn alles behalve goedkoop...
Ik ben wel benieuwd naar je bevindingen rondom deze machines...