PDA

Bekijk Volledige Versie : High availability met Xen en iSCSI



Wido
17/01/07, 23:06
Ik werk zelf veel met Xen en ben er zeer tevreden over.

Echter willen we ook graag hoge beschikbaarheden met onze services, met een beetje creativiteit valt er een hele hoop te maken.

Ik heb mijn opgedane ervaring verwerkt in een document, deze kan je hier (http://crew.pcextreme.nl/~wido/doc/xen_en_iscsi.pdf) downloaden.

Ik denk dat we hier wel een leuke discussie kunnen starten die zich kan richten op Xen in combinatie net SAN.

Apoc
17/01/07, 23:17
Dat ziet er interessant uit! Het enige wat wel jammer is, is dat er nog steeds een SPOF (single point of failure) bestaat. Zelfs als de SAN zeer betrouwbaar is, dan vind ik niet dat je kunt spreken van een high-availability oplossing zolang die SPOF bestaat. Wellicht dat je het e.e.a. met data replicatie kunt doen om het wel volledig redundant te maken.

Wij zijn met een soortgelijk concept bezig, al zal dat totaal anders werken (afgezien van het feit dat het ook een high availability oplossing wordt. Ik kan hier nu alleen nog geen uitspraken over doen :)

Wido
17/01/07, 23:23
Je kan twee SAN's naast elkaar neerzetten die realtime syncen en failover doen.

Het type SAN dat wij hebben staan kan dat ook, echter zit je dan wel aan hoge kosten. Denk aan nog een 70k extra voor alleen de apparatuur en dan nog de licentie kosten voor de replicatie.

High availability kent uiteraard ook zijn prijs. Je moet op een gegeven moment de kosten tegen de baten afwegen.

Je noemt nu echter een SAN een SPOF, echter bestaat die uit meerdere redundante onderdelen. Wil je je netwerk dan ook een SPOF noemen omdat je maar 1 netwerk hebt? ookal bestaat deze uit meerdere redundante onderdelen?

SAN staat voor Storage Area Network, dat hoeft dus niet persé één fysieke machine te zijn.

Shadowfox
17/01/07, 23:33
Wido,

Kan je het document de volgende keer iets zakelijker opstellen? Persoonlijk vind ik het heel erg richting een schoolkrant artikel neigen. De technische kennis bezit je wel maar probeer de andere kant ook eens aan te pakken. Daarmee komt het artikel veel professioneler over en kan er meer waarde aan gehecht worden. Wat misschien ook wel belangrijk is zijn de afwegingen die je hebt gemaakt en verbind daar conclusies aan. Het stuk is redelijk rechtlijnig, dat best jammer is.

Ja, ik weet dat je nog op school zit. Waarom zeg ik dit: Ik zit/zat in hetzelfde schuitje en probeer je positieve feedback te geven vanuit een didactische kant ;) Verder leuk gedaan, mijn complimenten.

Wido
17/01/07, 23:35
Dat heb ik expres juist niet gedaan, waarom niet? Ik vind al dat stugge gebeuren maar niets.

Ik heb geen managers of andere mensen te overtuigen. Ik doe kennis op en die wil ik delen met mensen die op het zelfde niveau werken.

Ik loop dagelijks niet in pak rond en ik ga me dan ook echt niet gedragen als iemand die dat wel doet :)

Ik wil met dit document ook helemaal niets bereiken, ik wil mensen alleen een voorzetje geven en verder niets. Ik heb niets te verdedigen of juist aan te vallen, ik deel alleen wat ik meegemaakt heb, niet meer, niet minder.

Als het taalgebruik niet aan staat, dan is dat toch echt jouw probleem, niet de mijne, dan moet je het lekker links laten liggen.

No hard feelings, ik snap dat je het positief bedoeld.

Shadowfox
17/01/07, 23:39
Dan had ik dat onder persoonlijke titel gedaan en niet als Wido van PCextreme zijnde. Nu komt het over dat PCextreme een artikel over Xen en iSCSI naar buiten heeft gebracht :)

Goed, ik ga er verder ook niet op in.

Nou nog een ding dan nog om een verschil te laten zien: Dit is nu juist het verschil tussen stage en afstuderen op HBO-niveau. Bij de stage wordt dit waarschijnlijk nog goedgekeurd maar bij afstuderen ga je hier mee de boot in :P Tegenwoordig is de kwaliteit van het onderwijs helaas al een stuk lager. Dat merk ik ook bij ons op school en je ziet het terug in de media de laatste tijd. Dit is gewoon tekenend voor de maatschappij hedendaags.

Sander-
18/01/07, 00:22
Dan had ik dat onder persoonlijke titel gedaan en niet als Wido van PCextreme zijnde. Nu komt het over dat PCextreme een artikel over Xen en iSCSI naar buiten heeft gebracht :)

Goed, ik ga er verder ook niet op in.

Nou nog een ding dan nog om een verschil te laten zien: Dit is nu juist het verschil tussen stage en afstuderen op HBO-niveau. Bij de stage wordt dit waarschijnlijk nog goedgekeurd maar bij afstuderen ga je hier mee de boot in :P Tegenwoordig is de kwaliteit van het onderwijs helaas al een stuk lager. Dat merk ik ook bij ons op school en je ziet het terug in de media de laatste tijd. Dit is gewoon tekenend voor de maatschappij hedendaags.

Ik moet zeggen dat ik het deels met je eens ben, de schrijfstijl van het artikel is misschien niet hoogdravend en er wordt geen afweging gemaakt van bepaalde keuzes. Maar van de andere kant is het ook zo dat dit een simpele howto is waarin aangegeven wordt hoe het ook kan en hoe het bij PCExtreme draait. En dat vind ik persoonlijk al noemenswaardig, dat een bedrijf dit soort dingen naar buiten brengt. Dat zie je niet vaak...

Verder is de aard van dit document ook niet direct strict zakelijk en vind ik het daarom niet storend dat er een losse schrijfstijl wordt gehanteerd. Wanneer dit document een interne procedure oid zou zijn dan zou ik dat wel weer gewenst vinden.

En het feit dat er geen beargumentering voor de keuze wordt gemaakt lijkt me redelijk logisch, dit is een voorbeeldimplementatie. Het keuzetraject om te gaan voor deze implementatie is voor ieder bedrijf verschillend en hangt af van veel verschillende zaken. Ikzelf verwacht dat ook niet in een howto. Jij gaat iets doen omdat je ervoor gekozen hebt. Je kiest niet op basis van een howto.

Even to the point:

Wido, heb met intresse je artikel gelezen. Helaas beschikken wij alleen over een NAS oplossing en moeten we dus op dit moment gaan kijken naar een lokaal draaiende oplossing met backup via de NAS, aangezien wij het NFS protocol niet betrouwbaar genoeg vinden om daar direct VM's vanaf te gaan draaien.

Desondanks opent dit artikel de ogen bij ons en is het wel iets wat wij richting de toekomst in het achterhoofd gaan houden als mogelijke oplossing.

gjtje
18/01/07, 00:44
Je kan ook naar ata over ethernet kijken als alternatief voor nfs en iscsi, dat kan die nas misschien ook wel aanbieden.

Wido
18/01/07, 12:43
Ata over Ethernet is een mogelijkheid, echter ken ik dat niet goed.

iSCSI is een protocol dat hier toch vaker voor gebruikt wordt. NFS zou ik niet doen, been there, done that, niet aan beginnen!

Afijn, ik kom toch nog even terug op de schrijfstijl: Interne documenten zijn heel anders opgestelt en uiteraard communiceer ik niet zo met mijn zakelijke klanten.

Dat dit aangeeft hoe het niveau van de opleidingen tegenwoordig is, is natuurlijk volledig absurd en uit verband getrokken!

Dat ik naar buiten geef hoe het systeem werkt vind ik niet zo vreemd, hoe vaak zie je niet dat bedrijven als IBM of HP proven cases naar buiten brengt?

Ik ben in ieder geval blij dat ik mensen een voorzetje tot denken kan geven.

djalken
18/01/07, 13:03
Had je doc al een keer gezien en t is een erg mooie setup :) Hoe zijn je ervaringen met die san van emc? (ik denk dat emc prijstechnisch aantrekkelijker is dan netapp toch?)

Wido
18/01/07, 13:05
Mijn ervaringen met EMC zijn prima. Het draait nu 10 maanden bij ons en nog nooit heb ik een probleem gehad waardoor de storage onbereikbaar werd of niet bruikbaar was zoals het hoort.

Voor ons (3.6TB netto) kwam het prijstechnisch beter uit om voor EMC te gaan dan NetApp.

dotXS
18/01/07, 15:35
Goed geschreven docje. Wij gebruiken ook Xen 3.0.3 icm iSCSI alleen heb ik erg slechte ervaringen met Open-iSCSI. Vorig jaar juli had ik om de haverklap kernel-panics als je een DomU opstarte. In de tussentijd heb ik niet meer getest.

Wij gebruiken op dit moment Core-iSCSI als initiator. Deze initiator werkt al enige maanden naar uiterste tevredenheid. Toch ben ik zelf niet geheel tevreden over iSCSI als oplossing voor storage. Dat heeft gedeeltelijk ook wel te maken met de status van de verschillende software initiators onder linux. De betrouwbaarheid is in mijn ogen nog niet op het peil van fibrechannel en de meeste fabrikanten hebben hun iSCSI TOE kaarten end of life gegeven.

Wido
18/01/07, 15:40
Dat er zo veel initiators zijn ben ik met je eens, dat is ook erg lastig.

Wat betreft iSCSI TOE kaarten, ik raad je aan eens te kijken naar QLogic (http://www.qlogic.com/products/iscsi_products_hba.asp), zij maken nog HBA's.

Die werden ons in ieder geval door EMC aangeraden.

Jesperw
29/10/07, 17:10
Wido, als ik deze even heel ordinair kick. Heb jij wel eens een iscsi boot met xen enterprise gedaan? Of doen jullie dat niet?

Schijnt pas in de volgende versie echt ondersteund te worden, maar we willen nu al aan de slag. Zijn daar manieren voor?

JROnline
29/10/07, 17:23
He Jesper, wat gaat er mis? XE regelt die boot toch prima?

Jesperw
29/10/07, 17:38
Hey Jeroen,

Ik heb nu nodes (16 gig ram, 8 cores, supermicro) met een iscsi-boot-kaart. Alleen zegt Xen ergens online dat ze diskless boots niet ondersteunen (volgens mij schreef ik dat er straks niet bij).

Ik wil dus, zonder disks in mijn nodes een host kunnen maken. Anders moet ik die nodes weer met disks en raid gaan uitvoeren, maar daar heb ik nu juist mijn SAN weer voor. :P

Wido
29/10/07, 19:51
Wido, als ik deze even heel ordinair kick. Heb jij wel eens een iscsi boot met xen enterprise gedaan? Of doen jullie dat niet?

Schijnt pas in de volgende versie echt ondersteund te worden, maar we willen nu al aan de slag. Zijn daar manieren voor?Nee, nooit getest.

Wij draaien allemaal maar XenSource.

Overigens compile ik Open-iSCSI al een tijd niet meer zelf. Sinds Ubuntu Feisty is Open-iSCSI 2.0 aanwezig in de repositories evenals Xen.

In Ubuntu Gutsy (7.10) zit zelfs Xen 3.1 met Open-iSCSI 2.0

De twee weken dat dit nu op test draait is het rockstable geweest.

Maar onze hosts draaien allemaal op een eigen disk met hun OS.

Jesperw
29/10/07, 22:38
Nee, nooit getest.

Wij draaien allemaal maar XenSource.

Overigens compile ik Open-iSCSI al een tijd niet meer zelf. Sinds Ubuntu Feisty is Open-iSCSI 2.0 aanwezig in de repositories evenals Xen.

In Ubuntu Gutsy (7.10) zit zelfs Xen 3.1 met Open-iSCSI 2.0

De twee weken dat dit nu op test draait is het rockstable geweest.

Maar onze hosts draaien allemaal op een eigen disk met hun OS.

Ahja..

Ik lees dat Xen Enterprise in de volgende release wel iscsi boot ondersteund. We gaan tot dan maar met disks werken, maar daarna niet meer. Ik moet op die manier weer disks met raid op die nodes gaan configureren, maar dan heb je weer draaiende onderdelen en teveel rommel in die bakken. Het lijkt me idealer als dat er allemaal niet in zit.

Maarja, even geduld hebben nog dus. :)

JROnline
30/10/07, 10:17
Ok, dacht dat je moeite had met het laten booten van de VM's vanaf je iSCSI target. Dit is volledig transparant, vandaar de verwarring.

Ik zou het ook wel leuk vinden als XenEnterprise (of Citrix XenServer Enterprise Edition zoals het nu officieel heet) PXE boot gaat ondersteunen, zoals VirtualIron dat doet (www.virtualiron.com). Verder is VirtualIron niets waard hoor, valt erg tegen qua prestaties onder heavy load. De nieuwe XE versie moet ook de HighAvailability beschikbaar maken (tegen de prijs van een upgrade van je licenties) en er komt een nieuwe indeling van de virtuele schijfstructuur die resizen makkelijker moet maken. Ik kan alleen nog nergens vinden wat de planning voor de release hiervan is.

Wido
30/10/07, 10:19
Het resizen van je harddisk is leuk, maar je zit nog altijd met het daar boven liggende filesystem, hoe willen ze dat gaan aanpakken?

Je kan met LVM over je iSCSI targets al veel uithalen, alleen moet je nog steeds je ext3 resizen wat veel tijd en downtime kost.

frankske
30/10/07, 10:36
xfs doet het online.

Wido
30/10/07, 10:38
Ik meen alleen dat XFS pas zijn optimale snelheid behaald bij grote files, aka video en audio, maar niet bij kleine files.

Laten wij als hosters nu altijd met kleine files werken.

Of heb ik het hier mis?

Jesperw
30/10/07, 11:19
Ik denk dat ik die machines toch maar met een (simpele) raidset uitrust voor alleen de xen host software. Dan kunnen we die disks er altijd nog uithalen (of in ieder geval niet gebruiken).

Het is een beetje zonde, maar zolang Xen niet update is 't niet anders.

Fuelmedia
30/10/07, 18:12
Je kan natuurlijk ook je dom0 booten vanaf een ATA flash chip en je domU's vanaf je SAN.

Jesperw
30/10/07, 18:23
Da's ook een goede optie. Die ga ik even proberen. :)

Jesperw
02/11/07, 16:30
Jeroen of anderen, gebruiken jullie Multipath I/O in combinatie met Xen? Ik lees er maar weinig over, maar ons SAN ondersteund MPIO, we hebben dubbele switches en dubbele poorten op onze nodes dus we willen 't graag gebruiken.

Weet iemand of 't kan?

Shadowfox
03/11/07, 00:52
Nog steeds niet aan ESX gedacht???

Jesperw
03/11/07, 11:36
Je zou er bijna niet onderuit kunnen inderdaad. Het maakt het geheel alleen (nog) een stuk duurder..

Shadowfox
03/11/07, 16:44
Je zou er bijna niet onderuit kunnen inderdaad. Het maakt het geheel alleen (nog) een stuk duurder..

Nou dat hangt er helemaal vanaf hoor... Hoeveel nodes heb je besteld?

Voordeel van VI 3 Standard is dat je HA hebt. Als een node uitvalt dan wordt de VM op je andere node gestart. Met VI 3 Enterprise heb je ook nog eens DRS. Dat zorgt ervoor dat de load over al je nodes verdeelt wordt automatisch.

Onderhoud aan hardware is ook makkelijk te doen nu. Je pleurt je node in maintaince mode en de VMs worden automatisch gemigreerd.

Qua kosten lijkt het duurder maar als je al zoveel geld in dit platform kan steken dan verdwijnen de licenties in het niets.