Onderwerp: iscsi en xen

Heren,

Bij ons staat sinds deze week een Equalogic te pruttelen die voor ons de storage gaat doen van onze Virtuele machines.

Ik zit alleen beetje te klooien met hoe ik dit het beste kan aanroepen.

Ik heb nu een script die tijdens het booten van de server het volgende doet.

iscsiadm --mode discovery --type sendtargets --portal 192.168.1.250

iscsiadm --mode node --targetname iqn.2001-05.com.doe:test --portal 192.168.1.250:3260 --login

vervolgens krijg ik dan een /dev/sdb waarin ik via LVM een groep heb aangemaakt met verschillende Logical Volumes.

In de xen configuratie doe ik vervolgens gewoon

root = '/dev/hda2 ro'
disk = [
'phy:/dev/domains/speeldoos.eliveldnetworks.nl-swap,hda1,w',
'phy:/dev/domains/speeldoos.eliveldnetworks.nl-disk,hda2,w',
]


Ik heb zomaar het vermoeden dat dit niet de juiste manier is, Kan iemand mij beetje op weg helpen?

Je gebruikt Ubuntu/Debian neem ik aan?

Je hoeft dan het gehele discoveren maar 1x te doen, zelfde geld voor het inloggen.

Hierna kan je namelijk in /etc/iscsi/nodes/<target>/default node.conn[0].startup op automatic zetten waarna je target vanzelf inlogt on boot.

Verder maken wij geen LVM aan op iSCSI, maar gebruiken gewoon direct /dev/disk/by-path/<disk> die we in onze Xen config plaatsen.

Hoi,

Oorspronkelijk geplaatst door Wido

Je gebruikt Ubuntu/Debian neem ik aan?

Je hoeft dan het gehele discoveren maar 1x te doen, zelfde geld voor het inloggen.

Hierna kan je namelijk in /etc/iscsi/nodes/<target>/default node.conn[0].startup op automatic zetten waarna je target vanzelf inlogt on boot.

Verder maken wij geen LVM aan op iSCSI, maar gebruiken gewoon direct /dev/disk/by-path/<disk> die we in onze Xen config plaatsen.

Vannacht zat ik al even met dat /etc/iscsi/nodes/* te klooien maar dat wil maar niet gaan werken. Na een reboot van de machine krijg ik geen target te zien. Wat zijn de voordelen van het niet gebruik maken van LVM op je iSCSI storage? En hoe doe je dat dan met je swap space? Want daarvoor moet je dan ook een aparte volume (LUN?) op je iSCSI aanmaken.

Dat is apart, ik gebruik hier Ubuntu 7.10 en 8.04 als iSCSI Initiators en daar werkt dat gewoon.

Let echter op, mijn config ziet er zo uit:

Code:

node.startup = manual
<snip>
node.conn[0].startup = automatic

Verder vind ik LVM niet nodig, ik draai 1 VM per LUN, meer dan genoeg.

Swap doe ik op de lokale disk om zo mijn storage te ontlasten, ik maak een lokale LVM VG aan met de naam "xen-domains" en gebruik daarna dit script: http://crew.pcextreme.nl/~wido/scripts/xen/block-swap

Code:

disk = [ 'swap:serv01,hda9,w']

Wido: als je swap lokaal doet, hoe doe je live migration doen? Of eerst swapoff en hopen dat er genoeg ram is?

Als je een volume per klant doet loop je dan niet tegen het probleem aan van het limiet aan volumes. 1024 lijkt veel maar dat kan best hard gaan.

Hoi,

Oorspronkelijk geplaatst door Wido

Dat is apart, ik gebruik hier Ubuntu 7.10 en 8.04 als iSCSI Initiators en daar werkt dat gewoon.

Let echter op, mijn config ziet er zo uit:

Code:

node.startup = manual
<snip>
node.conn[0].startup = automatic

Verder vind ik LVM niet nodig, ik draai 1 VM per LUN, meer dan genoeg.

Swap doe ik op de lokale disk om zo mijn storage te ontlasten, ik maak een lokale LVM VG aan met de naam "xen-domains" en gebruik daarna dit script: http://crew.pcextreme.nl/~wido/scripts/xen/block-swap

Code:

disk = [ 'swap:serv01,hda9,w']

Ja dat is vrij apart want als ik zodra de machine gestart is /etc/init.d/open-iscsi restart doe dan pakt hij ze vervolgens wel. Dus dat is beetje raar

Oorspronkelijk geplaatst door frankske

Wido: als je swap lokaal doet, hoe doe je live migration doen? Of eerst swapoff en hopen dat er genoeg ram is?

Live migration doen we bijna niet, eigenlijk nooit.

En er is eigenlijk altijd genoeg RAM, swappen doen we bijna niet. En mocht het nodig zijn, dan kan je inderdaad gewoon swap-off doen.

@ gtje, zo veel volumes hebben we doen, zitten nu op iets van 50 LUN's, valt dus best wel mee.

Maar om elke VM onafhankelijk te laten zijn moet je wel aparte LUN's gebruiken.

Wido, Bedankt voor je script.

Ben eigenlijk benieuwd hoe de rest dit allemaal doet? Iemand die zicht daar over uit wil laten ?

Vraagje:

Oorspronkelijk geplaatst door Wido

Dat is apart, ik gebruik hier Ubuntu 7.10 en 8.04 als iSCSI Initiators en daar werkt dat gewoon.

Let echter op, mijn config ziet er zo uit:

Code:

node.startup = manual
<snip>
node.conn[0].startup = automatic

Verder vind ik LVM niet nodig, ik draai 1 VM per LUN, meer dan genoeg.

Swap doe ik op de lokale disk om zo mijn storage te ontlasten, ik maak een lokale LVM VG aan met de naam "xen-domains" en gebruik daarna dit script: http://crew.pcextreme.nl/~wido/scripts/xen/block-swap

Code:

disk = [ 'swap:serv01,hda9,w']

Je maakt geen gebruik van LVM dus je doet iedere LUN apart fdisken?

Ik heb het probleem dat ik op onze storage 1 Lun aangemaakt heb daar LVM over gedraait heb en daarin iets van 45 volume groupen heb aangemaakt voor iedere machine. Deze LUN deel ik met 4 servers maar heb regelmatig dat de boel krak gaat.

En denk toch dat ik moet overstappen naar een andere methode

4 machines die gelijktijdig dezelfde lun benaderen? Dan neem ik aan dat je clvm gebruikt?

Oorspronkelijk geplaatst door gjtje

4 machines die gelijktijdig dezelfde lun benaderen? Dan neem ik aan dat je clvm gebruikt?

Nope daarom ben ik het ook aan het verbouwen

Oorspronkelijk geplaatst door WilloW

Vraagje:



Je maakt geen gebruik van LVM dus je doet iedere LUN apart fdisken?

Ik heb het probleem dat ik op onze storage 1 Lun aangemaakt heb daar LVM over gedraait heb en daarin iets van 45 volume groupen heb aangemaakt voor iedere machine. Deze LUN deel ik met 4 servers maar heb regelmatig dat de boel krak gaat.

En denk toch dat ik moet overstappen naar een andere methode

Uh ja, dat moet je zeker! 1 LUN = 1 VM, zo simpel is het.

Ik fdisk niet elke LUN apart, ik maak direct op de LUN een XFS filesystem aan.

Oorspronkelijk geplaatst door Wido

Uh ja, dat moet je zeker! 1 LUN = 1 VM, zo simpel is het.

...

1 LUN = 1 VM t.o.v. 1 LUN = 1 XEN cluster

Waarom zou je het ene moeten doen en niet het andere?

Ik praat ook direct tegen de Lun's aan op onze equallogic's, iedere VM heeft zijn eigen lun. Om hier nog eens LVM overheen te halen heeft voor ons geen voordelen.

Verder gebruik ik naast open-iscsi ook nog multipath voor extra bandbreedte en failover mogelijkheden. Vind het hiermee ook makkelijker om de lun namen hetzelfde te houden op alle nodes (voor live-migratie).