VMWare vSphere ESXi onverklaarbaar vastlopen

[Spyder01]

Sinds een tijdje zit ik met onverklaarbaar vastlopen van ESXi. Ik heb alle logboeken die je kunt exporteren doorgelopen, maar zie geen meldingen rond de tijd die de uptime service aangeeft als down zijn van de VM.

Beetje schematisch:

VMWare host is te pingen, kan er met de VI Client op inloggen en door de structuur en tabbladen klikken.

CPU gebruik, overzicht qua toegewezen geheugen, diskspace, versie VMWare Tools e.d. zijn allemaal leeg, console tabblad blijft zwart en laat niets van de virtuele machine zien.

De virtuele machine is niet pingbaar, via de VMWare omgeving is deze niet te rebooten, te shutdownen enz.

Omdat hij nergens op reageert denk je van "ik reboot de hele host wel", maar verder dan de melding of je wel of niet de host in maintenance mode wilt zetten en wat de reden is van het herstarten komt hij niet. Je submit en vervolgens doet hij niets. Dan rest dus alleen nog een powercycle via de APC. Daarna komt de host weer up, zijn de vm's weer te starten en draait het weer.

De host is aardig recent qua updates (staan op dit moment maar 2 of 3 vrij recent nieuwe), deze problemen had ik echter ook al een paar weken / maanden eerder en heb toen ook alle updates die beschikbaar waren geïnstalleerd. Helaas heeft dit niet geholpen.

Is er iemand die enig idee heeft waar dit weg zou kunnen komen?

[wila]

Tja, meestal is de reden voor dit type probleem hardware die aan het falen is.
Als ik het goed begrijp heb je geen directe toegang tot het systeem en ook geen remote console om even "lokaal" in te loggen en wat zaken te troubleshooten?

Je bent wel aan het loggen naar een externe logserver? Want ESXi begint iedere boot weer met een schoon logverleden. Er worden lokaal geen logbestanden opgeslagen omdat ESXi in RAMdisk draait en niet fysiek op disk zaken wegschrijft zoals logs.
Als je dat nog niet gedaan hebt, dan is hier een link naar een artikel met een voorbeeld van hoe dat dan in te stellen.
http://www.simonlong.co.uk/blog/2010...syslog-server/

Staat je hardware op de lijst met ondersteunde hardware? http://www.vmware.com/go/HCL


Success!
--
Wil

[Spyder01]

Is een eigen server, dus heb opzich wel de mogelijkheid op de console te kijken. Logs van esxi laat ik inderdaad intern, normaal geen probleem maar in dit geval was extern wel handig geweest. Overigens heb ik de server om half 9 een reboot gegeven en staan er wel meldingen in de logs van een uur eerder.

Het is een R200 en die is gewoon compatible met ESX, heeft ook tot een tijd geleden goed gedraaid.

[pierce]

Heb je een update gedraait?

[Spyder01]

Heb je een update gedraait?

Dit is het issue waar ik het laatst met je over had. Toen bleek ik nog wat updates open te hebben staan en die heb ik toen gedaan. Probleem leek eerst opgelost te zijn, maar helaas gebeurd het weken / maanden niet en dan ineens wel weer.

[oehTie]

Welke esxi versie heb je precies?(of lees ik er overheen :$ )

ESXi draait inderdaad in ramdisk maar logs worden wel degelijk lokaal op de schijf gezet. Mogelijk zie je op console meldingen tijdens de storingen. Ik zou daar ook even naar kijken. Hardware falen is mogelijk maar ook corrupte data op je harde schijf binnen je vpssen kan dit probleem veroorzaken. Helaas door ervaring ondervonden...

[Spyder01]

Welke esxi versie heb je precies?(of lees ik er overheen :$ )

Nee, je las er niet over heen, het is: 4.0.0 Build 294855

[pierce]

vm's exporteren en een nieuwe install doen?
Heb nog wel een reserve server met genoeg capaciteit liggen(mocht je die zelf niet hebben) die je tijdelijk kan lenen, draait al esxi op.

[Spyder01]

vm's exporteren en een nieuwe install doen?
Heb nog wel een reserve server met genoeg capaciteit liggen(mocht je die zelf niet hebben) die je tijdelijk kan lenen, draait al esxi op.

Er draait maar één belangrijke vm op, dus die exporteren en een nieuwe install is denk ik de beste methode. Voor ESXi heb ik geen andere server op dit moment, dus als dat zou kunnen zou dat erg helpen.

Scheelt in ieder geval een hoop gedoe met ook de vm zelf opnieuw installeren en wellicht dat er inderdaad iets niet helemaal op de achtergrond goed zit (het updaten van 3.5 naar vSphere ging toen ook niet helemaal lekker als jij je dat nog kunt herinneren).

Edit: voordat er commentaar komt, ik heb dus wel reserve servers, maar niet een waar ESX op kan draaien En in dit geval is de VM exporteren beter dan ook die opnieuw installeren omdat dit veel downtime scheelt.

[pid]

Wij hebben het zelfde probleem gehad.

Bleek aan de combinatie van:
- SAS 6/iR
- 2 disks van verschillende merken
- NCQ aan

Na het uitschakelen van NCQ waren deze problemen weg.
Waarschijnlijk ondersteunde een van de disks geen NCQ of was de controller gek aan het doen met NCQ.
In ons geval kregen we echter de melding 'lost connection to storage'.

[Spyder01]

Wij hebben het zelfde probleem gehad.

Bleek aan de combinatie van:
- SAS 6/iR
- 2 disks van verschillende merken
- NCQ aan

Na het uitschakelen van NCQ waren deze problemen weg.
Waarschijnlijk ondersteunde een van de disks geen NCQ of was de controller gek aan het doen met NCQ.
In ons geval kregen we echter de melding 'lost connection to storage'.

Punt 1 is inderdaad aanwezig, zitten wel 2 gelijke schijven in (neem aan dat Dell gewoon 2 dezelfde merken erin plaatst. Punt 3 weet ik niet, dan zou ik dat dus even na moeten kijken.

Anders heb ik ook geen idee, behalve dat iets wat eerst geen problemen gaf dus ineens wel problemen is gaan geven.

Moeite van het kijken waard dus.

[pid]

In ons geval was het 'onze schuld', we hebben een aantal R200's op voorraad, en daar hadden we dus een schijf uit gehaald en in de andere R200 geplaatst, DELL gebruikt dus wel degelijk meedere vendors, dit is ons bij SAN schijven ook al eerder opgevallen (2 bestellingen voor dezelfde unit, 2 verschillende merken).
Resultaat dus bovenstaande.

Zeer frustrerend. Bij ons deed het probleem zich maandelijks 1 keer voor, toen we backups 's nachts gingen schedulen deed het zich om de x aantal dagen voor. Het had in ons geval dus echt met veel disk i/o te maken.

Ik hoop voor je dat dit het probleem is, want niets is zo irritant als niet weten wat er nu niet werkt en waarom het niet werkt.

Wij hadden overigens exact het zelfde wat je beschreef met ESXi die niet meer reageert (ook al ben je wel ingelogd).

[Spyder01]

Het is inderdaad frustrerend, kost ook een hoop downtime incl. nazorg. De VM opzich is super stabiel op dit issue na.

Dus dat wordt sowieso een bezoekje DC om in het BIOS te rammelen. Misschien een stomme vraag, maar ESXi / Linux kan daar tegen als je het achteraf aanpast? Aangezien Windows compleet kan flippen als je het later omschakeld.

[pid]

Ik kon het met de SAS 6/iR gewoon uitschakelen zonder dat het OS problemen kreeg.
Dus je hoeft niet te herinstalleren ofzo .

[Vanderblom]

Ik kon het met de SAS 6/iR gewoon uitschakelen zonder dat het OS problemen kreeg.
Dus je hoeft niet te herinstalleren ofzo .

Schopje, maar hoe is de performance zonder NCQ aan ?
Ik zit met hetzelfde probleem, datastore kan niet gevonden worden en niets reageert meer.
Ik heb naast de SAS 6\iR ook nog een H200 controller, misschien omschakelen naar de H200 ??