Bekijk Volledige Versie : Server reageert om de zoveel tijd niet en geeft dan zwart beeld
Ik heb een colo-server die inmiddels een paar jaar oud is (Debian 2.6.32-5-amd64). Afwisselend van soms om de paar uur en soms om de paar dagen is de server niet bereikbaar. Na een reboot werkt alles weer. In de logs is helemaal niks terug te vinden. Ik heb een DC medewerker gevraagd om er eens een monitor aan te hangen, volgens hem gaf de server alleen zwart beeld. Op het moment dat de server niet bereikbaar is, staat hij wel aan en gebruikt een constante hoeveelheid stroom (normaliter bestaat het stroomverbruik uit pieken en dalen). Ik weet niet waar ik het probleem moet zoeken. Heeft iemand een idee wat er met de server aan de hand kan zijn? Is dit een hardware- of softwarematig probleem?
Is er iets te zien aan het dataverkeer/de logs net voor de problemen ontstaan?
Is er iets te zien aan het dataverkeer/de logs net voor de problemen ontstaan?
Het dataverkeer is normaal, en in de logs staat helemaal niks.
Kun je de server nog pingen of helemaal niets meer, in het geval je wel nog zou kunnen pingen maar de services niet meer werken heb je waarschijnlijk te maken met een kernel panic. Aangezien je aangeeft dat dit na een paar uur of dagen kan voorvallen gok ik op een memory leak dat de kernel panic veroorzaakt. Indien je meerdere servers voor handen zou hebben kun je proberen om je logs ook naar syslog server te zenden, op deze manier kun je waarschijnlijk nog dingen van de crash zien die hij niet meer kan wegschrijven op de server zelf.
Verder zou ik ook aanraden indien je dit nog niet doet om de server te monitoren via snmp en/of atop om zaken zoals netwerk, cpu, memory, iops, ... te kunnen zien voordat server down gaat.
patrickekkel
15/03/13, 10:33
Wat betreft monitoring. pm ons even dan kan je server wel een paar weken bij ons in de monitoring.
En kunnen wij jou daar ook realtime inzicht in geven
Kun je de server nog pingen of helemaal niets meer, in het geval je wel nog zou kunnen pingen maar de services niet meer werken heb je waarschijnlijk te maken met een kernel panic. Aangezien je aangeeft dat dit na een paar uur of dagen kan voorvallen gok ik op een memory leak dat de kernel panic veroorzaakt. Indien je meerdere servers voor handen zou hebben kun je proberen om je logs ook naar syslog server te zenden, op deze manier kun je waarschijnlijk nog dingen van de crash zien die hij niet meer kan wegschrijven op de server zelf.
Verder zou ik ook aanraden indien je dit nog niet doet om de server te monitoren via snmp en/of atop om zaken zoals netwerk, cpu, memory, iops, ... te kunnen zien voordat server down gaat.
Nee, pingen is dan niet meer mogelijk, hij doet helemaal niks meer. Ik ga even snmp/atop installeren.
Nee, pingen is dan niet meer mogelijk, hij doet helemaal niks meer. Ik ga even snmp/atop installeren.
Uhm, je weet dat als je niet meer kunt pingen snmp naar die server zeker ook niet meer werkt ?
(Wel kun je inderdaad wat meer/extra data ophalen zolang de server nog wel werkt ).
Ik zou ook/vooral even in de syslog settings kijken wat er gelogd wordt, en zonodig een aantal loglevels fors hoger (*.debug) zetten.
Afhankelijk van de load zou je logs synchroon kunnen laten wegschrijven (dan worden ze meteen na het schrijven gesynced naar disk. Het kost je wel veel io performance, dus alleen als het verder vrij rustig is ). (syslog.conf -file gaat via fs cache, zonder gaat het synchroon .
Je kunt soms logs van bv cron gebruiken (of anders de MARK facility van syslog) om te zien of het systeem nog draaide en wellicht alleen het netwerk gaar was, of dat echt de kernel hing.
Als het 'zomaar' begonnen is denk ik iets meer in de richting van een hardware probleem. (cpu fan defect geraakt, of koeler die los ligt ? )
Ik heb een colo-server die inmiddels een paar jaar oud is (Debian 2.6.32-5-amd64). Afwisselend van soms om de paar uur en soms om de paar dagen is de server niet bereikbaar. Na een reboot werkt alles weer. In de logs is helemaal niks terug te vinden. Ik heb een DC medewerker gevraagd om er eens een monitor aan te hangen, volgens hem gaf de server alleen zwart beeld. Op het moment dat de server niet bereikbaar is, staat hij wel aan en gebruikt een constante hoeveelheid stroom (normaliter bestaat het stroomverbruik uit pieken en dalen). Ik weet niet waar ik het probleem moet zoeken. Heeft iemand een idee wat er met de server aan de hand kan zijn? Is dit een hardware- of softwarematig probleem?
Wellicht een stomme opmerking, maar je weet dat sommige linux distro's hun display in stand-by modus zetten?
Bedankt voor alle tips. Het moederbord bleek uiteindelijk stuk te zijn.