Bekijk Volledige Versie : Kernel fout?
ErikKosters
06/09/07, 00:47
Beste WHT-ers,
Heb hier nu een server welke geregeld de server zo gooit dat enkel pingen mogelijk is. Verder lijkt de gehele server dood te zijn. Nu heb ik de logs nagekeken en vindt ik nare kernel panic fouten. Ik denk dat een kernel update dit probleem kan verhelpen maar om het zeker te weten vraag ik het hier nog even.
Hier de logfile van het tijdstip dat de server het begeeft:
Sep 6 00:16:09 server kernel: Unable to handle kernel NULL pointer dereference at virtual address 00000020
Sep 6 00:16:09 server kernel: printing eip:
Sep 6 00:16:09 server kernel: c018cd64
Sep 6 00:16:09 server kernel: *pde = 00000000
Sep 6 00:16:09 server kernel: Oops: 0000 [#1]
Sep 6 00:16:09 server kernel: Modules linked in: md5 ipv6 parport_pc lp parport ipt_TOS iptable_mangle ip_conntrack_ftp ip_conntrack_irc ipt_REJECT ipt_LOG ipt_limit iptable_filter ipt_multiport ipt_state ip_conntrack ip_tables autofs4 i2c_isa i2c_dev i2c_core sunrpc loop button battery ac ohci_hcd ehci_hcd k8_edac edac_mc snd_azx snd_hda_codec snd_pcm_oss snd_mixer_oss snd_pcm snd_timer snd soundcore snd_page_alloc 3c59x mii forcedeth floppy dm_snapshot dm_zero dm_mirror ext3 jbd dm_mod sata_nv libata sd_mod scsi_mod
Sep 6 00:16:09 server kernel: CPU: 0
Sep 6 00:16:09 server kernel: EIP: 0060:[<c018cd64>] Not tainted VLI
Sep 6 00:16:09 server kernel: EFLAGS: 00210246 (2.6.9-55.0.2.EL)
Sep 6 00:16:09 server kernel: EIP is at dnotify_flush+0xb/0x111
Sep 6 00:16:09 server kernel: eax: 00000000 ebx: efd16c00 ecx: efd16c00 edx: ee78e040
Sep 6 00:16:09 server kernel: esi: 00000000 edi: efd16c00 ebp: e9000f70 esp: e9000f64
Sep 6 00:16:09 server kernel: ds: 007b es: 007b ss: 0068
Sep 6 00:16:09 server kernel: Process httpd (pid: 5538, threadinfo=e9000000 task=ee6487c0)
Sep 6 00:16:09 server kernel: Stack: efd16c00 00000000 ee78e040 00000006 c016ba5f ee78e040 0000ffff 000002c0
Sep 6 00:16:09 server kernel: c0126338 ee122540 ee6487c0 ee122570 00000000 c0127318 00000001 00000000
Sep 6 00:16:09 server kernel: 00000000 002c96f0 e9000000 c012776b 00000000 00000000 00000000 c031af83
Sep 6 00:16:09 server kernel: Call Trace:
Sep 6 00:16:09 server kernel: [<c016ba5f>] filp_close+0x49/0x5f
Sep 6 00:16:09 server kernel: [<c0126338>] put_files_struct+0x56/0xbf
Sep 6 00:16:09 server kernel: [<c0127318>] do_exit+0x2ec/0x5a7
Sep 6 00:16:09 server kernel: [<c012776b>] sys_exit_group+0x0/0xd
Sep 6 00:16:09 server kernel: [<c031af83>] syscall_call+0x7/0xb
Sep 6 00:16:09 server kernel: Code: 98 01 00 00 89 c3 85 d2 74 0e 8b 42 04 8b 12 25 ff ff ff 7f 09 c1 eb ee 89 8b 94 01 00 00 5b c3 55 89 e5 57 89 c7 56 53 8b 40 08 <8b> 58 20 0f b7 43 20 25 00 f0 00 00 3d 00 40 00 00 0f 85 e7 00
Sep 6 00:16:09 server kernel: <0>Fatal exception: panic in 5 seconds
Als ik overigens met yum de kernel probeer te updaten dan geeft hij de volgende melding:
[root@www01 html]# yum install kernel
Setting up Install Process
Setting up repositories
update 100% |=========================| 951 B 00:00
base 100% |=========================| 1.1 kB 00:00
addons 100% |=========================| 951 B 00:00
extras 100% |=========================| 1.1 kB 00:00
Reading repository metadata in from local files
primary.xml.gz 100% |=========================| 95 kB 00:00
update : ################################################## 304/304
Added 4 new packages, deleted 0 old in 0.71 seconds
Excluding Packages in global exclude list
Finished
Parsing package install arguments
Nothing to do
Lijkt me dat hij niets gedaan heeft, of doe ik iets verkeerd? Zie mensen ook eerst yum remove kernel doen en dan install, slim om remote te doen?
Het zou kunnen dat de update het probleem niet raakt. Hij heeft immers maar 4 packages aangevuld. (nl niets gedelete).
Een schone install zou dan mijn eerste optie zijn.
ErikKosters
06/09/07, 08:05
Ik zie ook de volgende melding in de serverlog:
Sep 6 07:51:27 server kernel: ACPI: PCI Interrupt Link [LNKA] (IRQs 16 17 18 19) *5
Sep 6 07:51:27 server kernel: ACPI: PCI Interrupt Link [LNKB] (IRQs 16 17 18 19) *0, disabled.
Sep 6 07:51:27 server kernel: ACPI: PCI Interrupt Link [LNKC] (IRQs 16 17 18 19) *0, disabled.
Sep 6 07:51:27 server kernel: ACPI: PCI Interrupt Link [LNKD] (IRQs 16 17 18 19) *0, disabled.
Sep 6 07:51:27 server kernel: ACPI: PCI Interrupt Link [LNEA] (IRQs 16 17 18 19) *0, disabled.
Sep 6 07:51:27 server kernel: ACPI: PCI Interrupt Link [LNEB] (IRQs 16 17 18 19) *0, disabled.
Sep 6 07:51:27 server kernel: ACPI: PCI Interrupt Link [LNEC] (IRQs 16 17 18 19) *11
Sep 6 07:51:27 server kernel: ACPI: PCI Interrupt Link [LNED] (IRQs 16 17 18 19) *0, disabled.
Sep 6 07:51:27 server kernel: ACPI: PCI Interrupt Link [LUB0] (IRQs 20 21 22 23) *5
Sep 6 07:51:27 server kernel: ACPI: PCI Interrupt Link [LUB2] (IRQs 20 21 22 23) *5
Sep 6 07:51:27 server kernel: ACPI: PCI Interrupt Link [LMAC] (IRQs 20 21 22 23) *5
Sep 6 07:51:27 server kernel: ACPI: PCI Interrupt Link [LAZA] (IRQs 20 21 22 23) *5
Sep 6 07:51:27 server kernel: ACPI: PCI Interrupt Link [LACI] (IRQs 20 21 22 23) *0, disabled.
Sep 6 07:51:27 server kernel: ACPI: PCI Interrupt Link [LMC9] (IRQs 20 21 22 23) *0, disabled.
Sep 6 07:51:27 server kernel: ACPI: PCI Interrupt Link [LSMB] (IRQs 20 21 22 23) *5
Sep 6 07:51:27 server kernel: ACPI: PCI Interrupt Link [LPMU] (IRQs 20 21 22 23) *10
Sep 6 07:51:27 server kernel: ACPI: PCI Interrupt Link [LSA0] (IRQs 20 21 22 23) *11
Sep 6 07:51:27 server kernel: ACPI: PCI Interrupt Link [LSA1] (IRQs 20 21 22 23) *0, disabled.
Sep 6 07:51:28 server kernel: ACPI: PCI Interrupt Link [LATA] (IRQs 20 21 22 23) *0, disabled.
Dit zou betekenen dat er een IRQ conflict is, weet iemand of dit te beheren is vanuit Linux?
IRQbalance, heb je dat geinstalled? :)
ErikKosters
06/09/07, 08:44
Ja dat heb ik, wordt automatisch geinstalleerd zie ik. Overigens draai ik CentOS 4.4 Final op deze server.
Met Yum update zou die van Centos 4.4 final 4.5 final moeten maken, tenminste hier wel dus !
ErikKosters
06/09/07, 11:46
Oke heb het nu geupdate naar CentOS release 4.5 (Final). We zullen het even moeten afwachten.
GlennMatthys
06/09/07, 13:18
Heb je al een memtest en dergelijke gedaan?
ErikKosters
06/09/07, 16:02
Hoe wil ik die remote gaan uitvoeren. Overigens is de server nog online (fingers crossed).
ErikKosters
12/09/07, 08:08
Het is enkele dagen goed gegaan, maar hij is weeral gecrashed. De log heb ik hier staan: http://files.ek-hosting.nl/log.txt. De eerste regels is van de secundaire DNS welke via DirectAdmin loopt.
Ik denk zelf dat het misschien beter is opnieuw te installeren met andere hardeschijf of dergelijke. Wat is jullie idee?
Herinstalleren zonder dat je de oorzaak weet (of toch ongeveer) is vrij nutteloos in mijn ogen. Als het bvb memory is, dan gaat een reinstall niet helpen.
De log die je post is enkel van de server restart. Zie ook hier even: http://www.webhostingtalk.com/showthread.php?t=593337, en kijk als je gelijkaardige sympthonen hebt.
ErikKosters
12/09/07, 08:52
Het komt redelijk overeen, ik krijg deze errors in mijn error_log:
socket.c:2117: REQUIRE(maxfd <= (int)1024) failed.
socket.c:2117: REQUIRE(maxfd <= (int)1024) failed.
socket.c:2117: REQUIRE(maxfd <= (int)1024) failed.
socket.c:2117: REQUIRE(maxfd <= (int)1024) failed.
socket.c:2117: REQUIRE(maxfd <= (int)1024) failed.
host: isc_socket_create: not enough free resources
host: isc_socket_create: not enough free resources
host: isc_socket_create: not enough free resources
host: isc_socket_create: not enough free resources
socket.c:2117: REQUIRE(maxfd <= (int)1024) failed.
Ze geven daar aan om de kernel te updaten, maar ik gebruik al een recente versie (2.6.9-55.0.2.EL). Ook vindt ik op enkele fora dat ze PAM van SSH hebben disabled, hoe kijken jullie hier tegenaan?
Doe irqbalance eens uitzetten, dat heb je helemaal niet nodig.
ErikKosters
12/09/07, 09:35
irqbalance staat al uit
Heb ook even de hardeschijven bekeken via hdparm, daar komt het volgende uit:
[root@server ~]# hdparm -Tt /dev/sda
/dev/sda:
Timing cached reads: 1824 MB in 2.00 seconds = 911.23 MB/sec
Timing buffered disk reads: 136 MB in 3.02 seconds = 45.00 MB/sec
[root@server ~]# hdparm /dev/sda
/dev/sda:
HDIO_GET_MULTCOUNT failed: Inappropriate ioctl for device
IO_support = 0 (default 16-bit)
readonly = 0 (off)
readahead = 256 (on)
geometry = 10011/255/63, sectors = 82348277760, start = 0
Heb je hier al naar gekeken?
http://www.directadmin.com/help/item.php?id=9
ErikKosters
12/09/07, 13:33
dat heb ik ja, en ook uitgevoerd.. had ik vorige week al gedaan. helaas heeft dit dus niet veel geholpen.
Uit ervaring weten we dat het grootste deel van de panic's veroorzaakt wordt door hardwareproblemen. Aangezien een schijffout toch wel aanzienlijk andere meldingen geeft gok ik erop dat of het mobo/processor defect is of er toch een probleem in het geheugen zit.
Meest eenvoudig is het geheugen vervangen en dan afwachten.
Wellicht is een bios upgrade hier ook interessant.
ErikKosters
23/09/07, 09:06
Nou het is weer even goed gegaan maar vanmorgen was het weer raak. Ik heb nu echter wel het preciese tijdstip en dus ook de foutmelding kunnen vinden. De melding is als volgt:
Sep 23 05:38:33 server kernel: Unable to handle kernel NULL pointer dereference at virtual address 00000000
Sep 23 05:38:33 server kernel: printing eip:
Sep 23 05:38:33 server kernel: c0156510
Sep 23 05:38:33 server kernel: *pde = 39fb1067
Sep 23 05:38:33 server kernel: Oops: 0000 [#1]
Sep 23 05:38:33 server kernel: Modules linked in: md5 ipv6 parport_pc lp parport ipt_TOS iptable_mangle ip_conntrack_ftp ip_conntrack_irc ipt_REJECT ipt_LOG ipt_limit iptable_filter ipt_multiport ipt_state ip$
Sep 23 05:38:33 server kernel: CPU: 0
Sep 23 05:38:33 server kernel: EIP: 0060:[<c0156510>] Not tainted VLI
Sep 23 05:38:33 server kernel: EFLAGS: 00010286 (2.6.9-55.0.2.EL)
Sep 23 05:38:33 server kernel: EIP is at pageout+0x44/0xc5
Sep 23 05:38:33 server kernel: eax: 00000000 ebx: c1a36fb4 ecx: 00000000 edx: 00000002
Sep 23 05:38:33 server kernel: esi: c11812c0 edi: c1a36fb4 ebp: c1932f58 esp: c1932e10
Sep 23 05:38:33 server kernel: ds: 007b es: 007b ss: 0068
Sep 23 05:38:33 server kernel: Process kswapd0 (pid: 58, threadinfo=c1932000 task=c18fc070)
Sep 23 05:38:33 server kernel: Stack: f07a31e4 00000026 c108ef60 c1447660 00000246 c2c31a08 c128a000 00000001
Sep 23 05:38:33 server kernel: 00000246 c1440000 c1932ec8 c1440000 c1a36fb4 c11812c0 c1a36fb4 c015679a
Sep 23 05:38:33 server kernel: 00000001 00000000 0000001e 00000000 c1932ec8 c1932e64 c1932e64 00000002
Sep 23 05:38:33 server kernel: Call Trace:
Sep 23 05:38:33 server kernel: [<c015679a>] shrink_list+0x209/0x4ea
Sep 23 05:38:33 server kernel: [<c0156c7a>] shrink_cache+0x1ff/0x454
Sep 23 05:38:33 server kernel: [<c01505f8>] get_writeback_state+0x30/0x35
Sep 23 05:38:33 server kernel: [<c015061d>] get_dirty_limits+0x20/0xff
Sep 23 05:38:33 server kernel: [<c0156339>] shrink_slab+0x7d/0x14c
Sep 23 05:38:33 server kernel: [<c0157634>] shrink_zone+0x8f/0x9e
Sep 23 05:38:33 server kernel: [<c0157a3b>] balance_pgdat+0x197/0x2cb
Sep 23 05:38:33 server kernel: [<c0157c28>] kswapd+0xb9/0xbb
Sep 23 05:38:33 server kernel: [<c012185b>] autoremove_wake_function+0x0/0x2d
Sep 23 05:38:33 server kernel: [<c031ae9e>] ret_from_fork+0x6/0x14
Sep 23 05:38:33 server kernel: [<c012185b>] autoremove_wake_function+0x0/0x2d
Sep 23 05:38:33 server kernel: [<c0157b6f>] kswapd+0x0/0xbb
Sep 23 05:38:33 server kernel: [<c01041dd>] kernel_thread_helper+0x5/0xb
Sep 23 05:38:33 server kernel: Code: 8d 50 01 8b 06 f6 c4 10 74 05 83 fa 03 eb 03 83 fa 02 0f 94 c0 0f b6 c0 31 d2 85 c0 0f 84 81 00 00 00 85 ff 74 7d 8b 47 60 b2 02 <83> 38 00 74 73 8b 47 68 e8 eb fe ff ff 8$
Sep 23 05:38:33 server kernel: <0>Fatal exception: panic in 5 seconds
Iemand enig idee? Als ik op google een beetje zoek kom ik telkens uit op virussen.. En op dat tijdstip zag top er zo uit:
top - 05:38:35 up 10 days, 21:50, 1 user, load average: 1.88, 2.29, 1.85
Tasks: 124 total, 2 running, 122 sleeping, 0 stopped, 0 zombie
Cpu(s): 1.7% us, 6.3% sy, 36.7% ni, 33.0% id, 22.3% wa, 0.0% hi, 0.0% si
Mem: 970448k total, 969336k used, 1112k free, 14940k buffers
Swap: 1966072k total, 1252k used, 1964820k free, 656600k cached
PID USER PR NI VIRT RES SHR S %CPU %MEM TIME+ COMMAND
10140 diradmin 34 19 21152 7688 4036 S 42.6 0.8 0:07.70 php
22322 apache 16 0 46512 30m 4748 S 1.3 3.2 0:05.15 httpd
58 root 15 0 0 0 0 D 0.3 0.0 1:27.78 kswapd0
1 root 16 0 3284 512 436 S 0.0 0.1 0:02.94 init
2 root 34 19 0 0 0 S 0.0 0.0 0:00.84 ksoftirqd/0
3 root 5 -10 0 0 0 S 0.0 0.0 0:18.29 events/0
4 root 5 -10 0 0 0 S 0.0 0.0 0:00.00 khelper
5 root 15 -10 0 0 0 S 0.0 0.0 0:00.00 kacpid
38 root 5 -10 0 0 0 S 0.0 0.0 0:00.00 kblockd/0
39 root 15 0 0 0 0 S 0.0 0.0 0:00.00 khubd
59 root 11 -10 0 0 0 S 0.0 0.0 0:00.00 aio/0
203 root 25 0 0 0 0 S 0.0 0.0 0:00.00 kseriod
424 root 5 -10 0 0 0 S 0.0 0.0 0:00.00 ata/0
425 root 6 -10 0 0 0 S 0.0 0.0 0:00.00 ata_aux
427 root 15 0 0 0 0 S 0.0 0.0 0:00.00 scsi_eh_0
428 root 15 0 0 0 0 S 0.0 0.0 0:00.00 scsi_eh_1
449 root 15 0 0 0 0 S 0.0 0.0 3:47.28 kjournald
Verder kreeg ik eerder vandaag ook een e-mail terug voor een cronjob met de melding:
/bin/sh: line 1: 24068 Illegal instruction /usr/local/bin/php /path/naar/cronjob
De linux versie die ik draai is:
Linux server 2.6.9-55.0.2.EL #1 Tue Jun 26 14:08:18 EDT 2007 i686 athlon i386 GNU/Linux
Hoi Erik,
Het blijft gokken, maar gezien de verwijzing naar de swapfile zou ik in eerste instantie toch aan het geheugen denken.
Kun je de disk eens checken met smartctl?
ErikKosters
23/09/07, 11:52
Output van smartctl is:
[root@server]# smartctl -a /dev/sda -d ata
smartctl version 5.33 [i686-redhat-linux-gnu] Copyright (C) 2002-4 Bruce Allen
Home page is http://smartmontools.sourceforge.net/
=== START OF INFORMATION SECTION ===
Device Model: HDS728080PLA380
Serial Number: PFDB37SYURYHZE
Firmware Version: PF2OA6EA
User Capacity: 82,348,277,760 bytes
Device is: Not in smartctl database [for details use: -P showall]
ATA Version is: 7
ATA Standard is: ATA/ATAPI-7 T13 1532D revision 1
Local Time is: Sun Sep 23 11:43:29 2007 CEST
SMART support is: Available - device has SMART capability.
SMART support is: Enabled
=== START OF READ SMART DATA SECTION ===
SMART overall-health self-assessment test result: PASSED
General SMART Values:
Offline data collection status: (0x00) Offline data collection activity
was never started.
Auto Offline Data Collection: Disabled.
Self-test execution status: ( 0) The previous self-test routine completed
without error or no self-test has ever
been run.
Total time to complete Offline
data collection: (1828) seconds.
Offline data collection
capabilities: (0x5b) SMART execute Offline immediate.
Auto Offline data collection on/off support.
Suspend Offline collection upon new
command.
Offline surface scan supported.
Self-test supported.
No Conveyance Self-test supported.
Selective Self-test supported.
SMART capabilities: (0x0003) Saves SMART data before entering
power-saving mode.
Supports SMART auto save timer.
Error logging capability: (0x01) Error logging supported.
General Purpose Logging supported.
Short self-test routine
recommended polling time: ( 1) minutes.
Extended self-test routine
recommended polling time: ( 31) minutes.
SMART Attributes Data Structure revision number: 16
Vendor Specific SMART Attributes with Thresholds:
ID# ATTRIBUTE_NAME FLAG VALUE WORST THRESH TYPE UPDATED WHEN_FAILED RAW_VALUE
1 Raw_Read_Error_Rate 0x000b 092 092 016 Pre-fail Always - 1245213
2 Throughput_Performance 0x0005 100 100 050 Pre-fail Offline - 0
3 Spin_Up_Time 0x0007 106 106 024 Pre-fail Always - 189 (Average 188)
4 Start_Stop_Count 0x0012 100 100 000 Old_age Always - 29
5 Reallocated_Sector_Ct 0x0033 100 100 005 Pre-fail Always - 0
7 Seek_Error_Rate 0x000b 100 100 067 Pre-fail Always - 0
8 Seek_Time_Performance 0x0005 100 100 020 Pre-fail Offline - 0
9 Power_On_Hours 0x0012 099 099 000 Old_age Always - 7916
10 Spin_Retry_Count 0x0013 100 100 060 Pre-fail Always - 0
12 Power_Cycle_Count 0x0032 100 100 000 Old_age Always - 29
192 Power-Off_Retract_Count 0x0032 100 100 050 Old_age Always - 345
193 Load_Cycle_Count 0x0012 100 100 050 Old_age Always - 345
194 Temperature_Celsius 0x0002 100 100 000 Old_age Always - 55 (Lifetime Min/Max 18/61)
196 Reallocated_Event_Count 0x0032 100 100 000 Old_age Always - 0
197 Current_Pending_Sector 0x0022 100 100 000 Old_age Always - 0
198 Offline_Uncorrectable 0x0008 100 100 000 Old_age Offline - 0
199 UDMA_CRC_Error_Count 0x000a 200 253 000 Old_age Always - 0
SMART Error Log Version: 1
No Errors Logged
SMART Self-test log structure revision number 1
No self-tests have been logged. [To run self-tests, use: smartctl -t]
Warning! SMART Selective Self-Test Log Structure error: invalid SMART checksum.
SMART Selective self-test log data structure revision number 1
SPAN MIN_LBA MAX_LBA CURRENT_TEST_STATUS
1 0 0 Not_testing
2 0 0 Not_testing
3 0 0 Not_testing
4 0 0 Not_testing
5 0 0 Not_testing
Selective self-test flags (0x0):
After scanning selected spans, do NOT read-scan remainder of disk.
If Selective self-test is pending on power-up, resume after 0 minute delay.
Ik ga deze week maar even het geheugen vervangen denk ik.