Overal segmentation faults (kdiss server)!

[Q-BiC]

Ik draai Fedora Core 5 op een DirectAdmin server


3 mei:

Ik krijg op willekeurige tijdstippen in mijn apache error-log o.a. segmentation faults en fouten op geheugenadressen.

*** glibc detected *** /usr/sbin/httpd: free(): invalid pointer: 0x09abbfd0 ***
======= Backtrace: =========
/lib/libc.so.6[0x25df18]
/lib/libc.so.6(__libc_free+0x79)[0x26141d]
/usr/lib/apache/libphp4.so(zend_hash_destroy+0x1d)[0xb7c279cd]
..etc, etc...

Het kan goed zijn dat die foutmeldingen uren uit elkaar liggen.

Daarnaast krijg ik ook segmentation fault's als ik eenvoudige commando's zoals ifconfig, tracert, host of more bezig.

Het enige dat ik geïnstalleerd heb, is het volgende:
m4.i386 1.4.4-1.2.1
autoconf.noarch 2.59-7
automake.noarch 1.9.6-2
libtool.i386 1.5.22-2.2
Deze tools waren vereist voor de installatie van eAccelerator (een PHP cache extensie), die ook faalde omdat libtool om een of andere reden geen shared libraries ondersteunt.

Ik twijfel of het hiermee te maken heeft, want de tijdstippen van de foutmeldingen hierboven, en van de installatie van de tools, komen niet overeen.

Tussen 3 en 5 mei kwamen er nog fouten bij:
locate werkte ook al niet meer ("locate: /lib/libc.so.6: version `GLIBC_2&2.3' not found (required by locate)"), en toen ik men mails ophaalde, zag ik er een tussen staan van een mysqldump cronjob:

bzip2/libbzip2: internal error number 1007.
This is a bug in bzip2/libbzip2, 1.0.3, 15-Feb-2005.
Please report it to me at: jseward@bzip.org. If this happened when you were using some program which uses libbzip2 as a component, you should also report this bug to the author(s) of that program. Please make an effort to report this bug; timely and accurate bug reports eventually lead to higher quality software. Thanks. Julian Seward, 15 February 2005.


*** A special note about internal error number 1007 ***

Experience suggests that a common cause of i.e. 1007 is unreliable memory or other hardware. The 1007 assertion just happens to cross-check the results of huge numbers of memory reads/writes, and so acts (unintendedly) as a stress test of your memory system.
.................
mysqldump: Got errno 32 on write

Er wordt gesproken over memory failures, en dat kan goed zijn want de andere errors in apaches error_log hebben allemaal met geheugenadressen te maken...

Ook raken sommige database tabellen corrupt.

-------------------------------------
tt_reacties analyze error Keyblock size at page 6532096 is not correct. Blo...
tt_reacties analyze error Corrupt
tt_reacties305 analyze error Key in wrong position at page 1354752
-------------------------------------

Een REPAIR TABLE werkte wel, maar de morgen erna waren ze opnieuw corrupt...


5 mei
KDISS heeft toen op 5 mei de server opnieuw geïnstalleerd, omdat het vrijwel zeker was dat na een reboot de server toch niet meer zou starten.

6 mei
Vandaag echter opnieuw problemen,

Zonet wou DirectAdmin de logs analyseren en webalizer runnen, daarvoor wordt httpd even afgesloten. Daarna moet die vanzelf terug gestart worden. Dat gebeurt nu dus NIET.
Als ik manueel httpd wil starten, krijg ik "Starting httpd: /bin/bash: line 1: 25000 Segmentation fault".
Apachectl geeft hetzelfde:
"/usr/sbin/apachectl: line 80: 25065 Segmentation fault $HTTPD
/usr/sbin/apachectl start: httpd could not be started"

Het rare is dat dit altijd heeft gewerkt. De logs werden geroteerd in de nacht van 5 op 6 mei, en nu, van 6 op 7 mei, wil hij plots niet meer!?

De foutmeldingen in de zin van "*** glibc detected *** /usr/sbin/httpd: double free or corruption (out): 0x0a118800 ***" in de apache error log, zijn nooit weggegaan, zelfs niet nadat KDISS de server opnieuw heeft geïnstalleerd.

Ik heb _niets_ extra geïnstalleerd op de server, het is een doodnormale DirectAdmin installatie.

What to do!?

[McRox]

1) Heb je onlangs de glibc rpm's geupdate? Is dit goed verlopen?
2) Mogelijk ontstaan er ergens loops in je script, waardoor eAccellerator wat complicaties veroorzaakt
3) Doe een memtest om geheugenproblemen uit te sluiten..

[Q-BiC]

1) niets geupdate
2) eAcceleratorstaat er niet meer op hé. Dat probeerde ik te installeren een week geleden, maar omdat make geen so file aanmaakte in de extensions dir van php, heb ik eAccelerator nooit geactiveerd in php.ini.
Sinds 5 mei is de server weer volledig herinstalleerd, geen enkel spoor meer van eAccelerator
3) Dat zal KDISS moeten doen, maar die antwoorden momenteel niet...

[McRox]

1) niets geupdate
2) eAcceleratorstaat er niet meer op hé. Dat probeerde ik te installeren een week geleden, maar omdat make geen so file aanmaakte in de extensions dir van php, heb ik eAccelerator nooit geactiveerd in php.ini.
Sinds 5 mei is de server weer volledig herinstalleerd, geen enkel spoor meer van eAccelerator
3) Dat zal KDISS moeten doen, maar die antwoorden momenteel niet...

Als de software in orde is, is het 99% zeker je geheugen..

[Q-BiC]

ik hoop dat het zo eenvoudig is. Laten we hopen dat KDISS om 2u30 nog antwoord op men ticket, zoals op 3 mei .....

[WilloW]

draai je misschien de 64 bits versie van fedora core 5?... eventueel naar Core 4 overstappen en dan 32 bits

[AlfaHosting]

ik hoop dat het zo eenvoudig is. Laten we hopen dat KDISS om 2u30 nog antwoord op men ticket, zoals op 3 mei .....

En, is het opgelost ?

[Ben van Stavere]

Veel segfaults met willekeurige applicaties is meestal slecht geheugen. Zou even een memtest o.i.d. draaien om te zien of je RAM nog goed is.

[Easyracks]

Kan verschillende oorzaken hebben, bijv. oververhitting, mem dat niet inorde is, kapotte hdd.

[The_cobra666]

Kan verschillende oorzaken hebben, bijv. oververhitting, mem dat niet inorde is, kapotte hdd.

Kapotte hd zou goed kunnen, denk hieraan slechte sectoren in de hardeschijf, dat zou je kapote tabbelen kunnen verklaren. Iederkeer dat hij wilt schrijven op dat stukje op je hdd lukt het niet, en krijg je dus een slechte tabel.

[Q-BiC]

ik hoop dat het zo eenvoudig is. Laten we hopen dat KDISS om 2u30 nog antwoord op men ticket, zoals op 3 mei .....

En, is het opgelost ?

neen ....

Om 3u34 heeft kdiss-support geantwoord, maar ik lag dan al in men bed natuurlijk.

Ze zeggen "dat ze dat probleem wel al vaker gezien hebben" (ja bij mij).
"Dat het niets met het geheugen te maken heeft, normaal gezien, en dat een herinstallatie van het systeem de oplossing is," waarvoor nu plots moet betaald worden, en eergisteren nog niet.


Ik heb geantwoord dat een herinstallatie helemaal niets uithaalt. (zie mijn opmerking in de TS "*** glibc detected *** /usr/sbin/httpd: double free or corruption (out): 0x0a118800 ***" in de apache error log, zijn nooit weggegaan, zelfs niet nadat KDISS de server opnieuw heeft geïnstalleerd")

Ook dat ik helemaal niets zelf heb geïnstalleerd of gehercompileerd, en dat zomaar, out of the blue, zonder aanleiding, apache niet meer wil starten. Vóór de herinstallatie van de server door hen, werkten enkele commandos ook niet meer, en van de ene dag op de andere, gaf het "locate" commando er ook de brui aan. Alles is willekeurig.

Ik heb hen ook de mysql table fouten verteld, en de suggestie in de error van mysqldump/libbzip2 ivm corrupt geheugen. Ook gesuggereerd dat het mss komt door de hitte of een kapotte HD (hoewel 1 van de HD's in men RAID 1 array reeds werd vervangen 2 weken geleden, vlak na de oplevering van de server)

draai je misschien de 64 bits versie van fedora core 5?... eventueel naar Core 4 overstappen en dan 32 bits

Het enige waar ik uit kan kiezen bij de bestelling van men server is "Fedora", punt.
Hoe kan ik zien of het 64 bits is?
Tzal wel niet, want de Dual Xeons zijn er met 512kb L2 cache, oude dus.

[McRox]

Wordt FC5 wel goed ondersteund door DirectAdmin? Het zou best kunnen dat je glibc rpm's nog niet ondersteund worden door DA.

Waarom heb je voor FC5 gekozen en niet bijv. CentOS4?

Check je glibc versie eens:
# rpm -qa | grep glibc

Xeon's met 512kb cache zijn geen 64bit cpu's. Het installeren van een 64bit OS zal dus in ieder geval nooit lukken. Om je versie te checken:

# cat /etc/*release*

Ik zou in ieder geval een memtest laten uitvoeren om het probleem met je geheugen uit te sluiten.

De adresseringsproblemen kunnen geen probleem met je harddisk zijn, wel evt. een bijna doodgaande cpu..

Als het eerder wel eens gewerkt heeft, dan is het hoogstwaarschijnlijk je geheugen, omdat je geheugen in het begin niet helemaal in gebruik is geweest en dus de beschadigde delen geen complicaties veroorzaakt hebben..

[Q-BiC]

Ik ben geen linux guru
vraag mij niet het verschil tussen FC5, CentOS, en wat er ook mag zijn... (feel free om hier ff offtopic te gaan, kwil wel eens de belangrijkste punten weten )

Waarom FC, omdat op de KDISS bestelpagina enkel dat staat... "Fedora Linux"

Op deze pagina zie ik wel versie 5 niet staan... http://www.directadmin.com/install.html, maar misschien is die al outdated. Ik zal DA eens mailen. (Maar het is eigenlijk aan kdiss om dat te voorzien...)

Check je glibc versie eens:
# rpm -qa | grep glibc

[root@teletet ~]# rpm -qa | grep glibc
glibc-2.4-4
glibc-devel-2.4-4
glibc-common-2.4-4
glibc-kernheaders-3.0-5.2
glibc-headers-2.4-4

# cat /etc/*release*

[root@teletet etc]# cat /etc/fedora-release
Fedora Core release 5 (Bordeaux)

Als het eerder wel eens gewerkt heeft, dan is het hoogstwaarschijnlijk je geheugen, omdat je geheugen in het begin niet helemaal in gebruik is geweest en dus de beschadigde delen geen complicaties veroorzaakt hebben..

wel dat lijkt me idd aannemelijk


(Nog geen respons gehad van KDISS btw. Ondanks men lage SLA, wordt me anders wel gegarandeerd dat hardware binnen de 24u vervangen wordt. Nog 12 tegaan....)

[Keenondots]

Lijkt me een set zeer sterke aanwijzingen dat je (waarschijnlijk geen ECC) geheugen, defect is.

[The_cobra666]

Offtopic: wat doet dat ECC geheugen eigenlijk, had gehoord dat dat een betere foutcorrectie had, maar kan hier nu ook volledig de bal verkeerd slaan.