Vermindering Google index na firewall installatie?

[Blacky]

Ik heb op 2 servers nu CSF/LFD geinstalleerd en dat leek toch wel de ideale firewall.
Betreft 1 server met Cpanel en de ander met Directadmin.

Verder draait er als het goed is ook mod_security.

Op beide servers heb ik nu het probleem dat het aantal resultaten in google zienderogen slinkt. Dagelijks! En er blijft bijna niets meer over.

Dat is dus geen goede zaak.
Ondanks dat in de rdns ignore .googlebot.com aanwezig is.

Hebben meer mensen dit euvel al eens ervaren? Er staat een standaard mod_security te draaien. Misschien is het dat ook.
Kreeg net bijv. een berichtje over excessive resource usage van lfd:
[/code]Time: Fri Feb 6 00:35:43 2009 +0100
Account: accountnaam
Resource: Process Time
Exceeded: 2082 > 1800 (seconds)
Executable: /bin/bash
Command Line: -bash
PID: 32045
Killed: No[/code]
Hoezo excessive usage? Ik zat als enige gewoon onder die accountnaam (nee niet root) middels SSH ingelogt?

Er gaat dus ergens iets goed mis maar ik kan er zo vlug geen vinger achter krijgen.

[pierce]

De excessive resource meldingen zijn een bug in CSF.
Je kan wel eea uitsluiten via csf.pignore en wat aanpassingen doen op je csf.conf, maar deze meldingen blijven komen.
Voor zover ik weet is hier momenteel nog geen oplossing voor.

[dreamhost_nl]

Hier draaien we ook CSF/LFD en geen problemen met het verdwijnen uit Google voor domeinnamen die op die servers staan...
Overigens zijn de "excessive resource usage" meldingen zeker geen *bug*; zie het meer als een waarschuwing dat er een proces extra lang op de server blijft lopen.

[dreamhost_nl]

Dat is dus geen goede zaak.
Ondanks dat in de rdns ignore .googlebot.com aanwezig is.

Heb je wel al geprobeerd om deze te verwijderen? Wellicht dat dit juist tegen je werkt.

[Blacky]

De excessive resource ben ik inmiddels achter. CSF stuurt me een mail als er een proces langer dan 1 minuut continue draait. Klaarblijkelijk geldt dat ook voor een SSH login, daar heb ik niet zo'n problemen mee dan, liever voorkomen dan genezen.

@Dreamhost: Eerst stond daar niets in behalve de standaard .cpanel.net maar ik had na wat rondzoeken via google en wat lezen op het CSF forum gezien dat men dit kon proberen als oplossing om zeker te gaan dat de bot niet geblokkeerd werd.
Dit heb ik er dus in gezet pas na dat het probleem zich al voorgedaan heeft.

Dan maar even verder zoeken.

Wel heb ik bij de site met de meeste problemen nog iets anders ontdekt. Die heeft er een redirect in staan. De site werkt prima, maar bijv. validator.w3.org geeft een 500 internal server error als ik die site wil laten controleren.
Haal ik de .htaccess met de redirect weg, kan ie hem wel controleren. Misschien heeft de googlebot daar ook last van?
Dit is wat er in die .htaccess staat:

RewriteEngine on
RewriteCond %{HTTP_HOST} ^.*$
RewriteRule ^/?$ "http\:\/\/www\.domeinnaam\.nl\/webshop" [R=301,L]

Misschien dat er hier nog iets fout in staat wat met Apache 2.x niet (meer) goed werkt en wat apache 1.x wel nog accepteerde?

[Blacky]

Niemand die me kan zeggen of die rewrite nog in orde is met apache 2.2x?
Gezien het probleem met w3 en het verdwijnen uit google?

[daveww]

Niemand die me kan zeggen of die rewrite nog in orde is met apache 2.2x?
Gezien het probleem met w3 en het verdwijnen uit google?

Indien je dit probleem hebt ondervonden nádat er iets geupdate is (van Apache 1.x naar Apache 2.x) dan denk ik dat mogelijk bij apache2.x mod_rewrite ofterwel '--enable-rewrite' mist in de configure.ap2

Kijk eens op je phpinfo pagina of je daar wél mod_rewrite ziet staan.


* mocht je nog geen phpinfo hebben: maak een bestand genaamd 'phpinfo.php', zet daarin

<?php phpinfo(); ?>

en roep het op via een browser *

PS: Wij gebruiken ook CSF/LFD en hebben nergens last van gelukkig!

[Blacky]

Er is inderdaad geupdate van Apache 1.x naar 2.2x via easyapache een tijdje geleden.

Ben ook even gaan kijken naar de phpinfo, mod_rewrite staat aan, er zijn een hele hoop modules geladen maar in elk geval de volgende waaronder ook mod_rewrite:

mod_info mod_suexec mod_cgi mod_negotiation mod_dir mod_actions mod_userdir mod_alias mod_rewrite mod_so mod_auth_passthrough mod_bwlimited mod_fpcgid mod_php5 mod_security2

Deze vond ik ook nog onder url_rewriter.tags:

a=href,area=href,frame=src,input=src,form=,fieldse t=

Misschien ligt het probleem ook niet aan CSF/LFD. Maar eigenlijk is alleen die upgrade gedaan een maand of 2 geleden van apache en php, en daarna de installatie van csf/lfd.

MvG,
Richard.