Onderwerp: Logfiles bewaren

In navolging van deze thread: Bewaarplicht isp's terug naar 6 maanden

Ben ik op zoek naar een oplossing om vanuit Directadmin de betreffende logfiles op te slaan.

Idealiter zou zijn dat ik de logfiles vanuit DA naar mijn NAS thuis FTP alwaar ik ze in submappen per maand zou opslaan.

Tijdens het zoeken ben ik nog niet veel wijzer geworden. Op het forum van Directadmin staat een thread over de mogelijkheid om de log-backups langer dan 5 dagen te bewaren: www.directadmin.com/forum/showthread.php?t=16972 maar daarmee ben ik er nog niet.

Hoe hebben jullie dit geregeld?

Vrgr Chris

Een Syslog-ng server niet makkelijker zodat je alles meteen centraal hebt? Je logrotatie kun je dan ook centraal regelen.

dagelijks met een rotatie script met rsync op de opslag server zetten

Ik zou inderdaad voor syslog-ng kiezen en dan centraal roteren.

Maar weet je zeker dat je webserver logs voor de bewaarplicht moet bewaren ?

Bedankt zover, ik heb syslog even ge-googled maar dat lijkt me wat aan de zware kant voor mijn doel.
Ik heb ook begrepen dat als je syslogd activeert dat DA dan stopt met lokaal loggen en dat wil ik niet.
Ik zou als basis uit willen gaan van de standaard DA logs en die bijvoorbeeld met een cronjob opslaan op mijn NAS.

Ook in dit topic: http://www.webhostingtalk.nl/juridis...-geregeld.html blijft dat jammer genoeg onbeantwoord.
Het hoeft van mij ook niet zo ingewikkeld eigenlijk.. dus ik ga nog eens even met de cronjobs spelen

@Rinse, of het moet is mij ook nog niet geheel duidelijk. Ik wil het in ieder geval wel

Oorspronkelijk geplaatst door cfmweb

Bedankt zover, ik heb syslog even ge-googled maar dat lijkt me wat aan de zware kant voor mijn doel.
Ik heb ook begrepen dat als je syslogd activeert dat DA dan stopt met lokaal loggen en dat wil ik niet.
Ik zou als basis uit willen gaan van de standaard DA logs en die bijvoorbeeld met een cronjob opslaan op mijn NAS.

Dat is totaal onwaar, je lokale logs kunnen gewoon verder blijven lopen. Ik heb zelf op mijn servers zowel lokale logs als naar meerdere syslog-ng server die alles in een mysql database opslaat. Het enige wat je moet doet is in je syslog.conf "*.* @<ip|hostname>" als eerst lijn(en) zetten en de rest gewoon laten zoals het is, uiteraard kan je de *.* vervangen door enkel dat wat je wil loggen. Reden waarom ik alles naar een mysql database laat loggen is omdat het makkelijker zoekt en exporteerbaar is dan gewone log files, in mijn geval wordt per dag een nieuwe tabel gebruikt.

@cfmweb Maillogs waarschijnlijk, maar webserver logs niet. Dat is wat ik destijds uit de wettekst gehaald heb.

Reden waarom ik alles naar een mysql database laat loggen is omdat het makkelijker zoekt en exporteerbaar is dan gewone log files, in mijn geval wordt per dag een nieuwe tabel gebruikt

Voorhen deed ik ook veel naar mysql tables. Tegenwoordig doe ik vaak per host en per week/dag/maand aparte logfiles. Oude logfiles evt gzippen.
Alles op een centrale plek en met behulp van grep zoekt dit ook erg gemakkelijk en snel. Opschonen gaat ook erg gemakkelijk.

Oorspronkelijk geplaatst door Rinse Kloek

Voorhen deed ik ook veel naar mysql tables. Tegenwoordig doe ik vaak per host en per week/dag/maand aparte logfiles. Oude logfiles evt gzippen.
Alles op een centrale plek en met behulp van grep zoekt dit ook erg gemakkelijk en snel. Opschonen gaat ook erg gemakkelijk.

Ik zoek toch veel vlugger doorheen de database dan door de raw server files met grep hoor, ik daag je uit om in een database een timestamp tussen 2 bepaalde tijdstippen te zoeken en het in een raw log file te zoeken. En dan wel liefst met log files van een paar GB groot en niet een paar MB groot.

Oorspronkelijk geplaatst door Randy

Een Syslog-ng server niet makkelijker zodat je alles meteen centraal hebt? Je logrotatie kun je dan ook centraal regelen.

Randy, deed jij geen dingen met Splunk? Hoe bevalt dat? Ik heb er wel eens naar gekeken maar vond het een logge applicatie. Kan natuurlijk dat ik iets fout deed ;-)

Ik heb gewoon een simpel scriptie geschreven welke doormiddel van een cronjob wordt uitgevoerd. 1x per week pak ik de log bestanden in met een specifieke naam en via scp worden ze dan naar de back-up server gekopieerd. Is relatief eenvoudig in elkaar te draaien. De bestanden worden op de back-up server weer onderverdeeld in de juiste map, bijv. 01-01-11-log-serverjantje. Ik maak expliciet geen gebruik van een MySQL database, naar mate van tijd wordt dat echt een zooitje (in mijn mening).

@Axel, kan ik dat scriptje van jou eens zien? ik heb er een hekel aan om het wiel opnieuw uit te vinden

Oorspronkelijk geplaatst door cfmweb

@Axel, kan ik dat scriptje van jou eens zien? ik heb er een hekel aan om het wiel opnieuw uit te vinden

Heb ook wel interesse..?

Oorspronkelijk geplaatst door getUP

Randy, deed jij geen dingen met Splunk? Hoe bevalt dat? Ik heb er wel eens naar gekeken maar vond het een logge applicatie. Kan natuurlijk dat ik iets fout deed ;-)

In het verleden bij een opdrachtgever veel gebruik van gemaakt. Het is de tool als je veel data doorzoekbaar wilt maken.