Onderwerp: Tips gevraagd voor een centrale syslog server

Ha,

Momenteel doe ik een onderzoek naar een goede manier / techniek voor het centraliseren van de logs van diverse linux servers.
Naast de syslog / auth.log en dergelijke, ben ik vooral benieuwd naar manieren hoe bijvoorbeeld de losse apache logs van diverse VirtualHosts kunnen worden verzameld.

Uiteraard heb ik zelf al wat rond gezocht en geexperimenteerd met technieken als syslog-ng, rsyslog en logstash, maar heb tot op heden nog geen mooie manier gevonden voor bijvoorbeeld het verzamelen van de diverse apache logs. De manieren die ik vond waren gebasseerd op het wijzigen van de virtualhost en het direct wegschrijven middels "/usr/bin/logger" naar een centrale server, wat ik niet een hele mooie manier vind. Ik zie dat dit onderwerp al wat vaker aanbod is geweest op het forum, maar helaas allen zonder antwoord wat ik zoek.

Mogelijk dat jullie al een centrale log server hebben draaien, welke naast de standaard mail & syslog meldingen, ook de virtualhosts logs verzameld op een mooie manier. Bijvoorbeeld door het mounten van een "log" partitie via NFS op alle servers of het inzetten van specifieke technieken (syslog-ng / rsyslog)?

Ik ben erg benieuwd naar jullie bevindingen en ervaringen!

Ik weet niet waarom je de Apache logs naar een logserver zou willen schrijven? Normaal gesproken gebruik je een logserver gewoon voor de systeemlogs. Als je de Apache logs gecentraliseerd wilt verwerken is iets als Piwik vaak veel praktischer.

Oorspronkelijk geplaatst door dicktump

Ik weet niet waarom je de Apache logs naar een logserver zou willen schrijven? Normaal gesproken gebruik je een logserver gewoon voor de systeemlogs. Als je de Apache logs gecentraliseerd wilt verwerken is iets als Piwik vaak veel praktischer.

Om Piwik te gebruiken moet je alleen wel alle sites aanpassen en de vraag is of dat hier een optie is. Een reden om de Apache logs centraal weg te schrijven kan bijvoorbeeld zijn dat je meerdere webservers in een cluster hebt en de logs centraal wilt verwerken voor de facturatie. Dit is in ieder geval de reden dat wij ze uiteindelijk centraal verwerken.

Piwik kun je gewoon direct vanuit de Apache logs draaien, daar hoef je niet de sites voor aan te passen. Alleen voor wat extra features moet dat wel.

De reden die je noemt is op zich wel valide Ik ben alleen benieuwd waarvoor topic starter het nodig heeft.

Ik draai iedere nacht een rsync waardoor alle logs op een centrale server terecht komen, met een mapje per server.

Je kunt apache logs ook gewoon naar syslog sturen. (http://www.oreillynet.com/pub/a/sysa...pd-syslog.html)

Maar de vraag is of je dat wel wilt. Je syslog server wordt behoorlijk gek als je een paar drukke site hebt of meer dan een handvol servers.
Daarnaast heb je aan de logs vrij weinig zonder goede analyse tool. Ok, kwa security is het handig om je logs ergens anders te hebben staan, maar zodra je moet gaan puzzelen in een log die doorlopend volgepompt wordt, ben je ook niet happy.

Niet alleen de syslog server wordt gek, ook het proces dat de logs maakt moet wachten op de netwerkverbinding en de disks van de overbelaste logserver. Apache logs van drukke websites live naar een centraal punt sturen is niet eenvoudig.

Dank voor alle reacties! De reden dat ik hier naar opzoek ben is om inderdaad van alle webservers de logs te centraliseren en actueel te kunnen tonen, zonder dat mensen direct op de betreffende server hoeven in te loggen. Daarnaast om het vanaf de centrale logserver verder te kunnen gebruiken in andere systemen, bijvoorbeeld een controlpanel voor klanten.

Wat "systemdeveloper" aangeeft "Je syslog server wordt behoorlijk gek als je een paar drukke site hebt of meer dan een handvol servers.", heb ik al getest met siege en dat viel me niet tegen. De logs worden netjes verstuurd en de machine had het niet druk van de vele log entries maar meer van het afhandelen van de apache processen.

Zelf heb ik het nu redelijk voor elkaar met incrontab, maar ben wel erg benieuwd naar de methode van "Mark17".

Is een proxy als varnish/nginx geen perfecte oplossing hiervoor?

Oorspronkelijk geplaatst door kiezo

Is een proxy als varnish/nginx geen perfecte oplossing hiervoor?

In een goed cluster heb je er daar ook meerdere van. Je verplaatst dan enkel het probleem.

Oorspronkelijk geplaatst door Tommz

Zelf heb ik het nu redelijk voor elkaar met incrontab, maar ben wel erg benieuwd naar de methode van "Mark17".

Wij gebruiken wat scripts die via crontabs werken en laten de logs al wel naar een centrale server wegschrijven via NFS (per webserver een apart log bestand). Een cron voegt ze vervolgens samen en geeft Apache een trap als de logs geleegd zijn. Ik geef toe dat het niet perfect is en dat we nog moeten kijken naar verdere verbeteringen op dit vlak.