Onderwerp: Nieuw open source monitoring tool

N2, het monitoring tool van XLS Hosting, is recentelijk open source uitgebracht. Inmiddels is versie 1.0.1 gelanceerd met een handige tool die suggesties doet over performance-verbeteringen.

Het programma wordt geinstalleerd op één of meerdere servers die gemonitord moeten worden en op een machine waar de resultaten worden vergaard.

N2 heeft een erg prettige web interface en levert een grote hoeveelheid cijfers en grafieken over het wel en wee van uw server. Het is ook makkelijk om terug te gaan in de tijd en bijvoorbeeld te zien welke processen en websites veel resources gebruiken op het moment dat er een hoge load was.

Een belangrijk voordeel van N2 is dat er een (lichte) daemon op de server meedraait. De meeste bestaande monitoring software houdt vanaf een externe locatie de poorten van de server in de gaten. Een server houdt echter redelijk snel op met communiceren via haar poorten als de performance eenmaal onder druk komt. Dat betekent dat u vaak geen informatie krijgt over de processen op uw server wanneer dit juist relevant is. De N2 daemon zal veel langer actief blijven en dat maakt forensisch onderzoek na een crash erg makkelijk.

Er wordt rustig doorgewerkt aan het programma. Er komt een FreeBSD-versie aan en binnenkort zal het systeem alarmberichten over e-mail kunnen versturen. Er komt ook een CLI beschikbaar.

U kunt N2 downloaden vanaf de projectpagina: http://opensource.xlshosting.com/n2/

Groet,
XLS Development

Ziet er netjes uit!

Kan je de client en de server ook tegelijk draaien op 1 server? Ik wil het misschien thuis inzetten op mijn ESXi testbak

Hoi Ronald, dat kan inderdaad.

Oorspronkelijk geplaatst door Martijn Koot

Een belangrijk voordeel van N2 is dat er een (lichte) daemon op de server meedraait. De meeste bestaande monitoring software houdt vanaf een externe locatie de poorten van de server in de gaten. Een server houdt echter redelijk snel op met communiceren via haar poorten als de performance eenmaal onder druk komt. Dat betekent dat u vaak geen informatie krijgt over de processen op uw server wanneer dit juist relevant is. De N2 daemon zal veel langer actief blijven en dat maakt forensisch onderzoek na een crash erg makkelijk.

Ik weet niet of jullie beweringen op een onderzoek gebaseerd zijn?

"De meeste bestaande monitoring software houdt vanaf een externe locatie de poorten van de server in de gaten."
Heb je het hier over professionele monitoring software als Nagios en SCOM? Of over monitoring software die door (een) bedrijf(jes) voor zichzelf zijn geschreven (zoals dat van jullie bijvoorbeeld)?

Nagios en SCOM controleren namelijk juist NIET of poorten open of dicht staan, maar voeren een request uit behorende bij de applicatie die achter die poort draait (HTTP request, DNS request, FTP logon, POP, SMTP enz enz.). Dit in tegenstelling tot de minder professionele software die gewoon een socket richting die poort opent en daar conclusies aan verbind.

Netwerkcommunicatie verloopt via het OS, hoe kun je beweren dat communicatie via jullie daemon het langer vol houd dan via andere clients wanneer een server crashed/het druk heeft?

Ziet er inderdaad goed uit. Zie ik het nu goed en is er een aparte mac client om te monitoren?

martijn, komt er ook een windows agent?

doet het ipv6?

Bedankt voor het open source maken van de tool. We zullen het eens aan een test onderwerpen op onze systemen.

Oorspronkelijk geplaatst door nzyme

martijn, komt er ook een windows agent?

Dat is nu het leuke aan open source. Het is niet alleen nemen, maar ook geven. Iets dat er niet is, maak je en stel je weer beschikbaar.

Een salvo antwoorden:

@DutchTSE - Nagios is een erg goede service monitoring-tool dat wij zelf ook gebruiken. N2 verzamelt performance data en lijkt wat dat betreft meer op Cacti. Het monitoren van individuele diensten in de stijl van nagios is iets dat we in de toekomst wel van plan zijn toe te voegen aan N2, zelfstandig of door te integreren met nagios.

Over het doorgeven van informatie op het moment dat de server onder druk staat: De n2txd agent software draait als een actieve taak en heeft de nodige resources om informatie te versturen en te blijven versturen geprealloceerd. Het blijft dus pakketjes sturen op momenten waarop snmpd (wat bij het systeem om nieuwe resources komt vragen) al lang ophoudt met de telefoon op te nemen. Je krijgt om deze reden ook geen response als je inlogt en 'top' tikt op een machine met een load average van 350 en 8MB vrij.

Wij zouden je willen uitnodigen om N2 eens te proberen. Het is een prima informatie-bron die zeker bestaansrecht heeft naast reeds gerealiseerde nagios-installaties.


@getUP - Het is geen mac client maar de web interface op de screenshots, volgens mij is er echter wel rekening gehouden met de Apple user guidelines : )


@nzyme - We hebben nog geen Windows agent maar willen deze zeker toevoegen. Dit is een punt waarop wij graag met anderen samen zouden werken.


@Japje - IPv6 zal over enkele maanden worden toegevoegd.

Oorspronkelijk geplaatst door Martijn Koot

@Japje - IPv6 zal over enkele maanden worden toegevoegd.

Dan zijn de IPv4-adressen nog nét niet op

Even een andere vraag: bieden jullie al IPv6 of kunnen jullie hier native op testen?

Oorspronkelijk geplaatst door Martijn Koot

Een salvo antwoorden:
@nzyme - We hebben nog geen Windows agent maar willen deze zeker toevoegen. Dit is een punt waarop wij graag met anderen samen zouden werken.

Mits er fatsoenlijke documentatie is van het 'centrale' punt (n2rxd) waar de data uit gepolled word en naar toe word geschreven, wil ik hier best samen met jullie naar kijken.
Daarnaast zie ik persoonlijk een flink potentieel op het moment dat er een client komt voor Windows (dus niet alleen de std. website)...
Er is aan deze kant ruime ervaring met het opzetten en ontwikkelen van Windows applicaties (WinForms) alsmede .NET Website (ASP.NET). Evens als het schrijven van (web-)services.


Ik ben een Senior .NET C# Softwareontwikkelaar, je kan met me in contact treden via m.vanengelen@p-id.nl.

Het lijkt me erg leuk hier iets aan bij te kunnen dragen!

@Randy - we bieden nog geen IPv6 maar we kunnen er wel mee testen hier.

@pid - wij gaan vanmiddag contact met u opnemen.

Ik mis nog de toegevoegde waarde boven nagios of zabbix wat al jaren gevestigde pakketten zijn voor dit doel. Waarom is er gekozen het wiel weer eens een keer opnieuw uit te vinden?

Dat monitoring door alleen een beetje poortje te pingen niet werkt mag duidelijk zijn maar daar zijn genoeg alternatieven voor.

Hoe ga je om met gedistribueerd monitoren? Er zijn genoeg platformen waar één monitoring server het niet trekt of dat je data moet verzamelen vanaf een extern netwerk zonder directe toegang tot alle machines. Als positief punt wordt genoemd dat je geen webserver nodig hebt, dat lijkt mij juist het creeeren van een ongewenste afhankelijkheid. De server moet data verzamelen, het tonen van data kan door een heel andere machine worden gedaan, om zo de load te verspreiden.

Oorspronkelijk geplaatst door gjtje

Ik mis nog de toegevoegde waarde boven nagios of zabbix wat al jaren gevestigde pakketten zijn voor dit doel. Waarom is er gekozen het wiel weer eens een keer opnieuw uit te vinden?

Nagios is er om te zien of de server stuk is. N2 is er om te zien waarom hij stuk is/was. Het lost een ander probleem op.

Oorspronkelijk geplaatst door gjtje

Hoe ga je om met gedistribueerd monitoren? Er zijn genoeg platformen waar één monitoring server het niet trekt of dat je data moet verzamelen vanaf een extern netwerk zonder directe toegang tot alle machines.

Op dit moment is performance nog niet echt een issue gebleken. Voor het verwerken van data van 1000 nodes zagen wij in het verleden een continu CPU-gebruik van 0.75-1.50% voor de data collector en 1-2% voor het proces dat de netwerk-latency meet door middel van ICMP pings. We voorzien geen problemen onder de 10.000 nodes op een enkele server. Daarboven gaan andere factoren ook meespelen, zoals het schaalbaar houden van de user interface als het met zoveel data moet dealen.

Wij vinden niet dat er van een open source project in versie 1.0 onmiddellijk verwachten kan worden dat het out-of-the-box werkt voor grote enterprises. De belangrijke vraag is of er limieten zitten in de architectuur die dit soort schaalbaarheid in de weg staan en het antwoord daarop is nee.

Mensen die aan het overwegen zijn dit voor een netwerk van meer dan 10.000 servers in te gaan zetten raden we in ieder geval aan om even contact met ons op te nemen.

Oorspronkelijk geplaatst door gjtje

Als positief punt wordt genoemd dat je geen webserver nodig hebt, dat lijkt mij juist het creeeren van een ongewenste afhankelijkheid. De server moet data verzamelen, het tonen van data kan door een heel andere machine worden gedaan, om zo de load te verspreiden.

Het proces dat de userinterface presenteert is zelf een webserver. Het punt hier is vooral dat het niet afhankelijk is van apache. Deze presentatielaag is nu in principe al eenvoudig fysiek los te trekken van de data collector, gegeven een NFS mount richting de host logs en een copie van de N2 command line query tools. Er is daar echter nog genoeg laaghangend fruit wat betrefte mogelijke optimalisatie van de informatie stroom dat dit niet bovenaan het lijstje staat.