Netwerk en server monitor software: aan de slag met Check_MK

Serverexploitanten weten hoe praktisch het is om als eerste op de hoogte te zijn van een op hol geslagen proces, een binnenkort volle schijf of een ventilatoruitval. Een monitoringsysteem kan je daarbij helpen. Check_MK begon als Nagios-uitbreiding, maar is inmiddels een zelfstandig, makkelijk te installeren en beheren product. Lees hoe je de eerste stappen zet met deze krachtige tool.

Om een oogje op je server of andere computers te houden, die eigenlijk onbewaakt draaien, is monitoringsoftware handig. Die controleert regelmatig de vitale data, bijvoorbeeld de vrije schijfruimte, het ventilator­toerental en de temperatuursensoren en kijkt of die binnen vooraf aangegeven grenzen liggen. Als dat niet zo is, alarmeert de software ingestelde contactadressen. In het ideale geval worden de data verzameld en grafisch weergegeven, zodat je op grond daarvan kunt inschatten of een server ondergedimensioneerd is of sinds wanneer hij de belasting nauwelijks aankan. Het gratis bruikbare Check_MK kan dat allemaal.

Het configureren van Check_MK is inmiddels compleet via een web-gui te doen – als je je weg weet te vinden in de warboel aan links tenminste. We laten in dit artikel zien hoe je snel een minimaal Linux-systeem installeert en kunt uitbreiden met de gratis bruikbare Check_MK Raw Edition. Vervolgens laten we een voorbeeld zien van hoe je de monitoring met een browser kunt configureren en perfectioneren.

Kaal Linux installeren

Check_MK is met veel gangbare Linux-distributies te gebruiken. Mathias Kettner stelt kant-en-klare pakketten en een virtuele appliance (als demo) beschikbaar om te downloaden. We gaan er vanuit dat je de stable-versie van de Raw Edition gaat installeren (op het moment van schrijven was dat 1.4.0p33). Je kunt een al bestaande Linux-installatie gebruiken, maar dan moet je er wel rekening mee houden dat Check_MK een eigen webserverinstantie op poort 80 start en configureert – dat kan botsen met andere daar al aanwezige diensten.

Met een net-install-image van de huidige versie van Debian Stretch kun je een nieuwe installatie starten, bijvoorbeeld in een virtuele machine. Download het ongeveer 300 MB grote ISO-bestand en boot het medium in een nieuwe virtuele machine, die minstens 1 GB RAM en een 16 GB grote harde schijf moet hebben. Kies voor de gewone installatieprocedure, niet de grafische, en laat alles op één partitie installeren. Deactiveer de desktopomgeving en printerserver en selecteer in plaats daarvan de SSH-server om te installeren.

Check_MK installeren

Na een succesvolle installatie maak je met het ingestelde gebruikersaccount via SSH verbinding met het systeem in de virtuele machine (die we nu ter onderscheiding van andere hosts de monitoring-host zullen noemen). Maak jezelf root met su of meld je op de console als root aan. Download met het commando

wget https://mathias-kettner.de/support/1.4.0p33/check-mk-raw-1.4.0p33_0.stretch_amd64.deb

het ongeveer 80 MB grote installatiepakket en start het installeren daarvan met

dpkg -i check-mk-raw-1.4.0p33_0.stretch_amd64.deb

Pas wel het versienummer aan.

Het uitvoeren van dpkg -i zal tot een foutmelding leiden omdat hij afhankelijke pakketten mist. Met apt-get install -f meld je het pakketbeheer van Debian dat de ontbrekende pakketten automatisch geïnstalleerd moeten worden – dat zal even duren. Als het installeren afgerond is, moet je op de commandline van de monitoring-host met

omd create test
omd start test

een monitoring-instantie met de naam ‘test’ aanmaken en starten. Een monitoring-­host kan meerdere van dergelijke onafhankelijke instanties beheren, die door Check_MK ‘site’ worden genoemd. Het eerste omd-commando toont een wachtwoord dat je met het gebruikersaccount ‘cmkadmin’ nodig hebt voor het aanmelden met de browser bij de site.

Installeer daarnaast het programma Nullmailer met apt-get install nullmailer. Dat gaat later helpen om alarmmeldingen van Check_MK via mail naar de ingestelde gebruikers te sturen. De installatie vraagt om een smarthost met de bijbehorende toegangsgegevens en heeft dus een SMTP-server nodig die mail kan aannemen. Met

echo “Testbericht” | sendmail -v [email protected]

Kun je testen of het versturen van mail lukt (het adres is natuurlijk te vervangen). Indien noodzakelijk pas je de configuratie aan met dpkg-reconfigure nullmailer tot het lukt.

Vanaf dan kun je verder met de browser op een clientsysteem. Typ in de adresbalk van de browser het ip-adres van de monitoring-host gevolgd door de naam van de site, bijvoorbeeld ‘192.168.2.23/test’. Typ de eerder aangemaakte aanmeldingsgegevens in dan zie je het overzichtelijke beginscherm van Check_MK. Maar laat je door die eerste indruk niet bedriegen.

Zo ziet de webinterface van Check_MK eruit als je een tiental systemen monitort.

Ter oriëntatie: de linkerkolom en het deel rechts zijn apart te scrollen. Links kun je data opvragen of de configuratie starten. Rechts laat Check_MK de bij het monitoren opgeslagen data zien. Door het aanklikken van de afzonderlijke elementen kun je daar meer details van te zien krijgen. Met de normale navigatiemogelijkheden van je browser kun je door de applicatie heen wandelen. In het rechter deel biedt Check_MK extra navigatiemogelijkheden.

We zullen ons hier wat meer bezig­houden met twee blokken in de linker­kolom. Met ‘Views’ kun je de monitoringdata vanuit allerlei mogelijke perspectieven bekijken en beïnvloeden – met dat deel zul je waarschijnlijk dagelijks mee aan de slag gaan. De Web Administration Tool WATO helpt je bij het inrichten en configureren van de gemonitorde systemen en dient er dus voor om Check_MK verschillende werktaken te laten verrichten.

Om bij een nieuwe installatie überhaupt wat te zien te krijgen, heb je een slachtoffer nodig dat zich laat observeren. Daar moet je een Check_MK-agent voor instellen. Gebruik om te beginnen bijvoorbeeld de monitoring-host zelf: scroll links in de webinterface naar beneden tot je de box met de naam WATO ziet en klik dan op het één na laatste item ‘Monitoring Agents’. Dan laat Check_MK alle beschikbare agents voor de betreffende gangbare besturings­systemen zien. Kopieer het eerste item onder ‘Packaged Agents’ naar het klembord. Dan kom je er meteen achter dat er achter onschuldige zwarte tekst vaak ook links zitten.

Op veel plekken zijn links in de webinterface niet als zodanig te herkennen.

Op de commandline van de monitoring-host voeg je die link in achter het wget-commando, zodat je de volgende opdracht krijgt:

wget http://localhost/test/check_mk/agents/check-mk-agent_1.4.0p33-1_all.deb

Let ook hier weer even op het juiste versienummer. Installeer de agent met

dpkg -i check-mk-agent_1.4.0p33-1_all.deb

Dat was het al. In de browser op het clientsysteem kun je nu de monitoring-host invoegen bij de configuratie van Check_MK. Daarvoor zijn er – zoals wel vaker bij Check_MK – meerdere manieren. De onze gaat als volgt: klik onder WATO op ‘Hosts’ en dan bovenaan in het rechterdeel op ‘New host’ of ‘Create a new host’. De web­interface vraagt dan naar de naam waarmee de monitoring naar de host moet gaan. Gebruik daar hier ‘localhost’ voor. Bij de ‘Basic settings’ kun je een IPv4-adres invullen – IPv6 kan echter ook. Voor localhost is dat echter niet nodig.

Klik vervolgens op de knop ‘Save & go to Services’ onderaan en let verder even niet op alle andere opties. Na een korte denkpauze laat Check_MK dan zien welke afzonderlijke details hij op de toegevoegde host kan monitoren, bijvoorbeeld de geheugen- en processorbelasting. Check_MK noemt dat ‘services’. Meestal hebben sommige de status ‘OK’ en andere ‘PEND’ – afhankelijk van de door de servicetest ge­leverde data kan Check_MK op dat moment nog niet overal de status van achterhalen. WATO stelt voor om alle gevonden services in de monitoring op te nemen. Dat doe je door op ‘Monitor’ te klikken.

Normaal gesproken selecteer je na het automatisch herkennen van de services welke je wilt monitoren en welke niet. Probeer gerust een paar dingen uit. Als je een service mist, kan dat liggen aan het feit dat er op de host software ontbreekt. SMART-data van harde schijven vergen bijvoorbeeld smartmontools, IPMI-data vereist freeipmi enzovoort. Bovendien kan het nodig zijn op de host plug-ins voor de Check_MK-agents toe te voegen.

Let op: bovenaan staat na een klik op ‘Save & go to Services’ een oranje gemarkeerde knop ‘1 change’ (het aantal kan variëren). WATO voert configuratie­veranderingen niet meteen uit, maar verzamelt die alleen, zodat er nog een handmatige actie voor nodig is om die door te voeren. Doe daar het volgende voor: als je op die oranje knop klikt, verschijnt er een nieuwe pagina waarbij je op de knop ‘Activate affected’ moet klikken. Als je dan met een klik op het Check_MK-logo linksboven naar de beginpagina teruggaat, moeten er bij de ‘Service Statistics’ een paar services (bij)gekomen zijn.

Als je bij ‘Views / Hosts’ op ‘All hosts’ klikt, toont Check_MK een lijst van de hosts die op dat moment gemonitord worden. Als je op de naam van een ervan klikt (in dit geval alleen nog ‘localhost’ van de door jou toegevoegde monitoring-host), krijg je de daarop beschikbare diensten te zien. Na een korte tijd komt er wat leven in het monitoren en ontstaan er aanklikbare grafieken voor ‘CPU load’ en verschillende andere vitale parameters, waaronder in eerste instantie altijd die van Check_MK zelf voor het aanroepen van de agents.

Geheel in overeenstemming met Nagios kent Check_MK drie toestanden voor services: ‘OK’ als alles goed gaat, ‘WARN’ betekent dat je wat moet doen, en ‘CRIT’ is een indicatie voor serieuze problemen. Er zijn er nog meer, maar die zijn voor het basisprincipe niet zo belangrijk. Grenswaarden voor de afzonderlijke services dan wel servicetypen bepalen wanneer een toestand verandert. Bij het overgaan naar een andere toestand kan Check_MK alarmen genereren, bijvoorbeeld e-mails versturen. Bovendien worden dergelijke toestandsveranderingen bewaard en kun je ze via ‘Views / Other’ bij ‘Host- and Service events’ dan wel ‘Host- and Service notifications’ nog bekijken.

Om de sporen die je nu achtergelaten hebt te wissen en concreet met het opbouwen van een aan jouw doeleinden voldoende monitoring te beginnen, kun je op de monitoring-host nog een keer als gebruiker root op de commandline het commando omd stop test uitvoeren. Dan stop de test-site, waarna je die met omd remove test kunt wissen. Maak dan een nieuwe site aan. Probeer ook andere omd-commando’s eens uit, bijvoorbeeld voor het kopiëren en back-uppen. Achter het nietige omd blijkt een flink potentieel schuil te gaan.

Met omd kun je sites kopiëren en in nieuwere Check_MK-versies ook op dezelfde monitoring-host testen (ook de pakketten van de minor-versies zijn parallel te installeren). Onder de motorkap maakt omd voor elke site een eigen gebruikers­account op de monitoring-host aan. De bestanden inclusief de home-folder van de aangemaakte gebruikersaccounts komen in /omd te staan. Die elegante kunstgreep zorgt ervoor dat je Check_MK eerder op deze manier en niet via Docker en dergelijke zult gebruiken, die vergelijkbare updatehulp beloven.

Terug naar het inrichten van een monitoring-site. Je moet alles structureren wat bij een monitoring hoort. Wie moet er gealarmeerd worden? Hoe moeten meldingen verstuurd worden? Zijn services, hosts en gebruikers zinvol samen te voegen tot groepen? Welke host is afhankelijk van andere hosts? Waar zitten de uitzonderingen? Welke alarmgrenzen zijn afwijkend van de standaarden in te stellen, is dat individueel, apparaat- of organisatiespecifiek?

Voor al die vragen biedt Check_MK hulp – met één uitzondering: wat er überhaupt zinvol gemonitord moet worden, moet je zelf beslissen. De automatische serviceherkenning maakt het makkelijk, maar ook snel onoverzichtelijk. Aan de andere kant schaadt het niet om services te monitoren waarvan het nut niet meteen duidelijk is – zolang die maar niet de hele tijd alarmmeldingen produceren.

Met WATO kun je meer gebruikers aanmaken (‘Users’) en hen verschillende rechten geven. Als de te monitoren hosts door verschillende groepen beheerd worden, kun je daar ‘Contact Groups’ van maken. De e-mailadressen dienen alleen voor het versturen van e-mails. Andere technieken zijn als ‘Notifications’ aan te maken, bijvoorbeeld voor pushberichten en sms, en die hangen normaal aan groepen.

Om de afhankelijkheden van de hosts van elkaar in Check_MK duidelijk te maken, kun je ‘Folders’ gebruiken, die WATO ook onder ‘Hosts’ kan aanmaken. Voor de in een folder staande host is een parent te definiëren. Als die niet bereikbaar is, dan worden de alarmmeldingen voor de onder­geschikte hosts uitgezet. Dat is bijvoorbeeld handig voor virtuele machines op een virtualisatieserver of een netwerk­segment achter een router – je wordt bij het uitvallen van zo’n component dan niet overspoeld door allerlei alarmmeldingen.

Dankzij WATO is het configureren helemaal in de browser te doen.

De belangrijkste organisatiehulp bij Check_MK om services en hosts te classificeren zijn de ‘Host Tags’. Dat zijn niet meer dan labels die services, hosts en folders kenmerken. Speciale ‘Auxiliary tags’ kunnen meerdere tags samenvoegen tot een nieuw label. De tags verbinden individuele configuratieopties met hosts, folders et ­cetera. Een tag kan een simpele checkbox zijn of een selectie van meerdere opties.

Bij ‘Host & Service Parameters’ zijn de tags verschillend te gebruiken: ‘Grouping’ dient ervoor contacten en service-levels in groepen onder te verdelen. ‘Monitoring Configuration’ overruled de standaard­werking van services en vervangt bijvoorbeeld de techniek waarmee Check_MK de bereikbaarheid van een host controleert als de standaard-ping niet mogelijk is, of verandert de frequentie waarmee de service­controles worden uitgevoerd. ‘Access to Agent’ stelt de parameters in voor bijvoorbeeld toegang tot SNMP-hosts.

Bij ‘Active checks’ biedt Check_MK kant-en-klare tests voor gangbare diensten, bijvoorbeeld een die het versturen en ontvangen van e-mails test. Die tests hebben geen agent op de gemonitorde systemen nodig. Met ‘Parameters for discovered services’ kun je de standaard door services aangegeven alarmgrenzen aanpassen aan je eigen wensen voor bijvoorbeeld de mini­maal vrij te houden ruimte op een schijf of de schijftemperatuur waarbij Check_MK waarschuwingen verstuurt.

De centrale elementen van de configuratie zijn de regels en de tags.

De ‘Datasource Programs’ gaan over extra software om data te verzamelen. Daar biedt Check_MK bijvoorbeeld het monitoren van VMware-installaties (‘Check state of VMWare ESX via vSphere’) en het aanroepen van externe programma’s (‘Individual program call instead of agent access’). Dat laatste is te gebruiken om Check_MK-agent-aanroepen via een SSH-verbinding te sturen.

Onafhankelijk van om welke van de aangeboden ‘Host & Service Parameters’ het gaat, de benodigde configuratie werkt altijd hetzelfde: je maakt een nieuwe regel aan waarmee je de details configureert. In de regel ken je tags, hosts en folders toe. Als je je hosts consequent met folders structureert, kun je onder omstandigheden zelfs helemaal zonder tags toe. Check_MK voert voor de opgegeven objecten de regel respectievelijk de operatie uit.

Check_MK herkent een inhoudelijke tegenstrijdigheid tussen regels overigens niet, die moet je zelf oplossen. De knop ‘Ineffective rules’ op de beginpagina spoort regels op die niet gebruikt worden. Met de knop ‘Used Rulesets’ krijg je de ingestelde en gebruikte regels te zien. Ook het zoekveld op de webpagina is handig om bepaalde functies gericht op te sporen. Het intypen van ‘fritz’ laat dan ‘ Check state of Fritz!Box Devices’ uit de ‘Datasource Programs’ zien.

Deze opsomming van mogelijkheden stapt op zich wel heel nonchalant over de subtiele verschillen tussen de afzonderlijke methoden. Die leer je pas echt kennen als je zelf intensief regels gaat aanmaken en bepaalde diensten gericht wilt monitoren. Het is belangrijk dat je eerst weet op welke manier Check_MK de hosts aan de tand voelt: via een Check_MK-agent, via SNMP of met een van de net genoemde ‘Active checks’. Met passieve checks zijn nog extra data aan de monitoring toe te voegen.

Een korte blik op wat achter de coulissen gebeurt: de monitoring-host communiceert regelmatig met de agents op de te monitoren systemen. Dat gebeurt in een lokaal netwerk normaal gesproken via TCP op poort 6556. Je kunt op de host zelf de agents aanroepen of de tekstuitvoer van een Unix-systeem via Telnet bekijken (telnet localhost 6556 op de monitoring-host). Bij openbare netwerken is dat niet zo geschikt, daar kun je het verkeer en de toegang in het ideale geval veiliger via SSH laten lopen.

Dat werkt bij de andere methoden grotendeels analoog: veel ‘Active checks’ leveren tekstdata, bijvoorbeeld voor mail-requests via IMAP. De monitoring-host verwekt de tekstuitvoer met daarop afgestemde Python-scripts. Een Check-plug-in bundelt de voor de agent en host benodigde scripts en informatie. Die helpen ook om de statistische data te verzamelen en voor te bereiden. Extra plug-ins komen via uitbreidingspakketten van Check_MK (MKP’s) op de monitoring-host. De Raw Edition beheert die via mp op de commandline.

WATO levert een duidelijk overzicht van alle ‘Check Plugins’ met een gedetailleerde beschrijving van verwijzingen naar de bijbehorende regels. Dit is een goede plek om te achterhalen of er in het aanbod van Check_MK voor bepaalde monitoringtaken al kant-en-klare Checks bestaan. Het zoekveld is daar handig bij. Hier kom je er ook achter welke extra software er voor een Check eventueel nog op de gemonitorde host nodig is en of je de configuratie van de Check_MK-agent daarvoor met een plug-in moet uitbreiden.

Genoeg theorie – tijd om eigen regels aan te maken. Een veel voorkomende taak is het aanpassen van alarmgrenzen voor bijvoorbeeld het schijfruimtegebruik van schijven.

Open een host, bijvoorbeeld via ‘Views’ onder ‘Hosts’ en ‘All hosts’ de als localhost aangemaakte monitoring-host zelf. Zoek een serviceregel die begint met ‘Filesystem’ en klik op het witte vierkant met een groene pijl erin. Dan opent een actiemenu, wat je ook op veel andere plekken bij Check_MK zult tegenkomen.

Het witte vierkant met een groene pijl leidt naar een actiemenu.

In het actiemenu staat de optie ‘Parameters for this service’, die je naar de parameterweergave voor deze service brengt. Bij ‘Check Origin and Parameters’ staat als tweede item weer een van die onduidelijke links met de naam ‘Filesystems (used space and growth)’ met daarachter in het grijs ‘Default value’. Klik op de link voor een nieuwe dialoog, waarin je alleen een nieuwe regel kunt aanmaken. Klik daar op de knop ‘Create rule in folder’.

Je komt dan bij een formulier waarop je de details van de regel kunt definiëren. Je moet altijd een zinnige beschrijving geven om het overzichtelijk te houden. Bij ‘Parameters’ kun je met het aanvinken van de checkbox voor ‘Levels for filesystem’ de alarmgrenzen aangeven. Zet de grenzen expres maar eens een stuk lager om een alarm te provoceren.

In de echte praktijk zou je bij ‘Conditions’ de regel beperken tot een host of het type van het bestandssysteem om bijvoorbeeld onder ‘Mount Point’ voor /var andere regels in te stellen dan voor / of in de Windows-wereld andere voor C: dan voor D:. Om uit te proberen kun je de regels voor alle hosts laten gelden. Met de ‘Save’-knop onderaan bewaar je de regel. Om ervoor te zorgen dat Check_MK die kan gebruiken, moet je alle ‘changes’ weer activeren.

Na een tijdje of na een geforceerde ‘Reschedule ‘Check_MK’ service’ in het actie­menu moeten alle schijven die onder de ingestelde grens komen een ‘Service Problem’ melden. Als je dan weer naar ‘Parameters for this service’ gaat en de niet meteen duidelijke link aanklikt, dan laat Check_MK de actieve regels voor dat object zien. Als er meerdere regels gedefinieerd zijn, zullen gekleurde punten aangeven welke matchen (groen), welke complementeren (lichtgroen) en welke niet matchen (grijs). Dat is bij gecompliceerde regelsets erg handig.

Regels worden ook gebruikt als je test­operaties wilt laten uitvoeren die geen onderdeel van agents zijn en daar ook niet met plug-ins mee uit te breiden zijn of als daarmee aanroepen van de te testen host niet zinvol is, bijvoorbeeld het regelmatig oproepen van een website of het testen van de bereikbaarheid van een IMAP-mailbox. Check_MK gebruikt daar onder andere de monitoring-plug-in uit de Nagios-wereld voor (van bijvoorbeeld www.monitoring-plugins.org).

Het instellen van dergelijke ‘Active Checks’ is snel gedaan: zoek een bijpassende regel uit, vul de benodigde velden in en activeer de regel. Via namen of tags verbind je de regel met een of meerdere hosts. Als dat de enige test voor het betreffende systeem is, dan maak je de host aan en geef je als ‘Agent-type’ de optie ‘No agent’ aan. Check_MK controleert dan alleen de bereikbaarheid via ping.

Als geen van de voorgedefinieerde regels voor je geschikt is, kun je met ‘ Classical active and passive monitoring checks’ op de monitoring-host eigen software uitvoeren en vervolgens door Check_MK laten verwerken. De output daarvan moet zich aan de gangbare conventies houden, die in de documentatie gedetailleerd beschreven is.

Tot zo ver redelijk logisch allemaal. De integratie met bijzondere databronnen is in Check_MK echter wat meer eigenzinnig. Die is van toepassing als er wat hardere noten gekraakt moeten worden: op apparaten zoals een Fritzbox of storage-­systemen kan geen Check_MK-agent geïnstalleerd worden. Ze staan bij de ‘Data­source Programs’. Je kunt ze vinden door naar de apparaatspecifieke interfaces te vragen. Bij een Fritzbox is dat bijvoorbeeld UPnP en voor een server IPMI. Voor dergelijke databronnen moet in de hostconfiguratie de tag ‘Check_MK Agent’ ingesteld zijn. Op de host hoeft geen agent ingesteld te worden, de speciale agent uit de ‘Datasource Programs’ krijgt die rol toebedeeld.

Gebruik SSH-keys om de verbinding tussen monitoring-host en clients te versleutelen. Vergeet ook niet om daarbij de standaard op poort 6556 luisterende Check_MK-agent te deactiveren. Check_MK kan ook communiceren met apparaten die via SNMP te bevragen zijn. Meer hierover lees je in het juli/augustus-nummer van c’t magazine.

Veel dingen hebben we in dit artikel alleen maar even kunnen aanstippen. De documentatie staat online en is erg gedetailleerd. Geef jezelf wat tijd om Check_MK te leren kennen. Niet alles is even intuïtief te gebruiken. Een monitoringsysteem voor je eigen situatie moet altijd even rijpen: je leert van fouten, waar je vervolgens regels van kunt maken om de volgende keer niet meer verrast te worden.

(Peter Siering, c’t magazine)