Wer Problemen seiner Server frühzeitig auf die Spur kommt, verhindert kostspielige Ausfälle. Das Überwachungs-Framework Big Brother hilft dabei.

Sobald aus einem einsamen Server ein ganzer Pool wird, wachsen für den gewissenhaften Administrator auch die Schwierigkeiten, alle Parameter, die für den reibungslosen Betrieb des Systems relevant sind, ständig im Auge zu behalten. Dabei ließe sich manches Problem, zum Beispiel ein volles Dateisystem, beheben, bevor die Anwender überhaupt etwas merken.

Das Monitoring externer Dienste, beispielsweise des bei einem ISP gehosteten Webservers, eines externen Mail-Relays oder Webproxys, dient dabei nicht nur als Frühwarnsystem, sondern sorgt für die notwendigen Informationen darüber, wie zuverlässig die Systeme des Dienstleisters arbeiten. Man kann sich dazu selbst entwickelter, individueller Lösungen bedienen oder Zeit und Nerven sparend auf Komplettpakete wie das Überwachungswerkzeug Big Brother von Quest Software zurückgreifen.

Bei BB handelt es sich um mehrere Shellskripte, die ihre Ergebnisse an einen zentralen, in C implementierten Server im Netz weitergeben. Der verarbeitet die Statusmeldungen, stellt sie auf einer übersichtlichen Webseite dar und informiert bei kritischen Statusänderungen den Administrator. Überwachen lassen sich Linux-Systeme, die meisten Unix-Derivate, Microsoft Windows NT und 2000 sowie Netware und IBMs AS/400 beziehungsweise iSeries.

Baukasten

Big Brother setzt sich aus mehreren Komponenten zusammen (Abbildung 1). Auf jedem zu überwachenden System installiert der Administrator eine Client-Software, die lokale Parameter überwacht, zum Beispiel die freie Plattenkapazität. Der BB-Server übernimmt drei Aufgaben, die sich auch auf mehrere physikalische Server verteilen lassen. Eine davon löst der »BBNET«-Dienst, indem er regelmäßig die Verfügbarkeit von Netzwerkdiensten wie DNS oder Mail überprüft. Die Statusmeldungen der Clients und des »BBNET«-Dienstes – positive wie negative – werden alle fünf Minuten an den Dienst »BBDISPLAY« zur Weiterverarbeitung geschickt. Warnungen und Fehlermeldungen gehen zusätzlich an den Dienst »BBPAGER«, der den Administrator per Mail oder wahlweise per SMS informiert.

Die Kommunikation zwischen Clients und Server erfolgt über den TCP-Port 1984 – als Erinnerung an George Orwells berühmtes Buch “1984”. Aus den gesammelten Statusmeldungen erzeugt BB alle fünf Minuten Übersichten für alle überwachten Systeme, und zwar als HTML-Seiten, die der Administrator der Allgemeinheit (oder nur sich selbst) über einen Webserver zugänglich macht.

Bei der grafischen Darstellung bedient sich Big Brother der Ampelfarben Rot, Gelb und Grün und sorgt so dafür, dass die Situation auf einen Blick erfasst werden kann (siehe Abbildung 2). Der Hintergrund der HTML-Seiten spiegelt dabei jeweils die Farbe des aktuell kritischsten Zustands wider:

• Grün: Alles ist in Ordnung,
• Gelb: Warnung,
• Rot: Fehler.
• Weiß: Keine Meldung (zum Beispiel von Systemen, die über Wählleitungen angebunden sind).
• Schwarz: Keine Zustandsmeldung, das System wird nicht überwacht.
• Violett: Seit mehr als 30 Minuten keine Statusmeldung erhalten.

In Abbildung 2 ist der Rechner »test3 .foo.bar« nicht erreichbar, auf »test2.foo .bar« gibt es Probleme mit der CPU-Auslastung und der freien Plattenkapazität. Die Spalten besagen Folgendes:

• »conn«: Antwortet der Rechner auf »ping«?
• »cpu«: Wie hoch ist die Auslastung des Systems?
• »disk«: Ist auf allen Partitionen ausreichend Speicherkapazität frei?
• »msgs«: Gibt es kritische Einträge in den Logfiles?
• »procs«: Laufen alle wichtigen Prozesse?

Rot bedeutet aber nicht immer, dass wirklich das damit suggerierte Problem vorliegt: Kann BB einen Parameter nicht ermitteln, weil zum Beispiel ein Logfile nicht lesbar ist, wechselt die Statusanzeige ebenfalls auf Rot.

Zusätzliche Berichte, darunter historische Auswertungen, erzeugen mitgelieferte Skripte, die im »cgi-bin«-Verzeichnis des Webservers installiert werden. Über das Web-Interface lässt sich eine Übersicht generieren, wann ein System nicht verfügbar war. Für einen ersten Eindruck lohnt ein Besuch bei[4].

Doch vor die bunten Statusberichte haben Götter noch die Installation gestellt. Als Beispiel soll der fiktive Server »test2 .foo.bar« dienen, auf dem alle drei BB-Server-Dienste für Netzwerküberwachung, Datensammlung und Benachrichtigung laufen.

Abbildung 1: Die Architektur einer Big-Brother-Überwachung.

Abbildung 2: Übersichtsanzeige für die überwachten Systeme.

Eine Beispiel-Installation

Aufgrund der Lizenz (siehe Kasten “Hintergrund …”) muss der künftige Nutzer Big Brother selbst von[1] herunterladen und kompilieren. Zunächst gilt es, einen dedizierten Benutzer, zum Beispiel »bb«, für Big Brother einzurichten. In dessen Homeverzeichnis und unter seiner User-ID entpackt man das heruntergeladene Archiv:

tar xf bb19c.tar
cd bb19c

Die Installation selbst erfolgt mit »root«-Rechten, weil einige Skripte ins Document-Root- und das »cgi-bin«-Verzeichnis des (bereits lauffähigen) Webservers kopiert werden müssen. Zudem braucht Big Brother die Information, auf welcher Distribution er zum Einsatz kommt. Zu diesem Zweck ruft »root« das mitgelieferte Konfigurationsskript auf:

cd install
./bbconfig

Es erkennt anhand der Datei »/etc/ issue«, um welche Distribution es sich handelt. Das funktioniert natürlich nur, wenn niemand die darin enthaltenen Daten verändert hat. Eine Red-Hat-Distribution zum Beispiel erkennt das Skript am Teilstring »Red«, eine SuSE-Distribution an »SuSE«. Alternativ gibt man »bbconfig« das Betriebssystem beziehungsweise die Distribution als Parameter mit, für eine SuSE-Distribution etwa »./bbconfig suse«. Weitere Parameter wären »redhat«, »debian«, »caldera« und »mandrake«.

Nach der Bestätigung der Lizenz sollte man die Ausführung von Big Brother als »root« aus Sicherheitsgründen nicht erlauben. Dafür kommt der neu angelegte Benutzer »bb« zum Zuge. Ansonsten eignen sich die Standardvorgaben in diesem Frage-Antwort-Spiel gut für eine erste Installation. Lediglich die Angaben zu den Verzeichnissen und zum Benutzer des Webservers müssen den lokalen Gegebenheiten angepasst werden. Anschließend lässt sich Big Brother kompilieren und installieren:

cd ../src; make; make install

Einige Dateien sollten noch an den richtigen Benutzer verschenkt werden:

cd ../..
chown -R bb bbvar bb19c

Nach der Installation des Basissystems geht es an die Konfiguration. Dazu arbeitet man wieder unter der Benutzerkennung »bb«. Um die Anpassung der mitgelieferten Skripte zu vermeiden, lohnt sich ein Link vom Verzeichnis »bb19c« auf »bb«.

Überwachen, aber was?

Die zu überwachenden Clients und der (oder die) BB-Server gehören in die Datei »etc/bb-hosts«, die der Datei »/etc/hosts« ähnlich ist. Allerdings missbraucht Big Brother das auskommentierte Zeilenende für zusätzliche Parameter. Im Beispiel aus Listing 1 sammelt »test2.foo.bar« als Server die Informationen (»BBDISPLAY«), führt Netzwerktests durch (»BBNET«) und verschickt als »BBPAGER« Benachrichtigungen.

Zur Vermeidung von Missverständnissen empfiehlt es sich, die Rechner mit vollständigen Hostnamen (FQDN) einzutragen. Je nach Konfiguration bei der Installation verlangt BB dies sogar. Dann gibt der Benutzer »bb« den Startschuss:

runbb.sh start

Nach ungefähr zwei Minuten zeigt der Webserver bereits die erste Statusseite an (siehe Abbildung 2). Sollten Probleme auftreten, lohnt sich ein Blick in die Datei »BBOUT« im Verzeichnis »bb«. Dort werden die Fehlermeldungen der Skripte gespeichert. Damit Big Brother nach einem Neustart des Host-Rechners automatisch startet, muss das Startskript »runbb.sh« noch ins jeweilige Runlevel-Verzeichnis verlinkt werden. Beispiele für eigene Startskripte sind etwa unter[2] zu finden.

Um weitere Netzwerkdienste zu überwachen, ergänzt der Admin diese in der Datei »bb-hosts« hinter dem Kommentarzeichen der jeweiligen Client-Zeile. Big Brother bietet standardmäßig das Monitoring von »nntp«, »dns«, »ftp«, »http«, »pop3«, »imap«, »smtp«, »ssh« und »telnet« an. Listing 2 zeigt ein Beispiel. Für das Monitoring von Webservern mittels »http« und »https« benötigt man eine URL: Big Brother prüft, ob sich eine bestimmte Datei auch wirklich vom Server abholen lässt.

Für jeden Dienst erscheint auf der Übersichtsseite eine zusätzliche Spalte mit den entsprechenden Statussymbolen. Hinter jedem Symbol versteckt sich ein Link, hinter dem sich weitere Detailinformationen verbergen.

Der Eintrag »dialup« hat zur Folge, dass die Spalte »conn« (Konnektivität) Grün zeigt, wenn das System mit »ping« erreichbar ist, Schwarz statt Rot, wenn nicht erreichbar. Das vermeidet den unnötigen Anstieg des Adrenalinpegels, wenn Systeme nur zeitweise erreichbar sind wie Netzwerkdrucker, die zur Nacht abgeschaltet werden, oder Rechner, die über Wählverbindungen mit dem Netz verbunden sind.

Die Übersichtsanzeige lässt sich mit den Direktiven »group«, »group-compress« und »group-only« modifizieren. »group« trennt die nachfolgenden Systeme optisch ab. »group-compress« unterdrückt alle leeren Spalten in einer Gruppe. Mit »group-only« können die anzuzeigenden Spalten fest ausgewählt, also Statusmeldungen einer Kategorie ausgeblendet werden (vergleiche Listing 3 und Abbildung 3).

Beim möglichst frühzeitigen Erkennen von Fehlern in »bb-hosts« hilft das Skript »bbcheckhosts.sh« unter »bb/etc/«. Es ist unbedingt in diesem Verzeichnis auszuführen:

bb@test2:~/bb/etc > ./bbchkhosts.sh
If any comments are displayed, please fix the entries in your configuration
Note that some error messages may be for tags of external scripts
bb-hosts: "192.168.0.1 test.foo.bat     # pop"
        -- unknown directive (pop)

Im Beispiel bemängelt »bbchkhosts.sh« die Direktive »pop«: Ein Tippfehler, richtig wäre die Angabe »pop3«.

Schwellenwerte und zu überwachende Prozesse lassen sich in verschiedenen Konfigurationsdateien in dem Verzeichnis »bb/etc/« anpassen. Bei einer Partition mit 1 GByte Speicherplatz sollte der Administrator beispielsweise kontaktiert werden, wenn nur noch zehn Prozent, also 100 MByte frei sind; bei einer 100-GByte-Partition mögen verbleibende zehn Prozent als Warnschwelle etwas verfrüht sein. Big Brother ist so flexibel, dass sich für jede Partition eigene Werte konfigurieren lassen.

Die Dateinamen der Beispielkonfigurationen in »bb/etc« enden auf »DIST«. Kopiert man eine dieser Dateien ohne die Endung und passt sie an die eigene Umgebung an, so hält sich BB automatisch an die neuen Grenzwerte.

Wann ein Status auf Gelb (Warnung) oder Rot (Fehler) wechselt, definiert die Datei »bb/etc/bbdef.sh«. Hier stehen auch die Angaben, die das Konfigurationsskript zu Beginn abfragt. SuSE-Nutzer, die passwortgeschützte Webseiten testen möchten, sollten in »bbdef.sh« den Pfad zu Lynx richtig setzen. Der angegebene stimmt nämlich nur für Debian, Caldera und Red Hat.

Variablen wie zum Beispiel »DFWARN« und »DFPANIC« legen fest, bei wie viel Prozent Festplattenbelegung eine Warnung oder ein Fehler angezeigt wird. Die angegebenen Grenzen können mit individuellen Grenzwerten für Clients in den Konfigurationsdateien in »bb/etc« überschrieben werden.

In der Datei »bb-proctab« definiert der Admin, welche Prozesse laufen müssen. Bei entsprechender Konfiguration bleibt zum Beispiel ein abgestürzter »cron«-Prozess nicht lange unentdeckt.

Bei Servern kommt oft LVM zum Einsatz. Big Brother verwendet zum Auslesen des belegten Speicherplatzes das Kommando »df« und parst die Ausgabe. Ist der Name des Dateisystems lang, wird die Ausgabe für eine Partition umbrochen – und dann falsch interpretiert. Abhilfe schafft die Definition der Variablen »DFCMD=”$DF -P”« in der Datei »bb/etc/bbsys.sh«. Damit gibt »df« pro Partition genau eine Zeile aus (Posix Output Format) und Big Brother interpretiert die Ausgabe richtig.

Listing 1: Minimal-Überwachung

192.168.0.1 test1.foo.bar #
192.168.0.2 test2.foo.bar # BBPAGER BBNET BBDISPLAY
192.168.0.3 test3.foo.bar #
192.168.0.4 test4.foo.bar #

Listing 2: Internet-Diensten hinterherspionieren

192.168.0.1 test1.foo.bar # pop3 smtp dns nntp ssh
192.168.0.2 test2.foo.bar # BBPAGER BBNET BBDISPLAY Uhttp://test2.foo.bar/ ssh
192.168.0.3 test3.foo.bar # http://www.foo.bar/ https://www.foo.bar/ ssh
192.168.0.4 test4.foo.bar # dialup

Gruppierte Anzeige

group-compress Server
192.168.0.1 test1.foo.bar # pop3 smtp dns nntp ssh
192.168.0.2 test2.foo.bar # BBPAGER BBNET BBDISPLAY http://test2.foo.bar/ ssh
192.168.0.3 test3.foo.bar # http://www.foo.bar/ https://www.foo.bar/ ssh
192.168.0.4 test4.foo.bar # dialup
group-only hplj Printer
192.168.0.100 printer1.foo.bar # dialup hplj
192.168.0.101 printer1.foo.bar # dialup hplj
192.168.0.102 printer1.foo.bar # dialup hplj

Abbildung 3: Die Webseite zu Listing 3. Der unterstrichene Link führt zu einer hinterlegten Info-Seite.

Spion erwünscht

Woher weiß der BB-Server, wie es um die CPU-Auslastung oder die freie Plattenkapazität auf BB-Client-Rechnern bestellt ist? Dabei ist keine Magie im Spiel: Auf jedem zu überwachenden System muss ein Client installiert werden. Den generiert man auf dem BB-Host mit folgenden Kommandos:

cd $BBHOME
cd install
./bbclient test1.foo.bar

»bbclient« erstellt ein Archiv »bb-test1 .foo.bar.tar«, das auf dem zu überwachenden Client-Rechner ausgepackt und mit »runbb.sh« gestartet wird. Auch hier gilt es wieder, einen Link in den entsprechenden Runlevel-Verzeichnissen anzulegen.

Big Brother holt sich die notwendigen Daten für den Client bei der Erstellung des Archivs aus »bb-hosts«. Deshalb lassen sich Clients auch nur für darin eingetragene Systeme erstellen. Wer einen Rechner überwachen möchten, auf dem ein anderes Betriebssystem läuft als auf dem Server, muss Big Brother auf der entsprechenden Plattform kompilieren. Für Windows NT und Windows 2000 Systeme gibt es unter[1] vorgefertigte Clients im Binärformat. Man installiert sie auf dem zu überwachenden System unter Angabe der IP-Adresse des BB-Servers mit:

bbnt.exe -y 192.168.0.2

Abschließend muss noch der Client in der Systemsteuerung als Dienst gestartet werden. Die Konfiguration erfolgt über das mitgelieferte Programm »bbntcfg .exe« (siehe Abbildung 4); die Konfigurationsdaten landen in der Registry.

Abbildung 4: Konfigurationseinstellungen des Windows-Clients.

Erweiterungen

Wer die mitgelieferten Überwachungsmöglichkeiten noch nicht ausreichend findet, der hat im Internet (zum Beispiel unter[2]) die Qual der Wahl unter vielen Addon-Skripten. So gibt es Erweiterungen für die Überwachung von NTP, SAP R/3 oder verschiedenen Datenbanksystemen wie Oracle, Sybase oder DB 2. Ansonsten lohnt sich in vielen Fällen ein Blick ins Archiv der Big-Brother-Mailinglisten unter[3].

Die Erweiterungen sind allerdings von sehr unterschiedlicher Qualität und sollten vor dem Einsatz in einer Produktivumgebung zunächst gründlich getestet werden. Der Teufel steckt bekanntlich in Details, die sich für verschiedene Unix-Derivate und Linux-Distributionen oft nur wenig unterscheiden. Schließlich können die Folgen von Fehlalarmen genauso viel Mehrarbeit verursachen wie Fehler ohne Alarme.

Auf keinem Unix-Server sollte die Erweiterung zur Überwachung des Swap-Space, »bb-swap-1.10.tar.gz« von[2], fehlen. Die Datei »bb-swap.sh« aus diesem Archiv kopiert man ins Verzeichnis »bb/ext/« und »bb-swap-cfg.sh« kommt ins Konfigurationsverzeichnis »bb/etc/«. Damit das Skript auch tatsächlich ausgeführt wird, ist es in der Konfigurationsdatei »bb/etc/bb-bbexttab« einzutragen. Abschließend steht ein Neustart von Big Brother auf dem Plan.

Auf bereits installierten Clients muss das Skript entweder von Hand nachinstalliert oder es muss ein neuer Client zusammengepackt werden. Daher ist es sinnvoll, sich von Anfang an gründlich zu überlegen, auf welchem Rechner welche Dienste oder Systemparameter zu überwachen sind. Bietet das Internet keine passende Erweiterung, lässt sich aus der Vorlage »bb/ext/ext-proto« relativ einfach eine eigene Erweiterung für die Überwachung lokaler Parameter implementieren.

Das Skript sammelt die zu analysierenden Daten, berechnet den Status (Grün, Gelb, Rot) und schickt diesen zusammen mit einer Beschreibung an den Server. Um den Rest kümmert sich der Server automatisch. Das erstellte Skript muss auf jeden Fall ausführbar sein. Zur Fehlersuche setzt man die Umgebungsvariable »BBHOME« manuell und ruft den Testkandidaten in der Shell auf.

Um weitere Überwachungen übers Netzwerk hinzuzufügen, bedarf es einiger Änderungen im mitgelieferten Skript »bb/bin/bb-network.sh«. Genau genommen handelt es sich dabei also nicht um eine Erweiterung, sondern um ein Patch von Big Brother. Damit ist es dann aber zum Beispiel auch möglich, den Füllstand der Verbrauchsmaterialien eines Netzwerkdruckers über SNMP abzufragen – auf dem Drucker kann man schließlich kein Skript ausführen.

Diesem Zweck dient folgender Code-Schnipsel, eingefügt in »bb-network.sh« ab Zeile 888 (in Version 1.9c):

hplj)
      $BBHOME/ext/bb-hplj.sh ${HOSTIP} ${FULLNAME}
        ;;

Anschließend ist die Datei »bb-hosts« um den neuen Dienst zu erweitern:

192.168.0.101 printer1.foo.bar # dialup hplj

Die Ausgabe für einen HP Color Laserjet ist in der Abbildung 5 zu sehen. Unter[5] steht das modifizierte Skript für einen Schwarzweiß-Laserjet zum Download bereit.

Abbildung 5: Statusangaben für einen Netzwerkdrucker.

Nachricht ans Handy

Beim Auftreten von Fehlern informiert Big Brother den Administrator in der Standardkonfiguration außer über das Web-Interface auch per Mail – samt einer kurzen Beschreibung und einem Link zur passenden Webseite. Die Nachricht enthält zudem einen so genannten Security Code, mit dem sich die zu erwartende Mail-Flut bei schwierigeren Problemen über die Web-Oberfläche temporär unterdrücken lässt.

Zusätzlich kann die Benachrichtigung über SMS erfolgen – schließlich möchte niemand den ganzen Tag auf ein Browser-Fenster schauen oder sein E-Mail-Postfach bewachen. Damit es tatsächlich klappt, muss eventuell der Wrapper »bb/bin/sendsms«, in jedem Fall aber die Konfiguration in »bb/etc/bbwarnrules.cfg« angepasst werden. Folgende Zeile sorgt dafür, dass »sms_client«[6] alle Fehlermeldungen aller Systeme an ein Mobiltelefon schickt:

*;;*;;*;*;smsclient-Nummer

Damit das Handy nicht mitten in der Nacht zu piepsen beginnt, weil in einem Drucker der Toner ausgegangen ist, konfiguriert man besser, welche Statusänderungen zu welcher Uhrzeit Meldungen erzeugen:

*.foo.bar;test3.foo.bar;*;hplj;1-5;0600-2200;smsclient-Nummer

In diesem Beispiel verschickt Big Brother Montag bis Freitag zwischen 6 und 22 Uhr als SMS die Meldungen aller Systeme, die auf den Namen ».foo.bar« enden, aber nicht »test3.foo.bar« heißen und nicht dem Dienst »hplj« zugeordnet sind. So hat der Administrator zumindest acht Stunden Schlaf und ein freies Wochenende.

Das Design der Webseiten lässt sich ebenfalls anpassen. Wer die mitgelieferten Symbole nicht schön findet, sucht sich bei[2] verschiedenfarbige Smilies oder Bierflaschen aus, die ins Verzeichnis »bb/www/gifs/« wandern, oder wird selbst kreativ.

Anmerkungen zu einem System, die automatisch verlinkt werden, finden ihren Platz im Verzeichnis »bb/www/ notes«. Es bietet sich an, eine HTML-Seite zu hinterlegen, die Links zu einem Trouble-Ticket-System oder zur Systemdokumentation enthält. Die Zuordnung erfolgt über den Dateinamen, zum Beispiel »test1.foo.bar.html«. Bei der nächsten Neugenerierung der Übersichtsseite verlinkt BB den Namen des Rechners mit der hinterlegten Informationsseite.

Künstlerische Freiheit

Einige Vorlagen für die automatisch erzeugten HTML-Seiten sind unter »bb/ web« zu finden. Damit lässt sich das Erscheinungsbild von Big Brother an die eigenen Wünsche oder Unternehmensvorgaben anpassen. Die hier vorgenommenen Änderungen werden beim nächsten Update der Webseiten, also spätestens nach fünf Minuten, automatisch übernommen.

So ist der Weg zu einer möglichst vollständigen Überwachung der eigenen Systeme zwar teilweise etwas holprig, besonders für jene, die etwas exotische Systemparameter auswerten möchten. Aber der Aufwand wird dadurch gerechtfertigt, dass man Probleme schneller diagnostizieren und beheben kann – und als Lohn hoffentlich etwas mehr Freizeit hat. (pju)