Open Source im professionellen Einsatz
Linux-Magazin 09/2013
© srapulsar38, 123RF

© srapulsar38, 123RF

Splunk filtert verschiedene Logdaten

Meldungen wie Heu

Die Kunst, in einer überbordenden Menge an Logdaten die wirklich relevanten zu finden, scheint Splunk bestens zu beherrschen. Auch Perlmeister Schilli wirft seine Systemmeldungen dem proprietären Analysewerkzeug vor, bringt der kostenfreien Variante aber einige Enterprise-Features bei.

518

Um Logdaten gewaltigen Ausmaßes und noch dazu aus sehr unterschiedlichen Quellen zu analysieren, bedarf es eines entsprechend mächtigen Werkzeugs. Es soll Textmeldungen von Web- und Applikationsservern sowie von Netzwerkroutern und anderen Systemen zusammenführen, indizieren und schnelle Suchabfragen zulassen.

Das kommerzielle Splunk ([2], [3]) hat sein Können auf diesem Gebiet selbst in den Rechenzentren großer Internetfirmen bewiesen, steht aber in der Basisversion auch kostenlos für den Hausgebrauch auf gängigen Linux-Plattformen bereit. Nach der Installation startet »splunk start« den Daemon sowie das Webinterface, in dem der User das System konfigurieren und Suchabfragen loslassen darf wie auf einer Internetsuchmaschine (Abbildung 1).

Abbildung 1: Mit einem Suchkommando präsentiert Splunk die verzeichneten Fehler aus allen dynamisch importierten Logdateien.

Gold im Fluss

Das Verfahren stellt dem Admin alle verteilt geloggten Daten zentral und indiziert bereit. Mit der mächtigen Suchsyntax gelingen nicht nur Volltextsuchen über den Datenbestand, sondern auch fundierte statistische Analysen à la "Welche sind die zehn häufigsten URLs, die alle meine Webserver zusammen in den letzten zwei Stunden ausgeliefert haben?".

Außerdem dämpft Splunk die Geschwätzigkeit solcher Logs, bei denen interessante Nachrichten unterzugehen drohen. Der Benutzer definiert nach und nach Ereignistypen, an denen er nicht interessiert ist, und Splunk blendet sie aus dem Ergebnis aus. Ereignistypen lassen sich wiederum in übergeordneten Suchfunktionen kombinieren, sodass selbst Splunk-Neulinge ihre Abfragen nach kurzer Einarbeitungszeit ähnlich wie echte Programmierer durch neue Filter erweitern. Wenn sie eine Weile die Sedimente im Informationsfluss gewaschen haben, kommen die handlichen Informations-Goldklumpen zutage. Vorsicht: Bereits die kostenlose Basisversion birgt alle Gefahren eines kapitalen Goldrausches.

Online PLUS

In einem Screencast demonstriert Michael Schilli das Beispiel: http://www.linux-magazin.de/plus/2013/09.

Strukturiert importiert

Die Zeilen einer Logdatei interpretiert Splunk als Events und jede der Meldungen besteht aus Feldern (Fields). Steht im Accesslog eines Webservers zum Beispiel »GET /index.html« , dann setzt Splunk das Feld »method« auf »GET« und das Feld »uri« auf »/index.html« (siehe Abbildung 2).

Es versteht von Haus aus eine Reihe von Formaten wie Syslog, die Errorlogs von Webservern oder Json, sodass der User zum strukturierten Import dieser Daten keinen Finger rühren muss. Zum Importieren lokaler Logdateien konfiguriert er im Menü »Add data« nur ein Verzeichnis wie »/var/log« (Abbildung 3), woraufhin sich der Splunk-Indexer alle darunterliegenden Dateien einverleibt. Ändern sich diese dynamisch, schnappt sich der Splunk-Daemon auch die neuen Einträge, Suchabfragen berücksichtigen ab sofort die neuen Informationen.

Andere Formate importiert der User, indem er Splunk zum Beispiel mittels regulärer Ausdrücke anweist die Felder aus den Events zu extrahieren. Zu den im Logeintrag existierenden Feldern fügt Splunk interne Hinweise hinzu. So definieren die Felder »source« die Datei, aus der die Information stammt (falls sie denn aus einer Datei kommt), und »host« den Server, der das Event erzeugt, also den Logeintrag angelegt hat.

Abbildung 2: Die Zeilen im Accesslog eines Webservers nimmt Splunk an ihren Feldgrenzen auseinander.
Abbildung 3: Der einigermaßen intuitiv gestaltete Dialog Add new fügt hier alle Logdateien unter /var/log zum Splunk-Index hinzu.

Diesen Artikel als PDF kaufen

Express-Kauf als PDF

Umfang: 5 Heftseiten

Preis € 0,99
(inkl. 19% MwSt.)

Linux-Magazin kaufen

Einzelne Ausgabe
 
Abonnements
 
TABLET & SMARTPHONE APPS
Bald erhältlich
Get it on Google Play

Deutschland

Ähnliche Artikel

  • Splunk

    Logserver, Logfile-Überwachung, IDS und Monitoring – Splunk ist von allem ein bisschen. Und mehr: Dank schneller Indizierung und intelligenter Suchfunktionen durchforstet es selbst umfangreiche Logfile-Sammlungen schnell, wenn nötig auch automatisch.

  • Splunk 4.2 mit verbesserter Erkennung

    Splunk, eine so genannte Search-IT-Lösung zur Indizierung, Analyse und Archivierung beliebiger Logfiles, ist jetzt in der Version 4.2 erscheinen, die etliche neue Features bereithält.

  • Splunk: Clickjacking-Attacke
  • Splunk Enterprise 6.3

    Von dem bekannten Log-, Monitoring- und Reporting-Tool für IT-Systemadministratoren Splunk ist jetzt die Enterprise Version 3 erschienen.

  • Neues All-Flash-Array von NetApp

    NetApp Inc. hat das NetApp EF560 All-Flash-Array mit einer höheren Storage-Performance vorgestellt. Laut SPC-1 Benchmark des Storage Performance Council hat es das derzeit beste SPC-1-Preis-Leistungs-Verhältnis in seiner Kategorie.

comments powered by Disqus

Ausgabe 10/2016

Artikelserien und interessante Workshops aus dem Magazin können Sie hier als Bundle erwerben.