© gajus, 123RF

Benchmark-Werkzeuge helfen Linux-Admins dabei, Probleme mit Massenspeicher genauer und früher zu erkennen. Mit ihrer Hilfe diagnostizieren sie Engpässe und machen Systeme fit für bestimmte Einsatzbereiche. Die aktuelle Bitparade schaut auf gängige Messtools, die HDDs und SSDs untersuchen.

Massenspeicher stecken in Desktop-Systemen, Servern und HPC-Clustern. Ihre Latenzen beim Datentransfer zu minimieren spielt nicht nur im Cloud Computing und Rechenzentrum, sondern auch in Heimnetzen eine zentrale Rolle. Benchmarks helfen dabei, Komponenten auf ihre Leistungsfähigkeit in bestimmten Szenarien zu überprüfen.

Gab es noch vor einigen Jahren kaum native Linux-Applikationen für das Benchmarking von Festplatten und SSDs, tummeln sich inzwischen mehrere Programme auf dem Markt. Sie erleichtern es Nutzern und Admins, die Leistungsfähigkeit ihrer Massenspeicher-Subsysteme zu untersuchen.

Grundlagen

Als Vergleichseinheit für die Performance von Massenspeichern gelten üblicherweise IOPS (Akronym für Input/Output Operations per Second, [1]). Die Tester messen, wie viele Eingabe- und Ausgabe-Operationen (I/O) der jeweilige Datenträger in einer Sekunde bewältigt. Je größer der IOPS-Wert, desto performanter der Massenspeicher. Insbesondere I/O-intensive Applikationen wie Datenbanken und Desktop-Virtualisierungen profitieren daher von optimierten Speichersystemen.

Einflussfaktoren

Die Performance zu messen ist komplex. Wer misst, misst oft Mist, weil diverse Faktoren die Messungen verfälschen. Bei herkömmlichen Festplatten spielen vor allem die Umdrehungsgeschwindigkeit der Magnetplatten, aber auch der Cache und die Positioniergeschwindigkeit der Köpfe eine Rolle.

Fällt eine Festplatte durch außergewöhnlich hohe Performance-Werte auf, zeichnet dafür meist der Zwischenspeicher verantwortlich, den der Controller der Festplatte steuert. Zuverlässige Laborwerte zum Leistungsverhalten erhält der Messdiener nur bei ausgeschaltetem Zwischenspeicher. Für praxisnahe Applikations-Benchmarks empfehlen sich hingegen eher Tests mit aktiviertem Cache, um für spätere Anwendungsszenarien realistischere Werte zu erhalten.

Auch die Belegung beeinflusst die Performance von Festplatten. Das bedeutet: Die Datentransferraten fallen bei rotierenden Magnetplatten am äußeren Rand stets höher aus als im inneren Bereich. Zugleich schreiben die Systeme die Daten von außen nach innen auf die Magnetplatten. Festplatten-Tester müssen daher auf eine gleichmäßige Belegung achten.

Auch bei Festplatten automatisch losgetretene SMART-Tests verfälschen mitunter die Messwerte: Daher sollten Tools in der Lage sein, alle SMART-Aktivitäten während der Benchmarks abzuschalten.

SSDs ticken anders

Bei SSDs bestimmen primär die verwendeten Controller das vorhandene Leistungsspektrum, wobei auch hier der Cache Einfluss haben kann. Da SSDs intern meist Daten komprimieren, arbeiten die Tester bei SSD-Benchmarks statt mit »/dev/null«-Werten besser mit »/dev/random«-Daten, um die Performance-Werte nicht zu verfälschen.

Zudem bricht die Leistung von SSDs mitunter ein, wenn sie massive Read-Modify-Write-Vorgänge ausführen. Tester sollten SSDs vor dem Benchmark besser über den Trim-Befehl in einen nahezu jungfräulichen Zustand versetzen.

Daneben verfälscht auch hin und wieder das Betriebssystem durch seine I/O-Scheduler die Leistungsraten. Grundsätzlich sollten Admins daher vor dem Start eines Benchmark besonders I/O-intensive Anwendungen, die das Systemverhalten negativ beeinflussen, vorübergehend deaktivieren. Entsprechende Kandidaten spüren sie zum Beispiel über das Programm Iotop [2] auf. Es steckt bei nahezu allen gängigen Linux-Distributionen in der Paketverwaltung.

Der Admin sollte seine Benchmarks zudem auf den gleichen Dateisystemen abfeuern. Dateisysteme wie etwa Btr-FS verfügen über spezielle Anpassungen für SSDs, die unter Umständen das Leistungsverhalten beeinflussen.

Außerdem liefern Lese- und Schreibmodi der Benchmark-Programme womöglich abweichende Werte. Das kann passieren, wenn der Nutzer sie mit unterschiedlichen Parametern aufruft und etwa ein Mal den Schreibcache aktiviert, dies ein anderes Mal aber vergisst.

Grundsätzlich besitzen einzelne Benchmarkwerte zudem nur eine beschränkte Aussagekraft. Erst wenn der Tester die Benchmark-Applikation wiederholt ausführt, erhält er zuverlässigere Werte.

Auch in Storage-Clustern trägt die Benchmark-Software bei applikationsspezifischen Tests unter definierten und dokumentierten Bedingungen dazu bei, das Leistungsverhalten zu optimieren und beispielsweise durch Storage-Tiering den Leistungsbedarf anwendungsspezifisch sinnvoll zu steuern.

Bonnie++

Bonnie++ [6] heißt ein bekanntes und bereits seit 1999 entwickeltes freies Benchmark-Werkzeug, das die Dateisystem-Performance misst. Dabei liest Bonnie++ die Lese- und Schreibzugriffe des getesteten Systems aus und zeigt auf der Kommandozeile die entsprechenden Werte an. Zusätzlich ermittelt das Werkzeug die Zahl der ausführbaren Suchfunktionen und die Zahl der Metadaten-Operationen pro Sekunde. Beides tut es, indem es Dateien löscht und anlegt und Metadaten ermittelt, zu denen beispielsweise die Dateigröße oder der Datei-Eigentümer gehören.

Die Software findet die Leistungswerte der gerade benutzten Partition des Massenspeichers heraus. Ein Vorteil: Liegen die Home-Verzeichnisse mehrerer Anwender auf jeweils eigenen Partitionen, kann die Software die Geschwindigkeit dieser Dateisysteme vergleichen.

Bonnie++ wartet in den Software-Repositories der gängigen Linux-Distributionen und lässt sich bequem über die Paketverwaltungen in das jeweilige Betriebssystem integrieren.

Die Software legt beim Start eine Datei an, welche die doppelte Größe des vorhandenen Arbeitsspeichers umfasst. Insbesondere Betreiber kleinerer Applikationsserver oder Desktoprechner mit großem Arbeitsspeicher sollten deshalb darauf achten, auf der jeweiligen Partition des Massenspeichers genügend freien Platz zu reservieren. Weil die Datenkollektionen größer ausfallen als der vorhandene Arbeitsspeicher, minimiert das den Einfluss des Datei-Cache auf die Messergebnisse.

Abbildung 1: Die Messergebnisse von Bonnie++ wirken etwas unübersichtlich.

Das Tool benötigt Administratorrechte und die Angabe eines Users über den Parameter »-u« (Abbildung 1). Startet der Tester Bonnie++ ohne eigentliche Parameter, zeigt die Software ihre Ergebnisse etwas unübersichtlich an. Über die passenden Parameter sorgt der Admin jedoch dafür, dass Bonnie++ die Ausgabe optisch ansprechender in einer Ergebnisliste als HTML-Datei sichert.

Um die zu erzeugen, benötigt der Admin lediglich den Befehl:

echo "Letzte-Zeile-der-Bonnie-Ausgabe" | bon_csv2html > /Pfad_zur_HTML-Datei

In diesem besonderen Fall landen Parameter und Testergebnisse in einer Tabelle (Abbildung 2).

Interpretation

Die Tabelle fasst die Testergebnisse in mehreren Spalten zum Schreib- und Leseverhalten des Massenspeichers zusammen. In den Spalten zu »Sequential Output« listet das Werkzeug die Schreibgeschwindigkeiten beim Aufruf einzelner Zeichen, Blöcke und beim Schreiben modifizierter Blöcke auf. Der Bereich »Sequential Input« zeigt dagegen die Werte beim Lesen einzelner Zeichen und ganzer Blöcke an. Zusätzlich ergänzt Bonnie++ diese Werte jeweils durch jene der auftretenden CPU-Belastung.

Abbildung 2: Eine tabellarische Übersicht macht die Messergebnisse des Benchmarking-Tools Bonnie++ besser nachvollziehbar.

Die Spalte »Random Seeks« liefert Werte, die sich ursprünglich an Messungen bei Massenspeichern mit mechanischen Komponenten orientieren. Sie geben an, wie viele Spurwechsel der Schreib- und Lesekopf einer Festplatte in einer Sekunde ausführt. Systeme mit modernen SSDs erzielen dabei naturgemäß signifikant höhere Werte als herkömmliche Festplatten.

Den Spalten »Sequential Create« und »Random Create« lässt sich entnehmen, wie schnell die Festplatte Daten liest, schreibt oder löscht. Tauchen hier vermehrt Plus-Symbole auf, arbeitet das System zu schnell für das Benchmark-Programm. In einem solchen Fall empfiehlt es sich, die Anzahl der Testdateien über den Parameter »-n Wert« etwas heraufzusetzen, um das Tool dann nochmals auf den Test loszulassen. Sinnvoll erscheinen dabei Werte zwischen 64 und 128. Bonnie++ benötigt dann zwar längere Zeit bis zum Abschluss des Tests, dafür liefert die Software aber auch meist nachvollziehbare Werte.

Mit Vorsicht sollten Tester die CPU-Belastungsangaben bewerten. Auf gängigen Multiprozessor-Maschinen mit vielen Kernen weisen hohe Auslastungswerte der CPU nicht zwangsläufig auf eine erdrückende Gesamtlast des Systems hin. Während sich die einzelnen Prozesse oft auf mehrere Prozessorkerne verteilen, berücksichtigt die Anzeige lediglich einen Kern. Das raubt diesen Werten die nötige Aussagekraft.

Störfeuer

Generell empfiehlt sich, dass die Tester ihre Messungen jeweils auf Maschinen ausführen, auf denen möglichst wenig weitere Prozesse aktiv sind, die Messergebnisse potenziell beeinträchtigen. Außerdem erweisen sich die Messwerte als umso zuverlässiger, je mehr Messreihen zur Verfügung stehen. Der Anwender sollte seine Tests daher in Zeitabständen mehrfach wiederholen, um anhand der Ergebnisse einen Durchschnittswert für das Leistungsvermögen der Massenspeicher zu erhalten.

Gnome Disks

Das auf Udisks basierende grafische Frontend Gnome Disks [7] ist in den Gnome-Desktop integriert. Das Programm läuft auch unabhängig von diesem und bietet eine Fülle von Optionen, um den im System vorhandenen Massenspeicher zu verwalten und zu pflegen (Abbildung 3). Dazu zählen auch Benchmark-Möglichkeiten. So darf der Admin über Gnome Disks nicht nur SMART-Werte einsehen und Selbsttests anschieben, sondern auch Einstellungen des Massenspeichers ändern, um etwa den Cache zu aktivieren oder auszuschalten.

Abbildung 3: Gnome Disks bietet eine Fülle von Funktionen für das Datenträger-Management.

Diese Einstellungen erreicht er über einen kleinen Button, der oben rechts in der Titelleiste wartet. Dahinter versteckt sich unter anderem die Option »Leistungstest für Laufwerk«. Wählt er diese aus, öffnet sich ein weiteres Fenster und zeigt dem Admin in einer übersichtlichen Tabelle Schreib- und Leseraten des aktiven Datenträgers sowie die entsprechenden Zugriffszeiten in Diagrammen (Abbildung 4).

Abbildung 4: Die Leistungswerte stellt Gnome Disks plastisch dar.

Die zugehörigen Tests laufen voreingestellt mit einer bestimmten Zahl von Datasets definierter Größe ab. Über den Button »Leistungstest starten« unten links im Fenster definiert der Nutzer zusätzlich eigene Vorgaben und bestimmt, mit welchen Messgrößen Gnome Disks die Tests absolviert. Dabei steht im Vergleich zu anderen Benchmark-Programmen nur eine eingeschränkte Zahl Optionen zur Wahl. Auch verschiedene I/O-Engines zur Geschwindigkeitsmessung unterstützt Gnome Disks nicht.

Im unteren Bereich der Leistungsanzeige findet der Anwender zudem die gewonnenen Durchschnittswerte in absoluten Zahlen wieder. Zu beachten ist, dass Gnome Disk für eingehängte Datenträger nur Lesetests ausführt, da es exklusiven Zugriff auf die Testpartitionen benötigt. Aktiviert der Nutzer für ein eingehängtes Laufwerk die Option »Schreib-Leistungstest ausführen« im erweiterten Dialog, bricht die Routine mit einer Fehlermeldung ab. Eingehängte Laufwerke darf der Admin jedoch vor dem Start der Tests aushängen, sofern es sich nicht um eine benutzte Partition handelt. Das klappt über den Auswurfbutton oben rechts in der Titelleiste.

Der Schreibtest des Programms arbeitet mit den vorhandenen Dateien und nur dann nicht destruktiv, wenn ihn der Anwender nicht unterbricht. Tut er es doch, kann es durchaus zu Datenverlusten kommen. Die Software-Autoren empfehlen daher, die vorhandenen Datenbestände auf dem Testlaufwerk vor dem Ausführen des Schreibtests zu sichern.

Cache-Speicher

Gnome Disks erlaubt es, den Cache zum Schreiben von Mess-Samples über den Menüpunkt »Laufwerkseinstellungen« auszuschalten. Das meint nicht den im Arbeitsspeicher vorhandenen Puffer für Schreibvorgänge, den das Betriebssystem für das zeitversetzte Schreiben von Daten auf den Massenspeicher verwaltet. Vielmehr betrifft es den vom Controller verwalteten Hardware-Schreibcache des Massenspeichers. Er lässt sich per Auswahlfeld und Schieberegler deaktivieren. Auch hier kann der Tester während des Benchmark den Cache ausschalten, um die ungefilterten Messwerte zu erhalten.

Fio

Fio (Akronym für Flexible I/O-Tester, [8]) ist ebenso wie Bonnie++ ein Kommandozeilen-Werkzeug, das Benchmarking von Input- und Output-Prozessen betreibt. Das unter GPL angebotene Programm steckt in den Software-Archiven aller gängigen Linux-Distributionen und lässt sich daher bequem über die Paketverwaltungen einspielen. Wer Fio manuell übersetzen will, findet den Quellcode auf der obigen Webseite.

Anders als bei Bonnie++ oder Gnome Disks entscheidet der Nutzer bei Fio, ob er eine einzelne Datei oder ein komplettes Blockdevice testen möchte. Dazu nutzt er den Parameter »–filename=Datei/Gerätename«. Dabei sollte er aber beachten, dass Fio Devices komplett überschreibt!

Syntax

Die Fio-Syntax verstehen auch Einsteiger. Sie ist leicht anzuwenden, fällt aber aufgrund vieler Konfigurationsoptionen aus dem Rahmen und erfordert Vorkenntnisse. In größeren Infrastrukturen und Storage-Umgebungen verwenden Admins Fio meist mit so genannten Jobdateien für sehr komplexe Messungen. Diese Dateien fassen die verschiedensten Parameter und Programmläufe in Form herkömmlicher Ini-Dateien zusammen. In die gehören die unterschiedlichen Parameter für jeden einzelnen Testlauf.

Fio simuliert I/O-Prozesse dabei wesentlich tiefgründiger als Gnome Disks oder Bonnie++. So darf der Nutzer in einer Jobdatei nicht nur festlegen, welche Form von Lese- und Schreibtests Fio absolvieren soll und mit welchen Dateigrößen. Er darf auch die Workload auf mehrere Dateien verteilen oder die Testreihe für mehrere Threads splitten.

Die Jobdatei startet mit einer Sektion »[global]«, in die grundlegende Parameter für alle folgenden Jobs gehören. Darunter folgen die einzelnen Jobs, die der Admin nach eigenem Gusto benennt. Soll Fio nur einen Job in der Datei ausführen, kann er die Sektion »[global]« streichen. Daneben darf er in den Jobdateien auch Variablen eintragen, um komplexe Eingaben zu vereinfach und damit auch die Fehleranfälligkeit zu senken.

Übernimmt Fio nur gelegentlich einzelne Jobs, gibt der Admin die Parameter direkt am Prompt ein, ohne eine gesonderte Jobdatei zu erzeugen. Die Dokumentation [9] erläutert die Unterschiede zur Eingabe über Jobdateien, die der Admin beachten muss.

Entscheidet er sich für eine Jobdatei, muss er zudem berücksichtigen, dass Fio drei so genannte Keywords intern nutzt, die der Admin nicht ohne Weiteres in die Datei schreiben darf. Diese lauten »$pagesize«, »$mb_memory« und »ncpus« und bezeichnen die voreingestellte Page Size des Systems, die Arbeitsspeichergröße und die Anzahl der verfügbaren Prozessoren. Er darf diese Schlüsselbegriffe in Jobdateien verwenden, wenn er explizit die damit zusammenhängenden Werte modifizieren möchte.

Vorgehensweise

Auch wenn er Fio ohne Jobdatei einsetzt, kann der Nutzer aufgrund der detaillierten Konfigurationsoptionen Lese- und Schreibtests gesondert oder kombiniert starten. Beachten muss er, dass Fio für die benutzerdefinierten Tests entsprechende Dateien anlegt. Deren Größe bestimmt der Anwender wahlfrei. Schiebt er kombinierte Lese- und Schreibtests mit mehreren Datasets an, beansprucht ein Testdurchlauf durchaus längere Zeit. Die Ergebnisse fallen entsprechend umfangreich aus (Abbildung 5).

Abbildung 5: Auch Fio gibt bei größeren Tests zu viele Ergebnisse aus. Übersicht schaffen dann erst externe Tools.

Der Tester darf das Testprotokoll auch in Dateien sichern. Dazu muss er einen entsprechenden Parameter und den zugehörigen Dateinamen angeben.

Grafisch

Fio liefert insbesondere bei kombinierten Tests sehr umfangreiche Details. Zugleich ist die Syntax des Werkzeugs aufgrund seiner zahlreichen Funktionen höchst komplex. Eine grafische Ansicht der Messwerte erleichtert das Verständnis der Leistungsfähigkeit eines Massenspeichers wesentlich. Um sie zu erzeugen, eignet sich am besten das Programm Fio2gnuplot, das sich bereits im Lieferumfang von Fio befindet.

Will der Tester es nutzen, installiert er zusätzlich aus den Repositories das Werkzeug Gnuplot. Um Grafiken aus den Testergebnissen von Fio zu gewinnen, muss das Tool diese Testläufe protokollieren und Logdateien anlegen. Dabei gibt es drei Arten von Logdateien. Diese merken sich jeweils die Werte für die Bandbreitenmessung, die IOPS und die Latenzen. Der Tester erzeugt sie über je eigene Parameter.

Abbildung 6: Das Programm Fio2gnuplot hilft dabei, die Messwerte grafisch aufzubereiten.

Die Logdateien dienen dann als Grundlage für Fio2gnuplot, das daraus mehrere Einzel- und Vergleichsgrafiken generiert (Abbildung 6). Weitere Parameter beeinflussen dann die grafischen Darstellungen im Detail. Mehr zu diesen verrät die Dokumentation von Fio2gnuplot [10]. Die Grafiken legt die Software schließlich im PNG-Format an, so kann der Nutzer sie problemlos weiterverarbeiten.

Iozone

Das als Freeware angebotene Iozone [11] erlaubt ebenfalls zahlreiche unterschiedliche Performance-Messungen mit Massenspeichern. Das Kommandozeilen-Programm lässt sich aus den Standard-Repositories der meisten Linux-Distributionen installieren, auf der Webseite wartet der Quellcode.

Abbildung 7: Auch Iozone bietet eine enorme Informationsvielfalt im Terminal.

Iozone kennt ebenfalls eine ganze Reihe von Parametern (Abbildung 7) und eignet sich daher für zahlreiche Einsatzszenarien. Als Besonderheit spuckt das Programm seine Messergebnisse auch in Form von XLS-Dateien aus, Microsofts Excel-Dateiformat. Das erlaubt es nicht nur, die Werte in einer Tabellenkalkulation übersichtlich darzustellen. Dank der dort vorhandenen Grafikfunktionen erzeugt der Tester auch im Handumdrehen aussagekräftige Diagramme (Abbildung 8). Alternativ gibt er einen Export-Dateinamen im ODS-Format an, dem nativen Format von Open Office und Libre Office.

Abbildung 8: Dank Libre Office punktet Iozone mit schönen Messungsgrafiken.

Messverfahren

Iozone kennt insgesamt 13 unterschiedliche Verfahren, um die Lese- und Schreibgeschwindigkeit eines Massenspeichers zu ermitteln. Zudem misst die Software die CPU-Auslastung in Abhängigkeit von den Geschwindigkeitstests. Die einzelnen Schreib- und Lesetests darf der Tester außerdem nach Gutdünken miteinander kombinieren.

Setzt er die einzelnen Parameter geschickt ein, simuliert der Anwender die für sein spezielles Anwendungsszenario wichtigen I/O-Prozesse und erhält individuell zugeschnittene Ergebnisse. Die dafür nötigen Testdateien legt Iozone voreingestellt mit einer Größe zwischen 64 KByte und 512 MByte an, was der Tester ändern kann.

Die Daten-Records erzeugt Iozone mit voreingestellten Größen zwischen 4 KByte und 16 MByte. Deren Umfang ist adaptierbar, etwa für Szenarien, in denen der Admin die Performance des Massenspeichers bei Datenbank-Anwendungen simuliert. Zudem bringt das Tool einen automatischen Modus mit, der alle Testreihen durchläuft.

Darstellung

Dank der passenden Parameter am Prompt liefert Iozone zügig die gewünschten Ergebnisse. Will der Admin eine Datei-Ausgabe im XLS- oder ODS-Format, stellt das Terminal auch deren Inhalt tabellarisch dar. Dabei gibt Iozone nicht nur die Messwerte wieder, sondern listet auch die Einstellparameter im Klartext auf. So bemerkt der Nutzer Fehler oder Versäumnisse leichter.

Fazit

Die vier behandelten Benchmark-Lösungen konzentrieren sich auf unterschiedliche Anwendungsszenarien: Während Gnome Disks und auch Bonnie++ sich eher für Desktopsysteme und kleinere Server eignen, bespielt Iozone auch größere Infrastrukturen (Tabelle 1).

Fio lässt sich zwar auch auf Einzelplatzsystemen oder exklusiven Datei- oder Applikationsservern einsetzen, fühlt sich allerdings in Storage-Umgebungen am wohlsten. In Infrastrukturen mit Storage-Tiering trägt die Software je nach Anforderungsprofil dazu bei, Performance-Engpässe ausfindig zu machen. Da Fio spezielle Einstellungen für herkömmliche Festplatten und für SSDs in solchen meist gemischten Umgebungen kennt, berücksichtigt es auch Hardware-spezifische Eigenheiten.

Zu bemängeln sind die bei den Tools teils nur sehr rudimentär ausgeprägten Fähigkeiten, die Messergebnisse grafisch auszugeben. Die Programme liefern eine Fülle an Informationen, die schnell unübersichtlich wird. Wünschenswert wären daher besser integrierte und leistungsfähigere Optionen, um die Messwerte grafisch aufzubereiten.