© Antonio Diaz, 123RF

Mit einem klaren Fokus auf Ceph positioniert Suse das Werkzeug Open Attic nun als umfassende und grafisch bedienbare Verwaltung für den verteilten Objektspeicher.

Als vor etlichen Jahren die ersten produktionsreifen Implementierungen von Objektspeichern auf den Markt kamen, wagte kaum ein Beobachter eine Prognose, wie erfolgreich die neue Technik sein würde. Man ahnte aber, dass sie genug disruptives Potenzial hat, um den Storage-Markt mit seinen etablierten Herstellern neu zu mischen.

Genau das ist inzwischen passiert: Wer heute skalierbaren Speicher etwa für eine Cloudplattform braucht, holt sich zwar oft auch Angebote von klassischen Storage-Herstellern, landet dann aber oft trotzdem bei Ceph & Co.

Gerade Ceph ist ein hervorragendes Beispiel dafür, mit welcher Wucht die skalierbaren Speicher sich in den vergangenen Jahren ihre Nische erkämpft haben. Die technische Lösung überzeugte von Anfang an, seit sie aber von Red Hat unter die Fittiche genommen wurde, steckt auch genügend kommerzielle Energie hinter dem Produkt.

Einen wunden Punkt gab es bei Ceph allerdings dennoch: Während die alteingesessenen Storage-Hersteller ihre Lösungen mit bunten Management-GUIs auslieferten, die alle Arbeiten per Mausklick ermöglichten, mussten sich die Admins von Ceph-Clustern viel zu lange mit der Kommandozeile begnügen.

Open Attic schuf Abhilfe

Zwar entwickelte Inktank, die Ceph-Geburtsstätte, ein eigenes GUI namens Calamari, doch das erlangte nie große Verbreitung. Da kam es ganz gelegen, dass IT-Novum vor mehreren Jahren als damaliger Eigentümer von Open Attic [1] beschloss, Support für Ceph in seine Speicherverwaltung einzubauen.

Zwischenzeitlich wechselte Open Attic den Besitzer: Suse beschloss, sich das Produkt einzuverleiben, nachdem man bereits einige Zeit als Technologiepartner mit IT-Novum kooperiert und seine Wünsche im Hinblick auf Open Attic und Ceph zum Ausdruck gebracht hatte. Das Linux-Magazin berichtete in der Vergangenheit mehrmals über Open Attic und auch über dessen erweiterte Ceph-Funktionen ([2], [3]).

Was der Nutzer erhält, wenn er das Werkzeug heute einsetzt, hat mit den damaligen Versionen von Open Attic nicht mehr viel zu tun. Seit der Übernahme durch Suse liegt der Fokus klar darauf, ein funktionales, nützliches Tool für die Verwaltung eines Ceph-Clusters zu sein. Dafür hat man diverse alte Zöpfe abgeschnitten. Die in alten Open-Attic-Versionen vorhandenen Features zur Konfiguration von lokalem Speicher (zum Beispiel via LVM) suchen Anwender in aktuellen Versionen von Open Attic vergeblich, sie sind einfach entfallen.

Ganz uneigennützig ist die Arbeit von Suse an Open Attic nicht: Der Hersteller hofft, das Werkzeug als potentes Ceph-GUI in sein Storage-Portfolio integrieren zu können, das ebenfalls auf Ceph setzt.

Open Attic und Deep Sea

Eine neue Open-Attic-Version liefert Grund genug, wieder einmal einen genaueren Blick auf das Produkt zu werfen. Wie gestaltet sich die Verwaltung eines Ceph-Clusters mit Release 3.5? Welche Funktionen lassen sich tatsächlich über Open Attic erreichen und was muss der Admin weiterhin per Kommandozeile erledigen? Bietet das Tool echten Mehrwert bei der Überwachung eines Ceph-Clusters – eine Aufgabe, die sich allein per GUI ja gar nicht erledigen lässt? Der folgende Artikel verrät, was Admins vom aktuellen Open Attic erwarten dürfen, und gibt einen Ausblick auf die derzeitigen Pläne der Entwickler.

Bevor sich dieser Artikel jedoch mit dem aktuellen Open Attic in sämtlichen Details auseinandersetzt, ist ein kleiner Exkurs nötig: Damit das aktuelle Open Attic überhaupt nutzbar ist, setzt es einen Ceph-Cluster voraus, der mit Deep Sea aufgesetzt worden ist und sich auch mit Deep Sea konfigurieren lässt. Der Begriff Deep Sea dürfte vielen Admins allerdings selbst dann noch völlig unbekannt sein, wenn sie bereits seit Jahren mit Ceph zu tun haben. Was hat es also damit auf sich?

Wenig verwunderlich ist Deep Sea [4] wie auch Open Attic ein Suse-Produkt. Doch anders als bei Open Attic handelt es sich bei Deep Sea um eine Eigenentwicklung, die direkt aus dem Hause Suse stammt. Vereinfacht ausgedrückt kümmert sich Deep Sea um das Deployment von Ceph-Clustern. Es basiert auf Salt Stack und ist im Wesentlichen eine Sammlung von Salt-Stack-Formeln, die die für einen Ceph-Cluster benötigten Komponenten ausrollen.

Universelles Ceph-Deployment

Mit Deep Sea widmet sich Suse einem Problem, das die Ceph-Gemeinde seit Jahren stört: Ein universell einsetzbares, gut funktionierendes Deployment-Werkzeug existierte für Ceph nämlich lange nicht. Freilich mag manch erfahrener Ceph-Jockey nun einwenden, dass »ceph-deploy« eigentlich ein gut abgehangenes Werkzeug sei, mit dem sich die für Ceph benötigten Komponenten zuverlässig ausrollen lassen. Das ist aber nur die halbe Wahrheit.

Denn »ceph-deploy« leidet unter einem fundamentalen Problem: Es lässt sich kaum automatisieren. Möchte der Admin einen Ceph-Cluster mit »ceph-deploy« aufsetzen, benennt er zunächst einen Admin-Host in seinem Setup, der »ceph-deploy« beherbergt. Dort hinterlegt er auch die eventuell benötigten Konfigurationsdateien und führt anschließend eine ziemlich lange Reihe von Befehlen aus, um Ceph auf seine Zielsysteme zu bugsieren.

Bei einer großen Anzahl von Festplatten (im Ceph-Sprech Object Storage Daemons, kurz OSDs) ist das ausgesprochen mühsam: Pro Festplatte legt der Admin dann nämlich per »ceph-deploy«-Aufruf fest, dass diese zum OSD werden soll. Kommen Sonderwünsche hinzu wie SSDs, die den OSDs als Heimat für deren Journale zur Seite gestellt stehen sollen, geraten die »ceph-deploy«-Aufrufe noch komplizierter. Kurzum: Einen großen Ceph-Cluster setzt mit »ceph-deploy« niemand komfortabel und auch nicht automatisiert auf.

Verschiedene Ansätze im Netz zeugen bis heute von den beschriebenen Problemen: So existieren etwa Wrapper für »ceph-deploy«, die für Puppet, Ansible oder Chef geschrieben sind. An vielen Stellen haben sich Entwickler sogar dazu entschlossen, eine Automationslösung für das Ceph-Deployment zu bauen, die auf »ceph-deploy« komplett verzichtet und die benötigten Befehle im Hintergrund gleich selbst aufruft. Wirkliche Verbreitung fanden all diese Ansätze jedoch bis heute nicht.

Interessanterweise geht Suse mit Deep Sea in eine ähnliche Richtung: Die für den Konfigurationsmanager Salt Stack geschriebenen Formeln verzichten komplett auf »ceph-deploy« und implementieren stattdessen die benötigten Funktionen selbst. Anders als bei den diversen Ansätzen, die sich im Netz finden, steckt bei Suse aber eine große Prise kommerzieller Antrieb in Deep Sea. Letztlich ist der Hersteller mit seinem Storage-Produkt Suse Enterprise Storage ja selbst als Ceph-Anbieter am Markt vertreten, folglich herrscht in Nürnberg großes Interesse an einem funktionierenden Deployment-Werkzeug für Ceph.

In Form von Deep Sea liegt dies nun tatsächlich vor. Zwar ist es in aktuellen Versionen von Suse Enterprise Storage noch als “Feature Preview” markiert, doch wer Deep Sea etwa auf Open Suse bereits ausprobieren möchte, kann das ohne Probleme tun.

Deep Sea stellt “ceph-deploy” in den Schatten

Das Featureset von Deep Sea ist durchaus beachtlich. Voraussetzung ist eine Betriebssystem-Grundinstallation, aktuell bevorzugt mit Open Suse oder dem adäquaten Enterprise-Produkt SLES. Auf anderen Distributionen liegt im Augenblick offenbar nicht der Fokus der Entwicklung, denn auf aktuellen Versionen etwa von Ubuntu lässt sich Deep Sea nicht nutzen. Das schränkt indirekt auch die Verfügbarkeit von Open Attic ein: Weil es hart von Deep Sea abhängt, ist Open Attic momentan auf die Distribution aus Nürnberg festgenagelt.

Immerhin: Im Bugtracker von Deep Sea findet sich ein Ticket, das das Funktionieren dieser Umgebung auch für Ubuntu sicherstellen soll. Laut Aussage der Entwickler kommen sie diesem Ziel tatsächlich auch sukzessive näher. Allzu lange dürfte es also nicht mehr dauern, bis auch Ubuntu-basierte Ceph-Cluster wieder mitspielen dürfen.

Von der Distributionspolitik einmal abgesehen bietet Deep Sea quasi ein Wunschlos-glücklich-Paket: Aus einer blanken Betriebssysteminstallation wird dank der Salt-Stack-Lösung in Windeseile ein waschechter Ceph-Cluster, der kaum anders daherkommt als ein mit »ceph-deploy« zum Leben erweckter. Das mühsame Definieren von Festplatten und Hosts, die zum Ceph-Cluster gehören sollen, entfällt dabei komplett, denn Deep Sea verfügt über einen eingebauten Discovery-Mechanismus und nimmt für einzelne Systeme eine Vorkonfiguration auf Best-Effort-Basis vor.

Natürlich steht es dem Admin frei, jede automatisch festgelegte Konfiguration händisch zu ändern, bevor es zum tatsächlichen Ceph-Rollout kommt. Realisiert ist das über ein mehrstufiges Deployment-Modell, das darauf beruht, dass einzelnen Schritten der Ceph-Installation feste Stages zugeordnet sind.

An dieser Stelle nutzt Deep Sea eine Funktion, die bei Salt Stack – anders als bei anderen Automatisierern – bereits zum Lieferumfang gehört: In Salt Stack lässt sich für verschiedene Arbeitsschritte auf mehreren Servern eine Reihenfolge festlegen.

Im Ceph-Kontext ist das nützlich, weil erst auf bestimmten Servern einzelne Schritte abgeschlossen sein müssen, bevor die nachfolgenden Arbeiten überhaupt erledigt werden können. In feinstem PR-Slang versprechen die Deep-Sea-Entwickler ihren Admins jedenfalls ein “echtes Lifecycle-Management” eines Ceph-Clusters, und die Deployment-Stages von Deep Sea halten dieses Versprechen durchaus ein.

Zusatzdienste

Neben dem Ausrollen eines Ceph-Clusters absolviert Deep Sea übrigens auch noch eine Vielzahl zusätzlicher Aufgaben. Wer Ceph etwa mittels Prometheus sowie Grafana überwachen möchte, rollt die entsprechenden Dienste einfach mittels Deep Sea auf einem dafür ausgewählten Host aus.

Und siehe da: Deep Sea macht auf Admin-Zuruf aus einem Zielsystem auch einen Open-Attic-Knoten, installiert also das Ceph-GUI bei Bedarf sogar selbst. Wer das Ceph Object Gateway möchte, um per Amazon-S3-Protokoll auf seinen Objektspeicher zuzugreifen, findet dafür in Deep Sea ebenfalls eine Salt-Stack-Formel.

Auch Ceph-FS-Dateisysteme legt das Werkzeug an; genauso kann es Ganesha installieren und konfigurieren, um ein in einem Ceph-Cluster liegendes Ceph-FS per NFS zu exponieren. Und wer stattdessen lieber per I-SCSI auf RBD-Geräte zugreifen möchte, der richtet diese Funktion per Salt Stack ebenso komfortabel ein.

Lange Rede, kurzer Sinn: In Deep Sea finden Admins die allermeisten Funktionen vor, die sie benötigten, um einen Ceph-Cluster mit allen gewünschten Komponenten zum Laufen zu bekommen. Wozu ist Open Attic dann noch gut? In Ceph sind nicht nur die einzelnen Clusterdienste auszurollen – auch im Inneren hat ein Cluster noch so manche Stellschraube, und da kommt dann Open Attic wieder ins Spiel.

Zentrale Aufgaben

Wer Open Attic in Version 2 gewohnt ist, fühlt sich in Version 3 unwillkürlich wie in einer völlig anderen Welt. Ganz falsch ist das auch nicht: Entstand für Open Attic 2 extra noch ein neues GUI, um die etwas altbackenen Vorgänger loszuwerden, hat die Oberfläche von Open Attic 3 mit jener der Version 2 praktisch keine Gemeinsamkeiten mehr.

Open Attic 3 ist tatsächlich von Kopf bis Fuß auf Ceph eingestellt. Funktionen für andere Dienste sind komplett verschwunden. Wer sie benötigt, muss also mit der alten Open-Attic-Version vorliebnehmen, die Suse weiterhin pflegt und wenigstens mit Wartungs-Releases versorgt. Neue Funktionen sollten Nutzer hier aber nicht mehr erwarten.

Schnell fällt auf, dass Open Attic 3 zwei zentrale Funktionen erfüllt: Es bietet dem Administrator einerseits unter einer einheitlichen Oberfläche den Überblick über seinen Ceph-Cluster. Andererseits ermöglicht es Open Attic 3 dem Admin, verschiedene Konfigurationsarbeiten für seinen Ceph-Cluster mittels hübscher grafischer Oberfläche durchzuführen, wo zuvor noch ein Ausflug auf die Konsole notwendig gewesen wäre.

Damit der Admin überhaupt irgendetwas in Open Attic sieht, richtet er dieses zunächst so ein, dass es sich mit dem zu Deep Sea gehörenden Admin-API verbindet. Rollt Deep Sea dann Open Attic selbst aus, so hinterlegt es die passende Konfiguration gleich mit. Der Clou: Weil Deep Sea per Admin-API Informationen über alle Ceph-Cluster ausgibt, die es verwaltet, fließen dieselben Informationen automatisch auch an Open Attic, sobald es mit Deep Sea verbunden ist (Abbildung 1).

Abbildung 1: Damit Open Attic 3 perfekt funktioniert, verbindet der Admin es zunächst mit dem von Deep Sea betriebenen Admin-API.

Sind in der Open Attic-Konfiguration zudem passende Zugangsdaten für Ceph, für das von Deep Sea ausgerollte Grafana sowie für das Ceph Object Gateway hinterlegt, steht dem Admin der komplette Funktionsumfang von Open Attic zur Verfügung. Und der kann sich sehen lassen.

Benutzer für das Ceph Object Gateway

Eine lästige Aufgabe bei der Wartung eines Ceph-Clusters ist die interne Benutzerverwaltung des Ceph Object Gateway. Dies ist nicht zu verwechseln mit Ceph X, der Benutzerverwaltung von Ceph selbst: Per Ceph X steuert der Admin, welche Clients unmittelbar Zugriff auf den Objektspeicher erhalten. Richtet er etwa Ceph als Basis für eine Open-Stack-Cloud ein, müssen die einzelnen Computingknoten per Ceph X mit dem Objektspeicher kommunizieren, um Volumes für virtuelle Maschinen anzulegen.

Beim Ceph Object Gateway hingegen geht es um etwas anderes: Das Produkt, das früher unter dem Namen “Rados Gateway” (»rgw«) firmierte, bietet eine Schnittstelle auf REST-Basis für den Objektspeicher an. Dafür unterstützt es zwei Protokolle, nämlich Amazons S3 einerseits und Open Stacks natives Swift-Protokoll andererseits.

Sowohl S3 als auch Swift verlangen jedoch, dass Nutzer sich mit einer Kombination aus Usernamen und Passwort anmelden – und zu allem Überfluss unterscheiden sich die nötigen Parameter auch noch zwischen den beiden Protokollen. Möchte der Admin die fraglichen Nutzer selbst anlegen, ist das eine langwierige und nervige Angelegenheit, zumal es zwar für die Konsole entsprechende Werkzeuge gibt, deren Bedienung aber nicht sonderlich intuitiv ist.

Genau deshalb war eine der ersten Funktionen, die die Open-Attic-Leute ihrer Version 3 gestiftet haben, eine grafische Oberfläche für die Verwaltung von Ceph-Object-Gateway-Nutzern. Der Admin gibt dabei bloß noch den Usernamen, den Klarnamen sowie die E-Mail-Adresse des Nutzers an und setzt diverse Haken für Funktionen – ein Klick legt den Nutzer für das Object Gateway an und zeigt gleich auch die Credentials an, mit denen der Login anschließend klappt. Auf die gleicher Weise lassen sich Benutzer deaktivieren oder löschen.

Open Attic ermöglicht es so, die Verwaltung der Object-Gateway-Nutzer in die Hände von Personen zu übergeben, die keine ausgebufften Konsolen-Jockeys sind (Abbildung 2).

Abbildung 2: Die lästige Verwaltung von Ceph-Object-Gateway-Nutzern per Konsole gehört dank Open Attic 3 der Vergangenheit an.

Basis-Funktionen nutzen

Ein Ceph-Cluster bietet verschiedene Parameter, über die sich sein Verhalten steuern lässt. Eine solche Stellschraube ist die Anzahl der in Ceph vorhandenen Pools: Viele Admins bevorzugen es, mehrere Pools für verschiedene Aufgaben zu nutzen. Ein Pool könnte etwa für Open-Stack-Volumes vorgesehen sein und ein anderer für Open-Stack-Images.

Ab Werk haben auch Ceph-FS und das Ceph Object Gateway eigene Pools. Bisher ließen sich neue Pools aber nur per Konsole einrichten. Open Attic bietet nun eine simple Eingabemaske, über die sich neue Pools problemlos in Ceph anlegen lassen – und direkt nach dem Klick sind die Änderungen auch aktiv.

Ceph-FS und NFS im Tandem

Das NFS-Protokoll hat in den vergangenen drei Jahrzehnten gute Dienste geleistet, wenn es darum ging, dasselbe Dateisystem für verschiedene Clients via Netzwerk zur Verfügung zu stellen. Ceph-FS bietet zwar vergleichbare Funktionalität, doch hat NFS im direkten Vergleich den unschlagbaren Vorteil, dass es für nahezu jedes Betriebssystem einen funktionierenden NFS-Client gibt.

Die Ceph-Entwickler hatten deshalb eine einleuchtende Idee: Wer auf ein bestehendes Ceph-FS einen möglichst leichtfüßigen NFS-Daemon setzt, kann die Vorteile beider Lösungen – nahtlose Skalierbarkeit sowie ein so gut wie überall unterstütztes Protokoll – perfekt miteinander kombinieren.

Mittlerweile lässt sich dieses Konstrukt mit dem NFS-Userspace-Daemon NFS-Ganesha problemlos implementieren. Deep Sea unterstützt das Ausrollen eines solchen Setups, und in Open Attic haben die Entwickler mittlerweile auch die Oberfläche für diese Aufgabe geliefert: Der Admin erstellt per Mausklick einen NFS-Ganesha-Export, der sich unmittelbar im Anschluss auf den Clients per Mount-Befehl wie üblich einhängen lässt. Mittlerweile kann Ganesha sogar andere Storage-Backends als Ceph-FS benutzen, etwa das Ceph Object Gateway. Auch diese Funktionalität bildet Open Attic ab (Abbildung 3).

Abbildung 3: Den Export für NFS auf Basis eines Ceph-FS-Dateisystems legt der Admin in Open Attic bequem per GUI an.

Wer für das Rados Block Device (»rbd«) ein virtuelles Volume braucht, der kam bisher um die Kommandozeile ebenfalls nicht herum. Dank Open Attic 3 ist das jetzt aber anders: Per Mausklick hat der Admin nun die Möglichkeit, ein neues RBD anzulegen, seine maximale Größe zu bestimmen und noch verschiedene andere Parameter festzulegen, für die sonst recht umständliche Klimmzüge mit »rbd« nötig gewesen wären. Auch an dieser Stelle sorgt Open Attic also für eine echte Verbesserung und Arbeitserleichterung.

I-SCSI

Nicht aus den Augen verlieren dürfen viele Admins auch I-SCSI, denn bis heute ist das SCSI-über-TCP-Verfahren die einzige produktiv nutzbare Möglichkeit, RBD-Volumes aus einem Ceph-Cluster unter Windows zu verwenden. Ein I-SCSI-Client steht zwar für Windows bereit, aber einen RBD-Client sucht man vergeblich.

Wert also I-SCSI-Targets auf Ceph zugreifen lassen will, sollte dafür separate Server nutzen, die sich mittels Deep Sea problemlos für diesen Zweck vorbereiten lassen. Betreibt der Admin die I-SCSI-Targets direkt auf den Knoten des Ceph-Clusters, führt das im schlimmsten Fall zu einem Deadlock.

Kommen hingegen separate Server zum Einsatz, richtet Open Attic auf diesen klaglos eine Target-IQN ein, wenn der Admin die dafür vorgesehene Oberfläche im Programm nutzt. Hier wird auf eindringliche Weise deutlich, wie komfortabel sich das Gespann aus Deep Sea und Open Attic anfühlt.

Den Überblick bewahren

Neben den diversen Konfigurationsmöglichkeiten, die Open Attic bietet, will das Programm dem Admin auch eine schnelle Übersicht über alle relevanten Faktoren des Clusters liefern, und zwar unter einer einfachen Oberfläche. Zur Überwachung des Ceph-Clusters setzt Deep Sea auf ein klassisches Gespann aus Prometheus und Grafana; allzu verständlich wäre es gewesen, würden die Open-Attic-Entwickler in ihrem Dashboard einfach die Grafana-URL anzeigen, auf dass der Admin sich dort per Browser anmelde.

Doch so leicht machen es sich die Nürnberger nicht: Open Attic bindet verschiedene Graphen aus Grafana nativ in die eigene Oberfläche ein, etwa die Last auf einzelnen Servern oder die Auslastung einzelner OSDs. Vorhandene Einheiten innerhalb von Ceph, etwa Pools, RBD-Devices und viele andere Parameter lassen sich ebenfalls per Mausklick schnell anzeigen (Abbildung 4).

Abbildung 4: Das Dashboard in Open Attic 3 ist aus Grafana eingebunden und gibt Details zum Zustand der Ceph-Installation preis.

Im Alltag birgt das enorme Vorteile: Verhält sich Ceph etwa eigenartig, weil ein Server ausgefallen ist oder wenigstens nicht mehr wie üblich funktioniert, lassen sich die Gründe dafür in Open Attic mit einem Blick erkennen (Abbildung 5).

Abbildung 5: Über den Zustand des Clusters und über den einzelner Knoten vermittelt Open Attic 3 einen schnellen Überblick.

Fazit

Die Konzentration auf die Speichertechnologie Ceph tut Open Attic gut. Ceph ist im Gegensatz zu den vielen Speicheroptionen, die Open Attic zuvor unterstützte, zukunftssicher. Ebenso massiv profitiert Open Attic davon, dass Suse das Produkt nun hart an das eigene Ceph-Deployment-Werkzeug Deep Sea koppelt: Dadurch ergeben sich an verschiedenen Stellen Möglichkeiten, die zuvor – wenn überhaupt – nur mit sehr viel Aufwand machbar gewesen wären. Wer einen Ceph-Cluster betreibt oder plant, erhält in der Kombination von Deep Sea und Open Attic ein äußerst mächtiges Gespann, um sich die Aufgabe zu erleichtern.

Ein Wermutstropfen bleibt allerdings: Anders als frühere Versionen von Open Attic lässt sich Open Attic 3 nur mit SLES oder Open Suse betreiben. Wer etwa Ubuntu nutzten will, schaut in die Röhre. Wann Open Attic andere Distributionen wieder unterstützt, war bei Redaktionsschluss nicht klar – aber die Entwickler arbeiten daran.