© vinnstock, 123RF

Abgespeckte Kubernetes-Distributionen richten sich nicht nur an Einsteiger, sondern zielen auch auf den Edge- und IoT-Bereich ab. Die Bitparade sieht sich Minikube, Microk8s und K3S an.

Der Container-Orchestrierer Kubernetes [1] etabliert sich gerade als Allround-Lösung, um containerbasierte Anwendungen, Dienste und Ressourcen zu verwalten. Sie hilft nicht nur dabei, die Dienste und ihre Abhängigkeiten zu konfigurieren und zu vernetzen; sondern verteilt die Dienste auch auf die vorhandene Infrastruktur aus VMs und Bare-Metal-Servern.

Zugleich wacht die ursprünglich von Google entwickelte Software über die Gesundheit der im Cluster verfügbaren Nodes, Pods und Container (Abbildung 1). Kubernetes bringt dafür Kontrollprozesse mit, die den jeweiligen Istzustand des Clusters an den vom Admin deklarierten Sollzustand anpassen. Somit unterwirft Kubernetes die Container keiner statischen Regelsteuerung.

Abbildung 1: Grob vereinfachte Architektur von Kubernetes: Im Zentrum wacht das API auf dem Master Node. Darüber verwaltet der Admin die Worker Nodes, die ihre Dienste redundant im Internet anbieten.

Kubernetes eignet sich für mittlere und große dislozierte On-Premise-Infrastrukturen. Zugleich bieten die großen Public-Cloud-Anbieter (Amazon, Google, Microsoft, IBM) Kubernetes als schlüsselfertige Lösung an (Managed Kubernetes). Viele Nutzer verteilen ihre Kubernetes-Cluster aus HA- und Sicherheitsgründen zudem auf mehrere Rechenzentren und Public-Cloud-Anbieter.

Da die Technologie komplex und innovativ ist, bringt sie eigene Fachbegriffe mit und stellt damit Einsteiger, aber auch Entwickler, vor eine stark erhöhte Lernkurve. Inzwischen gibt es aber mehrere Test- und Lernumgebungen, die es erlauben, schnell lokale Kubernetes-Cluster aufzubauen und produktiv zu nutzen. Die Bitparade stellt drei Vertreter vor und prüft, welche Bedienschnittstellen sie ihren Anwendern anbieten.

Groß versus klein

Ursprünglich sollte Kubernetes auf mittleren und großen Infrastrukturen in verteilten Rechenzentren und Cloud-Umgebungen laufen. Inzwischen rücken unter dem Stichwort Edge Computing [2] vermehrt Technologien in den Fokus, die IT-Umgebungen dezentralisieren. Das hängt auch mit einer zunehmenden Verbreitung des Industrial Internet of Things (IIoT [3]) zusammen. Dabei geht es darum, Sensor- und Controller-Daten lokal zu gewinnen und auch gleich auf in der Nähe gelegenen Servern zu verarbeiten.

Die Nähe ist wichtig, weil das Verarbeiten in der Cloud oder in zentralisierten Rechenzentren mehrere Probleme aufwirft: Nicht nur müssten die Betreiber riesige Rechenkapazitäten vorhalten, sondern auch entsprechende Breitbandanbindungen, um die Datenflut zügig zu transportieren. Wollen Unternehmen die im IIoT gewonnenen Daten in Echtzeit verarbeiten, torpedieren die Latenzzeiten beim Einsatz zentralisierter Rechenzentren dieses Ziel.

Doch Kubernetes funktioniert auch in kleineren, dezentralisierten Umgebungen. Tatsächlich streben die Entwickler von Microk8s und K3s den Einsatz im IoT- und Edge-Umfeld explizit an: Während sich Microk8s auf der Webseite [4] als Zero-ops-Kubernetes für Workstations und Edge/IoT bewirbt, wird K3s nach eigener Aussage für IoT & Edge Computing gemacht [5]. Tatsächlich gibt es auch reale Einsatzszenarien von Kubernetes im Edge-Bereich: Die amerikanische Fastfood-Kette Chick-Fil-A setzte die Containerorchestrierung bereits 2018 in ihren Filialen ein [6], Rancher Labs berichtet von einem Smart-City-Projekt in China [7].

Die leichtgewichtigen Kubernetes-Distributionen laufen lokal auf einer Workstation, auf dem Notebook und auf ARM-Boards. So testen Entwickler und Anwender Kubernetes auch für den Edge- und IoT-Computing-Einsatz. Zugleich schlagen die Micro-Kubernetes-Distributionen eine Brücke zwischen dezentralen Strukturen und Cloud-Instanzen.

Minikube

Die Minikube-Macher [8] greifen den Edge-Ansatz bislang nicht auf, sondern preisen ihre Software für Lernzwecke und die Anwendungsentwicklung an. Das unter der Apache-Lizenz stehende Programm erlaubt es Anwendern, einen Single-Node-Kubernetes-Cluster zu installieren. Dazu brauchen sie weder einen Cloud-Zugang noch einen dedizierten Server: Minikube läuft auf dem lokalen Rechner in einer virtuellen Maschine, etwa in Oracles Virtualbox oder im Virt-Manager auf Basis von KVM und Qemu. Wichtig ist, dass die vorhandene Linux-Distribution Systemd verwendet. Der Einsatz mit KVM und Qemu setzt zudem einige Pakete voraus, um die Orchestrierungslösung reibungslos zu betreiben. Dazu gibt die Dokumentation [9] ausführliche Informationen.

Minikube bringt viele zentrale Komponenten für Kubernetes mit: Neben dem Load Balancing integriert es auch persistente Volumes, Addons und die GPU-Unterstützung. Multi-Cluster lassen sich ebenfalls aufbauen.

Installation

Wer Minikube nutzen möchte, muss einige Voraussetzungen erfüllen: Zunächst sollte der Anwender im BIOS oder EFI des Computersystems prüfen, ob dort die Virtualisierungstechnologien VT-x oder AMD-v vorhanden und eingeschaltet sind. Eine der beiden benötigt die Orchestrierungslösung. Dann installiert der Nutzer entweder das Duo KVM und Qemu (und auf Wunsch zusätzlich den grafischen Virt-manager) oder Oracles Virtualbox.

Es folgt das Paket kubectl, das als Werkzeug auf der Kommandozeile dazu dient, Kubernetes-Cluster zu verwalten. Zu Kubectl stellen die Entwickler eine ausführliche Dokumentation bereit [10], die nicht nur Hinweise für verschiedene Distributionen enthält, sondern auch die Installation mit Curl berücksichtigt. Alternativ steht für Distributionen, die das Snap-Containerformat unterstützen, noch ein Snap-Paket bereit.

Der Tester sollte Kubectl dann gemäß den Erläuterungen der Entwickler einrichten. Erst danach installiert er Minikube, indem er die Anwendung herunterlädt und sie ausführbar macht (Listing 1, Zeile 1). Dann fügt der Nutzer die Applikation seinem Pfad hinzu (Zeile 2).

$ curl -Lo minikube https://storage.googleapis.com/minikube/releases/latest/minikube-linux-amd64 && chmod +x minikube
$ sudo cp minikube /usr/local/bin && rm minikube

Der Aufruf »minikube start« legt eine virtuelle Maschine an, in der der Kubernetes-Cluster mit einem Node auftaucht. Er konfiguriert auch das Werkzeug Kubectl, damit der Anwender den Kubernetes-Cluster verwalten kann. Während des Starts gibt Minikube am Prompt Statusmeldungen aus (Abbildung 2). So informiert es den Nutzer, wann die virtuelle Maschine bereitsteht und der Cluster gestartet ist.

Abbildung 2: Minikube gibt sich beim Installieren und Starten auskunftsfreudig.

Nach Abschluss des Vorgangs gelangt der Nutzer wieder zum Prompt und prüft die erfolgreiche Installation über den Befehl »kubectl cluster-info«, wobei eine mehrzeilige Ausgabe mit den entsprechenden URL-Angaben im Terminal erscheint (Abbildung 3).

Abbildung 3: Per Kubectl ruft der Nutzer auch grundlegende Daten des Clusters ab.

Um Minikube zu beenden, setzt der Anwender den Befehl »minikube stop« ab. Das fährt die virtuelle Maschine herunter, ohne aber die Einstellungen zu löschen. Diese lassen sich nach dem Neustart weiterverwenden. Der Befehl »minikube delete« löscht zusätzlich die virtuelle Maschine.

Grafisch und flexibel

Mit Minikube erhält der Admin auch das grafische Kubernetes-Dashboard, über das er das System verwaltet und beobachtet. Das Dashboard lässt sich in der Testumgebung einfach aufrufen: Der Anwender startet Minikube und ruft dann das Dashboard mit dem Befehl »minikube dashboard« auf. Das startet automatisch den im System installierten Webbrowser mitsamt Dashboard (Abbildung 4).

Abbildung 4: Minikube bringt das Kubernetes-Dashboard bereits mit.

Anders als bei Microk8s (mehr dazu im Folgenden) muss der Admin URLs und verwendete Ports bei Minikube nicht manuell ermitteln. Das Dashboard selbst bietet dieselbe Funktionalität wie bei Microk8s, da es sich um das native Kubernetes-Dashboard handelt.

Kubernetes und damit auch Minikube können unterschiedliche Container-Laufzeitumgebungen verwenden. Der Anwender greift auf Docker, CRI-O, Containerd oder Rkt als Container-Runtime zurück. Dazu ruft er Minikube mit dem Parameter »–container-runtime=Umgebung« auf. Eine ausführliche Dokumentation dazu liefert die Projektseite von Kubernetes [1].

Verwaltung

Das Dashboard gestattet es auch, die vorhandenen Komponenten bequem zu verwalten. So erscheinen bei den Komponentenlisten rechts im Fenster kleine Hamburger-Menüs. Die ermöglichen es, über die Optionen Edit und Delete die jeweilige Komponente zu bearbeiten respektive zu löschen. In der Pod-Liste gibt es zudem im Hamburger-Menü eine Option, um Logging-Dateien zu betrachten. Diese blendet das Browserfenster als Terminalanzeige ein. Erscheint oben rechts im Dashboard-Fenster ein Bleistift-Symbol, darf der Anwender die Konfigurationsdatei zur jeweilige Ressource bearbeiten.

Diese Dateien liegen meist im YAML-Format vor, einer an XML angelehnten Auszeichnungssprache. Über diese Textdateien beschreibt der Anwender deklarativ die gewünschten Kubernetes-Komponenten, die Kubernetes dann einliest, um sie mithilfe der Container-Runtime aus dem Boden zu stampfen. Über einen Klick auf das Bleistift-Symbol bearbeitet der Nutzer die zur Komponente gehörende Konfigurationsdatei, auf Wunsch auch im JSON-Format (Abbildung 5).

Abbildung 5: In Kubernetes konfigurieren die Nutzer Dienste und Ressourcen über Textdateien, die meist im YAML-Format vorliegen, aber manchmal auch als JSON-Dateien.

Wählt der Admin im Dashboard über das Kontextmenü die Option Delete, löscht er die jeweilige Komponente sofort. Um die Konfigurationsdateien zu aktualisieren, muss er hingegen auf den Button Update klicken. Die jeweilige Bearbeitungsfunktion kann er auch am Prompt aufrufen und im Terminal ausführen, wobei er dabei jedoch teils Parameter eingeben muss. Als Hilfestellung dazu erscheint im Bearbeitungsfenster eine Zeile mit der äquivalenten Kubectl-Anweisung.

Microk8s

Bei Microk8s [4] handelt es sich um eine von Canonical entwickelte Single-Node-Kubernetes-Distribution. Das als Snap-Paket angebotene Mini-Kubernetes steht unter der Apache-Lizenz und ist somit freie Software. Laut Herstellerangaben eignet sich Microk8s für das IoT, zum Entwickeln und lokalen Testen von Microservices und für dezentralisierte Edge-Clouds.

Das Snap-Paket ermöglicht laut Canonical den Einsatz auf insgesamt 42 Linux-Distributionen, die mit dem Snap-Format zurechtkommen. Voraussetzung ist, dass auf der jeweiligen Distribution Snapd läuft, der Snap-Daemon. Dann lässt sich das Microk8s-Paket über folgendes Kommando innerhalb weniger Minuten herunterladen und installieren:

$ sudo snap install microk8s --classic

Nach einem Neustart setzt der Admin Kubernetes ein. Die Befehlssyntax von Microk8s weist dabei einen einheitlichen Aufbau auf: Der Anwender ergänzt den Grundbefehl »microk8s« stets um Parameter, die er miteinander kombinieren kann (Abbildung 6).

Abbildung 6: Über zahlreiche Kommandos mit verschiedenen Parametern steuert der Anwender Microk8s auf der Kommandozeile.

Bestandteile

Die Container-Distribution von Canonical umfasst neben den Core-Komponenten auch gängige Zusatzpakete. Der automatisierte Update-Prozesse trägt auch Sicherheitsaspekten Rechnung, wie sie in verteilten Umgebungen auftreten. Anwendern, die einen schnellen Überblick über die Kubernetes-Infrastruktur brauchen und die installierten Komponenten verwalten möchten, hilft das grafische Dashboard als integrierte Oberfläche am besten weiter.

Konkret beinhaltet Microk8s neben verschiedenen APIs zum externen Zugriff auf Cluster-Dienste auch einen DNS-Service (»dns«), ein Dashboard sowie Schnittstellen für das Clustering. Komponenten gibt es auch für das Monitoring (»prometheus«) und Machine Learning (»kubeflow«). Zum Entwickeln und Ausführen serverloser Anwendungen steht mit Knative ein entsprechendes Paket bereit. Das mittlerweile von Tiller befreite Helm erlaubt es, einfach Cloud-Native-Apps in den Pods zu installieren, wie etwa WordPress.

Verwaltung

Das Dashboard ist nicht standardmäßig aktiviert, bildet also keinen Teil der Core-Installation. Der Admin muss es als Addon nachinstallieren. Das gilt auch für diverse weitere Komponenten, was den Vorteil hat, dass der Betreiber mit einem möglichst schlanken Kubernetes startet.

Sämtliche verfügbaren und installierten Addons zeigt der Befehl »sudo microk8s.status« an. Will der Admin dann DNS und das Dashboard aktivieren, gibt er den Befehl »sudo microk8s.enable dns dashboard« ein. Microk8s lädt daraufhin die fehlenden Komponenten herunter und integriert sie in die Infrastruktur. Weitere Komponenten pflegt der Nutzer mit demselben Befehl in seine Infrastruktur ein.

Das Addon »gpu« soll dabei helfen, GPU-Cluster effektiv zu nutzen, setzt aber eine dedizierte AMD- oder Nvidia-GPU voraus. Letztere muss zudem zusätzlich die CUDA-Schnittstelle unterstützen, um den GPU-Support für parallelisierte Anwendungen zu erhalten.

Ein Unterschied zu Minikube: Um das Dashboard als zentrale Bedienschnittstelle zu nutzen, muss der Anwender zunächst die dazugehörige URL herausfinden. Dabei hilft folgender Befehl:

$ microk8s.kubectl get all --all-namespaces | grep service/kubernetes-dashboard

Die angezeigte URL trägt der Nutzer dann in die URL-Leiste des Browsers ein, wobei er darauf achten muss, das HTTPS-Protokoll zu verwenden – HTTP-Eingaben leitet Microk8s nicht weiter. Der Aufruf der URL blendet das Dashboard ein (Abbildung 7), das einen detaillierten Eindruck der vorhandenen Kubernetes-Umgebung liefert.

Abbildung 7: Wer Microk8s nicht über die Kommandozeile steuern möchte, der greift zum Dashboard.

Im größeren Anzeigesegment Overview rechts im Browserfenster wartet eine Übersicht statistischer Daten zu den Services und zur Konfiguration. Hier tauchen auch Objekte auf, die sich im Cluster befinden. Zu den einzelnen Nodes stellt der Bereich die aggregierte CPU- und Speicherauslastung sowie verschiedene Metadaten grafisch dar. Außerdem gibt es eine tabellarische Liste der im jeweiligen Node aktiven Pods samt dazugehöriger Daten.

Links im Fenster bietet eine vertikale Menüleiste die unterschiedlichsten Informationen und Konfigurationsmöglichkeiten zur gesamten Kubernetes-Infrastruktur an. Der oberste Bereich Cluster führt sämtliche Daten zu den vorhandenen Kubernetes-Clustern tabellarisch auf. Allerdings läuft in der Microk8s-Umgebung, wie bei Minikube, nur ein einzelner Node.

Im Bereich Workloads darunter findet der Nutzer verschiedenste Angaben zu den Lastdaten der »Deployments«, »StatefulSets«, Jobs und Pods, zu den »DaemonSets« und »ReplicaSets« sowie zu den Replication Controllern, die in Kubernetes verschiedene Aufgaben übernehmen. Diese Daten stellt Microk8s einzeln kategorisiert ebenfalls in Tabellenform dar, damit der Admin zu jeder einzelnen Konfiguration die nötigen Informationen erhält.

Die Gruppe Discovery and Load Balancing listet Ingress- und Service-Ansichten innerhalb eines Clusters auf, darunter die von Pods sowie internen und externen Endpoints. Auch diese lassen sich bei Bedarf modifizieren.

In der darunterliegenden Kategorie Config and Storage sieht der Nutzer die »ConfigMap«, »Secrets« und die mit den Clustern verknüpften Ressourcen der »PersistentVolumeClaims«, wobei Letztere dem langfristigen Speichern von Daten dienen. Die »ConfigMap« zeigt dabei unter anderem die Ressourcen und Templates für die verschiedenen Kubernetes-Nutzer sowie die zu einem Container-Images gehörenden Konfigurationsdetails an. Der Admin darf die gelisteten Objekte verwalten.

In den Custom Resource Definitions legt der Anwender eigene CRDs an, die das laufende Cluster um selbst definierte Ressourcen erweitert und diese in die Infrastruktur einbinden.

K3s

Das noch sehr junge Projekt K3s [5] der Rancher Labs will ebenfalls als integrierte Lösung für IoT-Infrastrukturen und Edge Computing gefallen. K3s besteht als Mini-Kubernetes-Distribution aus einer lediglich knapp 50 MByte großen Binärdatei. Das Paket steht für 64-Bit-Architekturen sowie für ARMv7- und ARM64-Systeme bereit [11].

Für den schlanken Fuß verzichtet K3s funktionell ebenfalls auf einige Kubernetes-Komponenten: So fehlen mehrere In-tree-Plugins, etwa für den Cloud- und Storage-Support, die externe Addons bei Bedarf ersetzen. K3s verzichtet zudem auf Features, die das Kubernetes-Projekt als veraltet kennzeichnet. Nicht zuletzt setzt die Orchestrierungslösung auf Containerd anstelle von Docker. Admins sollten zudem beachten, dass zahlreiche Plugins noch als experimentelle Software gelten und es potenzielle Risiken im Produktiveinsatz gibt.

Installation

Um K3s zu installieren, benötigt der Admin zunächst ein Betriebssystem mit Systemd- oder Open-RC-Support. Linux-Derivate, die beim Systemstart SysVinit nutzen, scheiden aus. Als weitere Voraussetzungen geben die Entwickler 512 MByte Arbeitsspeicher und einen einfachen Einkern-Prozessor an.

Im Vergleich zu den anderen hier vorgestellten Lösungen fällt K3s durch eine etwas umständlichere Installation auf. Zunächst lädt der Admin das Server-Paket aus dem Internet herunter und installiert einen K3s-Dienst sowie verschiedene Tools, darunter Kubectl und Crictl. Um diese Cluster-Verwaltung um Worker Nodes zu erweitern, führt der Admin das Installationsskript aus und ergänzt es um die Umgebungsvariablen »K3S_URL« und »K3S_TOKEN«, die URL und Credentials für den jeweiligen Worker Node enthalten.

Danach lässt sich eine erste Applikation für den Cluster installieren. Dazu böte sich das Kubernetes-Dashboard an, das K3s aber nicht von Haus aus einrichtet, weshalb eine grafische Verwaltungsoberfläche fehlt. Wie man sie nachinstalliert, zeigt ein Blogpost [12]. Der Weg zu einem Dashboard führt über ein YAML-File und das Kommando »kubectl apply -f«, wie es auch die Kubernetes-Dokumentation [13] beschreibt.

Zudem benötigt der Admin einen Account für sich selbst, der über die entsprechenden Rechte verfügt. Auch diesen legt er mithilfe frei editierbarer Textdateien im YAML-Format an (Abbildung 8). Hat er die beiden YAML-Dateien erzeugt, importiert er die Konfiguration mithilfe von »kubectl apply -f« aus diesen in Kubernetes.

Abbildung 8: Um zum Beispiel die Rechtevergabe am Prompt zu erledigen, braucht man Kenntnisse der Parameter und der YAML-Syntax.

Danach muss er noch ein Token für den Aufruf des Dashboards kopieren und eine Port-Weiterleitung anlegen, damit Interessenten von außerhalb des Clusters auf das Dashboard zugreifen dürfen. Dazu benötigt er die externe IP-Adresse des Servers. Erst nach diesen etwas umständlichen Schritten gelingt der Aufruf des Dashboards (Abbildung 9). Die weitere Konfiguration des Kubernetes-Clusters führt der Anwender dann über das Dashboard aus.

Abbildung 9: Das Dashboard ist bei K3s zwar verfügbar, aber etwas schwierig einzurichten.

Fazit

Die besprochenen Kubernetes-Distributionen eignen sich alle für Entwicklungsaufgaben und den Aufbau von Containerlösungen im Bereich von Edge und IoT. Da alle drei prinzipiell das Kubernetes-Dashboard als grafische Konfigurationsoberfläche unterstützen, fällt das Verwalten von Kubernetes und seinen Komponenten nicht allzu schwer.

An das Dashboard zu kommen, ist allerdings unterschiedlich aufwendig, denn die Installationsroutinen unterscheiden sich. Auch der Umfang an mitgelieferten Plugins macht für die drei Distributionen einen Unterschied. Am schnellsten kommen Nutzer von Minikube zu einer brauchbaren Kubernetes-Infrastruktur, während bei K3s noch eine überaus zeit- und arbeitsaufwendige manuelle Installationsprozedur folgt. Microk8s tummelt sich im Mittelfeld.

Ungeachtet der unterschiedlichen Installationsprozeduren ist es vor dem Einsatz der Mini-Kubernetes-Distributionen sinnvoll, sich mit der Orchestrierungslösung an sich zu beschäftigen. Neben den technischen Möglichkeiten sollte der Admin sich die Architektur und vor allem auch die Nomenklatur genauer ansehen. Die Software ähnelt nicht den herkömmlichen Instanzen in virtuellen Umgebungen und bleibt auch in ihren Minimalvarianten komplex.

Die sehr rasche Weiterentwicklung der noch recht jungen Technologie erfordert zudem eine ständige Lernbereitschaft bei Admins und Entwicklern, da sich viele Prozessschritte permanent ändern und auch Kubernetes-Komponenten noch Modifikationen erleben. Dabei hinkt die Dokumentation stellenweise der Entwicklung hinterher. (kki)