TernFS-Logo

Das Unternehmen XTX Markets Technologies hat sein bislang intern genutztes verteiltes Dateisystem unter einer Open-Source-Lizenz freigegeben. Die TernFS getaufte Lösung soll mühelos mehrere Exabyte wuppen.

XTX erstellt Preisvorhersagen für über 50.000 Finanzprodukte. Als Grundlage dient ein riesiger Datenhaufen, der mittlerweile mehrere Petabyte Speicher belegt. Um diese Datenmenge jonglieren zu können, entwickelte XTX ein eigenes verteiltes Dateisystem. TernFS ist dabei zwar an den Bedürfnissen des Unternehmens ausgerichtet, seine Fähigkeiten dürften aber auch auf andere Einsatzbereiche passen.

So verdaut TernFS mehrere Exabyte Daten, auf die Millionen Clients gleichzeitig zugreifen können. Des Weiteren ist TernFS auf die Speicherung von größeren Dateien um die 2 MByte optimiert. XTX rät sogar davon ab, sehr kleine Dateien einzulagern. Einmal ins Dateisystem gestellte Dateien lassen sich nicht mehr verändern, sondern nur noch löschen. Gegen Datenverlust darf man Schnappschüsse der Dateien erstellen, zudem speichert TernFS von sich aus alle Dateien redundant. Das Erstellen und Löschen von Verzeichnissen sind relativ kostspielige Operationen.

Das Dateisystem lässt sich über mehrere Regionen verteilen. Die Kommunikation dabei über TCP. Die Metadaten sind so aufgebaut und verteilt, dass sie keinen Single Point of Failure bilden. Alle Daten speichert TernFS auf verschiedenen kostengünstigen Datenträgern – angefangen bei Flash-Speicher bis hin zu Festplatten. Der Zugriff auf das Dateisystem erfolgt über eine eigene API und ein Linux Kernel-Dateisystemmodul. Darüber hinaus steht eine Web-Oberfläche bereit, die unter anderem Zugriff auf den Dateisysteminhalt gewährt.

Die genannten Leistungsmerkmale erinnern stark an Amazons S3-Speicher. Und tatsächlich hat XTX auch ein Gateway für TernFS entwickelt, das S3-API-Aufrufe in entsprechende Anfragen an die TernFS-API umsetzt.

Nach eigenen Angaben befindet sich TernFS bei XTX seit rund drei Jahren im produktiven Betrieb. Mittlerweile liegen im Dateisystem 500 PByte Daten, die sich wiederum auf 30.000 Festplatten und 10.000 Flash-Speichern in drei Datacenter verteilen. Bislang habe man noch kein einziges Byte verloren.

TernFS steht unter der GNU GPL v2 oder einer späteren Fassung. Der Quellcode liegt auf GitHub und nutzt sowohl C++ als auch Go. Grundsätzlich soll TernFS nur wenige Abhängigkeiten aufweisen. Das S3-Gateway liegt allerdings derzeit nur in einer „minimalen“ Fassung bei. Einen tieferen Einblick in die Funktionsweise und Architektur gibt ein längerer Blog-Post von XTX.