Verteilte Dateisysteme wie das Google-FS jonglieren mühelos mit riesigen Dateien im Giga- und Terabyte-Bereich. Mit dem Kosmos-Filesystem schickt sich ein neuer und freier Vertreter dieser Gattung an, die Konkurrenz das Fürchten zu lehren.

© NASA

Moderne Computerprogramme gebären und verdauen immer größere Datenmengen. Während sich Datamining-Anwendungen noch mit bestehenden Informationsbergen begnügen, horten Internet-Suchmaschinen alles, was ihnen zwischen die Finger gerät, bekanntestes Beispiel ist Google. Auch Forschung oder Grid-Computing sehen sich regelmäßig mit Dateien konfrontiert, die mehrere GByte auf die Waage bringen.

Die herkömmlichen Dateisysteme stoßen bei diesen Größenordnungen schnell an ihre Grenzen. Folglich muss ein passendes Rückgrat her, das solche großen Datenmengen sicher speichert und einen möglichst schnellen Zugriff gestattet. Die Einlagerung der Dateien sollte dabei möglichst redundant erfolgen - schließlich möchte niemand die womöglich in mehreren Nachtschichten mühsam errechneten Resultate durch einen blöden Plattenfehler verlieren.

Verteilte Dateisysteme erfüllen alle diese Anforderungen. Sie zerlegen die ihnen übergebenen Daten in verdauliche Häppchen und speichern sie in einem beliebig großen Rechnerverbund. Nach außen hin geschieht dies vollkommen transparent. Den Anwendungen gaukelt das verteilte Dateisystem eine riesige Festplatte vor, es virtualisiert den Speicher auf einem Cluster von Computern.

Ab ins All

Ein noch recht junger, aber aufstrebender Vertreter dieser Gattung ist das Kosmos File System, kurz KFS. Entwickelt hat es die namengebende Kosmix Corporation [1], die den gesamten Quellcode unter der Apache-Lizenz freigab. Die erste Alphaversion 0.1 erschien im September 2007. Das jugendliche Alter macht sich am deutlichsten während der Inbetriebnahme bemerkbar: So verlangt KFS nach einem 64-Bit-Linux, das zudem auf allen an der Datenspeicherung beteiligten Computern möglichst identisch sein sollte.

KFS tritt gleich gegen mehrere namhafte Konkurrenten an: Auf der einen Seite steht das Google File System (GFS), das Google als Unterbau für seine Suchmaschine verwendet, während am anderen Ufer HDFS aus dem Hadoop-Projekt wartet [2]. Den grundlegenden Aufbau und die Funktionsweise haben sich die KFS-Entwickler dreist bei Google abgeschaut, das Konzept aber von einigen lästigen Fesseln befreit. Wie sein Vorbild ist KFS auf Szenarien optimiert, in denen immer wieder extrem viele und äußerst große Dateien nur einmal entstehen, dann aber häufig ausgelesen werden.

Arbeitsteilung

Das Kosmos-Dateisystem besteht aus drei Komponenten:

• Einem oder mehreren Chunkservern, die die eigentlichen Daten
  auf ihren Festplatten speichern
• Einem Metaserver, der den Chunkservern auf die Finger
  schaut
• Einer Anwendung, die schnell eine große Datei loswerden
  möchte

KFS funktioniert damit ähnlich wie eine Datenbank, die sich zwischen ein Computerprogramm und das herkömmliche Dateisystem setzt (Abbildung 1).

Abbildung 1: Das Kosmos File System setzt sich, ähnlich wie eine Datenbank, zwischen die vorhandene Hardware und die Anwendung. Der Zugriff auf das virtuelle Dateisystem erfolgt über eine Client-Bibliothek.

Sie können diesen Artikel als PDF für 99 Cent kaufen. Klicken Sie dazu einfach auf eine der beiden Bezahloptionen Paypal oder ClickandBuy.

Verteilte Dateisysteme wie das Google-FS jonglieren mühelos mit riesigen Dateien im Giga- und Terabyte-Bereich. Mit dem Kosmos-Filesystem schickt sich ein neuer und freier Vertreter dieser Gattung an, die Konkurrenz das Fürchten zu lehren.