Open Source im professionellen Einsatz
Linux-Magazin 02/2013
© Giuseppe Anello, 123RF.com

© Giuseppe Anello, 123RF.com

Verteilte Dateisysteme unter Linux im Vergleich

Verteilte Objekte

Die Auswahl an verteilten Dateisystemen unter Linux kann sich sehen lassen. Über die Basisfunktionalität verfügen sie alle, die Unterschiede für den Einsatz liegen im Detail. Das Linux-Magazin hat sich die wichtigsten genauer angesehen und ihre Eigenschaften zusammengetragen.

739

In Sachen verteilte Dateisysteme nehmen Suse und Red Hat unterschiedliche Positionen ein. Während RHEL voll auf Gluster-FS [1] setzt, bringt SLES das bereits in den Linux-Kernel integrierte Ceph [2] mit (siehe den Artikel "Speicher satt" in dieser Titelstrecke).

Neben den beiden Platzhirschen gibt es einige Projekte, die für spezielle Szenarien erfolgversprechendere Ansätze verfolgen. Dieser Artikel stellt Ceph und Gluster in einem breiten Überblick an die Seite von Xtreem-FS [3], FHG-FS [4], Lustre [5] und Open AFS [6]. Tabelle 1 fasst die wichtigen Eigenschaften der sechs Kandidaten übersichtlich zusammen.

Tabelle 1

Verteilte Dateisysteme für Linux im Vergleich

Eigenschaft

Ceph und Ceph-FS

Gluster-FS

Xtreem-FS

FHG-FS

Lustre

Open AFS

Lizenz

GPL

GPL

BSD

GPL, FHG FS EULA

GPL

IBM Public License

Server

Server-Implementierung

Usermode

Usermode

Usermode

Usermode

Usermode

Usermode

Sprache

C

C

Java

Java und C

C

C

Server-Plattform

Linux

Linux

Linux

Linux

Linux, Solaris

Linux, Unix

Zugriffsprotokoll(e)

nativ

nativ und NFS

nativ

nativ

nativ

nativ

Blockgeräte-Zugriff

ja

nein

nein

nein

nein

nein

Qemu-Integration

ja

nein (in Arbeit)

nein

nein

nein

nein

Interconnect

IP-basiert

IP-basiert und Infiniband

IP-basiert

IP-basiert und Infiniband

IP-basiert und Infiniband

IP-basiert

Dateiverschlüsselung

nein

nein (Prototyp vorhanden)

nein

nein

nein

nein

Backend-Dateisystem

XFS, Btr-FS, Ext 4

XFS, Ext 4

beliebig

XFS, Ext 4

Ldisk-FS (Ext 4), ZFS

Ext 2, 3, 4, XFS, JFS, …

Speicherobjekt

Stripe (4096 KByte)

Datei (außer beim Striping)

Stripe (128 KByte)

Stripe (512 KByte)

Stripe (4096 KByte)

Datei

Online-Größenänderung

ja

ja

ja

ja

ja

ja

NAS-Ersatz

ja

ja

ja

ja

ja

ja

SAN-Ersatz

ja

nein (in Arbeit)

nein

nein

nein

nein

Ausfallsicherheit

ja

ja

ja

nein (geplant)

ja

ja

GUI verfügbar

nein

ja (kommerziell)

teilweise

ja

teilweise

nein

Hadoop-Integration

ja

ja

ja

k.A.

ja

ja

Open-Stack-Integration

ja

ja

nein (theoretisch möglich)

nein (theoretisch möglich)

nein (theoretisch möglich)

nein (theoretisch möglich)

Produktionsreif

Blockgeräte-Schicht

Posix-Schicht

n/a

Posix-Schicht

Posix-Schicht

Dateisystem-Schicht

Client

Client-Implementierung

Kernel- und Usermode

Usermode

Usermode

Kernelmode

Kernelmode

Kernelmode

Client-Plattform

Linux

Linux, Unix

Linux, Mac OS X, Windows

Linux

Linux, Solaris

Linux, Unix, Mac OS X, Windows

Posix-konform

ja

größtenteils

größtenteils

ja

ja

nein

WAN-Verteilung

nein

ja

nein

nein

nein

ja

Enterprise-Support

ja

ja

nein

ja

ja

ja

Integration in Enterprise-Linux

ja

ja

nein

nein

nein

nein

Aus dem Grid: Xtreem-FS

Die Entwicklung von Xtreem-FS begann im Rahmen eines europäischen Forschungsprojekts, das an einem Linux-basierten Grid-Betriebssystem arbeitete. Dieses Xtreem-OS [7] soll die Brücke zwischen den Vorteilen des Grid-Computing und der einfachen Verwaltung einzelner Rechner schlagen.

Für die Ablage der Daten wollten die Entwickler ein verteiltes Dateisystem verwenden. Zu Projektbeginn 2006 erwies sich aber die Auswahl an möglichen Kandidaten unter Linux als recht dünn, auch weil die Anforderungen von Xtreem-OS – Verteilung, Sicherheit und Skalierbarkeit – das Feld deutlich einengten. So beschloss das Projekt, auch ein eigenes Dateisystem zu schaffen.

Knapp drei Jahre später erschien Version 1.0, die bereits parallele Lese- und Schreibzugriffe bot, ebenso die Replikation von Daten im Lese-Modus. Mitte 2011 kam Version 1.3 heraus, die auch die Replikation im Schreib-Modus erlaubt. Zu dieser Zeit vollzogen die Entwickler des Dateisystems auch den Wechsel von der GPLv2 zur BSD-Lizenz.

Die Unterstützung für Hadoop, die Re-Integration von Windows als Client, verbesserte Stabilität und asynchrone Schreibzugriffe folgten erst mit der Version 1.4, die bei Redaktionsschluss dieses Artikels erschien. Mit der stellen die Entwickler zudem die Bibliothek »libxtreemfs« für Java bereit. Anwendungen können sie nutzen, um direkt mit Xtreem-FS zu kommunizieren. Ein explizites Mounten ist dann nicht nötig.

Made in Germany: Fraunhofer-FS

Die Wiege des Fraunhofer Gesellschaft File System (FHG-FS, manchmal auch Fraunhofer-FS) steht im Institut für Techno- und Wirtschaftsmathematik. Im Jahr 2004 beschlossen dessen Mitarbeiter, das bisher benutzte Lustre durch eine Eigenentwicklung abzulösen. Im Pflichtenheft fanden sich unter anderem folgende Anforderungen: keine Notwendigkeit für Kernelpatches, verteilte Metadaten sowie die Wahlmöglichkeit zwischen Ethernet und Infiniband für die Interconnects. Drei Jahre später konnten die Entwickler die erste Version von FHG-FS vorzeigen. Mittlerweile liegt das es in der Version 2011.04 vor.

Neben den oben genannte Punkten war und sind den Entwicklern HPC-Tauglichkeit und einfaches Verwalten des Dateisystems sehr wichtig. Der Aspekt Hochverfügbarkeit hingegen ist von geringer Priorität und soll erst in der nächsten Version mehr Beachtung finden.

Zum gegenwärtigen Zeitpunkt ist nur der FHG-FS-Client weitestgehend im Quelltext verfügbar und unter der GPLv2 lizenziert. Leider haben Fraunhofers dem Clientcode auch ein paar Binärobjekte beigefügt, die wie manche anderen Komponenten einem End User Licence Agreement (EULA) für FHG-FS [8] unterliegen, aber kostenlos erhältlich sind.

Diesen Artikel als PDF kaufen

Express-Kauf als PDF

Umfang: 6 Heftseiten

Preis € 0,99
(inkl. 19% MwSt.)

Linux-Magazin kaufen

Einzelne Ausgabe
 
Abonnements
 
TABLET & SMARTPHONE APPS
Bald erhältlich
Get it on Google Play

Deutschland

Ähnliche Artikel

  • XtreemFS 1.0 ist fertig

    Das XtreemFS-Projekt hat Version 1.0 seines verteilten, replizierten Dateisystem veröffentlicht. Neu ist unter anderem ein nativer Windows-Client.

  • XtreemFS 1.2 mit Performance-Verbesserungen

    Das verteilte Internet-Dateisystem XtreemFS ist in Version 1.2 verfügbar.

  • XtreemFS 1.3.0 kann Failover

    Nach rund einem Jahr Entwicklung hat das XtreemFS-Projekt Version 1.3.0 seines verteilten, replizierenden Dateisystems veröffentlicht.

  • Ceph und Gluster

    Riesige und ausbaufähige Speicher sind das A und O in modernen Unternehmen. NAS und SAN sind der Standard, doch Trends wie Cloud Computing und Big Data lassen die Grenzen zwischen Storage und Server verschwimmen und bringen neue Ansätze hervor.

  • Xtreem-FS in Version 1.5

    Wonderful Waffles: Version 1.5 von Xtreem-FS mit verbessertem Hadoop-Support und SSD-Unterstützung durch OSDs.

comments powered by Disqus

Stellenmarkt

Artikelserien und interessante Workshops aus dem Magazin können Sie hier als Bundle erwerben.