Open Source im professionellen Einsatz
Linux-Magazin 07/2010

Cluster-Praxis

Big Iron unter Linux

Wie schafft es eigentlich ein Supercomputer, zehntausende Male mehr Operationen auszuführen als ein PC? Wie ist er organisiert und welche Rolle spielt Linux in dieser Welt? Ein erklärender Blick hinter die Kulissen des Supercomputing.

 

521

Per Definition gibt es Supercomputer schon seit der Erfindung des Computers. Die ersten elektronischen Rechner waren nämlich allesamt Supercomputer, weil sie die zu ihrer Zeit höchstmögliche Rechenleistung bereitstellten. Mit der Einführung von Homecomputern oder PCs, also der Vermarktung kleiner, privat nutzbarer Computer, kamen später Alternativen auf - daher brauchte man einen extra Begriff für die großen Kisten. Deshalb heißen seit Ende der 70er Jahre, der Zeit der Cray 1, Systeme mit der aktuell höchsten verfügbaren Rechenleistung Supercomputer.

Von Anfang an waren diese Supercomputer Parallelrechner. Die ersten basierten auf Hardware, die speziell für Hochleistungsrechner entwickelt worden war. Dazu gehören seit den 70er Jahren auch die Mainframes, die Banken und Versicherungen heute noch gerne einsetzen. Diese Computer sind vor allem auf Ausfallsicherheit und Durchsatz optimiert.

Der nächste Schritt in der Evolution war die Erfindung des Cluster-Konzepts. Frühe Parallelrechner waren zumeist als SMP (Symmetric Multiprocessor) mit einem gemeinsamen Speicher ausgelegt.

Verteilter Speicher

Bei einer höheren Zahl von Prozessoren führte dieser Aufbau jedoch sehr schnell zu technischen Schwierigkeiten, die als Konsequenz eine verteilte Anordnung der Hardware erzwangen. Einen (zumindest virtuellen) zentralen Speicher für sehr viele Prozessoren in einem verteilten System zu realisieren ist schwierig und erhöht die Komplexität der Hardware. Das Konzept ist zudem sehr fehleranfällig und limitiert die maximale Größe eines solchen Systems. Ein Cluster hingegen hat keinen zentralen Speicher, sondern lässt ausschließlich eine Nachrichtenkommunikation zwischen seinen Einzelrechnern, den Knoten, zu. Zum Cluster wird eine Gruppe von Computern dank spezieller Tools, die unter Linux alle frei zur Verfügung stehen.

Fast alle heute gebauten und betriebenen Supercomputer sind Cluster. Bestehen sie aus Standardkomponenten, nennt man sie Commodity-Cluster - die anderen Supercomputer enthalten speziell entwickelte Komponenten. So verfügen beispielsweise die weitverbreiteten Blue-Gene-Supercomputer über ein eigens für diesen Typ Computer entwickeltes Verbindungsnetzwerk.

Cluster-Aufbau

Das Cluster-Konzept führte ursprünglich die Firma Datapoint ein. Kommerzielle Erfolge damit feierte Anfang der 80er Jahre zuerst DEC mit dem VAX-Cluster. Linux als Betriebssystem hat mit Erfindung der Beowulf-Cluster (Abbildung 1) entscheidend zur Kostensenkung bei Supercomputern beigetragen: Heute kann sich jede Uni einen Cluster leisten.

Die Grundidee von Beowulf ist es, für den Bau eines Großrechners weder spezielle Hardware noch teure proprietäre Software einzusetzen. Vielmehr sollen Standardkomponenten zum Einsatz kommen, wie sie auch in normalen PCs verbaut sind. Die Basis eines solchen Clusters ist ein zentraler Server, der Dienste wie DHCP oder das Netzwerk-Dateisystem zur Verfügung stellt, aber auch als Login-Frontend dient. Hier müssen sich alle Nutzer zentral einloggen, alle anderen Rechner des Systems sind nur von hier aus zu erreichen.

Die wichtigste Komponente eines Clusters sind die so genannten Rechenknoten, sie verrichten die eigentliche Arbeit. Sie sollten möglichst zahlreich vorhanden und zugleich nur mit dem Nötigsten ausgestattet sein. Rechenknoten brauchen zwar keine identische Hardware, aber die installierte Software muss überall gleich sein. Bei größeren Clustern ist es zudem förderlich, wenn auch die Hardware der Rechenknoten identisch ist.

Abbildung 1: Der Aufbau eines reinen Beowulf-Clusters ist simpel. Es gibt einen Server und mehrere Rechenknoten, die durch ein Netzwerk verbunden sind.

Diesen Artikel als PDF kaufen

Express-Kauf als PDF

Umfang: 5 Heftseiten

Preis € 0,99
(inkl. 19% MwSt.)

Linux-Magazin kaufen

Einzelne Ausgabe
 
Abonnements
 
TABLET & SMARTPHONE APPS
Bald erhältlich
Get it on Google Play

Deutschland

Ähnliche Artikel

  • Verkehrsplanung

    Mit wachsender Verbreitung von Cluster-Systemen steigt auch der Anspruch an die Werkzeuge für ihre Verwaltung. Projekte wie das Scaleable Cluster Environment (SCE) helfen dabei, Aufbau und Management der Rechner-Verbünde zu vereinfachen.

  • Forsche Forschung

    Das Jülich Supercomputing Centre hat sich mit seinem neuen Clustersystem ganz oben in den Top 500 platziert: Der zehntschnellste Rechner der Welt nutzt Suse Linux - demnächst mit Realtime-Erweiterung.

  • Geteilte Last

    High-Performance-Computing für daheim oder mit einem Cluster aus 500 Rechnern: Mosix kann beides. Die grafische Oberfläche Mosixview sorgt dafür, dass Sie dabei den Überblick über Prozesse, Prozessoren und Performance behalten.

  • Atlas: Supercomputing mit Debian

    Vor wenigen Tagen hat der viertschnellste Supercomputer Deutschlands beim Max-Planck-Institut für Gravitationsphysik in Hannover den Betrieb aufgenommen. Auf einer Mailingliste hat nun einer seiner Betreuer erläutert, warum auf dem Cluster namens Atlas die Distribution Debian zum Einsatz kommt.

  • Tanzen in der Formation

    Samba ist seit der Version 3.3 zusammen mit dem Lock-Manager CTDB erstmals vollumfänglich als Active-Active-Cluster konfigurierbar. Mit der neuen Registry-Konfiguration kann der Admin den Samba-Cluster mit einem lockeren Hüftschwung verwalten.

comments powered by Disqus

Ausgabe 09/2016

Digitale Ausgabe: Preis € 6,40
(inkl. 19% MwSt.)

Artikelserien und interessante Workshops aus dem Magazin können Sie hier als Bundle erwerben.