Interconnect verbindet

Zuletzt muss der Cluster-Betreiber alle verteilten Komponenten verbinden, was über ein System geschieht, das im Fachjargon als Interconnect bezeichnet wird. Im einfachsten Fall nimmt man dafür das herkömmliche Ethernet, was die ersten Beowulf-Cluster auch so realisierten. Während Ethernet eine Datenrate bis zu 10 GBit/s erreichen kann, sieht es mit den Latenzen, also mit der Zeit, die ein Datenpaket benötigt, um gesendet zu werden, bei solchen Netzwerken erheblich schlechter aus.

Dies liegt vor allem daran, dass das Datenpaket zunächst die vielen Ebenen des TCP/IP-Stack durchwandern muss, bis die Kommunikation gelingt. Deswegen existieren heutzutage spezielle Interconnects wie zum Beispiel Infiniband oder Myrinet, die für Latenz-kritische Anwendungen konzipiert und als Standardkomponenten zu erwerben sind.

Moderne Cluster-Systeme erweitern das ursprüngliche Konzept von Beowulf (siehe Abbildung 2) oft. Neben den reinen Rechenknoten gibt es dann noch Login-Knoten, die auch zum Übersetzen der Programme dienen können, die der Cluster ausführt. Aus diesem Grund haben größere Systeme mit vielen Nutzern auch mehrere Login-Knoten. Die Serverdienste verteilen sich mit steigender Anzahl der Rechenknoten auf mehrere physische Maschinen.

Dann ist auch ein eigenständiger Server für die Überwachung des Clusters nötig. Der speichert zentral alle anfallenden Logs, überwacht mit einem Heartbeat-Dienst regelmäßig, ob alle Knoten noch auf Anfragen über das Netzwerk antworten, und bietet eine spezielle Monitor-Software, die dem Administrator Auskünfte über die momentane Auslastung des Systems liefert. Das Monitoring der Knoten ist deshalb so wichtig, weil ein einziger ausgefallener Knoten ein auf dem Cluster ausgeführtes Programm mit in den Tod reißen kann.

Abbildung 2: Heutige Cluster sind komplexer aufgebaut als ein reiner Beowulf-Verbund. Die Rechenknoten sind mit einem schnellen Interconnect verbunden, spezielle Filesystem-Nodes stellen das verteilte Dateisystem bereit. Die Serverdienste erstrecken sich auf mehrere Maschinen.

Booten via Netz

Ein PXE-Server-Netzboot, der gleichzeitig DHCP und DNS zu Verfügung stellt, befreit die Rechenknoten von ihren Festplatten, was die Ausfallsicherheit erhöht. Eine Festplatte in jedem Rechenknoten ist sowieso nicht nötig, weil meist die Nutzdaten ohnehin auf einem parallelen Dateisystem liegen.

Dieses System stellt einer weiteren Gruppe von Servern die Dateisystem-Knoten zur Verfügung. Sie bilden quasi einen weiteren Cluster im Cluster, um den hohen Anforderungen zu entsprechen, die durch den parallelen Dateizugriff entstehen. Das bedeutet zugleich, dass die Systemsoftware für solche Cluster-Dateisysteme selbst aus parallelen Programmen besteht. Um eine hohe Datenrate bei einer gewissen Ausfallsicherheit zu erzielen, müssen die Daten im Hintergrund auf Raid-Systemen gespeichert sein.