Die auf Rechenpower getrimmten Linux-Cluster werden immer leistungsfähiger, gewinnen immer mehr Marktanteile und sind immer leichter zu administrieren. Unser Schwerpunkt gibt einen Überblick über die Werkzeuge, Technologien und Trends.
In zwei Jahren ist Linux vielleicht auf dem Weg nach ganz oben, an die Spitze der weltweit größten Rechner. Eine Linux-Clusterlösung hat gute Chancen, ab 2004 die Basis für ASCI Purple zu bilden, den schnellsten Supercomputer der Welt. Dass der friedliche Pinguin dann Atombombenexplosionen simuliert, ist weniger schön, aber immer noch besser, als sie real auszuprobieren.
Um einen Eindruck von der Dimension des Projekts zu vermitteln: Der noch im Bau befindliche Vorgänger ASCI Q am Lawrence Livermore Laboratory soll 12000 Alpha-Prozessoren haben. Die Bedingungen der Ausschreibung zu Purple lesen sich gleichfalls eindrucksvoll: Sie erlauben eine Leistungsaufnahme von 6 Megawatt, zuzüglich der 4 Megawatt für die Kühlung.
High Performance Computing (HPC) kann jedoch auch etwas bescheidener aussehen. Im technischen Bereich, in der Genforschung, bei Versicherungskonzernen: Überall dienen Linux-CLuster als billige Rechenknechte.
Dabei zeigt sich, dass die Vielfalt der Lösungen immer größer wird. Waren die ersten Beowulf-Cluster an den Universitäten fast ausnahmslos aus kompletten Desktop-PCs zusammengesetzt, findet sich jetzt ein breites Spektrum an Rack-basierten Systemen, teils mit herkömmlichen 19-Zoll-Servern, teils mit Server-Blades. Für die Kommunikation zwischen den Knoten hat sich Myrinet im oberen Bereich, Fast Ethernet für geringere Ansprüche durchgesetzt, aber auch andere Technologien wie SCI (Scaleable Coherent Interface) oder Gigabit-Ethernet spielen eine Rolle.
Zukunftstrends Infiniband und Grid-Computing
Infiniband ist aus den Startlöchern heraus und könnte zum neuen Trend bei Computing-Clustern werden; erste Lösungen sind auf dem Markt. Um Infiniband auszureizen, müssen jedoch die Applikationen den Protokollstack des Betriebssystems umgehen und entsprechend modifiziert werden. Wo lassen sich derartige Modifikationen einfacher realisieren als bei Open-Source-Programmen? Übrigens ist Infiniband auch für den ASCI Purple in der Diskussion.
Ein weiterer Trend, in dem Linux eine wichtige Rolle spielt, ist das Grid-Computing, dort werden Cluster wiederum zu Knotenpunkten in einem verteilten Netz. Langsam kommen die Grids aus der akademischen Forschung raus und finden zunehmendes Interesse in der IT-Industrie, die ja immer auf der Suche nach Absatzmärkten für leistungsstarke Rechner ist.
Unser Schwerpunkt spiegelt jedoch vor allem gegenwärtige Aspekte des Linux-HPC wieder, der Fokus liegt klar auf Open-Source-Software. Das Scaleable Cluster Environment (SCE) vereinfacht den Aufbau und die Administration von Clustern und ermöglicht die Integration der Cluster in Globus-Grids.
Der effektiven Aufgabenverteilung, also dem Jobmanagement, ist ein umfangreicher Vergleich zwischen Jobmanagement-Systemen gewidmet. Die Open-Source-Tools OpenPBS und Grid Engine machen dabei eine gute Figur. Direkt aus der Praxis kommt ein Bericht über Alpha-CLuster in der Biotechnologie. Eine kurze Vorstellung der im deutschen Markt aktiven Cluster-Spezialisten und der HPC-Strategien der großen IT-Konzerne sowie ein Bericht über die Trends im Grid-Computing runden unseren Schwerpunkt ab.
