Linux-Cluster in der Genom-Forschung

Manche haben die gute alte Alpha von Digital (später Compaq) schon totgesagt, als Mitte 2001 die "Technologie- und Marketingvereinbarung" zwischen Compaq und Intel durch die Newsticker lief[1]. In der Genomforschung erfreut sich diese Architektur allerdings seit Jahren großer Beliebtheit. So arbeiten unter anderem Firmen wie Celera Genomics, das Sanger Centre (beide maßgeblich an der Sequenzierung des menschlichen Genoms beteiligt) oder die Sandia National Laboratories mit Alphas.

Das war ein Grund, warum auch in dem Göttingen Genomics Laboratory die Entscheidung fiel, beim Aufbau einer neuen Bio-Computing-Plattform im Rahmen des Kompetenznetzwerks Genomik (Genom-Forschung an Mikroorganismen)[2] Alpha-Rechner einzusetzen. Die 64-Bit-CPUs und die sehr guten Benchmarks[3] sprachen neben der konsequenten 64-Bit-Architektur und der Größe des adressierbaren Hauptspeichers von 4 GByte für diese Maschinen - einige der in der Genomforschung benötigten Applikationen (Phrap oder auch BLAST) können wahre Speicherfresser sein. Zudem spielten die guten Erfahrungen des lokalen Rechenzentrums mit Alpha-Rechnern eine wichtige Rolle bei der Entscheidung.

Hardware für den Cluster

Sechs Compaq-ES45-Server (auch unter dem Namen Titan bekannt) mit ebenso vielen USVs (R3000XR), ein Gigabit-Switch, ein Konsolen-Switch und ein 15-Zoll-TFT-Display, alles in zwei etwas tieferen 19-Zoll-Schränken verbaut (Abbildung 1), dienen zum Zusammensetzen, zur Annotation und zur Bearbeitung mikrobieller Genome. Außerdem ermöglichen sie es der wissenschaftlichen Gemeinde, die gewonnenen Daten nach für andere Gruppen interessanten DNS-Abschnitten zu durchsuchen.

Die ES45-Server verfügen jeweils über vier 64-bittige, mit einer Frequenz von 1 GHz laufende 21264C-CPUs (EV68) mit je 8 MByte L2-Cache in Double-Data-Rate-Technik[4]. Auf jeden der sechs Server kommen 16 GByte RAM, eine Grafikkarte, ein Gigabit-Ethernet-Adapter (Alteon AceNIC), ein Fibre-Channel-Adapter (QLogic ISP2200) und zwei loka-le Ultra-SCSI-3-Festplatten (10000 Umdrehungen je Minute, hot-plugable).

Jede Maschine wird von je drei Netzteilen à 720 Watt versorgt, die ihren Strom aus mit 16 Ampere abgesicherten Drehstromanschlüssen erhalten. Die 18 Netzteile produzieren eine nicht unerhebliche Menge an Abwärme, so dass Abluft und Klimaanlage im Serverraum aufgestockt werden mussten.

Abbildung 1: Die beiden 19-Zoll-Schränke des Göttinger Genomik-Clusters.

Vernetzte Datenlager

Das zugehörige Storage Area Network (SAN) ist bei der Gesellschaft für wissenschaftliche Datenverarbeitung Göttingen (GWDG) untergebracht und über eine dedizierte Lichtwellenleiter-Verbindung von etwa vier Kilometern Kabellänge mit dem Alpha-Cluster verbunden. Es besteht aus dem 16-Port-Fibre-Channel-Switch, dem Compaq-EMA12000-RAID-System und Festplatten mit einem Nettovolumen von 2 Terabyte[5].

Das EMA12000 enthält zwei HSG80-Controller mit je zwei Fibre-Channel-Ports für einen automatischen Fail-Over. Da ein Controller über sechs Kanäle verfügt, bot es sich mit Rücksicht auf Performance und Ausfallsicherheit an, genau sechs der 36-GByte-Platten zu einem RAID-5-Set von (6-1)*36 GByte = 180 GByte zusammenzufassen. Damit scheint das SAN für die Rechner des Clusters aus neun SCSI-Laufwerken zu je 180 GByte zu bestehen, die sich - einmal per Fiber Channel zugänglich - ganz regulär als »/dev/sda«, »/dev/sdb« und so weiter ansprechen lassen.

Außer den Controllern wurden auch Kühlung und Stromversorgung redundant ausgelegt; die Platten sind selbstverständlich hot-plugable. Abbildung 4 gibt einen Überblick über die Anbindung der einzelnen Rechner an das SAN. Dabei wurde ein Storage-Netz aus Switches entsprechend dem Fabric-Konzept[6] aufgebaut. Als Fabric bezeichnet man den Bereich zwischen zwei Fibre-Channel-Ports. Das einzelne Endgerät mit FC-Port muss dabei nur eine einfache Punkt-zu-Punkt-Verbindung zwischen sich selbst und beispielsweise dem nächsten Switch managen.

Das hellere RAID-Set dient dem Cluster als »/opt«-Filesystem und liefert von allen Nodes benötigte Datenbanken und Programme. Hingegen stellen die grau unterlegten Sets das »/home«-Filesystem des Clusters dar, das unter Linux als RAID 0 verwirklicht wurde[7]. Da die benutzten Platten im EMA12000 auf zwei Controller verteilt sind, von denen sie als RAID 5 verwaltet werden, ist auch für Datensicherheit gesorgt, die bei reinem RAID 0 nicht gegeben wäre. Die Performance der SAN-Laufwerke ist dabei durchaus akzeptabel (Listing 1).

Um sich die aufwändigen Bonnie++-Messungen zu sparen, ermöglicht eine Web-Oberfläche einen Überblick über den aktuellen Datendurchsatz auf den Ports des Storageworks-Switchs (Abbildung 6). Die Daten können per SNMP ausgelesen und mit Tools wie »mrtg«[25] visualisiert werden.

Abbildung 4: Überblick über das Göttinger SAN.

Listing 1: Dem SAN auf den Tacho geschaut.

Abbildung 6: Mit diesem Web-Interface gewinnt man die Übersicht über den Durchsatz der einzelnen Ports auf dem SAN-Switch. Alternativ lassen sich die Daten auch per SNMP abgreifen und individuell aufbereiten.