Abbildung 1: Im Rechenzentrum von 1&1 liegen knapp 40 Prozent aller registrierten deutschen Domains - mehr als drei Millionen. Auf nahezu allen 19-Zoll-Servern in den elf Rechnerräumen arbeitet Linux.

Im Karlsruher Rechenzentrum vom Internet-Hoster 1&1 wartet auf den Besucher ein Mix aus vielen Linux- Maschinen und beeindruckender Versorgungstechnik. Das Motto Redundanz auf ganzer Linie beschreibt recht gut die primäre Philosophie der Betreiber.

Wenn sich der Besucher der spiegelnden Fassade des sechsstöckigen, repräsentativen Gebäudes nähert und dabei eine künstliche Wasserfläche über ein Brückchen passiert, verblassen die Gedanken an Bilanzskandale und geplatzte Anlegerträume in der Dotcom-Blase. Die Architektur des Ortes offenbart Erstaunliches: In und mit dem Internet sind auf Dauer Umsätze möglich.

Es folgen eine kurze Fahrstuhlfahrt in den Keller der Karlsruher Dependance der 1&1 Internet AG und eine aufwändige Schleusung in die Räume, in denen die Motoren des Erfolgs summen: In den elf Rechnerräumen stehen jeweils 62 19-Zoll-Schränke, in denen Internetserver aller Generationen stehen – angefangen von den Mietpräsenzen auf Gemeinschafts-Servern (Shared Hosting) bis zu den Root-Servern im 1-HE-Gehäuse (siehe Abbildung 1).

Auf nahezu allen läuft ein – von den 70 Entwicklern vor Ort großteils selbst gestricktes – DEB-basiertes Linux. Allein sechs Programmierer kümmern sich um Raid-Controller-Treiber oder schreiben Patches, die die Performance oder Skalierung des Kernels verbessern. Den Apache-Spezialisten von 1&1 ist es gelungen, beim Shared Hosting 15000 Angebote pro Single- oder Dualprozessor-Maschine parallel und trotzdem performant am Laufen zu halten – die Konkurrenz schafft bestenfalls die Hälfte.

Jeden Monat schieben die Hardware-Spezialisten unter den 350 Mitarbeitern rund 1000 neue Rechner in die Racks. Diese Investition ist nötig: Schließlich weist die Internetstatistik-Firma Netcraft bezüglich der “Internet-sichtbaren Server” 1&1 als den am schnellsten wachsenden Hoster aus – über 500 Prozent von März 2002 bis März 2003. Im Karlsruher Rechenzentrum, Betreiber ist die 100-prozentige 1&1-Tochter Schlund+ Partner AG, liegen knapp 40 Prozent aller registrierten deutschen Domains – mehr als drei Millionen, hinzu kommen 100000 für Großbritannien.

Abbildung 1: Im Rechenzentrum von 1&1 liegen knapp 40 Prozent aller registrierten deutschen Domains – mehr als drei Millionen. Auf nahezu allen 19-Zoll-Servern in den elf Rechnerräumen arbeitet Linux.

Wie Steffi und Martina für Ordnung sorgen

Die Softwareverteilung in der wohl weltgrößten Linux-Serverfarm passiert über selbst entwickelte Skripte. Das Setup für die einzelnen Server erfolgt über das Verteilen individueller Konfigdateien, die eine auf zwei Sun-Maschinen (»steffi« und »martina«) verteilte Sybase-Datenbank vorhält. Sie speichert auch alle Kunden- und Login-Daten. Zum Monitoring der Maschinen setzen die Techniker eine stark angepasste Netsaint-Variante ein.

Netzwerkverbindung

Jeder Server hängt mit 100 MBit/s am Netz, zwischen den Rechnerräumen liegen 10-GBit/s-Glasfaser-Stränge. Alle Fäden laufen im Routerraum zusammen, in dem die Daten in zwei 25-GBit/s-Glasfaserkabeln nach Paris und Frankfurt laufen (Abbildung 2).

1&1 setzt in puncto Redundanz nicht nur auf Verdoppelung der Geräte, sondern bedient sich auch unterschiedlicher Hersteller. Das soll im Fall eines Hersteller-spezifischen Problems – wie etwa dem Bug von Mitte Juli in der Router-Software von Cisco – einen Totalausfall der Internetanbindung vermeiden.

Abbildung 2: Jörg Hennig, Technik-Vorstand bei der 1&1-Tochter Schlund+Partner, vor dem Cisco-1200-Router zum DeCIX-Knoten in Frankfurt.

Problem Kühlung

Bei einer so großen Ansammlung von Rechnern verlangen Kühlung und Stromversorgung Technik vom Feinsten. 1&1 hat allein für Stromversorgung, Kühlung und alarmgesicherte Schließtechnik 13 Millionen Euro ins Karlsruher Rechenzentrum investiert. Jeder 19-Zoll-Schrank erhält definierte Luftströme aus dem Unterboden. In jedem Raum arbeiten fünf oder sechs Kühlaggregate mit je 600 kW Kühlleistung. Zwischen 120 und 150000 Kubikmeter Luft werden pro Raum und Stunde bewegt.

Auch beim Kühlen ist Redundanz ein Thema: Drei Aggregate reichen im Notfall. Alle sechs Kühlaggregate eines Raumes haben separate Kühlwasserkreisläufe, wobei ein Kreislauf stets alle Räume durchläuft. Nach dem gleichen Prinzip arbeiten auch die Kühltürme auf dem Dach des Gebäudes.

Strom vom Netz, Diesel auf dem Dach

Im Rechenzentrum sind alle wichtigen Versorgungsanlagen mehrfach redundant ausgelegt. Zurzeit gibt es für die Stromversorgung vier unabhängige Stränge mit je einem 20-kV-Stromnetz, ein fünfter ist im Bau. Im Normalfall werden alle Stränge von den Stadtwerken gespeist – immerhin drei Prozent der Energieleistung Karlsruhes. Für die Notstromversorgung stehen im Keller eine generatorische USV-Anlage und auf dem Dach für jeden Strang ein eigener, vorgeheizter Schiffsdiesel (siehe Abbildung 3) mit 2 MVA Leistung bereit.

Abbildung 3: Vier 16-Zylinder-Schiffsdiesel mit je 40 Tonnen Gewicht stehen auf dem Dach des Gebäudes und speisen bei Stromausfall das interne 20-kV-Stromnetz.

Akkus satt: USV-Anlage

Im Untergeschoss enden die vier Versorgungsstränge der Dieselgeneratoren an Transformatoren, die auf 400 Volt Drehstrom umspannen und die USV-Anlagen versorgen. Derzeit sind vier voneinander unabhängige USVs mit einer Nennleistung von jeweils 1,1 MVA im Einsatz (siehe Abbildung 4) und mit der USV-Schaltmatrix auf beliebige Versorgungsleitungen schaltbar. In Zusammenarbeit mit der Generatoren-Matrix fängt das System zusätzlich den Ausfall eines ganzen Versorgungsstrangs oder Trafos ab und legt dabei einen anderen Strompfad zum Dieselaggregat.

Die Sekundärspannung für die Rechnerräume wird mittels Synchrongenerator erzeugt, was einen sehr hohen Wirkungsgrad (95 bis 97 Prozent) garantiert – eine Halbleiter-USV wäre bei dieser Belastung kaum zu kühlen. Die Blei-Gel-Akkus lagern in einem gesonderten Raum und liefern genügend Strom für 17 Minuten USV-Betrieb unter Volllast.

Zwischen den USVs und den Rechner-Racks gibt es eine weitere Schaltmatrix, die einzelne Schrankreihen zwischen den USVs unterbrechungsfrei umverteilen kann. Im Normalbetrieb werden die Lasten auf nur drei USVs verteilt, die vierte bleibt in Reserve. Die Schaltmatrix der untersten Ebene erlaubt es bei Mehrfach-Ausfall der USVs, einzelne Schrankreihen abzutrennen, um wenigstens einen Notbetrieb aufrechtzuerhalten.

Abbildung 4: Für jeden Versorgungsstrang gibt es eine eigene USV mit 1,1 MVA Leistung.

Die Schaltwarte ist meist nicht besetzt

Alle Versorgungssysteme sind Computer-überwacht und -gesteuert. Für das komplexe Kühlsystem mit hunderten Lecksensoren und Magnetventilen arbeitet ein Steuerprogramm aus der chemischen Industrie – dort findet man ähnlich komplexe Flüssigkeitssysteme. Das Programm zur Überwachung der Stromversorgung stammt aus dem Bereich Energietechnik, herkömmliche Steuerungsanlagen wären mit der Anlage von 1&1 hoffnungslos überfordert. Beide Programme gibt es leider nur für Windows.

Die Überwachungssoftware in der Schaltwarte ist für die automatische Bewältigung mehrerer Pannenzustände programmiert. In allen anderen Fällen wird das technische Personal über das Ereignis per SMS, Pager oder Telefon informiert. Schließlich soll es der riesigen Pinguinkolonie an nichts fehlen.