In der badischen Provinz sind Hunderte Linux-Server in einem Bunker zum deutschen Internetportal mit den meisten Seitenabrufen verschaltet.

Mit dem Augenblick, an dem Oliver Stoll mit einem Zugangssender bewaffnet seine stattliche Erscheinung die enge Treppe ins Tiefgeschoss schiebt, herrscht für den Besucher striktes Fotografierverbot. Hartnäckiges Nachfragen entlockt dem Technical Director IT von Web.de ein karges “die Mitbewerber”. Hinter Türen, die Einbrüchen und Naturkatastrophen trotzen, summen in drei meist menschen- leeren, mit 160 kW Leistung klimatisierten Räumen fast 400 Server in 19-Zoll-Racks – auf 90 Prozent läuft Linux.

Strukturell betrachtet sind hier gepatchte Apache-Werbserver, Mailrelays, redundante Cluster, Systeme, die SMS verschicken, 30 Oracle-Datenbanken, Firewalls und Cache-Proxies über 100-Mbit-Stränge und Gigabit-Switches verschaltet. In Summe ergibt sich der Internetauftritt der Karlsruher Web.de AG mit Suchkatalog, Freemail mit fünf Millionen registrierten Benutzern, 150 Themenportalen und anderen Services. Ans Internet ist das Ganze mit 415 MBit pro Sekunde über die Firmen Xlink und Schlund angebunden; viermal so viel Up- wie Downstream.

Der Katalog von Web.de ist mit 420000 Einträgen in Deutschland der umfänglichste. Dem Besucheransturm (493000 IVW-geprüfte Page Impressions im Mai) stellt sich ein redundantes Cluster, das die Last an mehrere Front-End-Server verteilt. Apache-Server kommunizieren über eine Corba-Middleware mit Oracle-Datenbanken – alles mit Linux. Das System kommt nur bei Meldungen wie “Beate Uhse gestorben” ins Stocken.

Erreicht der Besucher wieder die Oberfläche steht er mitten in einem der beiden Großraumbüros der insgesamt 400 Mitarbeiter. Grünpflanzen und Stellwände beherrschen das Bild. Die Geräuschkulisse ist erstaunlich moderat, seit spezielle Akustikelemente an den Decken angebracht wurden.

Von einiger Symbolkraft ist, dass in dem rechteckigen Gebäudekomplex einst ein großer Nähmaschinen-Hersteller herrschte, der mittlerweile insolvent ist – hier stimmen noch die Klischees von alter und neuer Ökonomie. Den spröden Industriearchitektur-Charme stören hie und da von Web.de initiierte Bauarbeiten, die auf Expansion schließen lassen. Sein Personal rekrutiert das weit vom IT-Schuss liegende Unternehmen größtenteils aus der hiesigen Uni – ganze Absolventen-Jahrgänge gehen geschlossen zur am Neuen Markt notierten AG.

Finanziell geht es dem Unternehmen vergleichsweise gut. Das hat in erster Linie mit dem geglückten Börsengang Anfang 2000 zutun – kurze Zeit später brachen die Märkte ein. Wenn aber der Aktienkurs dem allgemeinen Trend folgend in ungeahnte Tiefen fällt, kommt auch der normalerweise entspannt wirkende Investor-Relations-Chef Richard Berg in Wallung: “Letztens ist unsere Marktkapitalisierung unter den inneren Wert der Firma gefallen. Unsere Kundenbeziehungen und die qualifizierten Mitarbeiter waren für einen Börsentag keinen einzigen Euro wert!”

Abbildung 1: In den (Bau-gerüsteten) Gebäuden eines früheren Nähmaschinen-Herstellers residiert heute Web.de.

Internet-Unternehmen statt Multimedia-Klitsche

Stoll ficht so etwas weniger an – schließlich gehört er zum Urgestein: 1996 war er einer von sechs oder sieben Mitarbeitern im Unternehmen. Das hieß noch Sinetic und befasste sich mit Multimedia auf Apple-Rechnern – und das Unternehmen war profitabel. Damals wollte man als Testballon einen Internet-Katalog aufbauen und schaffte einen nicht ganz billigen SGI-Rechner an (siehe Interview), auf dem ein Netscape-Server lief.

Der Versuch verselbstständigte sich zu dem Hauptgeschäft des Unternehmens Web.de. Mit flott steigenden Besucherzahlen stand alsbald ein Skalierungsschritt an. Beim Kalkulieren wurde schnell klar: Noch mehr Silicons wollte sich das Unternehmen nicht leisten. Da Intel-Hardware un- ter dem Strich deutlich billiger zu haben war, ging es in dieser Richtung weiter.

Dass der Stoll’sche Arbeitsplatzrechner schon damals unter Linux lief, hat wohl die Entscheidung, das freie Betriebssystem als Serverplattform einzusetzen, begünstigt. Entscheidend war aber, dass bei Linux der Sourcecode offen liegt und es sehr viele Linux-Entwickler gab und gibt, kurz: ein System mit Zukunft.

Abbildung 2: Linux in den Rechnern und reichlich Grünpflanzen drumherum bestimmen den Alltag der Mitarbeiter.

Linux-Treiber als Grund für einen Millionen-Deal

Da alle Server mit RAID-Controllern ausgerüstet sein mussten, fiel die bis zum heutigen Tage gültige Entscheidung, Compaq mit Hardware-Ausstattung zu beauftragen. Der Grund: Ein Compaq-Mitarbeiter hatte – vielleicht sogar in Eigeninitiative – für deren RAID-Controller (Levels 5 und 10) einen Linux-Treiber geschrieben.

Eine andere zukunftweisende Entscheidung fiel auf ähnliche Weise: Der damals einzige IT-Angestellte Stoll war es gerade leid, für alle Rechner immer selbst Startdisketten mit selbst kompilierten Kernels zu bauen, da übernahm SuSE den Compaq-Treiber in seinen Standard-Kernel. Von Stund an liefen alle Linux-Rechner bei Web.de mit SuSE-Linux (aktuell teils 7.0, teils 6.1).

Als es Oracle auch für Linux gab, wurde Windows NT zu einer Rarität im Hause Web.de. Die Lizenzkosten für die Datenbanken bemessen sich nach der CPU-Leistung. Grundformel: CPU-Zahl mal Megahertz mal fester Geldbetrag. Demnächst wird aber auf eine Berechnung umgestellt, die ohne CPU-Leistung auskommt.

Abbildung 3: Über 150 Themenportale decken die Interessen der deutschen Surfer ab.

Das Überwachen per Software ist nicht trivial

Die Architekten des Gesamtsystems versuchen die Server-Landschaft möglichst übersichtlich zu strukturieren und trotzdem Performance zu erzeugen. Das erfordert ein ausgefeiltes Monitoring sowohl der einzelnen Daemons als auch der Gesamtsysteme. Techniker sind dafür 24 Standen am Tag zugegen. Tauchen mal Internet-Würmer in den Kunden-Mailboxen auf, laufen auch gleich die Statistiken an mehreren Stellen hoch.

Gibt es die ideale Software für Überwachungen? Stoll: “Die ideale Software gibt es nicht. Das Wichtige ist, dass man sich über die Anforderungen klar ist. Die eigentliche Arbeit passiert im Vorfeld: neue Maschinen gleich klug aufsetzen. Früher hat bei uns ein Perl-Skript einfach die Server gepollt. Das hat jahrelang wunderbar überwacht.”

Wer denkt, dass zum Beispiel die User- und Rechteverwaltung bei einer so großen Serverfarm zentralisiert ist, irrt. Alle Maschine laufen erstaunlich autark. Beim Abwägen zwischen Komfort und Betriebssicherheit fiel die Verzahnung minimal aus. Trotz diverser Firewalls spielen dabei auch Sicherheitsüberlegungen ihre Rolle: Würde mal eine Maschine kompromittiert – was noch nicht geschehen sei – wäre das Problem nur lokaler Natur.

Das Redaktionsssystem ist selbst programmiert, anfangs mit C++. Seit einem Jahr migrieren Software-Entwickler in der F&E-Abteilung wie Uwe Schneider auf ein Contentmanagement-System, das per Python alle Daten in XML vorhält. Hier laufen auch alle Arbeitsplatzrechner mit Linux, die fünf Entwicklungsserver natürlich auch.

Datenbankspezialist Schneider: “Wenn bei den Produktivsystemen die Datenbanken ständig etwa 500 Connections zu bearbeiten haben und einige zehntausend Sessions auf den Webservern offen sind, muss zuvor in der Entwicklung einfach alles gestimmt haben.” Gerade evaluiert die Abteilung ein Oracle Application Cluster.

Abbildung 4: Oliver Stoll führte den ersten Linux-PC bei Web.de ein – an seinem Arbeitsplatz.

Der Weg in die Zukunft führt über den Hof

Wer die Zukunft von Web.de besichtigen darf, geht mit IT-Chef Stoll über den geräumigen Innenhof der früheren Pfaff-Werke in ein gegenüberliegendes Gebäude. Halbmeterdicke Spezialtüren, die Spezialbeton-Konstruktion und eine selbst für Stoll kaum überwindbare Alarmanlage schützen die neuen Serverräume von Web.de, die in etwa zwei Monaten in Betrieb gehen sollen. Auch wenn beliebige Katastrophen die badische Provinz verwüsten, [http://www .web.de] wird funktionieren.

Dafür sorgen auch die beiden 1300-PS-Schiffsdiesel in einem großen Nebenraum, die bei Stromausfall nach vielleicht einer Schreckminute aus 300 Litern Sprit pro Stunde je 960 kVA liefern, gespeist aus 12000-Liter-Tanks. Der Zwischenpuffer kommt aus dem benachbarten Batterieraum, in dem handelsübliche LKW-Akkus die Regale füllen.

Spätestens hier wird dem scheidenden Besucher klar, dass Web.de-ler alles für eine ornithologische Unmöglichkeit tun: Pinguinen das Fliegen beibringen.

Interview mit dem CTO von Web.de

Michael Greve ist Technologie-Vorstand der Web.de AG in Karlsruhe. Linux-Magazin: Herr Greve, Linux war Web.de vor rund fünf Jahren noch nicht in die Wiege gelegt? M. Greve: Die erste Maschine für unsere Internet-Aktivitäten war eine SGI – die habe noch ich gekauft. Wir wollten ein stabiles Unix-System und ich fand das grafische Interface der Silicon einfach wunderschön. Nur, eine einzelne Kiste kostete 25000 Mark. Bei den zügig steigenden Benutzerzahlen haben wir dann gemerkt, dass PCs fürs Geld einfach schneller sind. Wir sind dann bei Compaq-Servern und Linux angekommen. Linux-Magazin: Haben auch Lizenzkosten eine Rolle gespielt? M. Greve: Das war nie das Problem. Das Entscheidende an Linux sind für uns die hohe Stabilität, die Flexibilität und die Menge der quelloffenen Tools und Software. Linux-Magazin: Windows NT war auch nie ein Thema? M. Greve: Nicht wirklich. Als es Oracle noch nicht für Linux gab, liefen die Datenbanken auf NT. Gegen Sun-Server haben wir uns wegen der hohen Anschaffungskosten und der langen Lieferzeiten entschieden. Auch die Komponenten sind einfach viel, viel teurer. Ein paar Suns haben wir noch heute, weil unsere Anzeigenverwaltung nur darauf läuft. Wenn es die für Linux gäbe, würden wir die auch sofort auf Linux machen. Linux-Magazin: Kaufen Sie Linux-zertifizierte Hardware? M. Greve: Nein. Wenn es zum Beispiel einen neuen Vierfach-Server mit RAID von Compaq gibt, kaufen wir einfach einen und schauen, was geht. Eine Linux-Zertifizierung hat uns nie interessiert, meist läuft alles einfach. Wenn wir wie jetzt gerade ein Datenbank-Cluster aufbauen, sprechen wir aber zuvor mit den beteiligten Firmen; in dem Fall mit Oracle und SuSE. Linux-Magazin: Wie sieht das Business-Modell von Web.de auf lange Sicht aus? Kann man überhaupt online Geld verdienen? M. Greve: Web.de ist ein Platz, auf dem kommen täglich 1,5 bis 2 Millionen Menschen vorbei. Bei einem realen Markt würde da auch keiner fragen: Wie kann man da Geld verdienen? Unser Geschäftsmodell ruht auf drei Säulen: Erstens die Bannerwerbung, von der wir natürlich wissen, dass hier gerade eine Krise im Gange ist. Doch es gibt viele Entwicklungsmöglichkeiten, die wir wahrnehmen. Das Media-Geschäft wird sicherlich ein wichtiger Geschäftsteil bleiben. Die zweite Säule ist der E-Commerce, mit dem wir schon große Teile unseres Umsatzes machen: Kooperationen mit der Comdirect Bank und Premiere haben und hatten wir schon, heute haben wir eine weitere mit Webmiles angekündigt. Und das dritte Standbein sind direkte Umsätze mit unseren Nutzern. Dazu haben wir unser eigenes Billing-System mit Linux und einer Oracle-Datenbank entwickelt. Das erste große Projekt, das angelaufen ist, ist der Verkauf der Wunsch-Rufnummern an die User. Linux-Magazin: Alle reden vom Content- Verkauf. M. Greve: Wir haben unsere Content-Lieferanten, mit denen wir zufrieden sind. Wir sind aber nicht die Content-getriebene Firma – wir sind Service-getrieben. Beispielsweise Nachrichten verkaufen wollen ist eine Milchmädchenrechnung. Unsere Content-Dienste wie die “Seite 1” werden nie kostenpflichtig sein. Internet ist doch wie Privatfernsehen: Wenn Pro 7 für seinen Abendspielfilm plötzlich 50 Pfennige verlangen würde, schalten die Leute einfach zu RTL. Linux-Magazin: Wohin geht die Entwicklung bei Web.de? M. Greve: Web.de hat Unified Messaging nach Deutschland getragen. Jetzt haben wir die ersten Schritte getan in Richtung Voice-over-IP und es gibt bei uns die eigene Vorwahlnummer 01212 für die Wunsch-Rufnummern. Die Telekommunikationsdienste in Verbindung mit dem Internet werden wir sicher sukzessive ausbauen. Denn das ist die eigentliche Wertschöpfung, die ein Unternehmen bringt: Es muss neue Dinge, neue Dienstleistungen erfinden. Die Bereitwilligkeit Neues zu tun, ist genauso da wie früher, als Web.de noch kleiner war. Nur schalten wir heute keinen Server frei, ohne die Software genau getestet zu haben – das würde sonst garantiert schief gehen. Linux-Magazin: Inwieweit erstellen Sie Profile von Ihren Usern? M. Greve: Gar nicht! Ich würde das auch nicht so lustig finden, wenn das einer bei mir machte. Das Profiling haben nur Firmen nötig, die wenige Dienste anbieten. Wir dagegen decken mit unseren 150 Themenportalen praktisch die deutsche Wohnbevölkerung mit ihren Interessen ab. Unsere Marketingmaßnahmen sind darum einfach: Einem User, der sich im Auto-Bereich befindet, dem kann ich ein Opel-Banner zeigen. Wer Free-SMS macht, der richtet sich an einen Handy-User – dem kann ich eine Anzeige von D-1 zeigen und so weiter. Linux-Magazin: Macht es noch Spaß, bei Web.de zu arbeiten? M. Greve: Ja, das tut es. Jeder der hier arbeitet – ich auch – hat sich damit angefreundet, dass sich die Welt täglich ändert. Die Veränderung ist der Normalzustand bei Web.de.