Auf der Suche nach einem fahrbaren Untersatz führt der Weg immer öfter ins Web. Einen der größten virtuellen Fuhrparks hostet Mobile.de – Linux- und Open-Source-Technologie sorgen für den reibungslosen Ablauf.

Mehr als 1,2 Millionen Fahrzeuge von 31000 Händlern und unzähligen Privatverkäufern stehen bei Mobile.de zum Kauf und hinterlassen monatlich rund 1,2 Milliarden Page Impressions. 690 einzelne Server-Units – zumeist Bladeserver – regeln den Betrieb. Das System auf den Servern: Debian GNU/Linux.

Mobile Geschichte

Die Geschichte von Mobile.de beginnt 1996 in Hamburg – und Linux kommt von Beginn an darin vor. Der Werbetexter Vijay Sapre und der Programmierer Ralf Prehn entwickelten damals eine der ersten Automobildatenbanken und setzten auf freie Technologie und Software. Ein Jahr später stiegen die Hamburger Autohändler Rüdiger und Hans-Christian Bartholatus mit einer Beteiligung ein. Einige Dutzend Autohändler sorgten für einige Tausend Hits pro Monat.

2001 schrieb das Unternehmen dann schwarze Zahlen, was dem Branchenriesen Ebay nicht entging. Er übernahm Mobile.de. Seither liegt der Firmensitz des Online-Autohändlers neben dem Mutterhaus Ebay Deutschland in dem kleinen Örtchen Dreilinden zwischen Berlin und Potsdam. 115 Mitarbeiter sind dort beschäftigt. 40 von ihnen kümmern sich um die überlebenswichtige IT. Philip Missler, Director Technology, und Ralf Tomczak, Head of Site-Operations, sind zwei dieser Mitarbeiter.

Zuerst müssen beide allerdings passen, was die Gründerzeit betrifft: Über die ersten Server und Systeme sei nicht mehr viel bekannt. Überliefert ist lediglich, dass kleine Dell-Server die Keimzelle des aufstrebenden Portals bildeten. Die Datenbank lief auf einer SGI-Maschine. Die Basis bestand schon 1996 aus Perl-Programmierungen, SQL und Linux.

Das Wachstum der IT-Infrastruktur erfolgte anfangs organisch – sprich ohne festes Architekturkonzept. Die an sich erfreulichen Steigerungsraten bei den Endkunden-Requests zeigten dann jedoch bald unerfreuliche Begleiterscheinungen: Zunehmend kollidierten Schreib- und Leselast und machten die Performance der Serverlandschaft zunichte. Ein neues Konzept musste her.

Minimierung der Risiken

In drei Schritte teilte das Mobile.de-Team seine Aufgabe. Im ersten analysierte es den Ist-Zustand: rund eine halbe Million Änderungen pro Tag im Backend und damit in der Datenbank. Da auch jede Suche bis dato auf die Datenbank zugriff, steigerte sich die Netzlast nochmals erheblich. “Wir hatten damals den größten MySQL-Datenbank-Cluster Europas”, beschreibt Philip Missler die Situation vor der Umstrukturierung, “doch das war nichts, worauf man hätte stolz sein können.” Zwar hatte das Portal mehr Kunden, doch der Datendurchsatz je Kunde sank, die Grenze der Skalierbarkeit war erreicht.

Die Entwickler entkoppelten daraufhin das Lesen aus der Datenbank und das Hineinschreiben voneinander und entwickelten eine eigene, asynchron gefüllte Suchmaschine für das Portal. Kollisionen und Skalierungsprobleme gehörten damit der Vergangenheit an. Den zweiten Schritt widmete die IT-Abteilung der Neuorganisation der Serverlandschaft (Abbildung 2). Die gesamte Plattform zog dabei – auf Bladeserver verteilt – in zwei Rechenzentren in Frankfurt um. Die Neustrukturierung der Netzwerktopologie ging damit einher. Heute arbeiten beide Standorte redundant.

Von Perl zu Java

Der dritte und wohl größte Schritt erfolgte dann 2007: die Migration von Perl auf Java. Das war laut den Verantwortlichen notwendig, da Perl den Anforderungen an Wartbarkeit und Erweiterbarkeit nicht mehr gewachsen war. Perl sei für die große Anzahl regelmäßiger Änderungen ungeeignet, heißt es zur Begründung. Zudem biete Java dank besserer Nutzung der Ressourcen bei gleicher Funktionalität einen um bis zu 50 Prozent geringeren Ressourcenbedarf.

Zukunft auf Säulen

Nachdem die architektonischen Aufgaben zum großen Teil erledigt sind und die neue Redundanzstrategie zufriedenstellend funktioniert, steht nach der happigen Softwaremigration jetzt ein Umbau der Systemarchitektur an. Er erfolgt auf Basis einer Technologie, die das Unternehmen Pillar-Architecture nennt.

Die Mobile.de-Entwickler wollen dabei das System hochgradig partitionieren. Das gehe zwar wieder auf Kosten der Redundanz, berge aber einen entscheidenden Vorteil: den Schutz vor Kettenreaktionen innerhalb des Systems. Einzelne Funktionalitäten sind bei diesem Modell je nach Gewichtung auf vollständig isolierte Systemsäulen ausgelagert.

Missler und Tomczak machen die Vorteile am Beispiel des Inserierens von Angeboten deutlich. Kommt es in diesem Teil zu einem Fehler, sei zwar vorübergehend das Anlegen neuer Angebote nicht möglich, die restlichen Bereiche des Internetportals blieben aber weiterhin voll nutzbar. “Diese Partitionierung der Plattform gibt uns auch den Vorteil, viel flexibler auf Businessanforderungen zu reagieren und Anpassungen vorzunehmen, ohne andere Bereiche in den Plattformen zu beeinflussen.

Die Pillar-Architektur erfordert jedoch weit mehr als nur das Aufsetzen und Verknüpfen der einzelnen Säulen. Sie stellt hohe Anforderungen an das Monitoring der einzelnen Server und genaues Logging aus den Systemen heraus. Einfaches »find« und »grep« wie auf dem heimischen Computer reichen bei dieser Größe nicht aus. Daher haben die Entwickler eine Lösung ausgetüftelt und ein neues Message-basiertes Logging aufgebaut. In diesem landen alle Meldungen aus den Anwendungen und Systemen zunächst asynchron, eine Bus-Struktur sammelt sie dann zentral auf einem Storage-Layer. Vor dort aus sind sie innerhalb weniger Sekunden abrufbar und zur Auswertung bereit.

Abbildung 1: Ralf Tomczak ist Herr über die Webseiten von Mobile.de.

Warum Linux?

Die Entscheidung für (Debian-)Linux-Systeme, so sagen die beiden Entwickler einhellig, stand bei der Umstrukturierung außer Frage. “Es war eine natürliche Entscheidung, ein Betriebssystem einzusetzen, bei dem wir viel selbst machen können und Kontrolle darüber haben, was wir tun”, sagt Missler. Debian habe sich bewährt, ein Grund dafür sei auch das Paketmanagement.

Als weiteren Grund nennen die Entwickler die Installationstools. Als Beispiel führen sie FAI (Fully Automatic Installation, [1]) an. Damit lassen sich in Serverfarmen neue Rechner automatisiert aufsetzen. Missler stellt fest: “Open Source ist für uns sehr wichtig. Wir sind in Grenzbereichen unterwegs, in denen wir mit Komponenten aller Art Erfahrungen machen, die wenige vorher gemacht haben. Für uns ist es aus Geschäftssicht sehr wichtig, dass wir selber reagieren können.” Aber nicht alles ist perfekt. Kritik äußert Tomczak am schleppenden Release-Zyklus der Distribution.

Open-Source-Prinzip

Auf das Open-Source-Prinzip von Nehmen und Geben angesprochen geben die IT-ler zu, dass Mobile.de bisher nicht damit geglänzt habe, viel an die freie Entwicklergemeinschaft zurückzugeben. Es habe bisher einfach die Zeit dafür gefehlt, lautet die Entschuldigung. Doch nach erfolgreicher Migration und Konsolidierung der Lage wäre es denkbar, dass Entwicklungen anderen Projekten zugutekommen.

Er sieht beispielsweise den Austausch über die Erfahrung mit FAI als Möglichkeit an. Die Anpassungen und die Größe der Installation bei Mobile.de seien schon außergewöhnlich. Hier sieht er die Möglichkeit, Feedback in die Community zurückzugeben. Auch in anderen Bereichen – zum Beispiel Applikationsserver – sei es möglich, Teile der genutzten und weiterentwickelten Software freizugeben. Mobile.de wolle in den nächsten Jahren stärker in die Zusammenarbeit mit OSS-Entwicklern investieren und auch in einen Diskurs mit Projekten und Universitäten treten.

Abbildung 2: Bladeserver bilden die Hardwarebasis der Automobil-Plattform.

Offene Kommunikation

Nicht nur mit der OSS-Welt will Mobile.de in Zukunft kommunizieren. Auch den Rest der Internetwirtschaft würden die Entwickler gerne an einem Tisch sehen. Vor allem bezüglich neuer Arten der Skalierung von Systemen wünschen sich sowohl Missler als auch Tomczak mehr Dialog in der Industrie. Sie wollen die Thematik zum Schwerpunkt von Konferenzen machen. Schlicht aus dem Grund, weil neue Projekte und Unternehmungen immer wieder auf die gleichen Probleme und Schwierigkeiten bei der Skalierung treffen.

Dabei sei schon viel Know-how in der Industrie vorhanden. Viele Probleme ließen sich vermeiden, fände ein Austausch statt. Dennoch mache jeder erst die gleichen Fehler. Wissenstransfer finde kaum statt. Scheu vor Konkurrenten sei nicht angebracht. Niemand profitiere von technischen Problemen der Konkurrenz, weil sie das Vertrauen der Endnutzer in die Industrie insgesamt schädigen. “Mit offener Kommunikation kommt man weiter”, sagt Missler. (uba)