(C) Kirsty Pargeter, Fotolia.com
Mirrorbrain, der Redirector und Metalink-Generator des Opensuse-Projekts
Optimale Lastverteilung
von Tim Schürmann
16.09.2008
Beliebte Download-Angebote verursachen mächtig Last auf den anbietenden Servern. Das Opensuse-Projekt verwendet ausgeklügelte Open-Source-Software, um die Anfragen optimal über ein Netz von Mirror-Servern zu verteilen.
Jeden Tag prasseln auf die Downloadseiten des Opensuse-Projektes bis zu 40 Millionen Anfragen ein. Sie alle verlangen gleichzeitig nach den mehrere GByte großen Images der beliebten Distribution. Ein einzelner, kleiner Server wäre mit der Auslieferung dieser Datenmengen schon nach wenigen Millisekunden hoffnungslos überfordert. Dennoch flutschen die Bytes in der Praxis ohne lange Verzögerungen auf die Festplatten der Interessenten. Diese reibungslose Abwicklung klappt nur Dank der zahlreichen Spiegelserver im Hintergrund - und einer unscheinbaren Software namens Mirrorbrain (auch als Opensuse Download Redirector bekannt).
Dessen Arbeitsweise ist so einfach wie genial: Sobald ein Client um einen Download bittet, ermittelt Mirrorbrain anhand der IP-Adresse dessen geographischen Standpunkt und leitet ihn anschließend an einen Spiegelserver in der Nähe weiter. Sollten mehrere Server in etwa gleicher Entfernung zum Client stehen, wählt Mirrorbrain automatisch denjenigen mit der momentan geringsten Auslastung (Load Balancing).
Vor der Haustür
Da die Daten somit praktisch vor der Haustür des Abnehmers lagern und nicht erst langwierig durch das Überseekabel aus den vereinigten Staaten genuckelt werden müssen, flutscht nicht nur der Transport - die Übertragungswege des Internet bleiben auch für wichtigere Dinge frei. Den dabei entstehenden Rechnerverbund bezeichnet man allgemein als Content Delivery Network (auch Content Distribution Network, kurz CDN).
Intern besteht Mirrorbrain ausschließlich aus freien Software-Komponenten. Das eigentliche Gehirn des Mirrorbrain-Systems bildet dabei der Redirector "mod_zrkadlo", ein Modul für den Apache-Webserver ab Version 2.2. Sein etwas merkwürdig anmutender Name stammt aus dem Slowakischen und lässt sich mit "Spiegel" übersetzen. Das Modul ermittelt für jede eingehende Anfrage einen passenden Spiegelserver und leitet den Client an ihn weiter.
Die Geographie des Internet
Die eigentliche Auflösung der IP-Adresse übernimmt dabei die externe Bibliothek LibGeoIP der Firma Maxmind.

|
Die Firma Maxmind zeigt die Leistung ihrer IP-Ortung auch in einer Online-Demo.
|
Bei der Wahl des Mirrors berücksichtigt mod_zrkadlo nicht nur dessen geographischen Standort, sondern auch die jeweils aktuell auf den Servern liegenden Dateien. Letzteres ist notwendig, da zum einen nicht jeder Spiegelserver zwangsweise alle Pakete eines Projekts bereitstellen muss und zum anderen auf den Mirrors auch veraltete Dateiversionen liegen können. Letzteres passiert beispielsweise gerne nach einer Aktualisierung der Pakete auf dem Hauptserver: Bis die Mirrors davon Wind bekommen und ihre Dateien synchronisiert haben, können durchaus schon einmal mehrere Stunden vergehen. Der anfragende Client muss jedoch immer die aktuellste Version erhalten.
| Whitepaper |
|
The Role of Open Source in Data Integration
Obwohl in den letzten Jahren viele technische Fortschritte erzielt werden konnten, verfügen die meisten Datenintegrationsprozesse nach wie vor nur über eine sehr begrenzte Automatisierung. Das vorliegende White Paper von dem Industry Analyst Mark Madson wird zunächst ein grundlegendes Verständnis von Daten Integration vermitteln, die Vorzüge von Open Source Lösungen für Daten Integration erläutern und Ihnen professionelle Empfehlungen geben, damit Sie Ihre Integrationsjobs noch einfacher und produktiver gestalten können.
Download PDF (Registrierung erforderlich)
|
|
Open Source Datenintegration in der Praxis: Fallstudien und Anwendungsbeispiele (Folge 2)
Der zweite Teil des Open Source Datenintegration in der Praxis: Fallstudien und Anwendungsbeispiele White Papers beleuchtet anhand weiterer ausgewählter Case Studies die Implementierung von Open Source Datenintegration in der Praxis und benennt die daraus resultierenden Vorteile.
Download PDF (Registrierung erforderlich)
|
Dieser Online-Artikel kann Links enthalten, die auf nicht mehr vorhandene Seiten verweisen. Wir ändern solche "broken links"
nur in wenigen Ausnahmefällen. Der Online-Artikel soll möglichst unverändert der gedrucken Fassung entsprechen.
|
k0da,
27.10.2008 23:48
Thanks.