Stolperstellen
Das Skript aus Listing 4 kämpft mit ein paar kleineren Problemen: So hinterlässt ein Kill verwaiste Arbeitsprozesse (das ließe sich aber durch Setzen einer Timeout-Variablen verhindern). Und bei mehr als sechs Prozessen nutzt das Skript Filedeskriptoren (Kanalnummern) größer als 9. Laut Bash-Manual solle man damit "vorsichtig" sein - was immer das heißen mag -, da die Bash selbst diese Deskriptoren eventuell bereits intern nutzt. Als Ausweg kann man den Offset für die Kanalnummern (Zeile 4) anpassen.
Andere Implementierungen sind auch denkbar. So könnten Dispatcher und Worker über Dateien kommunizieren. Der Dispatcher schreibt die Aufträge dann in Worker-spezifische Dateien. Diese pollen auf die Existenz ihrer Worker-Datei, verarbeiten den darin enthaltenen Auftrag und löschen die Datei wieder. Der Dispatcher überprüft dagegen, welche der Worker-Dateien gerade nicht existiert, und weiß so, welcher Worker nichts zu tun hat. Diese Lösung wäre aber durch das ständige Pollen weniger effizient.
Eine Langfassung von Listing 4 findet sich auf dem FTP-Server des Linux-Magazins [2]. Sie erlaubt »dispatchWork« von der Kommandozeile aus aufzurufen:
$ dispatchWork -c "doSomething" Datei1 Datei2 [...]
Darüber hinaus enthält diese längere Fassung auch einige zusätzliche Kommentare sowie außerdem Switches für optionale Debug-Ausgaben, die es dem Admin erlauben, den Ablauf des Skripts zu beobachten.
Über Rechnergrenzen hinweg
Wer nicht nur die Prozessoren eines einzelnen lokalen Rechners auslasten will, der kann das vorgestellte Prinzip um eine Stufe erweitern. Damit würde ein First-Level-Dispatcher dann mit mehreren Second-Level-Dispatchern auf verschiedenen Rechnern über TCP/IP kommunizieren. Diese Second-Level-Dispatcher würden ihrerseits wiederum mit den eigentlichen Worker-Prozessen reden. Dieses Verfahren wäre allerdings nur etwas für sichere Netze.
| Whitepaper |
|---|
|
Open Source Datenintegration in der Praxis: Fallstudien und Anwendungsbeispiele
Über die letzten Jahre hinweg haben sich Open Source Lösungen als fester Bestandteil des gesamten Datenintegrationsmarktes etabliert. Viele Unternehmen haben bereits das Open Source Modell für Ihre Datenintegrationsprojekte aufgegriffen. Das vorliegende White Paper illustriert anhand ausgewählter Fallstudien und Anwendungsbeispiele die Implementierung von Open Source Datenintegration in der Praxis und benennt die daraus resultierenden Vorteile.
Download PDF (Registrierung erforderlich)
|
|
The Role of Open Source in Data Integration
Obwohl in den letzten Jahren viele technische Fortschritte erzielt werden konnten, verfügen die meisten Datenintegrationsprozesse nach wie vor nur über eine sehr begrenzte Automatisierung. Das vorliegende White Paper von dem Industry Analyst Mark Madson wird zunächst ein grundlegendes Verständnis von Daten Integration vermitteln, die Vorzüge von Open Source Lösungen für Daten Integration erläutern und Ihnen professionelle Empfehlungen geben, damit Sie Ihre Integrationsjobs noch einfacher und produktiver gestalten können.
Download PDF (Registrierung erforderlich)
|
Dieser Online-Artikel kann Links enthalten, die auf nicht mehr vorhandene Seiten verweisen. Wir ändern solche "broken links"
nur in wenigen Ausnahmefällen. Der Online-Artikel soll möglichst unverändert der gedrucken Fassung entsprechen.
|
