Open-Source-Software iRODS 1.0 verwaltet große Datenmengen
13.02.2008
Die Supercomputing-Gruppe der Universität Californien hat unter dem Namen iRODS ein Programm zur Verwaltung großer Datenmengen veröffentlicht.
iRODS steht als Abkürzung für Integrated Rule-Oriented Data System und wurde von der Arbeitsgruppe Data-Intensive Computing Environments (DICE) entwickelt. DICE arbeitet am San Diego Super Computer Center (SDSC) und steht unter der Schirmherrschaft der Universität Kalifornien. Reagan Moore, Leiter der DICE-Gruppe, beschreibt die Software als Ergebnis aus zehn Jahren Entwicklungserfahrung mit der Vorgängertechnologie Storage Resource Broker (SRB)-Technologie. DICE will SRB zwar weiter pflegen, jedoch stehen Hilfen zur Migration auf das "leistungsfähigere und schnellere iRODS-System" zur Verfügung. Moore beschreibt das breite Einsatzgebiet des Data-Grid-Systems: "iRODS liefert Anwendern das volle Spektrum für die Verwaltung verteilter Daten," so der DICE-Chef, "vom Extrahieren beschreibender Metadaten und Verwalten ihrer Daten bis zum effizienten Verschieben, sicheren Teilen der Daten mit Mitarbeitern, Veröffentlichen in digitalen Bibliotheken und schließlich bis hin zur Archivierung für Langzeitspeicherung."
Als stärkstes Leistungsmerkmal, das gleichzeitig Namensgeber für IRODS ist, bezeichnet DICE ein innovatives Regelwerk, mit dem Anwender komplexe Aufgaben im Datenmanagement auf einfache Weise bewältigen sollen. Hiermit können Anwender die Einhaltung von Richtlinien erzwingen oder Regeln einführen, die die Ausführung aller Datenoperationen überwachen. Dank anwenderfreundlicher Handhabung sollen Anwender das System einfach an ihre Bedürfnisse anpassen können. Als Anwendungsbeispiel nennt die Universität Fotoarchivierung von Astronomen: Routinemäßige Himmelsaufnahmen werden in Datensammlungen eingepflegt. Mit eigenen iRODS-Regeln legen die Forscher fest, dass den Fotos automatisch beschreibende Informationen zugeordnet und diese im iROD-Metadaten-Katalog (iCAT) speichern. Automatisiert wird eine Backup-Kopie in einem anderen Verzeichnis angelegt, ein kleines Bild (Thumbnail) für eine web-basierte Galerie-Darstellung kreiert, und ein Analyseprogramm identifiziert verwandte Bilder. Ein Archivmitarbeiter könnte iRODS-Regelungen festlegen, nach denen digitale Aufzeichnungen für fünf Jahre gespeichert und danach automatisch verschoben oder zu vernichtet werden.
Bereits in Arbeit seien iRODS-Regeln, die die Vertrauenswürdigkeit von digitalen Speichern sicherstellen. iRODS-Anwender können die bereits bestehenden Regeln nutzen, neue schreiben oder als Community-weite Normen entwickeln. Die Datenverwaltung soll für den Einzelanwender mit einer kleinen Datensammlung ebenso geeignet sein wie für sehr große Organisationen mit enormen Datenmengen, mit "Millionen Dateien und Petabytes an Daten", wie iRODS-Chefentwickler Arcot Rajasekar meint. Die Pressemeldung der Universität nennt als Vergleichsgröße für ein Petabyte die Speicherleistung von rund 10.000 PCs, ein Petabyte entspricht einer Million Gigabytes. In dem kalifornischen Supercomputer-Zentrum wird iRODS und die Vorgängertechnologie SRB bereits in diesem Umfang eingesetzt: ein Petabyte Daten und 200 Millionen Dateien für 5000 Anwender werden hier verwaltet.
Dass ihr Data-Grid-Management als Open Source-Projekt freigegeben wird, sehen die Entwickler als Vorteil. Rajasekar freut sich auf Beiträge aus der ganzen Welt und hofft auf eine schnellere Entwicklung. Er sieht aber noch ein weiteres Argument: "Wir sehen, dass Anwender den Open-Source-Ansatz mögen und mehr Vertrauen darin haben, eine neue Technologie anzunehmen", so seine Erkenntnis. Zudem verschafften eine große Entwicklergemeinde und aktive Communities einem Projekt einen weiteren Wettbewerbsvorteil: "Das lässt das Vertrauen der Anwender wachsen, dass es das iRODS-System auch in Zukunft geben wird."
iRODS steht aktuell in Version 1.0 für Linux, Solaris, Mac und AIX-Plattformen auf der Projektseite zum Download zur Verfügung, Windows-Unterstützung ist bereits angekündigt. Der iRODS Metadata Catalog (iCAT) kann entweder mit der Open-Source-Datenbank PostgreSQL genutzt werden oder mit Oracle-Datenbanken. Zum leichteren Einstieg will DICE Tutorials und Workshops in den USA, Europa und Asien anbieten.
(Britta Wülfing)
| Whitepaper |
|
Usage Landscape Enterprise Open Source Data Integration
Die Nachfrage nach Datenintegrationslösungen für Unternehmen ist zunehmend gestiegen und vor allem das Interesse an Open Source Technologien wird immer größer. Doch wie und von wem werden Open Source Datenintegrationslösungen genutzt und welches Nutzungsverhalten lässt sich daraus ableiten? Das vorliegende White Paper präsentiert die Erfahrungswerte von über 1000 Open Source Nutzern und liefert fundierte Antworten auf diese Fragen.
Download PDF (Registrierung erforderlich)
|
|
Daten Migration - Eine Publikation von Bloor Research
Datenmigrationsprojekte überschreiten häufig das Budget, neigen zu Verzögerung und werden unter Umständen komplett abgebrochen. Bloor Research ist eines der weltweit führenden IT-Forschungs-, Analyse- und Beratungsunternehmen und wird in dem vorliegenden White Paper die wichtigsten Aspekte dieser Problematik näher beleuchten. Ferner werden praktische Empfehlungen für erfolgreiche Migrationsprojekte gegeben, die Sie auf Ihr nächstes Projekt übertragen können.
Download PDF (Registrierung erforderlich)
|
|