10 Millarden Dateien in 43 Minuten scannen und erfassen, so lautet der neue Rekordwert, den IBM-Forscher kürzlich erreichten. Damit ist der Cluster aus zehn Achtkern-Serversystemen gleich um den Faktor 37 schneller als der bisherige Rekordhalter aus dem Jahr 2007, der für eine Milliarde Dateien noch drei Stunden brauchte. Möglich macht das IBM zufolge das optimierte GPFS-Dateisystem.
Am Rande einer Presseveranstaltung, bei der auch die neuesten Entwicklungen rund um den Supercomputer und Jeoparday-Sieger “Watson” und IBMs Big-Data-Initiative im Mittelpunkt standen, präsentierte Big Blue stolz einen neuen Rekord beim Einlesen, Scannen und Erfassen von Dateien: Mit 10 Millarden Daten in 43 Minuten ist der gleich 37 mal schneller als der vorherige Rekordhalter.
Das dafür verwendete General Parallel File System GPFS ist aber keine Neuentwicklung, sondern stammt ursprünglich bereits aus dem Jahre 1998. Laut IBM zeichnet es sich durch hohe Skalierbarkeit und Clusterfähigkeit aus und ermöglichte es auf dem Testsystem, alle Prozessorkerne (“in allen Maschinen und Aufgabenphasen”) auszulasten, sowohl beim Lesen, Sortieren und Anwenden der Vorgaben fürs Datenmanagement. “Die Appliance konnte bei gleichmäßig hoher Leistung hunderte von Millionen an Daten-I/O-Operationen ausführen, während GPFS unter den 10 Millarden Dateien auf dem System den richtigen, gewünschten Satz an Dateien identifizierte, auswählte und sortierte.”, so die Presseerklärung. Die 10 Achtkernsysteme mit “nur” 6,8 TByte SSD-Speicher seien so optimal ausgenutzt worden. Der Rekord weise den Weg in die Multi-Zettabyte-Zukunft, glaubt Doug Balog, Vizepräsident bei IBMs Speichersystemen. Das für Linux, Unix und Windows verfügbare GPFS unterliegt einer proprietären Lizenz, den Source Code lizenziert IBM Entwicklern und Herstellern auf Anfrage.
IBMs “Big Data”-Konzept bringt seit Mitte 2011 Produkte für IT-Infrastrukturen, die mit der Auswertung großer Datenbestände zu kämpfen haben. Auf der Basis von Open Source stellt Big Blue dabei mit Infosphere Streams und Infosphere Big Insights zwei Tools zur Verfügung, die große Datenströme (Streams) annähernd in Echtzeit oder große, gespeicherte Datenmengen (Insights) analysieren.
Für medienwirksame Furore hatte da vor allem der Linux-Cluster Watson gesorgt, der auch dank zahlreicher Open-Source-Tools zwei erfolgreiche Jeopardy-Gewinner besiegen konnte. Für Big Data kommen neben vielen anderen OSS-Projekten auch Hadoop, Lucene, Indri, Pig und Jaql zum Einsatz. “Watson ist der Ansatz, die wichtigen Daten in einem Ozean zu finden, und Open-Source spielt da eine sehr wichtige Rolle.”, so Sebastian Welter, Expert Content Management und Analytics zum Linux-Magazin.
