Presto, eine hochperformante, verteilte SQL-Abfrageengine für Big-Data-Anwendungen, wird nun unter dem Dach der Linux Foundation gehostet.

Presto wurde ab 2012 ursprünglich von Facebook als alternative Abfragemöglichkeit für das Hadoop Distributed Filesystem (HDFS) entwickelt, ist mittlerweile aber auf verschiedene herkömmliche relationale Datenbanken und Datenquellen wie Cassandra erweitert worden. Es entstand, um speziell im Rahmen so genannter OLAP-Workloads (Online Analytical Processing) riesige Datenmengen im Tera- und Petabytebereich parallel abzufragen. Dabei bedient es sich so genannter Coordinators, die die SQL-Statements parsen und die Abfrage planen. Die Coordinators kommunizieren dann über eine REST-API mit einer Anzahl Worker, die über Konnektoren die eigentliche Abfrage in der jeweiligen Datenquelle ausführen.

“Allein bei Facebook nutzen über Tausend Mitarbeiter Presto, führen mehrere Millionen Abfragen durch und verarbeiten täglich Petabyte an Daten. Nachdem wir Presto erstellt hatten, haben wir es unter eine Open-Source-Lizenz gestellt, um zu sehen, ob andere Unternehmen die gleichen Probleme haben und zusammenarbeiten wollen. Es stellte sich heraus, dass viele andere Unternehmen interessiert waren, und so glauben wir, dass sich unter dem Dach der The Linux Foundation viele andere engagieren und die Community zum Wohle aller erweitern werden”, sagte Kathy Kam, Head of Open Source bei Facebook.