Databricks, Anbieter einer Plattform für Datenanalyse und KI hat mit Delta Sharing ein neues Open-Source-Projekt gestartet.
Angekündigt hat der US-amerikanische Anbieter das neue Projektauf dem derzeit lafenden Data + AI Summit. Delta Sharing soll nach Angaben von Databricks das erste offene Protokoll für den sicheren Austausch von Daten zwischen Unternehmen in Echtzeit bieten, unabhängig von der Plattform, auf der sich die Daten befinden.
Als Teil des des ebenfalls unter freier Lizenz stehenden Delta Lake Projekts werde Delta Sharing von Daten-Providern wie der NASDAQ, ICE, Factset, Foursquare, SafeGraph und Anbietern wie AWS, Microsoft, Google Cloud und Tableau unterstützt, teilt Databricks mit.
Mit Delta Sharingabe man bereits das fünfte Open-Source-Projekt gestartet, teilt das Unternehmen mit. Delta Sharing werde an die Linux Foundation zur Betreuung übergeben, heißt es weiter. Zuvor hatte Databricks Apache Spark, Delta Lake, MLflow und Koalas initiiert. , und wird der Linux Foundation übergeben. Das Unternehmen Databricks haben die ursprünglichen Entwickler von Delta Lake, Apache Spark und MLflow gegründet.
Delta Sharing soll die Bindung an einen bestimmten Anbieter auf heben und etwa akademischen Einrichtungen und einem Krankenhaussystem eine standardisierte und einfache Möglichkeit bieten, Forschungsdaten sicher auszutauschen und gemeinsam an Ergebnissen zu arbeiten. Keine proprietären Datenformate oder unterschiedliche Anwendungen würden diese Zusammenarbeit stören, so Databricks.
Delta Sharing basiere auf Delta Lake 1.0 und profitiere von einem herstellerneutralen Governance-Modell, das von der Linux Foundation unterstützt werde. Delta Sharing etabliere einen gemeinsamen Standard für die gemeinsame Nutzung aller Datentypen mit einem offenen Protokoll, das in SQL, Visual-Analytics-Tools und Programmiersprachen wie Python und R verwendet werden könne, teilt Databricks mit. Delta Sharing ermöglicht es Unternehmen zudem, bestehende große Datensätze in den Formaten Apache Parquet und Delta Lake nahtlos und in Echtzeit zu teilen, ohne sie zu kopieren.
Weitere Informationen zu Delta Sharing und der Delta Lake Open-Source-Community bietet diese Webseite.
