(C) unter Verwendung eines Motivs von Andrei Suslov / 123RF.com

Im Rahmen des Projektes SOOFI (Sovereign Open Source Foundation Models), an dem sechs Forschungseinrichtungen beteiligt sind, darunter das Fraunhofer-Institut für Intelligente Analyse- und Informationssysteme IAIS, das DFKI, die Universitäten in Würzburg und Hannover oder die TU Darmstadt, haben Wissenschaftler mit SOOFI S ein erstes Sprachmodell für industrielle Anwendungen entwickelt, dessen Leistung bisheriger europäischer Modelle übertrifft.

Technisch basiert SOOFI S auf einem sogenannten Mixture-of-Experts-Ansatz und wurde mit insgesamt 30 Milliarden Parametern auf rund 27 Billionen Textbausteinen (Tokens) in der Industrial AI Cloud der Deutschen Telekom in München trainiert. Ein besonderer Fokus des SOOFI-Projekts liegt auf der Stärkung der technologischen Souveränität Europas: Mit SOOFI S und den geplanten weiteren Modellversionen entsteht eine unabhängige Alternative zu bestehenden, kommerziellen Sprachmodellen internationaler Anbieter. Darüber hinaus setzt das Projekt auf Transparenz: Das SOOFI-Konsortium wird nicht nur Modellgewichte bereitstellen, sondern auch technische Dokumentation zu Trainingsmethodik, Datenaufbereitung und eingesetzten Datenpipelines veröffentlichen. Damit wird Soofi S für Unternehmen, Behörden und Forschung besser prüfbar sowie für spezifische Anwendungsfelder anpassbar.

SOOFI S ist hauptsächlich auf englischen und deutschen Texten trainiert worden und erreicht im Englischen in seiner Größenklasse Spitzenwerte unter den offenen Modellen; im Deutschen führt es die Vergleichsgruppe an.

SOOFI S wird nun gemeinsam mit Unternehmen aus der Industrie in praxisnahen Anwendungsszenarien getestet. Ziel ist es, frühzeitig Erfahrungen aus realen Einsatzkontexten zu gewinnen und die Weiterentwicklung des Modells eng an den Anforderungen der Wirtschaft auszurichten.