(C) unter Verwendung eines Motivs von Andrei Suslov / 123RF.com
Die EPFL (École polytechnique fédérale de Lausanne), die ETH Zürich und das Schweizerische Supercomputing-Zentrum CSCS haben ein von ihnen entwickeltes Sprachmodell namens Apertus vorgestellt.
Der Name des Modells steht im Lateinischen für “offen”. Er betont ein wesentliches Merkmal des Modells: Der gesamte Entwicklungsprozess, einschliesslich Architektur, Modellgewichten sowie Trainingsdaten und -methoden, ist frei zugänglich und umfassend dokumentiert. Für KI-Forschende und erfahrene Anwender ist das Modell entweder über die strategische Partnerin Swisscom zugänglich oder sie können es über die Plattform Hugging Face herunterladen und für eigene Projekte einsetzen.
Apertus steht in zwei frei verfügbaren Modellgrössen bereit – mit 8 Milliarden sowie mit 70 Milliarden Parametern. Die kleinere Variante eignet sich besonders für eine individuelle Nutzung. Beide Modelle werden unter einer permissiven, das heisst nutzungsfreundlichen Open-Source-Lizenz veröffentlicht. Diese lässt einen Gebrauch in Bildung und Forschung ebenso zu wie breite gesellschaftliche und wirtschaftliche Anwendungen.
Apertus wurde auf 15 Billionen Token aus über 1000 Sprachen trainiert – 40 Prozent der Daten sind nicht-englischsprachig . Damit umfasst Apertus zahlreiche Sprachen, die in bisherigen LLMs untervertreten sind, darunter Schweizerdeutsch, Rätoromanisch und viele andere.
“Mit dieser Veröffentlichung möchten wir ein Musterbeispiel dafür geben, wie sich ein vertrauenswürdiges, souveränes und inklusives KI-Modell bauen lässt”, sagt Martin Jaggi, Professor für Maschinelles Lernen an der EPFL und Mitglied des Steering Committees der Swiss AI Initiative. Das Modell wird regelmässig vom Entwicklungsteam aktualisiert, dem spezialisierte Ingenieur:innen sowie zahlreiche Forschende von CSCS, ETH Zürich und EPFL angehören.
Das Modell versteht sich als Impulsgeber für Innovationen und als Mittel zum Ausbau der KI-Expertise in Forschung, Gesellschaft und Wirtschaft.
