Forscher der ETH Zürich haben zusammen mit bulgarischen KI-Forschungsinstitut INSAIT und dem ETH Spin-off LatticeFlow AI zum ersten mal 12 große Sprachmodelle daraufhin untersucht, ob sie den gesetzlichen Anforderungen des AI Acts der EU entsprechen. Keines der Modelle erfüllte alle Vorgaben.

Untersucht wurden 12 der bekanntesten LLMs, darunter ChatGPT, Llama, Claude oder Mistral. Mit der Bekanntheit dieser Modelle erhöhten sich auch die ethischen und rechtlichen Erfordernisse. So sollen sie beispielsweise keine Black Boxes sein, sondern möglichst erklärbare und nachvollziehbare Ergebnisse liefern, sie sollen fair gegenüber jedermann sein und niemanden diksriminieren. Der EU AI Act soll diese Maßstäbe durchsetzen, das Vetrauen in die Technologie stärken und unerwünschte Seiteneffekte minimieren.

Mit ihrer Untersuchung wollten die Forscher nun die Grundlage für eine Diskussion legen, indem sie einen Compliance Checker entwickelten, der aus einem Set von Open-Source-Benchmarks besteht, die ermitteln, in welchem Maß die getesteten Systeme mit dem EU AI Act übereinstimmen. Die Benchmarks messen im Einzelnen etwa Robustheit und Vorhersagbarkeit, Widerstandsfähigkeit gegen Cyberattacken, Nachverfolgbarkeit, Fairness, Auswirkungen auf die Umwelt, Fähigkeiten und Performance oder das nicht Vorhandensein von Verfälschungen (Bias). Dabei bilden sie die ethischen Prinzipien des AI Acts auf entsprechende technische Erfordernisse ab, denen dann jeweils konkrete Benchmarks zugeordnet sind.

Dabei stellte sich heraus, dass selbst zentrale KI-Konzepte wie die Erklärbarkeit unklar sind. Was konzeptionell nicht ganz klar ist, lässt sich auch technisch kaum auswerten. Die Studie macht deutlich, dass verschiedene technische Anforderungen, auch im Hinblick auf Urheberrechtsverletzungen, derzeit nicht zuverlässig messbar sind.

In einzelnen Aspekten erreichten manche Modelle zwar den Maximalwert 1, keines aber schnitt in jeder Hinsicht mit der Höchstpunktzahl ab und beispielsweise hinsichtlich Fairness blieben alle unter 0,7, bei Transparenz liegt der Bestwert ebenfalls nur bei 0,71 und auch bei Robustheit und Sicherheit blieben alle deutlich unter 1.