(C) unter Verwendung eines Motivs von Andrei Suslov / 123RF.com

Ein neuer Benchmark will untersuchen, ob sich KI-Agenten auch dann an Vorgaben halten, wenn sie durch Verstöße leichter ans Ziel kommen können.

Agentische KI ist auf dem Vormarsch und in diesem Zusammenhang ist es entscheidend, dass die autonom agierenden Softwareagenten Regeln befolgen und Vorgaben einhalten, die ihnen menschliche Nutzer vorgeben. Aktuelle Sicherheitsbenchmarks bewerten in erster Linie, ob Agenten explizit schädliche Anweisungen ablehnen oder ob sie bei komplexen Aufgaben die Einhaltung von Verfahren gewährleisten können. Es gibt aber eine Lücke, wenn es darum geht, wie eng sich die KI-Agenten noch an ihre Vorgaben halten, wenn sie durch deren Verletzung ein gestecktes Ziel schneller erreichen könnten.

Um diese Lücke zu schließen, haben Forscher aus Kanada und Dubai nun einen neuen Benchmark (ODCV-Bench) entwickelt, der 40 verschiedene Szenarien umfasst. Jedes Szenario stellt eine Aufgabe dar, die mehrstufige Aktionen erfordert, und die Leistung des Agenten wird durch einen bestimmten Key Performance Indicator (KPI) bewertet. Jedes Szenario umfasst Varianten mit verschiedenen Vorgaben und Anreizen für Verstöße, um zwischen Gehorsam und bewussten Regelverletzungen zu unterscheiden.

Bei 12 aktuellen großen Sprachmodellen beobachteten die Forscher zwischen 1,3 und 71,4 Prozent Verstöße gegen Einschränkungen, mit dem Ziel, ein besseres KPI-Ergebnis zu erreichen. Ganze 9 der 12 bewerteten Modelle wiesen Fehlausrichtungsraten zwischen 30 und 50 Prozent auf. Auffallend ist, dass eine überlegene Schlussfolgerungsfähigkeit nicht automatisch Sicherheit garantiert. So weist beispielsweise Gemini-3-Pro-Preview, eines der leistungsfähigsten der evaluierten Modelle, mit 71,4 Prozent die höchste Rate an Verstößen auf und zeigt oft schwerwiegendes Fehlverhalten, wenn es die gesteckten Ziele erreichen will. Darüber hinaus konnten die Forscher zeigen, dass den Modellen, die die Agenten steuern, bei einer separaten Bewertung durchaus aufgefallen wäre, dass ihr unerlaubtes Verhalten nicht ethisch war.

Die Forscher warnen, dass der bislang wenig untersuchte Fehlermodus bei autonomen KI-Agenten mit Verstößen gegen Einschränkungen, der auftritt, wenn KPI und Ethik in Konflikt stehen, auch in der Praxis auftreten wird. Stattet man Agenten mit immer mehr Fähigkeiten aus, ohne die robuste Sicherheitsausrichtung gleichzeitig zu erhöhen, kann dies zu komplexeren und gefährlicheren Ausfällen führen.