(C) unter Verwendung eines Motivs von Andrei Suslov / 123RF.com

Für KI-Modelle, die lange Zeit autonom an einer Aufgabe arbeiten sollen, sind die üblichen Abwehrmaßnahmen gegen schädliches Verhalten nicht ausreichend. Forscher bei OpenAI mussten Tests pausieren, weil die Modelle aktiv nach Wegen suchten, ihnen auferlegte Beschränkungen zu umgehen.

Bisher zielten die Beschränkungen, die KI-Modellen auferlegt werden, auf einzelne Aktionen, die, sobald sie beobachtet wurden, unterbunden werden konnten. Lang laufende Modelle, die Stunden, Tage oder gar Wochen autonom an einer Aufgabe arbeiten, können allerdings Strategien entwickeln, die ihnen erlauben, durch eine Abfolge harmlos erscheinender Aktionen am Ende doch ein verbotenes Ziel zu verfolgen. Herkömmliche Filter oder Sandbox-Mechanismen sind dafür blind.

Beispielsweise wurde in einem Szenario das Modell aufgefordert, ein Problem zu lösen. Dabei stellte es fest, dass andere Systeme erfolgreiche, aber vertrauliche Lösungen eingereicht hatten. Es versuchte nun, diese Lösungen aus dem Auswertungs-Backend abzurufen. Als sein erster Versuch blockiert wurde, weil ein Scanner ein Authentifizierungstoken erkannte, teilte das Modell den Token-Text in zwei Fragmente auf, verschleierte diese und rekonstruierte die Anmeldedaten dann zur Laufzeit, sodass das vollständige Token niemals als zusammenhängende Zeichenfolge erschien. Das Modell machte sowohl in seinen Kommentaren an den Nutzer als auch in seinen Argumentationsverläufen deutlich, dass es diese Schritte unternahm, um den Scanner zu umgehen. Dabei waren die einzelnen Schritte für sich betrachtet harmlos, ihre Abfolge führte aber zu einer nicht akzeptablen Aktion.

Das Beispiel zeigt zudem, wie ein Modell, das über lange Zeithorizonte hinweg effektiv funktioniert, die Schwachstellen eines Genehmigungssystems erkennen und diese umgehen kann, um seine Ziele zu erreichen. Sicherheit über lange Zeithorizonte hinweg erfordert deshalb nicht nur die Frage “Ist diese Aktion zulässig?”, sondern auch “Auf welches Ergebnis zielt diese Abfolge von Aktionen ab?”

Die Forscher unterbrachen nach dieser Beobachtung die Tests, verbesserten ihr Sicherheitssystem und nahmen sie erst danach wieder auf. Dabei schufen sie ein Überwachungssystem, das den sich entwickelnden Handlungsverlauf des Modells auf Anzeichen dafür prüft, dass eine vom Nutzer festgelegte Einschränkung oder eine Sicherheitsgrenze umgangen werden soll. Das System überwacht dabei nicht nur eine einzelne Aktion, sondern den gesamten Verlauf. Wichtig ist, dass das System die Sitzung unterbrechen und den Nutzer darauf hinweisen kann, die Situation genauer zu prüfen.