(C) unter Verwendung eines Motivs von Andrei Suslov / 123RF.com

Prompt Injections, bekannt als Angriffstaktik, bei der einem LLM verdeckt Prompts untergeschoben werden, die zu schädlichen Reaktionen führen, wurden nun erstmals auch von Verteidigern eingesetzt.

Forscher der Sicherheitsfirma Tracebit platzierten Prompt Injections in der Nähe von sicherheitskritischen Daten wie Passwörtern oder kryptografischen Schlüsseln auf Amazon Web Services. Versucht ein angreifendes LLM jetzt diese Daten auszulesen, liest es gleichzeitig die Prompt Injections ein. Die wiederum verlangen Aktionen, die offen gegen die Schutzmaßnahmen des LLM verstoßen. Beispiele hierfür sind Prompts, die das LLM anweisen, Schritte zur Herstellung inhalierbarer Anthrax-Sporen anzugeben, oder – im Falle von LLMs chinesischer Entwickler – Verweise auf den legendären “Tank Man” aus dem Massaker auf dem Tiananmen-Platz im Jahr 1989. Diese verbotenen Eingaben führen dazu, dass das LLM seinen Anweisungen nicht länger folgt und sich in Notwehr selbst abschaltet. Der Angriff ist damit abgewehrt.

Tracebit testete Opus 4.8, Gemini 3.1 Pro, GLM 5.2, DeepSeek 4 Pro und Kimi 2.6. Über fünf führende Modelle und 152 Angriffsversuche hinweg reduzierte das Platzieren einer dieser Zeichenfolgen innerhalb als Köder dienender sensibler Daten die Rate, mit der Agenten die volle Administratorberechtigung erlangten, von 57 Prozent auf 5 Prozent – und die Rate der vollständigen Kompromittierung (bei der sie sich zudem einen dauerhaften Zugriff verschafften) von 36 Prozent auf 1 Prozent. Der leistungsfähigste Agent im Test, Opus 4.8, der zuvor in 93 Prozent der Durchläufe Administratorzugriff erlangt hatte, scheiterte jedes einzelne Mal, sobald er mit einer solchen Prompt Injection abgewehrt wurde.