Das Bundesamt für Sicherheit in der Informationstechnik, BSI, warnt vor Indirect Prompt Injections bei KI-Sprachmodellen wie ChatGPT. Die Gefahr besteht, weil die Chatbots inzwischen unter anderem Internetseiten oder Dokumente automatisiert auswerten. Von dort könnten manipulierte Daten mit Anweisungen kommen, die der Chatbot dann ausführt.

Angreifende können die Daten in Quellen zu denen auch Programmierumgebungen und Mail-Postfächer zählen gezielt manipulieren und unerwünschte Anweisungen für LLMs platzieren, berichtet das BSI in seiner Warnmeldung. Greifen LLMs auf diese Daten zu, werden die unerwünschten Befehle unter Umständen ausgeführt. Angreifende können dadurch das Verhalten der LLMs gezielt manipulieren, schreibt das BSI. Die potentiell schadhaften Befehle können kodiert oder versteckt sein und sind für Anwenderinnen sowie Anwender unter Umständen nicht erkennbar, heißt es weiter.

Als Beispiele nennt das BSI etwa, in einfachen Fällen, ein Text auf einer Webseite mit Schriftgröße Null, den die KI liest, der menschliche Nutzer aber nicht sieht.  Auch ein versteckter Text im Transkript eines Videos könnte einen solchen Befehl enthalten. sein. Anweisungen zu kodieren, sodass diese von LLMs weiterhin problemlos interpretiert werden, von Menschen jedoch nur schwer lesbar sind gelinge etwa auch durch ASCII-Code oder ähnlichem. Eine weitere Möglichkeit sei, Anfragen von Chatbots durch den Webserver aufgrund anderer Aufrufparameter mit anderen Inhalten zu beliefert als sie menschliche Nutzer durch die Browseranfragen erhalten.