(C) unter Verwendung eines Motivs von Andrei Suslov / 123RF.com

KI Agenten, also Softwarekomponenten, die Computer, Browser oder das Smartphone des Anwenders selbstständig bedienen können, sind momentan stark im Kommen. Die meisten großen KI-Unternehmen betreiben entsprechende Projekte (OpenAI: “Operator”, Apple: “Apple Intelligence”, Google “Project Mariner”, Anthropic “Computer Use”, etc.). Nun warnen IT-Sicherheitsexperten in einem Beitrag für die renommierte Konferenz der Association for Computational Linguistics vor gravierenden Sicherheitsproblemen.

Forscher der Zhejiang University und des OPPO AI Center beschreiben verschiedene Angriffsszenarien, die sich durch die neue Technik ergeben. So ermöglicht “Web Indirect Prompt Injection” es böswilligen Akteuren, versteckte Anweisungen in Webseiten einzubetten, die das Verhalten eines KI-Agenten manipulieren können. Noch besorgniserregender sind “Environmental Injection Attacks”, bei denen scheinbar harmlose Webinhalte Agenten dazu verleiten können, Benutzerdaten zu stehlen oder unbefugte Aktionen durchzuführen.

So könnte ein KI-Agent mit Zugang zum Firmen-E-Mail-Account, zu Finanzanwendungen oder Datenbanken durch präparierte Webseiten dazu gebracht werden, interne Informationen auszuschleusen. Traditionelle, auf Menschen ausgerichtete Sicherheitsmodelle können versagen, wenn der Nutzer eine Maschine ist, die Informationen anders verarbeitet.

Die Studie verweist auf eine beunruhigende Lücke in der Vorbereitung. Zwar gibt es allgemeine Sicherheitsrahmen für KI-Agenten, aber “Studien über spezifische Verteidigungsmaßnahmen für solche Agenten sind nach wie vor rar”. Dies ist nicht nur ein akademisches Problem – es ist eine unmittelbare Herausforderung für jedes Unternehmen, das den Einsatz dieser Systeme in Erwägung zieht.

Gleichzeitig macht die Studie deutlich, dass ungeachtet des Hypes um solche Agenten, deren tatsächliche Leistungsfähigkeit noch sehr stark von Plattform und Aufgabe abhängt und stark schwankt. Die derzeitigen Systeme eignen sich hauptsächlich für einfache, klar definierte Aufgaben, schwächeln aber, wenn sie mit komplexen, kontextabhängigen Arbeitsabläufen konfrontiert werden. Sie können zuverlässig auf eine bestimmte Schaltfläche klicken oder ein Standardformular ausfüllen, aber sie tun sich schwer mit Aufgaben, die Nachdenken oder die Anpassung an unerwartete Änderungen der Benutzeroberfläche erfordern.