(C) unter Verwendung eines Motivs von Andrei Suslov / 123RF.com

OpenAi übernimmt das Start-up des KI-Sicherheitsspezialisten Promptfoo, das darauf spezialisiert ist, Schwachstellen in KI-Systemen während der Entwicklung zu identifizieren und zu beheben. Nach Abschluss des Kaufs soll die Technologie von Promptfoo direkt in OpenAIs Agentenframwork OpenAI Frontier integriert werden.

In dem Maß, in dem KI-Agenten in realen Arbeitsabläufen eingesetzt werden, steigen die Anforderungen an ihre Bewertung, Sicherheit und Compliance: Das Verhalten der Agenten muss systematisch getestet werden, es gilt, Risiken vor dem Einsatz zu erkennen und die Überwachung, Governance und Rechenschaftspflicht auch über einen längere Zeiträume hinweg sicherzustellen. Das team von Promptfoo hat dafür eine Reihe leistungsstarker Tools veröffentlicht, denen ein Viertel der Fortune-500-Unternehmen vertrauen. Diese Werkzeuge sollen nun in OpenAIs Agentenplattform integriert werden.

Im einzelnen sollen automatisierte Sicherheitstests und Red-Teaming-Funktionen zu einem festen Bestandteil der Frontier-Plattform werden und Unternehmen dabei helfen, Risiken wie Prompt-Injections, Jailbreaks, Datenlecks, Tool-Missbrauch und regelwidriges Verhalten von Agenten zu identifizieren und zu beheben. Zugleich werden solche Sicherheitsmaßnahmen bereits in den Workflow der Entwickler eingebettet. Außerdem werden die integrierte Berichterstattung und Rückverfolgbarkeit dabei helfen, Tests zu dokumentieren und Veränderungen im Laufe der Zeit zu überwachen.

“Wir haben Promptfoo gegründet, weil Entwickler eine praktische Möglichkeit zur Sicherung von KI-Systemen benötigten. Da KI-Agenten immer stärker mit realen Daten und Systemen verbunden sind, ist ihre Sicherung und Validierung schwieriger und wichtiger denn je. Durch den Beitritt zu OpenAI können wir diese Arbeit beschleunigen und den Teams, die reale KI-Systeme entwickeln, stärkere Sicherheits-, Schutz- und Governance-Funktionen bieten.”, sagt Ian Webster, Mitbegründer und CEO von Promptfoo.