OpenAI, das Unternehmen hinter ChatGPT, weist erneut auf die Risiken von KI und Artificial General Intelligence (AGI) hin. Um bestehende und künftige dieser Risiken durch weitere Verbesserungen der KI-Modelle zu minimieren, bauen man ein neues Team namens Preparedness auf.
Das Preparedness-Team soll eine enge Verbindung zwischen Fähigkeitsbewertung, Evaluierung und internem Red-Teaming für Pioniermodelle herstellen, die wir in naher Zukunft entwickeln, bis hin zu solchen mit Fähigkeiten auf AGI-Niveau, teilt OpenAI mit. Das Team soll dabei helfen, katastrophale Risiken zu verfolgen, zu bewerten, vorherzusagen und sich vor ihnen zu schützen. Als Kategorien für diese Arbeit sind individualisierte Überzeugungsarbeit, Cybersecurity, CBRN-Bedrohungen (chemische, biologische, radiologische und nukleare) nebst Autonomer Replikation und Anpassung (ARA) genannt.
Zu den Aufgaben des Preparedness-Teams gehöre auch die Entwicklung und Pflege einer risikoinformierten Entwicklungspolitik (RDP, Risk-Informed Development Policy). In der RDP soll der Ansatz für die Entwicklung strenger Bewertungen und Überwachung der Fähigkeiten von Modellen, die Schaffung eines Spektrums von Schutzmaßnahmen und die Einrichtung einer Governance-Struktur für die Rechenschaftspflicht und Aufsicht über diesen Entwicklungsprozess detailliert beschrieben werden.
