(C) unter Verwendung eines Motivs von Andrei Suslov / 123RF.com

Anthropic arbeitet an einer Lösung für das Problem, das manche Wissensinhalte sowohl für berechtigte, nützliche, als auch für gefährliche und destruktive Zwecke benutzt werden können (Dual Use). Mit einer GRAM getauften Technik, konzentriert sich Dual-Use-Wissen in bestimmten Modulen, die im Bedarfsfall einfach gelöscht werden können.

GRAM (Gradient-Routed Auxiliary Modules) soll dabei wesentlich effektiver sein als herkömmliche Filterung im Trainingsprozess, weil das Ausfiltern verschiedener Dual-Use-Wissensgebiete wie Virologie, Nuklearphysik oder Cybersecurity während des Trainings jeweils komplett eigene Trainingszyklen bräuchte – was speziell bei Frontier Modellen extrem aufwändig ist. Im Unterschied dazu sorgt GRAM dafür, dass während des Trainings beispielsweise nur das Virologie-Modul aus Texten zur Virologie lernen kann. Alles Virologie-Wissen konzentriert sich daher in diesem Modul und kann mit dem Modul abgeschaltet werden, ohne die allgemeine Perfomance des Modells zu beeinträchtigen. So ist es außerdem nicht mehr möglich, durch erfolgreiches Jailbreaking doch noch an das heikle Wissen zu gelangen – es ist dann einfach nicht mehr da.

Anthropic hat die Technik – die derzeit noch in kein Spitzenmodell integriert ist – in verschiedenen Szenarien getestet und fand, dass ihre Qualität der der Filterung gleichkam. Mit steigender Modellgröße erhöhten sich auch die Unterschiede zwischen an- und abgeschalteten Modulen, während die Rechenkosten für Versuche, die Sicherheitsmaßnahme zu umgehen, stiegen.

Immer leistungsfähigere Modelle verlangen nach einer stärkeren Beschränkung des Zugriffs auf Dual-Use-Wissen. Heutige Mechanismen dafür sind jedoch nur schwer robust zu gestalten, ohne dass die Performance des Gesamtsystems leidet. GRAM könnte hier ein Ausweg sein. Es wurde jedoch bislang noch mit keinem Spitzenmodell getestet. Auch ist nach wie vor das Problem offen, dass manche Inhalte mit doppeltem Verwendungszweck so eng mit Allgemeinwissen verflochten sein können, dass keine Methode sie sauber voneinander trennen kann.