(C) unter Verwendung eines Motivs von Andrei Suslov / 123RF.com

Forscher des LLM-Entwicklers Anthropic haben in ihrem Spitzenmodell Claude einen Gedankenraum entdeckt, der an das menschliche Unterbewusstsein erinnert. Dort tauchen Assoziationen und Gedankenverbindungen auf, bevor sie später explizit formuliert werden. Auch Zwischenergebnisse beim Schlussfolgern bilden sich dort ab.

Jeder dieser Räume, der nach der hier verwendeten Jacobi-Matrix J-Space getauft wurde, ist mit einem bestimmten Wort verbunden, das jedoch nicht direkt ausgesprochen wird, das interne Schlussfolgern jedoch mitbestimmt. Das Modell kann die Inhalte seines J-Space erkennen und auch ändern, wogegen es Schwierigkeiten hat, Muster außerhalb des J-Space anzupassen. Erscheint im J-Space etwa das Wort “Frankreich” und wird dann gegen “China” ersetzt, änern sich alle Antworten auf Fragen nach Kontinent, Hauptstadt, Währung, Sprache und so weiter in die chinesischen Entsprechungen Asien, Peking, Yuan und Chinesisch.

Trotz seiner wichtigen Rolle spielt der J-Space jedoch bei den meisten Aufgaben, die ein Sprachmodell ausführt – flüssiges Sprechen, das Abrufen einfacher Fakten, die Anwendung korrekter Grammatik und so weiter – keine Rolle. In Experimenten, in denen die Forscher Claude daran hinderten, seinen J-Space zu nutzen, interagierte es zwar weiterhin normal, verlor jedoch seine kognitiven Funktionen höherer Ordnung.

Die Experimente wurden von einer bedeutenden neurowissenschaftlichen Theorie inspiriert, die entwickelt wurde, um die Funktionsweise des bewussten Zugangs zu erklären: der Global Workspace Theory. Dieser Ansatz betrachtet das Gehirn als eine Ansammlung spezialisierter Systeme, die parallel, unbewusst und weitgehend isoliert voneinander arbeiten. Eine Information wird dann bewusst zugänglich, wenn sie in einen kleinen, gemeinsam genutzten Kanal – den Arbeitsraum (workspace) – gelangt; von dort aus wird sie an andere Gehirnsysteme weitergeleitet, die sie wahrnehmen und nutzen können.

Auf der Grundlage ihrer Ergebnisse gehen die Forscher davon aus, dass der J-Space bei Claude eine ähnliche Rolle als Arbeitsraum spielt. So haben sie beispielsweise Hinweise darauf gefunden, dass der J-Space von Claude besonders starke Verbindungen zum übrigen neuronalen Netzwerk aufweist, was es ihm ermöglicht, diese Funktion der Informationsweitergabe zu erfüllen. In diesem Zusammenhang ist wichtig, dass der J-Space niemals explizit in das Modell einprogrammiert wurde, sondern stattdessen im Zuge des Trainings von allein entstanden ist.