(C) unter Verwendung eines Motivs von Andrei Suslov / 123RF.com

Die japanische KI-Firma Sakana, ein Startup, das unter anderem von namhaften Ex-OpenAI-Wissenschaftlern wie Llion Jones und David Ha mitgegründet wurde, hat ein neuartiges KI-Modell vorgestellt: die Continuous Thought Machine (CTM).

Anders als herkömmliche Transformer-Modelle verlässt es sich nicht auf eine feste Anzahl paralleler Schichten künstlicher Neurone, die gleichzeitig den Input verarbeiten. Stattdessen erlauben CTMs jedem künstlichen Neuron basierend auf einem Kurzzeitgedächtnis seiner bisherigen Aktivität selber zu entscheiden, wann es sich aktivieren will. Diese Entscheidungen erfolgen in internen Schritten, die als “Ticks” bezeichnet werden, sodass das Modell die Dauer und Intensität seiner Schlussfolgerungen dynamisch anpassen kann.

Die Anzahl der Ticks ändert sich je nach den eingegebenen Informationen und kann selbst bei identischen Eingabeinformationen größer oder kleiner sein, da jedes Neuron entscheidet, wie viele Ticks es durchläuft, bevor es ein (oder kein) Ergebnis liefert. Dieser Ansatz stellt sowohl eine technische als auch eine philosophische Abkehr vom konventionellen Deep Learning dar und führt zu einem stärker biologisch geprägten Modell. Sakana hat CTMs als einen Schritt in Richtung einer gehirnähnlichen Intelligenz bezeichnet – Systeme, die sich im Laufe der Zeit anpassen, Informationen flexibel verarbeiten und bei Bedarf tiefere interne Berechnungen durchführen.

Die CTM basiert auf zwei Schlüsselmechanismen. Erstens merkt sich jedes Neuron im Modell in seinem Arbeitsgedächtnis eine kurze “Geschichte” darüber, wann es aktiviert wurde und warum, und nutzt diese Geschichte, um eine Entscheidung darüber zu treffen, wann es als nächstes feuert. Zweitens kann die neuronale Synchronisation – also die Art und Weise, wie und wann Gruppen von künstlichen Neuronen eines Modells gemeinsam “feuern” oder Informationen verarbeiten – organisch erfolgen.

Gruppen von Neuronen entscheiden, wann sie gemeinsam feuern, und zwar auf der Grundlage einer internen Ausrichtung, nicht auf der Grundlage externer Anweisungen oder der Gestaltung von Belohnungen. Diese Synchronisationsereignisse werden steuern die Aufmerksamkeit insofern, als das sie auf die Bereiche gelenkt wird, in denen mehr Neuronen feuern.

Im Zusammenspiel sollen diese Konzepte den Rechenaufwand bei simplen Aufgaben senken und bei schwierigen Problemen tiefere und längere Nachdenkphasen initiieren.