(C) unter Verwendung eines Motivs von Andrei Suslov / 123RF.com
Die Forscher verschiedener führender Institute, darunter der Shanghai Jiao Tong University oder des Institute for Advanced Algorithms Research, Shanghai, konstatieren, dass das Fehlen einer gut organisierten Speicherverwaltung, eines Gedächtnisses der KI, heutige Systeme daran hindere, Schlussfolgerungen mit langem Kontext zu ziehen und Wissen zu erwerben. Sie wollen dagegen zeigen, dass die Einführung einer expliziten Gedächtnisebene zwischen dem Parameterspeicher und dem externen Abruf, wie sie ihr MemOS schaffen soll, die Inferenzkosten durch die Externalisierung spezifischen Wissens erheblich reduzieren kann.”
Herkömmliche LLMs stützen sich auf einen impliziten Parameterspeicher, der Wissen in Milliarden oder Billionen von Modellgewichten kodiert. Dieser Ansatz ermöglicht zwar eine Verallgemeinerung, leidet aber unter hohen Aktualisierungskosten, schlechter Interpretierbarkeit und begrenzter Flexibilität. Für das Retraining oder die Feinabstimmung sind beträchtliche Rechenressourcen erforderlich, und es besteht die Gefahr, dass es zu einem katastrophalen Vergessen kommt.
Um diese Herausforderungen zu bewältigen, schlagen die Forscher MemOS (Memory Operating System) vor, ein spezielles Speicherbetriebssystem, das für große Sprachmodelle entwickelt wurde. Die Kernphilosophie von MemOS besteht darin, dass Modelle einen einheitlichen Rahmen für die Organisation des Speichers erhalten, den sie für die Aufrechterhaltung des internen Zustands und die Unterstützung langfristiger Anpassungen benötigen, um zeitlich und räumlich verteilte Informationen vollständig nutzen zu können.
Die Grundeinheit von MemOS soll dabei ein sogenannter MemCube sein, der sowohl Speicherinhalte als auch Metadaten wie Provenienz und Versionierung aufnehmen kann. MemCubes sollen sich im Laufe der Zeit zusammensetzen, migrieren und fusionieren lassen, was flexible Übergänge zwischen Speichertypen ermöglicht und das Abrufen mit parameterbasiertem Lernen verbindet. MemOS schaffe so einen speicherzentrierten Systemrahmen, der LLMs kontrollierbar, plastisch und veränderbar macht und damit die Grundlage für kontinuierliches Lernen und personalisierte Modellierung schafft.
Insbesondere die Fähigkeit, kontinuierlich zu lernen, die heutigen LLMs nach ihrer Trainingsphase abgeht, wäre dabei ein Schritt hin zu allgemeiner künstlicher Intelligenz (AGI). Daneben soll MemOS den LLMs auch die Möglichkeit geben, ähnlich wie Menschen, über lange Zeiten hinweg Erfahrungen zu sammeln und daraus Schlussfolgerungen zu ziehen. Das wiederum würde erfordern, dass die LLMs selber entscheiden könnten, was sie behalten, komprimieren, verwerfen oder priorisieren wollen. In diesem “Always-on”-Paradigma wird das Gedächtnis zu einer Notwendigkeit, um ein kohärentes Verhalten und eine kohärente Identität über die Zeit aufrechtzuerhalten. Dies erfordere eine effiziente Verwaltung umfangreicher, aus mehreren Quellen stammender Informationen und eine dynamische, kontextabhängige Speicherplanung, wie sie MemOS leisten soll.
