(C) unter Verwendung eines Motivs von Andrei Suslov / 123RF.com
Große Sprachmodelle (LLMs) sind leistungsstark, aber statisch – ihnen fehlten bislang Mechanismen, um ihre Gewichte an neue Aufgaben, Kenntnisse oder Beispiele anzupassen. Forscher des MIT haben nun das selbstanpassende LLM (Self-Adapting LLM, SEAL) vorgestellt, ein Framework, das es LLMs ermöglichen soll, sich selbst anzupassen, indem sie ihre eigenen Feinabstimmungsdaten und Aktualisierungsanweisungen generieren.
Bei einer neuen Eingabe erzeugt das Modell eine Selbstbearbeitung (self-edit), die die Informationen auf verschiedene Weise umstrukturieren, Optimierungs-Hyperparameter festlegen oder Tools für gradientenbasierte Aktualisierungen aufrufen kann. Durch überwachtes Finetuning (SFT) führen diese Selbstbearbeitungen zu dauerhaften Gewichtsaktualisierungen, die eine nachhaltige Anpassung ermöglichen. Um das Modell zu darin zu trainieren, effektive Selbstbearbeitungen zu erstellen, verwenden die Forscher verstärkendes Lernen (Reinforcement Learning), wobei die Downstream-Leistung des aktualisierten Modells als Belohnungssignal dient.
Im Unterschied zu früheren Ansätzen, die auf separaten Anpassungsmodulen oder Hilfsnetzwerken basieren, nutzt SEAL direkt die Modellgenerierung, um seinen eigenen Anpassungsprozess zu parametrisieren und zu steuern. Experimente zur Wissensintegration und Few-Shot-Generalisierung zeigen, dass SEAL ein vielversprechender Schritt in Richtung Sprachmodelle ist, die in der Lage sind, sich selbstständig an neue Daten anzupassen.
Die Methode lehnt sich dabei an menschliche Lernprozesse an, in deren Verlauf etwa Studenten sich Notizen machen, die sie dann zur Prüfungsvorbereitung nutzen. Durch das damit einhergehende Neuordnen, Umformulieren oder Erweitern prägen sich die gelesenen oder in einer Vorlesung gehörten Informationen nachhaltig ein. Das scheint eine grundlegende Methode menschlichen Lernens zu sein. LLMs konnten das bisher nicht. Mit SEAL sollen sie nun aber in die Lage versetzt werden, die für sich beste Strategie zu entwickeln, um neue Erkenntnisse zu verinnerlichen.
Erste Ergebnisse zeigen, dass sich nach dem Training mit Reinforcement Learning und der Feinabstimmung auf selbst generierten synthetischen Daten die Frage-Antwort-Leistung bei einem einschlägigen Benchmark (SQuAD) von 33,5 auf 47,0 Prozent verbesserte. Bemerkenswert ist, dass selbst generierte Daten aus SEAL synthetische Daten, die mit GPT-4.1 generiert wurden, übertreffen.
