(C) unter Verwendung eines Motivs von Andrei Suslov / 123RF.com
Ein Sprachmodell unterstützt Programmierer besser, ein anderes ist ein Mathe-Ass, ein drittes läuft beim kreativen Schreiben zur Hochform auf – jedes hat seine Stärken und Schwächen. Forscher des japanischen Unternehmens Sakana AI wollen aus diesem Umstand nun einen Vorteil ziehen, indem sie mit einem von ihnen entwickelten neuartigen Algorithmus namens AB-MCTS (Adaptive Branching Monte Carlo Tree Search), die Modelle dazu bringen, bei der Lösung komplexer Probleme zu kooperieren.
Generell hat sich Sakana AI auf die Fahnen geschrieben, Systeme zu entwickeln, die von der Natur inspirierte Prinzipien wie Evolution und kollektive Intelligenz aufgreifen. In einer Forschungsarbeit aus dem Jahr 2024 konnten sie die enorme kollektive Intelligenz bestehender Open-Source-Modelle durch Modellzusammenführung nutzbar machen. Das führte zu einer neuen Frage: Lässt sich der Vorteil mehrerer Modelle nicht nur dazu nutzen, ein neues, kombiniertes Modell zu erschaffen, sondern kann er nicht auch unmittelbar bei der Problemlösung (der Inferenz) ausgenutzt werden? Lassen sich die Spitzenmodelle wie ChatGPT, Gemini und DeepSeek dazu bringen, miteinander zu kooperieren und so eine Form kollektiver Intelligenz bilden?
Dazu entwickelte Sakana AI den besagten Algorithmus AB-MCTS der nun die Modelle o4-mini von OpenAI, Gemini-2.5-Pro von Google und DeepSeek R1-0528 dazu brachte, zu kooperieren. Im Ergebnis übertraf dieses Team aus LLMs die Leistung jedes einzelnen LLM deutlich. Das auch als Inference-Time-Scaling bezeichnete Verfahren soll LLMs insbesondere dazu befähigen, sich per Versuch-und-Irrtum einer Lösung zu nähern und dabei den Suchraum sowohl zu erweitern (etwa durch immer mehr Antwortalternativen) als auch zu vertiefen (etwa durch immer weitere Verfeinerung). Daneben erwächst dem Team aus Sprachmodellen eine zusätzliche Stärke durch die Kooperation, die Schwächen bei einzelnen Teilaufgaben ausgleicht.
