Quelle: Daniil Peshkov / 123RF.com

Sprachmodelle vermitteln zuweilen den Eindruck, als hätten Sie neben der Prognose des nächsten Wortes in einer Antwort implizit auch etwas über die Welt gelernt, von der sie reden. Neue Forschungen zeigen nun aber: Das ist wahrscheinlich weit weniger der Fall, als es den Anschein hat.

Dafür untersuchten die Forscher, geleitet von Keyon Vafa, einem Postdoc an der Harvard University, ein Sprachmodell, dass nahezu fehlerfrei Schritt-für-Schritt-Anleitungen für die Stadt New York erstellen konnte, wie ein bestimmtes Ziel dort mit dem Auto zu erreichen sei: Es konnte eine Sequenz von Anweisungen ausgeben, wann und in welche Richtung abzubiegen sei. Man konnte meinen, das Modell habe einen korrekten Stadtplan von New York gelernt und verinnerlicht. Dem ist aber nicht so, wie sich herausstellte als die Forscher ein paar Umleitungen einbauten. “Ich war überrascht, wie schnell die Leistung nachließ, sobald wir eine Umleitung hinzufügten. Wenn wir nur 1 Prozent der möglichen Straßen schließen, sinkt die Genauigkeit sofort von fast 100 Prozent auf nur noch 67 Prozent”, sagte Vafa.

Zur Veranschaulichung verwendeten die Forscher Techniken zur Graphenrekonstruktion, um die implizite Straßenkarte von New York City für das Modell wiederherzustellen. Die sich daraus ergebende Karte hat wenig Ähnlichkeit mit einer tatsächlichen Karte von Manhattan und enthält Straßen mit unmöglichen physischen Ausrichtungen und Überführungen über andere Straßen. Da diese Sprachmodelle nicht in der Lage sind, die echte Straßenkarte von New York City wiederherzustellen, sind sie für weiterführende Aufgaben ungeeignet. Während sie manchmal erstaunliche Routenplanungsfähigkeiten haben, bricht ihre Leistung zusammen, wenn Umwege eingeführt werden.

Die Frage, ob LLMs kohärente Weltmodelle lernen können, ist sehr wichtig, wenn man diese Modelle in anderen Bereichen der Wissenschaft einsetzen will als nur in der Texterzeugung.