© Computec Media GmbH

Manche kommunizieren mit einem LLM schon wie mit einem engen Freund. Dabei könnte umgekehrt das Sprachmodell nicht weiter davon entfernt sein, die Welt wie ein Mensch wahrzunehmen. Gerade das bereitet hier und da unüberwindliche Probleme.

Wie kann das sein? Eine Auswahl von Sprachmodellen der Spitzenklasse, die einerseits Textaufgaben auf Doktorandenniveau lösen, schneidet andererseits bei visuellen Aufgaben durchweg schlechter ab als Sechsjährige, ja, bis auf eins sogar schlechter als Dreijährige? Das nämlich hat der neue Benchmark BabyVision-Gen [1] ans Licht gebracht, den chinesische und amerikanische Forscher entwickelt haben. Er umfasst 388 visuelle Aufgaben, die Erwachsene zu 94,1 Prozent richtig lösen. Der Durchschnitt der Modelle erreichte aber nur rund die Hälfte dieses Werts.

Die Forscher fanden eine ganze Reihe systematischer Fehler. Insbesondere hatten die LLMs Schwierigkeiten beim Erkennen feiner Unterschiede, die einen präzisen Vergleich von Merkmalen erfordern. Das deutet darauf hin, dass die visuellen Repräsentationen, mit denen die Modelle intern arbeiten, verlustbehaftet sind. Eine weitere Schwäche ist das Verfolgen visueller Pfade, die sich teils kreuzen und überschneiden. Das kam besonders bei Aufgaben wie der Wegsuche in einem Labyrinth oder beim Verfolgen von ineinander verschlungenen Verbindungslinien zum Tragen. Dabei verloren die Modelle besonders an Schnittpunkten häufig die Orientierung.

Hinzukommen Fehler bei der räumlichen Wahrnehmung. Die zeigten sich vor allem bei Aufgaben wie dem Zählen von 3D-Blöcken, wo das beste Modell nur 20,5 Prozent richtige Antworten erreichte. Die Modelle können offenbar aus der 2D-Darstellung kein korrektes korrespondierendes 3D-Modell ableiten. Schließlich kam es auch zu Fehlern bei der visuellen Mustererkennung.

Auch das spezialisierte Text-zu-Bild-Modell Nano Banana Pro schnitt schlecht ab und erreichte im Durchschnitt aller Aufgaben nur 18,3 Prozent richtige Lösungen. Beim Verfolgen visueller Pfade war es besonders schlecht und konnte keine einzige Labyrinth-Aufgabe und keine einzige Aufgabe zum visuellen Verfolgen von Verbindungslinien richtig lösen.

Warum versagen alle diese Modelle bei dieser Art von Aufgaben? Weil sie eben nicht wie Menschen sehen. Sie haben nicht wie ein Mensch die Fähigkeit, das Gesehene gedanklich zu verfolgen, zu drehen, zu verschieben und zu vergleichen, ohne es dafür in Worte zu fassen. Sie können ausschließlich mit Text umgehen und müssen daher die bildliche Darstellung zunächst verbalisieren. Sollen sie beispielsweise in einer Menge sehr ähnlicher Bilder identische Paare finden, haben in ihrem Text aber nicht alle der kleinsten Details beschrieben, in denen sich die Bilder unterscheiden, scheitern sie. Ein Liniengewirr ist sehr schwer verbal zu schildern – ein Mensch kann jedoch gedanklich einem Pfad darin folgen, ohne Worte zu benutzen. Ein LLM kann das nicht.

Hier zeigt sich ein fundamentales Problem: Ein LLM kann nicht nur nicht denken, sondern nimmt die Welt eben auch nicht wie ein Mensch wahr. Es sieht, hört, schmeckt, riecht, ertastet und empfindet nichts. Zu all diesen Sinneswahrnehmungen hat es weder direkten Zugang durch eigene Erfahrung noch eine Möglichkeit, etwas ohne Worte aufzunehmen, wie das Menschen können. Stattdessen muss es alles zuerst in Text verwandeln, was immer zu Verlusten führt, denn viele der visuellen Informationen lassen sich nicht zur Gänze durch Sprache ausdrücken. Sie gehen dann bei der Verarbeitung verloren.

Lösen ließe sich das Dilemma bei den visuellen Tests nur, wenn es gelänge, KI-Modelle zu erschaffen, die unmittelbar mit visuellen Informationen hantieren können, ohne den Umweg über Sprache. Niemand weiß, ob das überhaupt möglich ist. Forschen könnte man dazu jedenfalls.

Jens-Christoph Brendel

Stellv. Chefredakteur