(C) unter Verwendung eines Motivs von Andrei Suslov / 123RF.com
Ein Team aus Forschern verschiedener US-Universitäten hat herausgefunden, dass große Sprachmodelle, die selber menschliche Prüfungsfragen beantworten können, nicht verstehen, was daran für Menschen schwierig ist.
Getestet wurden verschiedene Modelle, darunter GPT-5, GPT-4o. Llama und Qwen-Varianten sowie DeepSeek R1. Die Modelle sollten einschätzen, wie schwer Prüfungsfragen aus den Gebieten Medizin, Englisch sowie Mathematik für menschliche Prüflinge sind. Als Vergleichswert standen Schwierigkeitswerte aus realen Feldtests mit Studierenden zur Verfügung.
Die Einschätzungen der Modelle stimmten nur schwach mit denen der Menschen überein. Auf einer Ähnlichkeitsskala, die von 0 für grundverschieden bis 1 für identisch reicht, lagen die Werte immer unter 0,50. Größere und neuere Modelle waren nicht automatisch besser. Beispielsweise kommt das aktuelle GPT-5 nur auf 0,34 und liegt damit hinter dem älteren GPT-4o mit 0,44.
Auch die Anweisung, sich in die Rolle eines schwächeren Lerners zu versetzen, half nicht. Das bereits aus menschlichen Zusammenhängen bekannte Problem, das die Forscher “Fluch des Wissens” (Curse of Knowledge) nennen, bewirkt, dass einer der Kommunikationspartner sein Wissen für selbstverständlich hält und sich nicht vorstellen kann, wie es ist, etwas nicht zu wissen.
Das Problem hat unter anderem Auswirkungen auf den Einsatz der Modelle im Bildungsbereich.
