(C) unter Verwendung eines Motivs von Andrei Suslov / 123RF.com

Forscher von OpenAI und der Georgia Tech Universität haben Gründe dafür gefunden, warum Sprachmodelle halluzinieren und schlagen Gegenmaßnahmen vor.

Ein Forschungspapier  macht vor allem zwei Gründe für Halluzinationen aus: Erstens erfolgt das sogenannte Pre-Training, in dem die Modelle vor allem Lernen, das nächste Wort vorherzusagen und dabei einen flüssigen Sprachstil einzuhalten, ohne Rücksicht auf den Wahrheitsgehalt der Aussagen. Dadurch wird Raten höher bewertet als das Zugeben von Unsicherheit. Halluzinationen sind dann nur noch ein statistischer Effekt dieser Fehlanreize. “Wenn unrichtige Aussagen nicht von Tatsachen unterschieden werden können, dann entstehen Halluzinationen in vortrainierten Sprachmodellen durch natürlichen statistischen Druck”, schreiben die Forscher.

Zweitens festigt sich während des Post-Trainings die Tendenz im Zweifelsfall zu Raten dadurch, dass die gängigen Bewertungssysteme für falsche Antworten nur 0 Punkte vergeben, sie aber nicht bestrafen. Dadurch ist das Bluffen mit einer überzeugend klingenden, aber frei erfundenen Antwort in der Bilanz noch immer günstiger, als keine Antwort zu geben. So würden sich auch menschliche Studenten verhalten und die Benchmarks für LLMs seien menschlichen Tests oft nachempfunden.

Das gesamte System der Evaluation und wichtige Benchmarks für LLMs müssten geändert werden. Das sei schwierig und überdies ein sozio-technisches Problem. “… in dem Sinne, dass nicht nur die bestehenden Bewertungen geändert werden müssen, sondern diese Änderungen auch in den einflussreichen Leaderboards übernommen werden müssen.”

Die Forscher schlussfolgern, dass die meisten Mainstream-Bewertungen halluzinatorisches Verhalten belohnen. “Einfache Modifikationen der Mainstream-Bewertungen können die Anreize neu ausrichten, indem sie angemessene Ausdrücke der Unsicherheit belohnen, anstatt sie zu bestrafen. Dies kann Hindernisse für die Unterdrückung von Halluzinationen beseitigen und die Tür für zukünftige Arbeiten an nuancierten Sprachmodellen öffnen.”