Ein Team aus 29 Wissenschaftlern hat 445 KI-Benchmarks einer systematischen Untersuchung unterzogen und herausgefunden: Fast alle weisen Mängel auf.

Die untersuchten Benchmarks deckten eine breite Palette an Phänomenen ab, darunter Reasoning, Alignment oder Coding. Dabei definierten die meisten (78,2 Prozent), aber nicht alle Benchmarks, was das Phänomen, das gemessen werden soll, ausmacht. Von den Definitionen waren aber fast die Hälfte (47,8 Prozent) umstritten und befassten sich mit Phänomenen, für die es viele mögliche Definitionen oder überhaupt keine klare Definition gibt. Beispielsweise zielten Alignment-Benchmarks häufig auf Phänomene mit umstrittenen Definitionen (etwa “Harmlosigkeit”) ab.

Die Definitionen der Phänomene unterschieden sich auch darin, ob sie das untersuchte Phänomen als zusammengesetzte Fähigkeit (61,2 Prozent) oder als einheitliches Ganzes (36,5 Prozent) definierten. So können einige Phänomene allein getestet werden (etwa die Verfolgung eines Wegs auf einer 2D-Karte), während andere Phänomene übergeordnete Fähigkeiten sind, die viele Teilfähigkeiten integrieren (zum Beispiel die “agentenbezogenen Fähigkeiten” eines Modells, die Teilfähigkeiten wie Absichtserkennung, Ausrichtung und strukturierte Ausgabegenerierung erfordern).

Die zur Messung der Zielphänomene ausgewählten Aufgaben waren ebenfalls sehr unterschiedlich und reichten von der Beantwortung medizinischer Prüfungsfragen über die Erkennung von Fehlern in Computercode bis hin zum Abgleich widersprüchlicher Informationen auf Wikipedia. Weniger als 10 Prozent der Benchmarks verwendeten vollständige reale Aufgaben, wie etwa das Schreiben einer korrekten SQL-Abfrage,  aufgrund einer Anfrage in natürlicher Sprache. Insgesamt verwenden 40,7 Prozent aller untersuchten Benchmarks konstruierte Aufgaben.

Die am häufigsten verwendete Metrik zur Bewertung der Benchmarking-Aufgaben war die exakte Übereinstimmung. Nach der Bewertung der Antworten verwendeten
nur 16 Prozent Unsicherheitsschätzungen oder statistische Tests, um die Ergebnisse zu vergleichen.

Aus den Ergebnissen der Untersuchung leiteten die Wissenschaftler eine Reihe konkreter Forderungen ab, die Benchmarks künftig einhalten sollten. Das beginnt mit einer eindeutigen und präzisen Definition des zu messenden Phänomens, geht weiter über den Ausschluss von Aufgaben, die nicht mit dem Testziel in Verbindung stehen, aber das Ergebnis beeinflussen können. Geht weiter über die Zusammenstellung eines Sets repräsentativer Aufgaben unter Berücksichtigung von Einschränkungen bei der Wiederverwendung von Datensätzen. Dazu kommen Tests, die die Kontamination von Daten erkennen können. Und schließlich sollten anerkannte statistische Methoden beim Vergleich der Ergebnisse verwendet werden.