(C) unter Verwendung eines Motivs von Andrei Suslov / 123RF.com
SWE-bench Verified war lange ein führender KI-Benchmark, der die Leistung der Modelle beim autonomen Programmieren messen sollte. Nun erklärt Anthropic den Benchmark für nicht länger verwendbar und empfiehlt stattdessen SWE-bench Pro.
Anthropic will zwei grundsätzliche Fehler in dem Benchmark ausgemacht haben: Erstens werden in vielen Fällen auch korrekte Lösungen als falsch gewertet, zweitens werden die offenen Quellen des Benchmarks oft für das Training der KI-Modelle mitverwendet, so dass die Probanden die Lösung der gestellten Probleme quasi auswendig lernen können und dafür keine Problemlösungsfähigkeiten mehr benötigen (Kontamination). Anthropic schließt daraus, dass die Ergebnisse bei SWE-bench Verified nicht mehr länger den Fortschritt der Modell beim selbstständigen Softwareentwickeln reflektieren. Stattdessen zeigten sie nur, wie sehr das jeweilige Modell dem Benchmark in der Trainingsphase ausgesetzt war. Deshalb will Anthropic diesen Benchmark nicht mehr verwenden und empfiehlt auch anderen, davon Abstand zu nehmen.
Die führenden Modelle hatten bei SWE-bench Verified ohnehin alle um die 80 Prozent Leistung erreicht und unterschieden sich darin kaum noch. Das Tempo des Fortschritts hatte sich stark verlangsamt und es zeichnete sich eine Sättigung ab.
Der ursprüngliche Benchmark SWE-bench stammt aus dem Jahr 2023. Dabei muss das Modell Softwarefehler in einem Python-Code finden aund so ausbessern, dass die restliche Funktionalität erhalten bleibt. Im Jahr 2024 wurde der Benchmark zu SWE-bench Verified verbessert, wobei mit Hilfe von Softwarexperten sehr viele problematische Tests ausgefiltert wurden bis ein kuratiertes Set von 500 Tests übrig blieb. Der neueste SWE-Bench Pro, der nun empfohlen wird, enthält auch Code aus proprietären Repositories, der garantiert keinem Modell in der Trainingsphase vorgelegen haben kann, so dass eine Kontamination ausgeschlossen ist.
