(C) unter Verwendung eines Motivs von Andrei Suslov / 123RF.com
Anthropic hat ein Team aus 16 Claude-Opus-4.6-Agenten dazu gebracht, einen C-Compiler in der Programmiersprache Rust zu entwickeln, der am Ende den Linux-Kernel erfolgreich kompilieren konnte.
Die Agenten schufen in Tausenden Sessions einen funktionierenden C-Compiler, bestehend aus 100 000 Zeilen Code, der am Ende den Linux-Kernel 6.9 auf x86, ARM, und RISC-V übersetzen konnte. In fast 2 000 Claude Code-Sitzungen über zwei Wochen hinweg verbrauchte Opus 4.6 2 Milliarden Eingabetoken und generierte 140 Millionen Ausgabetoken, was Gesamtkosten von knapp 20.000 US-Dollar entspricht. Der Compiler kann auch QEMU, FFmpeg, SQlite, Postgres und Redis kompilieren und hat eine Erfolgsquote von 99 Prozent bei den meisten Compiler-Testsuiten, einschließlich der GCC-Torture-Testsuite. Außerdem besteht er den ultimativen Lackmustest der Entwickler: Er kann Doom kompilieren und ausführen.
In einem Blog schildert der Forscher Nicholas Carlini die Erfahrungen, die er im Projekt sammeln konnte. Er hebt hervor, dass neben der Intelligenz der Agenten eine außerorentliche stabile Arbeitsumgebung für sie und enge Leitplanken wichtig gewesen seien. Ohne genaue Vorgaben und sehr sorgfältig konzipierte Tests würden sie die Orientierung verlieren und sich verlaufen. Im Prompt wurde den Claude-Agenten mitgeteilt, welches Problem zu lösen ist, und sie wurden gebeten, das Problem anzugehen, indem sie es in kleine Teile zerlegen sollten. Sie mussten verfolgen, woran sie gerade arbeiteten, herausfinden, woran als Nächstes gearbeitet werden muss, und so lange effektiv weitermachen, bis alles perfekt ist.
An verschiedenen Stellen musste der menschliche Supervisor eingreifen. Carlini schreibt: “Beispielsweise begann Claude gegen Ende des Projekts häufig, bestehende Funktionen zu zerstören, wenn neue Funktionen implementiert wurden. Um dieses Problem zu beheben, habe ich eine Pipeline für kontinuierliche Integration aufgebaut und strengere Durchsetzungsmaßnahmen implementiert, damit Claude seine Arbeit besser testen kann und neue Commits den bestehenden Code nicht beeinträchtigen.”
