Rodrigo Arias Mallo, Maintainer des schnellen Open-Source-Browsers Dillo, hat einen originellen Vorschlag unterbreitet, wie sich überprüfen ließe, ob ein eingereichter Patch nicht von einer KI, sondern von einem Menschen stammt.

Mallo will in seinem Projekt nur von Menschen geschriebene Patches akzeptieren, fand es aber schwierig, diese von durch KI erzeugten Code zu unterscheiden. Besonders bei Ersteinreichern hätte er sich auf die bloße Zusicherung des Autors verlassen müssen, was er nicht zufriedenstellend fand.

Dann stieß er auf das kleine Kommandozeilentool asciinema, das Terminal-Sessions in allen Einzelheiten aufzeichnet, inklusive der Dauer zwischen den Tastendrücken, korrigierter Tippfehler, Denkpausen und so weiter. Diese Merkmale hält er für einen überzeugenden Nachweis menschlicher Aktivität.

Die Nutzung von asciinema hätte einige Vorteile: Der Nutzer bräuchte nichts zusätzlich zu tun, außer die Aufzeichnung zu starten und zu beenden. Auch würde die Prüfung nichts kosten. Die Aufzeichnungen beanspruchen – komprimiert mit Gzip oder einem ähnlichen Tool – nur wenig Platz, weil sie rein aus Text bestehen. Dem stehen allerdings auch Nachteile gegenüber: So funktioniert das nur, wenn der Einreicher in einer Textkonsole arbeitet, nicht aber, wenn er einen grafischen Editor verwendet. Außerdem macht der Patch-Einreicher einen Teil seines Aufwands bei der Fehlersuche öffentlich, was er womöglich nicht will. Hierfür könnte eine private Mail nur an den Reviewer eine Lösung sein.

Den Tests von Mallo zufolge fällt es LLMs sehr schwer, auch die Tastendrücke nachzuahmen und so eine asciinema-Aufzeichnung zu fälschen. Der KI fehlt es hier außerdem schlicht an Trainingsdaten. “Bei meinen sehr einfachen Tests ist es mir nicht gelungen, eine asciinema-Sitzung zu generieren, die auch nur annähernd dem entspricht, was ich von einem Menschen erwarten würde – und schon gar nicht von einem Menschen mit einem ansprechenden Editor-Design, der eine bestehende Dillo-Quelldatei bearbeitet.”

Um allen Interessierten eine Gelegenheit zur Überprüfung zu bieten, stellte Mallo eine asciinema-Aufzeichnung der beim Verfassen des entsprechenden Blogposts entstandenen Session zum Download bereit.