Die Webseite Sciencemag.org berichtet über die Schwierigkeit, Forschungen zu künstlicher Intelligenz zu überprüfen. Häufig halten die Forscher die dafür nötigen Algorithmen und Daten zurück.

Hintergrund des Artikels ist, dass sich die Association for the Advancement of Artificial Intelligence (AAAI) getroffen hat, um über die Reproduzierbarkeit von Forschungsergebnissen im KI-Bereich zu reden. Demnach hat auch die KI-Forschung ein Problem, dass Linux-Nutzern bekannt vorkommen dürfte: Der Quellcode fehlt.

Kein Code

Das Grundproblem scheint zu sein, dass Forscher zwar Ergebnisse vorstellen, aber ihre Daten nicht teilen. So hat der Informatiker Odd Erik Gundersen von der Universität Trondheim in Norwegen 400 Algorithmen untersucht, die in wissenschaftlichen Veröffentlichungen auf wichtigen KI-Konferenzen vorgestellt wurden. Lediglich sechs Prozent der Forscher hätten auch den nötigen Quellcode publiziert, nur ein Drittel die Daten veröffentlicht, mit denen der Algorithmus getestet wurde und nur die Hälfte hat Pseudocode publiziert, der den verwendeten Algorithmus grob zusammenfasst.

Die Gründe für den fehlenden Code seien vielfältig und reichen vom Work-in-Progress über Firmenrechte bis hin zu egoistischen Motiven der Forscher und zu verlorenem Code. Selbst mit dem Code sei es aber schwierig, Ergebnisse nachzuvollziehen. Das Training verlaufe sehr individuell, die Daten beeinflussen naturgemäß die Algorithmen und darüber die Gewichtungen in den Netzen. Mehrere Trainingsläufe führen also zu unterschiedlichen Ergebnissen.

Experimente besser standardisieren

Peter Henderson von der McGill-Universität in Montreal rief daher dazu auf, bessere experimentelle Prozeduren und Evaluationsmethoden zu entwickeln. Er hat das vom Open-AI-Projekt entwickelte Gym verwendet, mit dem es möglich sei, die Experimente mit AI zu standardisieren. Ein anderes beim AAAI-Meeting vorgestelltes Tool von IBM ist ein neurales Netzwerk, das andere neurale Netzwerke auf Basis von Charts und Diagrammen mit Hilfe von Open-Source-Code nachbaut. Nicht zuletzt soll die Webseite Openml.org nicht nur Algorithmen anbieten, sondern auch die dazugehörigen Daten sowie Informationen zu den Durchläufen bei den Experimenten.