Wisenschaftler der Technischen Universität Berlin, der Singapore University of Technology and Design und des Fraunhofer Heinrich-Hertz-Instituts (HHI) sind der Frage nachgegangen, wie KI-Systeme zu ihren Entscheidungen kommen. Es soll dabei geklärt werden ob es sich wirklich um intelligente Entscheidungen oder statistisch erfolgreiche Verfahren handelt.

Für die Klärung dieser Frage haben die Forscher das “Intelligenz”-Spektrum bestehender KI-Systeme mit einer speziellen, automatisierten Technologie analysiert und quantifiziert. Zum Einsatz kam dabei eine von der TU Berlin und dem HHI entwickelte Technik namens “Layer-wise Relevance Propagation” (LRP), die sichtbar machen soll, aufgrund welcher Kriterien KI-Systeme Entscheidungen treffen. Mit der Weiterentwicklung der LRP-Technologie, der “Spectral Relevance Analysis” (SpRAy), lasse sich dann ein breites Spektrum erlernter Entscheidungsverhalten identifizieren und quantifizieren, heißt es in der Mitteilung der Forscher. Es werde dadurch möglich, auch in großen Datensätzen unerwünschte Entscheidungen zu erkennen.

“Diese sogenannte ‚explainable AI’ (erklärbare Künstliche Intelligenz) ist einer der wichtigsten Schritte für die praktische Anwendung und Verbreitung von KI”, erläutert Klaus-Robert Müller, Professor für Maschinelles Lernen an der TU Berlin: “Insbesondere in der medizinischen Diagnostik oder in sicherheitskritischen Systemen dürfen wir keine KI-Algorithmen mit unsicheren Problemlösungsstrategien oder sonstige KI-Schummel-Kandidaten einführen.”

KI sichtbar gemacht. Die Klassifizierung “Zug” erfolgt über das Vorhandensein von Schienen. © Nature Communications/CC BY

So habe ein KI-System, das vor einigen Jahren mehrere internationale Wettbewerbe zur Klassifikation von Bildern gewonnen habe, eine aus menschlicher Sicht naive Lösungsstrategie: Es klassifizierte Bilder vorwiegend anhand des Kontextes. Dabei wurden Bilder der Kategorie “Schiff” zugeordnet, wenn viel Wasser im Bild zu sehen war. Andere Bilder wurden als “Zug” klassifiziert, wenn Schienen vorhanden waren. Wieder andere Bilder wurden anhand des Copyright-Schriftzuges der richtigen Kategorie zugeordnet. Die eigentliche Aufgabe, nämlich Schiffe oder Züge zu erkennen, habe dieses KI-System nicht gelöst – auch wenn es die Mehrzahl der Bilder im Endeffekt korrekt klassifiziert habe, so die Forscher. Die eingesetzte Technik sei Open Source und stehe allen Wissenschaftlern und Wissenschaftlerinnen zur Verfügung.