(C) unter Verwendung eines Motivs von Andrei Suslov / 123RF.com

KI-Agenten werden derzeit für eine Vielzahl von Aufgaben entwickelt, bei denen sie selbstständig Entscheidungen treffen sollen.

Ein Beispiel ist die Regelung des Verkehrs in einer Stadt durch Ampelsteuerung und Geschwindigkeitsbegrenzungen. In vielen Fällen erweist es sich aber noch als Problem, wenn die Aufgabe, die der KI-Agent lösen soll, im Detail immer ein wenig von der trainierten Situation abweicht – wenn sich also im Beispiel die Kreuzungen bei der Verkehrsregelung voneinander unterscheiden. In diesem Fall könnte man die Agenten jeweils für eine bestimmte Kreuzung anlernen, aber das wäre sehr aufwändig und datenintensiv. Die Forscher fanden nun einen Mittelweg: Statt jede Aufgabe einzeln zu trainieren, benutzen sie einen Algorithmus für alle Situationen und trainieren davon ausgehend nur diejenigen Abweichungen zusätzlich, die den größten Beitrag zum Lernfortschritt versprechen.

Dafür entwickelten die Forscher den Algorithmus Model-Based Transfer Learning (MBTL). Er besteht aus zwei Teilen: Zum einen wird modelliert, wie gut die einzelnen Algorithmen abschneiden würden, wenn sie unabhängig voneinander für eine Aufgabe trainiert würden. Dann wird modelliert, wie stark sich die Leistung der einzelnen Algorithmen verschlechtern würde, wenn sie auf jede andere Aufgabe übertragen würden, ein Konzept, das als Generalisierungsleistung bekannt ist. Durch die explizite Modellierung der Generalisierungsleistung kann MBTL den Wert des Trainings für eine neue Aufgabe abschätzen. MBTL geht dabei sequentiell vor, indem es zunächst die Aufgabe auswählt, die den höchsten Leistungszuwachs bringt, und dann weitere Aufgaben auswählt, die in der Folge die größten Verbesserungen der Gesamtleistung bringen.

Damit soll sich die Effizienz des Trainings um den Faktor 50 verbessern lassen. Das Training an nur 2 Aufgaben kann damit also genauso gute Ergebnisse bringen wie das herkömmliche Training mit 100 Aufgaben. Ganze 98 der nicht speziell herausgesuchten Aufgaben waren für das Training also unnötig und haben den KI-Agenten eher verwirrt. In der Zukunft planen die Forscher die Entwicklung von MBTL-Algorithmen, die sich auf komplexere Probleme, wie hochdimensionale Aufgabenräume, ausweiten lassen. Sie sind auch daran interessiert, ihren Ansatz auf reale Probleme anzuwenden, insbesondere in Mobilitätssystemen der nächsten Generation