Trotz oder gerade wegen der Forschungserfolge in dieser Richtung scheint eine leistungsfähige KI heute weiter entfernt zu sein als noch vor 10 Jahren. Werden wir den Schritt zur maschinellen Superintelligenz noch miterleben, oder bleibt es auf absehbare Zeit bei nützlichen künstlichen Nischenidioten?
Linux-Magazin: Prominente Fürsprecher der Idee einer Superintelligenz – Ray Kurzweil, Stephen Hawking oder Elon Musk – fürchten sich offenbar vor deren Verselbstständigung. Unsere gegenwärtige Erfahrung ist dagegen eine KI, die zwar Hund von Katze unterscheidet, wenn man sie darauf trainiert, gleichzeitig aber an den simpelsten Aufgaben scheitert, wenn man sie dafür nicht präpariert. Wie passt das zusammen?
Peter Protzel: Der Kern des Problems bei der KI-Diskussion ist eine saubere Trennung der Begriffe. Wir müssen immer strikt unterscheiden, ob wir von der gegenwärtigen “engen” oder “schwachen” KI reden oder von einer in der Zukunft vorstellbaren “allgemeinen” oder “starken” KI (Artificial General Intelligence, AGI). Die Begriffe “eng” und “allgemein” verdeutlichen den Unterschied: Die enge KI, die wir jetzt haben, ist eine Maschine, die wir konstruieren (und trainieren), um ein bestimmtes Problem zu lösen: Ein Gesichtserkennungsystem erkennt keine Sprache und übersetzt keine Texte. AlphaGo spielt Go, aber nicht Mühle.
Im Interview: Peter Protzel
Peter Protzel hat in Bochum und Braunschweig Elektrotechnik studiert und 1987 an der TU Braunschweig promoviert. Anschließend war er fünf Jahre am NASA Langley Research Center in Virginia und danach sieben Jahre am Bayerischen Forschungszentrum für Wissensbasierte Systeme in Erlangen. Seit 1998 ist er Inhaber der Professur für Prozessautomatisierung an der TU Chemnitz.
Das Interessante auch bei der engen KI ist, das wir jetzt zum Beispiel mit Deep Learning eine Methode haben, die ganz verschiedene Mustererkennungsaufgaben besser löst als vorher. Wir können also neuronale Netze darauf trainieren, Gesichter oder Sprache oder Texte zu erkennen. Das funktioniert sicher nicht perfekt, wie jeder selbst nach einem kurzen Gespräch mit seinem Sprachassistenten feststellen kann, aber immerhin besser als früher mit eigens konstruierten Merkmalsdetektoren.
Das ist wie der Übergang vom eigenhändigen Bohren und Feilen zur Werkzeugmaschine: Die produziert einfacher und schneller verschiedene Teile in besserer Qualität, wenn wir vorher die jeweilige CAD-Spezifikation eingeben. Diese Maschine ist in gewisser Hinsicht universell, weil sie ganz verschiedene Teile produzieren kann. Aber sie ist nicht allgemein in dem Sinne, dass wir ihr sagen können: Jetzt bau uns mal ein Auto, und lass dir dazu ein schickes neues Design einfallen (Abbildung 1).

Abbildung 1: Roboter bauen Autos besser und schneller zusammen, als es ein Mensch könnte, aber sie entwerfen sie nicht. Quelle: Kittipong Jirasukhanont, 123RF
Linux-Magazin: Das wäre dann eine Metapher für starke KI? Aber selbst die schwache KI kann ja schon viele Dinge schneller und besser als der Mensch, zum Beispiel Schach oder Go. Wie groß ist der Unterschied zwischen schwacher und starker KI noch?
Peter Protzel: Der Unterschied ist tatsächlich so groß, dass derzeit niemand weiß, wie der Weg dorthin genau aussieht. Der Knackpunkt ist ja nicht, wie gut eine Maschine eine einzelne Aufgabe löst, sondern wie flexibel sie verschiedene Aufgaben löst. Der Schweißroboter schweißt besser und schneller als jeder Mensch, kann aber kein Bier aus dem Kühlschrank holen. Ein Computer ist zwar eine universelle Maschine, braucht aber für jede Aufgabe ein eigenes Programm. Und: Jede Maschine erfüllt ihre eine Aufgabe besser als der Mensch, sonst hätte man sie nicht gebaut. Eine übermenschliche Leistungsfähigkeit ist also kein Alleinstellungsmerkmal von KI, sondern das Grundprinzip jeder Automatisierung.
Das Ziel starker KI ist die Konstruktion von Maschinen, die ein breites Spektrum an Aufgaben lösen, mit kontinuierlicher Lernfähigkeit und einer menschenähnlichen Flexibilität beim Lösen unbekannter Probleme. Nach einem schönen Vergleich von Florian Gallwitz [1] sind wir derzeit davon so weit entfernt wie eine Silvesterrakete von der interstellaren Raumfahrt. Wenn schwache KI also in diesem Sinne so wenig Intelligenz besitzt, sollten wir sie dann überhaupt KI nennen? Das wäre laut Gallwitz dann so, als würden wir den Knaller im Kosmos – also die Silvesterrakete – als schwache interstellare Raumfahrt bezeichnen.
Linux-Magazin: Anhänger der Singularität wie Ray Kurzweil gehen aber davon aus, dass die exponentiell steigende Rechenleistung die Kapazität des menschlichen Gehirns bald übersteigt und eine übermenschliche KI damit unausweichlich ist.
Peter Protzel: Tatsächlich hat die Mikroelektronik als einziger Zweig in den letzten Jahren ein exponentielles Wachstum bezüglich Rechenleistung und Speicherkapazität hervorgebracht. Bei den Kernalgorithmen der KI hat sich dagegen vergleichsweise wenig getan. Auch Deep Learning und Convolutional Neural Networks beruhen auf Ideen der 80er- und 90er-Jahre. Die Erfolge von Deep Learning der letzten Jahre sind weitgehend der Verfügbarkeit von extrem hoher Rechenleistung und massiven Trainingsdaten zuzuschreiben. Noch mehr Rechenleistung und noch mehr Daten führen sicher zu einer noch etwas besseren Mustererkennung, aber nicht zu starker KI. Wir müssen hier einfach Hardware und Software unterscheiden. Wenn ein Algorithmus prinzipiell nicht das gewünschte Ergebnis produzieren kann, führt mehr Rechenleistung nur dazu, dass man das falsche Ergebnis schneller bekommt.
Linux-Magazin: Wenn riesige Datenmengen alleine das Problem nicht lösen, welche Fähigkeiten müssen für eine starke KI noch dazukommen? Und gibt es nicht auch Probleme, für die wir keine ausreichenden Daten haben – und vielleicht auch nie haben werden? Oder Probleme, die prinzipiell ungeeignet für maschinelles Lernen sind und für die sich beispielsweise eher ein regelbasierter Ansatz empfiehlt?
Peter Protzel: Die KI-Fortschritte der letzten Jahre beruhen überwiegend auf “überwachtem” Lernen, bei dem man ein künstliches neuronales Netz mit sehr vielen Trainingsdaten bekannter Paare von Eingangs- und Ausgangsmustern füttert. Judea Pearl, der Erfinder der Bayes-Netze und Gewinner des Turing Award (“Informatik-Nobelpreis”), bezeichnet das etwas respektlos als “curve fitting”. Er sieht das also als eher unspektakuläre Funktionsapproximation, wie bei der linearen Regression aus der Schulzeit, nur nichtlinear und mit vielen Parametern. Auf die Frage, ob er von den Erfolgen nicht trotzdem beeindruckt sei [2], antwortete er: “No, I’m very impressed because we did not expect that so many problems could be solved by pure curve fitting.”
Bei Curve Fitting handelt es sich aber letztlich nur um statistische Mustererkennung, und die prinzipiellen Grenzen der Einsatzmöglichkeiten werden immer deutlicher. Zu den Hauptproblemen zählt eine mangelnde Generalisierungsfähigkeit bei der Verarbeitung von Daten, die im Trainingsset nicht vorkamen. An den Fehlern, die solche Netze machen [3], und an den Ergebnissen, die man mit manipulierten Eingangsdaten (adversarial attacks) erzeugen kann [4], wird deutlich, dass diese Art von statistischer Mustererkennung nicht viel mit menschlicher Wahrnehmungsfähigkeit gemein hat. Dazu kommt, dass neuronale Netze eine Black Box darstellen: Man weiß weder genau, wie sie überhaupt funktionieren, noch kann man vorhersagen, wie sie auf bisher ungesehene Eingangsdaten reagieren. Wenn ein solches Netz einen Fehler macht und Ihnen den falschen Film oder das falsche Shampoo empfiehlt, ist das sicher nicht so tragisch. Aber für alle sicherheitskritischen Anwendungen wie das autonome Fahren stellt das ein Problem dar.
Mehr Daten und größere Netze führen hier keineswegs automatisch zu starker KI und werden diese grundsätzlichen Einschränkungen nicht beheben. Die großen Probleme der KI – wie etwa Common Sense, die Repräsentation von (unscharfem) Wissen auf verschiedenen Hierarchieebenen, kausales Schließen, kontinuierliches und selbstüberwachtes Lernen – bleiben ungelöst.
Die Grenzen klassischer regelbasierter Ansätze sind allerdings ebenfalls schon seit Jahrzehnten ausgelotet. Denken Sie nur an den Aufstieg und Fall von Expertensystemen oder der Fuzzy-Logik. Hybride Ansätze scheinen nötig, aber niemand weiß, wie das genau aussehen könnte. Das kürzlich erschienene Buch “Rebooting AI” [5] fasst den wenig grandiosen Zustand heutiger KI gut zusammen, bietet aber auch keine konkreten Lösungen. Es gibt tatsächlich einen erstaunlichen Kontrast zwischen der Euphorie einiger Medien und der Frustration vieler Forscher. Geoffrey Hinton, einer der bekanntesten Pioniere der neuronalen Netze, hat es in einem Interview [6] so ausgedrückt: “My view is throw it all away and start again.”
Linux-Magazin: Wenn die Stimmung unter den Wissenschaftlern eher nüchtern ist, wieso entstand dann dieser Hype?
Peter Protzel: Die ersten Erfolge von Deep Learning nach 2012 (Stichwort Imagenet) haben auch unter Forschern Begeisterung erzeugt und hohe Erwartungen geweckt. Das führte – zuerst in den USA – zu einem massiven Einstieg der großen IT-Firmen und von risikokapitalfinanzierten Startups, die jetzt unter Erfolgszwang stehen. Universitäten tragen die Resultate ihrer Forschung eher nüchtern auf Fachkonferenzen vor. Firmen dagegen vermarkten ihre Ergebnisse oft über die PR-Abteilungen etwas lauter und ohne direkte Hinweise auf Grenzen und Schwächen. Das verstärken dann manchen Medien noch, was zu den berüchtigten KI-Schlagzeilen und dem Hype geführt hat. Gary Marcus liefert eine sehr schöne Analyse dieses Phänomens mit vielen Beispielen [7]. Erhellend lustig ist auch der PHDcomic zum Thema “Der Weg der Wissenschaftsnachricht” [8].
Linux-Magazin: Aber hat der Hype nicht auch etwas Positives? Immerhin fließen plötzlich Milliarden an privaten und öffentlichen Geldern in die KI-Forschung und in Anwendungen wie Industrie 4.0.
Peter Protzel: Das stimmt; auch Deutschland ist (mit ziemlicher Verspätung) auf den fahrenden Zug aufgesprungen. Das muss nicht unbedingt negativ sein – viele Züge fahren auch in die falsche Richtung. Aber 2019 wurde die KI zum Motto des Wissenschaftsjahrs, und es starteten viele Initiativen.
Allerdings kann man die Grundlagenforschung zur starken KI durch mehr Geld nicht beliebig beschleunigen. Forschungsgelder sind nötiger Dünger für die zarten Pflänzchen der Wissenschaft, aber die wachsen nicht umso schneller, je stärker man an ihnen zieht. Manchmal braucht es einen Newton oder Einstein, und den kann man sich nicht backen. Hier ist die starke KI in guter Gesellschaft, geht es ihr doch ähnlich wie zum Beispiel der Fusionsenergie: Der Durchbruch kommt seit 1960 immer in 30 Jahren.
Etwas anders sieht es bei der anwendungsorientierten Forschung und Entwicklung zur schwachen KI aus, worauf ja auch die meisten Programme abzielen: Hier sollen existierende Verfahren in die Praxis umgesetzt werden. Erfreulicherweise prüft man dort jetzt wieder verstärkt, in welchen Prozessen es Potenzial für Verbesserungen gibt – etwa für Mustererkennung in der Qualitätskontrolle oder zur Fehlerfrüherkennung, der Optimierung von Prozessabläufen oder der Analyse von Datenbeständen.
Ich habe allerdings den Eindruck, dass man zur Lösung vieler Probleme gar nicht die allerneuesten KI-Ergebnisse wie Deep Learning benötigt. Manchmal sind sogar Methoden besser, die es schon vor 20 oder 30 Jahren gab. Aber ab und zu brauchen wir wohl eine neue Hype-Welle und neue Begriffe wie Industrie 4.0, um den Fortschritt mit einem Peitschenhieb voranzutreiben. In den 1980er-Jahren hieß das übrigens noch CIM – Computer Integrated Manufacturing.
Linux-Magazin: Eine eng mit der KI-Entwicklung verknüpfte Anwendung ist ja das autonome Fahren. Ein menschlicher Fahrer nimmt mehr wahr als nur sich bewegende Objekte in seiner Umwelt. Sieht er etwa eine Straßenbahn, dann weiß er, dass sie nicht die Straßenseite wechseln kann. Sie könnte aber an Haltestellen stoppen, außer ihre Anzeige steht auf “Betriebsfahrt”. Kann ein System des maschinellen Lernens solches kontextbezogene Weltwissen überhaupt erwerben?
Peter Protzel: Autonomes Fahren ist tatsächlich ein Paradebeispiel für den Einsatz von KI (Abbildung 2). Eigentlich erscheint es ja paradox: Der Mensch fährt einfach los, nur mit zwei (trüben) Augen und ohne Laserscanner, GPS, Radar, hochaufgelöste digitale Karten und Funkverbindung zur nächsten Ampel. So schwer kann es also doch eigentlich nicht sein?

Abbildung 2: Autonomes Fahren bleibt in absehbarer Zeit auf bestimmte, gut überschaubare Situationen begrenzt. Quelle: Andriy Popov, 123RF
Allerdings vergessen wir dabei, dass hinter den zwei Augen noch ein Gehirn sitzt, also eine starke natürliche Intelligenz. Dieses Gehirn hat dann über viele Jahre ein Weltmodell entwickelt, das seine Wahrnehmung bestimmt und genau dieses Kontextwissen enthält. Zudem lernt es nach einmaligem Fehlverhalten ganz schnell (one-shot learning), ohne dazu 10 000 Trainingsbeispiele zu benötigen.
Das Erschaffen eines solchen lernfähigen Weltmodells ist der heilige Gral starker KI. Es gibt Versuche eines sogenannten End-to-End-Learnings: Dabei erhält ein neuronales Netz zwei Kamerabilder als Input, liefert die Werte für Lenkwinkel und Gaspedal oder Bremse als Output und lässt sich dann anhand von Testfahrten beliebiger Länge trainieren. Das klappt nach der Lernphase sogar erstaunlich gut, zum Beispiel in 95 Prozent aller Situationen. Beim autonomen Fahren sollte es aber besser in 99,999… Prozent aller Situationen funktionieren. Auch hier helfen noch größere Netze und noch mehr Trainingsdaten nicht; wir sind also wieder beim fundamentalen Unterschied zwischen schwacher und starker KI.
Ein vollständig autonomes Fahren auf allen Straßen und bei jedem Wetter erfordert also eine starke KI am Steuer – und die gibt es noch nicht. Aber es gibt ja Abstufungen auf dem Weg zum autonomen Fahren [9], mit unterschiedlichen Schwierigkeitsgraden für die Automation und mit dem menschlichen Fahrer als Backup in Notfällen. Der Schwierigkeitsgrad hängt immer davon ab, wie strukturiert die Umgebung ausfällt. Die Autobahn bei gutem Wetter ohne Ampeln, Fußgänger und Gegenverkehr ist zum Beispiel eine sehr strukturierte Umgebung. Hier muss die KI nur die weißen Markierungslinien und die Hindernisse auf ihrer eigenen Fahrspur erkennen.
Kommen wir jedoch in den Stadtverkehr mit Baustellen und Nieselregen, dann steigt die Komplexität exponentiell an. Daher können wir auch den Fortschritt nicht linear extrapolieren und sagen: Wenn es heute auf Autobahnen klappt, wird es in fünf Jahren überall funktionieren. Viele Leute glauben ja, Google/Waymo hätte das autonome Fahren vor ein paar Jahren erfunden. Dabei war das erste autonome Auto auf deutschen Straßen ein Prototyp von Ernst Dickmanns und überholte bereits 1994 autonom in normalem Autobahnverkehr. Wenn man sich das entsprechende Video ansieht [10], dann scheint im Vergleich zur Entwicklung der Rechengeschwindigkeit seither enttäuschend wenig passiert zu sein. Aber so ist das bei exponentiell ansteigender Komplexität.
Linux-Magazin: Wenn starke KI so komplex und so weit weg ist, werden wir es überhaupt je schaffen, so etwas zu entwickeln? Und wie sieht es mit typischen menschlichen Eigenschaften aus: Kreativität, Emotionen oder einem Sinn für Ästhetik?
Peter Protzel: Es gibt ja einen Existenzbeweis für all dies, und zwar unser eigenes Gehirn. Wenn wir davon ausgehen, dass dort keine übernatürlichen Phänomene am Werk sind, sondern eine komplexe Art von Informationsverarbeitung mittels chemischer Reaktionen und elektrischer Signale, dann können wir das nachbauen, sobald wir es verstanden haben.
Intelligenz wird immer mit Lernfähigkeit verbunden sein, und eine starke KI wird sicher ihre eigenen Programme erweitern können. Sie wird Verknüpfungen zwischen altem und neuem Wissen schaffen und damit auch kreativ sein. Ob wir in einer KI Emotionen brauchen (oder haben wollen), ist eine offene Frage. Für die Mensch-Maschine-Interaktion wären Empathie und ein Modell, wie das menschliche Gegenüber tickt (theory of mind), durchaus wichtig. Einen cholerischen Roboter würden wir uns dagegen sicher nicht wünschen.
Linux-Magazin: Wenn es jetzt “nur noch” darum geht, unsere natürliche Intelligenz zu verstehen, wie weit ist dann die Hirnforschung? Immerhin gibt es ja das Human Brain Project als EU Flagship mit Fördermitteln von 1 Milliarde Euro. Gibt es da eine gegenseitige Befruchtung, also hilft die KI der Hirnforschung, und taugen zum Beispiel künstliche neuronale Netze als Modell für das Funktionieren des Gehirns?
Peter Protzel: Leider wird es wohl auch auf diesem Gebiet noch etwas dauern – die Fortschritte bleiben eher überschaubar. Die KI – oder besser die allgemeine Rechenleistung, Visualisierungsmöglichkeit, Datenanalyse und Speicherung – sind wichtige Tools der Hirnforschung, und man ertrinkt schon fast in der Flut der Daten. Aber es ist sehr schwer, ohne eine Theorie und nur aufgrund von Daten ein tiefes Verständnis der zugrundeliegenden Mechanismen zu gewinnen.
Ein Gedankenexperiment: Stellen Sie sich vor, Edison findet im Jahr 1900 auf seinem Schreibtisch einen laufenden PC aus der Zukunft. Er kann jetzt den Spannungsverlauf an verschiedenen Stellen auf der Platine messen und die Helligkeitsverteilung des Bildschirms beim Drücken auf die Tastatur beobachten. Welche Chance hätte er, ohne eine Theorie des Computers die Funktionsweise nur aufgrund seiner Messdaten zu verstehen? Hier gilt das Gesetz von Arthur C. Clarke: “Jede hinreichend fortschrittliche Technologie ist von Magie nicht zu unterscheiden.”
Aber es kommt noch schlimmer. Man weiß inzwischen, dass die Funktion einer einzelnen natürlichen Synapse um Größenordnung komplexer ist als die eines ganzen künstlichen Neurons. Letzteres geht also noch nicht einmal als Karikatur eines natürlichen Neurons durch und wird daher als Grundlage einer Theorie nicht viel helfen.
Man versucht seit 30 Jahren, die genaue Funktionsweise des Fadenwurms C.**elegans mit genau 302 Neuronen zu verstehen, und erstellt gerade unter http://openworm.org eine Computersimulation dazu. Das menschliche Gehirn hat etwa 100 Milliarden Neuronen. Ich fürchte, wir müssen hier ganz unten anfangen und warten, bis uns die Biochemie die Funktionsweise molekularer Maschinen genauer erklären kann – genauso, wie Edison auf die Erfindung des Transistors und auf John von Neumann warten müsste. Trotzdem: Es gibt keinen Grund anzunehmen, dass wir es prinzipiell nicht schaffen können. Wir werden irgendwann biologische Informationsverarbeitung im Gehirn verstehen, und dann wird es auch eine starke KI geben.
Linux-Magazin: Wenn starke KI prinzipiell kommen wird, auch wenn es noch lange dauert: Sollten wir uns eher darauf freuen oder doch den Moment fürchten? Gibt es Ideen, um die möglichen Risiken einer Superintelligenz zu minimieren?
Peter Protzel: Diese Frage hat gerade Stuart Russel, einer der bekanntesten KI-Forscher und Autor des Standard-Lehrbuchs zum Thema, auf 336 Seiten in seinem neuen Buch “Human compatible – AI and the problem of control” ausführlich erörtert [11]. Eine Superintelligenz könnte demnach ein Segen für die Menschheit sein (alle Krankheiten besiegen, wissenschaftliche und technologische Entwicklungen revolutionieren und damit zum Beispiel auch den Klimawandel technologisch beherrschen) oder eben auch ein Fluch mit enormem Missbrauchspotenzial.
Auch wenn andere Forscher sagen, Angst vor starker KI wäre wie Angst vor der Überbevölkerung des Mars, hat Russel mich doch überzeugt, dass es nicht zu früh ist, sich Gedanken darüber zu machen. Wenn wir wüssten, dass in 100 Jahren ein Asteroid die Erde vernichtend treffen könnte, wie lange würden wir dann warten, bis wir mit den Vorbereitungen anfangen?
Linux-Magazin: Wie geht es jetzt weiter? Wagen Sie eine Prognose für das neue Jahrzehnt?
Peter Protzel: Ich schließe mich der Meinung von Gallwitz [1] an: Wir werden auch 2029 noch keine KI haben, die diesen Namen verdient. Was wir sehen werden, ist der ganz normale Fortschritt der Automatisierung, aber keine Revolution. Die Mustererkennung wird sich noch etwas verbessern. Roboter werden mehr Teile ungeordnet aus einer Kiste greifen können. Autos werden in mehr Situationen autonom fahren können als jetzt – aber noch lange nicht in allen.
Wir haben ein merkwürdiges Zeitempfinden, was den Fortschritt anbetrifft. Blicken wir fünf Jahre zurück, hat sich gefühlt nicht viel getan, und man ist eher ungeduldig und frustriert über die langsame Entwicklung. Bei 50 Jahren sieht es schon anders aus (PC, Internet, Handy, etc.). Vor 500 Jahren haben wir fast in einer anderen Welt gelebt. Den Erfolg des World Wide Web und dessen mögliche Auswirkungen auf die Gesellschaft hat selbst bei der Entstehung 1991 niemand vorausgesagt. Von daher sollte man sich mit Prognosen zurückhalten, besonders was die fernere Zukunft betrifft.
Infos
- “Auch 2029 wird es keine Künstliche Intelligenz geben, die diesen Namen verdient”: https://www.wired.de/article/auch-2029-wird-es-keine-kuenstliche-intelligenz-geben-die-diesen-namen-verdient
- Interview mit Judea Pearl: https://www.quantamagazine.org/to-build-truly-intelligent-machines-teach-them-cause-and-effect-20180515
- “Do neural nets dream of electric sheep?”: https://aiweirdness.com/post/171451900302/do-neural-nets-dream-of-electric-sheep
- “Breaking neural networks with adversarial attacks”: https://towardsdatascience.com/breaking-neural-networks-with-adversarial-attacks-f4290a9a45aa
- Gary Marcus & Ernest Davis, “Rebooting AI”, Pantheon Verlag, 2019
- “Artificial intelligence pioneer says we need to start over”: https://www.axios.com/artificial-intelligence-pioneer-says-we-need-to-start-over-1513305524-f619efbd-9db0-4947-a9b2-7a4c310a28fe.html
- “An Epidemic of AI Misinformation”: https://thegradient.pub/an-epidemic-of-ai-misinformation
- “The science news cycle”: http://phdcomics.com/comics/archive.php?comicid=1174
- “Die Stufen des autonomen Fahrens”: https://www.tuev-nord.de/explore/de/erklaert/die-stufen-des-autonomen-fahrens
- Ernst Dickmanns VaMoRs Mercedes Van: https://youtu.be/I39sxwYKlEE
- Stuart Russel, “Human Compatible – AI and the Problem of Control”, Penguin/Random House, 2019






