© maxkrasnov, 123RF

Für die erste Folge unserer neuen Serie “Kaleidoskop Wissenschaft” sprach das Linux-Magazin mit der Algorithmen-Spezialistin Katharina A. Zweig, Professorin an der TU Kaiserslautern, darüber, wie die allgegenwärtigen Ausführungspläne und Entscheidungsrezepte unseren Alltag prägen.

Linux-Magazin: Ein Algorithmus (oder der Rechner, der ihn ausführt) kennt keine Gefühle. Einerseits ist er deswegen nicht bestechlich oder machtgierig oder eitel, andererseits kennt er keine Empathie. Überwiegen unter dieser Prämisse die Vor- oder Nachteile? Sind Algorithmen gerecht oder nur herzlos?

Katharina Zweig:Ich denke, dass es auf die Art des Gefühls ankommt und ob es in einer bestimmten Entscheidungssituation notwendig ist oder nicht. Dazu ein Beispiel: Steuerbescheide folgen einer ganz bestimmten Logik, die vermutlich schon stark automatisiert ist und wo der Computer zum Beispiel Eingabe- oder Rechenfehler der Verwaltungsangestellten vermeiden kann. Hier ist eine ermüdungsfreie Maschine sicherlich von Vorteil – auf jeden Fall für jene Fälle, die relativ einfach sind.

Betrachten wir dagegen eine Situation, in der eine Bekannte war: Sie bekommt Hartz-IV-Unterstützung und lebt in einer Wohnung, deren Kaltmiete 7 Euro über der Höchstgrenze liegt. Ihr Kind ist in der Gegend gut eingebunden und ein Umzug in eine günstigere – aber daher vermutlich auch sozial weniger gute Gegend – würde niemandem helfen. Ihr Sachbearbeiter nutzt seinen Ermessenspielraum und lässt sie dort wohnen. Den Ermessensspielraum wird man nicht hart kodieren können. Er lässt den Angestellten dort freie Hand, wo man eben nicht für jeden die Grenzen anheben möchte, sondern eine komplizierte und am Ende auch nicht vollständig objektivierbare Gesamtsituation zu bewerten hat.

Es ist natürlich ein schmaler Grat zwischen Ermessenspielraum und Willkür, aber ich glaube, dass es Situationen gibt, die so individuell sind, dass ein Algorithmus kaum noch Muster findet, die dann anzuwenden wären. Hier brauchen wir weiterhin menschliche Entscheidungen.

Linux-Magazin: Algorithmen werden von Menschen geschaffen, die in ihnen ihre Moral- und Wertvorstellungen kodieren. Was aber ist mit selbstlernenden Algorithmen, bei denen wir vielleicht gar nicht mehr nachvollziehen können, warum sie etwas so und nicht anders entschieden haben? Wie weit reicht da unser Einfluss?

Katharina Zweig:Erst mal zur Technik dahinter: Die Algorithmen der künstlichen Intelligenz bauen basierend auf Daten eine Entscheidungsstruktur auf, die sie dann auf weitere Daten anwenden. Zum Beispiel: Ein Algorithmus bekommt die Jobbewerbungen einer Firma der letzten zehn Jahre und versucht Muster zu finden, die entscheidend sind für die Einladung zum Vorstellungsgespräch bis hin zur späteren Einstellung.

Wenn die Firma aber bisher Bewerbungen von Personen mit Namen, die erkennbar ausländisch klingen, eher ignoriert hat, wird der Computer auch dieses Muster lernen. Hier hat also nicht die Designergruppe ein bestimmtes Menschenbild in den Algorithmus kodiert, sondern es ist in den Daten selbst enthalten.

Glücklicherweise ist eine solche Diskriminierung relativ einfach zu überprüfen, denn man muss nur für alle Personengruppen, bei denen man keine Diskriminierung will, nachrechnen, ob es statistische Verzerrungen gibt. Dazu ist natürlich auf wichtige Einzelheiten zu achten, beispielsweise ist eine Diskriminierung – also Andersbehandlung – aufgrund verschiedener Qualifikationen durchaus erlaubt. Es geht also um Diskriminierungen, die über diese Art der Differenzierung hinausgehen. Es gibt sogar Methoden des Lernens, die von vornherein darauf achten, dass erst gar keine verzerrten Muster gelernt werden. Daran arbeitet zum Beispiel Krishna Gummadi vom MPI in Kaiserslautern.

Wir stellen als Algorithmiker aber auch gerade fest, dass es manche Fairnesskriterien gibt, die gar nicht miteinander vereinbar sind. Das hat eine sehr interessante Diskussion zwischen Pro Publica und Northpointe Inc. zutage gebracht: Es ging in der Diskussion um Compas, eine Software, die die Rückfälligkeits-Wahrscheinlichkeit von Kriminellen vorhersagen soll. Pro Publica konnte ein Datenset bekommen und zeigte damit auf, dass Afro-Amerikaner ein höheres Risiko hatten, vom Algorithmus fälschlicherweise als “wird vermutlich rückfällig” eingestuft zu werden, während das Rückfallrisiko von weißen Amerikanern zu oft zu gering eingeschätzt wurde.

Northpointe Inc. wehrte sich gegen diesen Vorwurf und wies darauf hin, dass sie ein anderes Fairnessmaß erfüllen: Wann immer zwei Personen dieselbe Risikoklasse zugewiesen bekommen, zeigen die jeweiligen Bevölkerungsgruppen auch dasselbe Rückfälligkeitsrisiko. Das ist ein sehr sinnvolles Maß, denn eine Richterin, die einen Kriminellen in der Risikoklasse 8 präsentiert bekommt, sollte sich sicher sein, dass diese Bewertung bei allen Personen dasselbe bedeutet.

Tja, das Ende vom Lied ist, dass der bekannte Informatiker Jon Kleinberg zusammen mit Co-Autoren zeigte, dass diese beiden Fairnesskriterien (und noch ein drittes) fast nie gemeinsam auftreten können. Sie sind mathematisch gesehen unvereinbar! Jetzt sind also wir als Gesellschaft gefragt und müssen entscheiden, welches von den beiden Kriterien uns wichtiger ist!

Linux-Magazin: Könnte uns das Open-Source-Prinzip, also die Offenlegung, vor schädlichen Algorithmen bewahren? Sollten sich die Autoren von Algorithmen einer gesellschaftlichen Kontrolle stellen und wie könnte die aussehen? Oder sind Sie der Meinung, dass Algorithmen durch Patente geschützt werden sollten?

Katharina Zweig:Nein, Open Source ist hier kein Allheilmittel. Tatsächlich gibt es gute Gründe, warum manches Detail eines Rankings, einer Einstufung, nicht jedem bekannt sein sollte. Wir alle kennen das: Sobald man weiß, wie solche Kategorisierungen funktionieren, versucht man, sie zu manipulieren.

Stellen Sie sich eine Suchmaschine vor, deren Code vollständig bekannt wäre. Wir würden innerhalb weniger Tage auf unserer Lieblingssuchmaschine alle nur noch leichtbekleidete Damen zu sehen bekommen – unabhängig davon, was wir suchen. Die mit dem größten wirtschaftlichen Interesse würden also zuerst herausfinden, wie sie den Algorithmus manipulieren können und ihre Webseiten auf die vorderen Plätze mogeln.

Ein weiterer Grund, warum die Offenlegung des reinen Codes uns nicht beruhigen kann, wurde weiter oben genannt: Auch in den zu lernenden Daten können Ungerechtigkeiten stecken. Und nicht zuletzt muss auch die Einbettung eines algorithmischen Entscheidungssystems in den Gesamtprozess stimmen.

Daher muss es eine gesellschaftliche Kontrolle algorithmischer Entscheidungssysteme geben. Aber wir von Algorithm Watch sind davon überzeugt, dass es sehr viele, sehr chancenreiche algorithmische Entscheidungssysteme gibt und die Klasse derer, die überwacht werden müssten, nicht allzu groß ist.

Dabei wäre zu berücksichtigen, dass es verschiedene Schadenshöhen auf individueller und gesellschaftlicher Ebene gibt. So ist es für uns als Individuum nicht so schlimm, wenn uns bei Netflix ein wenig interessanter Film angeboten wird. Bei einer Suchmaschine ist der Schaden auf individueller Ebene vielleicht auch nicht so schlimm, wenn man auf der Suche nach einem Schulkameraden nicht die optimalen Seiten zu sehen bekommt. Als Gesellschaft könnte es aber bei politischen Themen wiederum schädlich sein, falls damit die öffentliche Meinung manipuliert werden kann – was momentan in der Wissenschaft kontrovers diskutiert wird. Hier muss sorgfältig abgewogen werden, welche Art von Kontrolle notwendig ist.

Man könnte sich etwa eine automatische Überwachung der Varianz von Suchmaschinenergebnissen zu wichtigen Suchanfragen vorstellen. Wenn es bei der Entscheidung eines algorithmischen Entscheidungssystems aber um sehr hohe Eingreiftiefen geht, wie etwa bei der Frage der automatischen Identifikation von möglichen Terroristen, braucht es meiner Meinung nach eine unabhängige Inspektion des Codes, der Daten und des gesamten algorithmischen Entscheidungssystems, samt seiner Einbettung in den Prozess. Das heißt: Wer gibt eigentlich die Daten ein, wie gut sind die geschult, wie verlässlich sind die Daten, wer interpretiert die Ergebnisse, wie gut sind diese Personen geschult, welche Aktion kann danach getriggert werden? Und da – anknüpfend an Ihre vorherige Frage – könnten eben auch Algorithmen und Datengrundlagen verlangt werden, die so klar sind, dass man sie als Mensch überhaupt überprüfen kann.

Linux-Magazin: Algorithmen können mit Datenmengen umgehen, mit denen ein Mensch ohne Computerhilfe niemals hantieren könnte. Macht sie das schlauer oder führt das nur zu einer Überbetonung des Quantitativen, des Mess- und vielleicht auch nur scheinbar Berechenbaren?

Katharina Zweig:Interessanterweise beschäftigt sich die Theoretische Informatik schon lange damit, was eigentlich im Prinzip berechnet werden kann – und bisher deuten alle Ergebnisse darauf hin, dass Computer und Menschen im Prinzip genau dasselbe berechnen können. Aber dieses “im Prinzip” ignoriert die Zeit bis zur Entscheidung und ignoriert, dass Menschen sich verrechnen können.

Ein wichtiges Beispiel dafür, dass Maschinen tatsächlich mehr Muster erkennen können als wir in einem Menschenleben, betrifft die so genannten seltenen Krankheiten. Das sind Krankheiten, die weniger als einen von 10000 Menschen betreffen. Darum heißen sie auch selten, weil eine Hausärztin in ihrem gesamten Arbeitsleben weniger als fünf davon kennenlernen wird. Mit so wenigen Erfahrungen kann sie kaum eine sinnvolle Diagnose entwickeln!

Aber natürlich ist eine Krankheit nicht wirklich unerforschbar, die auf der gesamten Erde 700000 oder auch nur 10000 Menschen betrifft. Computer können nun die Informationen über diese Fälle leichter zusammenziehen und darin Muster erkennen. Hier sieht man also, dass unsere Denkgeschwindigkeit und unsere menschliche Lebenszeit definitiv beeinflusst, was wir “in echt” berechnen können. Das als Gegensatz zu dem “im Prinzip” von oben.

Aber dann gibt es Situationen, die sind wieder so speziell, dass es insgesamt nicht genügend Datenpunkte gibt oder auch gar nicht genügend Potenzial für bessere Entscheidungen, die das Design eines solchen Systems rechtfertigen würden. Ich denke, dass im Moment das Vertrauen in vermeintlich objektive algorithmische Entscheidungssysteme entweder viel zu groß ist oder gar nicht vorstellbar scheint. Als Algorithm Watch setzen wir uns dafür ein, sowohl die Chancen als auch die Risiken herauszuarbeiten.

Linux-Magazin: Glauben Sie, dass es Fragen gibt, die ein Algorithmus prinzipiell niemals wird entscheiden können? Wenn ja, werden das Fragen sein, für die es mathematisch keine Lösung gibt wie für das Problem des Handelsreisenden, oder für die es ethisch keine Lösung gibt wie für das Trolley-Problem? (Kasten “Handelsreisender und Weichensteller”mit Erläuterungen dazu.)

Katharina Zweig:Ja, ich glaube, dass es enorm viele solcher Fragen gibt. Die meisten Fragen und Probleme, mit denen wir uns herumschlagen, können wir nämlich gar nicht ordentlich formalisieren. Es ist beispielsweise relativ leicht, die Idee der besten Route von A nach B so klar zu formulieren, dass der Computer eine solche berechnen kann. Andere Fragen dagegen müssen von uns tagtäglich entschieden werden, ohne dass es eine Methode gäbe, sie sinnvoll formal zu beschreiben. Dazu gehören Fragen wie: “Macht mir mein Job noch Spaß?”, “Wie erziehe ich mein Kind in so einer Situation?” oder “Soll ich ein Buch schreiben?”.

Die von Ihnen genannten ethischen Probleme sind wiederum für den Computer kein Problem, wenn wir uns auf die Kriterien einigen könnten, die zu beachten sind. Wenn es also klar wäre, ob “sichere Tote” stärker zu berücksichtigen sind als “mögliche Tote” und wie das jeweils gewichtet werden müsste. Aber selbst wenn Sie dies nur lesen, krümmt sich vermutlich Ihre Seele – denn so etwas wollen wir Menschen einfach nicht festlegen, und wir scheinen auch nicht konsistent zu urteilen. Damit können Algorithmen die Regeln für solche Entscheidungen auch nicht aus menschlichen Entscheidungen lernen – ihre Entscheidungen würden von den meisten Menschen dann auch nicht akzeptiert werden.

Im deutschen Rechtssystem sind daher diese Details etwa im Verkehrsrecht nicht alle festgelegt. Wir trauen unseren Richterinnen und Richtern aber zu, im Nachhinein entscheiden zu können, ob ein Unfallverursacher sich bestmöglich verhalten hat. Ich glaube, dass wir es hier mit einem tiefen Unbehagen der Menschheit zu tun haben, die Regeln für solche Extremsituationen im Voraus festzulegen – von denen es vermutlich auch einfach viel zu viele gäbe, die alle so selten auftreten, dass es sich kaum lohnte, dafür Regeln aufzustellen, an die sich dann eh niemand erinnern könnte.

Eine wirkliche Neuheit beim Einsatz algorithmischer Entscheidungssysteme im Bereich des autonomen Fahrens ist, dass sie in den verbleibenden Sekunden bis zum Aufprall ganz andere, möglicherweise entscheidungsrelevante Parameter verarbeiten könnten. Das MIT hat im Moment ein Projekt laufen, wo die merkwürdigsten Situationen geschildert werden: Soll lieber ein Jugendlicher oder ein überführter Verbrecher überfahren werden? Mit einer solchen Frage mussten sich Menschen bisher im Straßenverkehr nicht auseinandersetzen, weil sie weder die Information gehabt hätten noch die Zeit, sie zu verarbeiten.

Ein anderer wichtiger Aspekt ist, dass diese Systeme keinen Selbstschutz kennen – die Insassen des Autos aber vermutlich ihren eigenen Schutz höher ansetzen würden als den von anderen. In dieser Situation müssen wir uns vermutlich doch damit auseinandersetzen, diese Regeln festzulegen.

Linux-Magazin: Algorithmen dienen der Automatisierung, Maschinen wird Arbeit übertragen, die zuvor Menschen ausführten. Wird, wenn diese Entwicklung fortschreitet, genug Arbeit übrig bleiben, um allen Menschen ein zufriedenstellendes Auskommen zu sichern? Oder sollten wir den Algorithmen Arbeit, die sie erledigen könnten, vorenthalten?

Katharina Zweig:Steven Hill hat kürzlich gefordert, dass wir jetzt eine Entscheidung treffen müssten und solche Algorithmen verbieten sollten, die zu viele Arbeitsplätze zerstören. Die Frage ist natürlich äußerst vielschichtig und die Antwort darauf hängt von sehr vielen sozialen, ökonomischen und politischen Variablen ab. Zurzeit sehen wir, dass Computer anfangen, auch für solche Tätigkeiten interessant zu werden, die vorher fest in Menschenhand lagen, zum Beispiel das Abarbeiten von Dokumenten, die eine Versicherung erreichen.

Abbildung 1: Die Optimierung von Routen – wie beim Handelsreisenden – ist eine häufige Aufgabe für Algorithmen. mohd hairul fiza musa, 123rf

Andererseits sehen wir, dass Industrie 4.0 es erlaubt, dass eine Fabrik eine hohe Vielfalt an Produkten erzeugt. Ein menschlicher Kommissionierer würde hier vermutlich zu viele Fehler machen, der Computer aber sorgt für weitgehend fehlerfreie Bereitstellung der notwendigen Materialien. Doch am Band steht vermutlich weiterhin der Mensch, der das Produkt zusammenbaut, eben unterstützt durch den Computer, der ihm das jeweils nächste einzubauende Element anzeigt und vielleicht sogar noch, wo und wie er es verbauen soll.

Überhaupt werden weniger gut ausgebildete Menschen durch Unterstützung von Computern in der Lage sein, anspruchsvollere Tätigkeiten durchzuführen. Und sollten wirklich zu wenige Arbeitsplätze übrig bleiben, ist es nur eine Frage der Kreativität der Politiker, den Mehrwert, der durch Roboter und Computer erzeugt wird, so zu besteuern, dass der Gewinn gerecht auf die Bürger aufgeteilt werden kann. Aber hier verlasse ich gerade meinen Zuständigkeitsbereich und überlasse das Feld den Wirtschafts-, Sozial- und Politikwissenschaftlern.

Es lässt sich zum Thema generell sagen, dass sich all die genannten Probleme und Fragen nur in einem interdisziplinären, gesamtgesellschaftlichen Diskurs klären lassen – um diesen zu ermöglichen und zu fördern, haben wir Algorithm Watch gegründet.

Im Interview

Prof. Dr. Katharina A. Zweig

Prof. Dr. Katharina A. Zweig hat Biochemie und Bioinformatik studiert. Nach der Promotion in Informatik (2007) war sie als Postdoc ein Jahr an der ELTE-Universität in Budapest, Ungarn. Nach einer Zeit als Nachwuchsgruppenleiterin an der Universität Heidelberg (2009 bis 2012) ist sie seit 2012 an der TU Kaiserslautern Professorin. Sie leitet dort den Lehrstuhl “Algorithm Accountability” und hat federführend den deutschlandweit einzigartigen Studiengang Sozioinformatik entwickelt, der sich mit den Auswirkungen von IT-Systemen auf Individuum, Organisation und Gesellschaft auseinandersetzt. Sie ist Juniorfellow der Gesellschaft für Informatik, wurde 2014 als eine von 39 ,,Digitalen Köpfen“ ausgezeichnet und gründete 2016 zusammen mit Lorenz Matzat, Matthias Spielkamp und Lorena Jaume-Palasí die Initiative ,,Algorithm Watch“. Algorithm Watch klärt auf über Chancen und Risiken von ADM-Systemen (Automated Decision Making), vernetzt die Community, ,,watcht“ Algorithmen und setzt sich für eine demokratisch legitimierte Kontrolle von ADM-Systemen ein.