Laut Microsoft versteht die hauseigene KI Texte laut einem standardisierten Test inzwischen besser als Menschen dies tun. Auch das chinesische Unternehmen Amazon-Pendant Alibaba reklamiert diesen Lesevorsprung für seine Software.
Das Stanford Question Answering Dataset, kurz Squad, ist ein standardisierter Datensatz für Machine Learning, der aus 10 000 Fragen zu einer Reihe von Wikipedia-Artikeln besteht. Das Deep-Learning-Modell von Microsoft Research Asia erreichte laut einer Ankündigung des Konzerns am 3. Januar 2018 eine Punktzahl von 82 650, Alibabas Modell erzielte zwei Tage später 82 440 Punkte, während Menschen in dem Test mit 82 304 abschneiden.
Laut Wired ist die Freude etwas voreilig, denn der genutzte Benchmark sei laut einem seiner Erfinder quasi auf Computer zugeschnitten und nicht dafür gedacht, das Leseverhalten von Menschen und Maschinen miteinander zu vergleichen. Die Antworten der Menschen, die über Amazons Crowdsourcing-Dienst Mechanical Turk rekrutiert wurden, verglich der Test mit zwei als richtig spezifizierten Antworten. Bei den Maschinen wiederum musste die Antwort zu einer von drei Vorgaben passen, hier lagen die Chancen also höher. Zudem stelle sich laut Wired die Frage, wie motiviert die Mechanical-Turk-Mitarbeiter bei Stundensätzen von 9 US-Dollar seien.
Bessere Suchergebnisse
Doch unabhängig von der Frage, ob es sich um einen PR-Stunt handelt oder nicht, zeigt der Test, wo die Spracherkennung zurzeit steht und wohin die Entwicklung von Suchmaschinen tendiert. Menschen sollen es in naher Zukunft einfacher haben, in ganzen Sätzen zu suchen, die Deep-Learning-Algorithmen sollen zudem Folge-Antworten liefern können. Der Test zeigt aber auch die Grenzen der Texterkennung. Einfache Fragen zu einem Text der Wikipedia zu beantworten, ist eine Sache. Bevor solche Programme aber etwa komplexe Texte in ein paar Sätzen sinnvoll zusammenfassen, dürfte es noch eine Weile dauern.
