(C) unter Verwendung eines Motivs von Andrei Suslov / 123RF.com

Die New York Times hat zusammen mit dem KI-Start-up Oumi untersucht, wie verlässlich die Aussagen in Googles KI-Übersichten sind. Zwar treffen sie in neun von zehn Fällen zu, bei mehr als 5 Billionen Suchanfragen pro Jahr sind das aber immer noch Hunderttausende Fehler in der Minute.

Die Korrektheit von KI-Antworten ist generell schwer zu beurteilen. Einerseits sind die Antworten nicht deterministisch – dieselbe Frage, zweimal im Sekundenabstand gestellt, kann zu zwei unterschiedlichen Antworten führen, von denen eine zutrifft, die andere nicht. Zum anderen müssen die Tester beim Beurteilen der Korrektheit selbst auf die Hilfe einer KI setzen, die ihrerseits Fehler machen kann. Im Auftrag der New York Times setzte das Start-up Oumi einen weit verbreiteten Benchmark, SimpleQA, zur Analyse ein. Google allerdings kritisiert, dass auch der von OpenAI entwickelte Benchmark Fehlinformationen enthalte und nicht die tatsächlichen Google-Suchen von Nutzern reflektiere.

Googles Antworten wurden zweimal getestet: Einmal im Februar, da basierten sie auf Gemini 2, und einmal im Oktober, nach dem Update auf Gemini 3. Dabei verbesserte sich die Korrektheit der Antworten von 85 Prozent im ersten Fall auf 91 Prozent im zweiten.

Die Fehler hatten verschiedene Ursachen. Teils verlinkten die Übersichten Webseiten, die die Behauptungen gar nicht stützten und teils waren die Fakten auf den verlinkten Webseiten falsch. Schuld daran sind unter anderem unvertrauenswürdige Quellen wie Reddit und Facebook, die einen unverhältnismäßig großen Anteil der Quellen für die KI-Übersichten ausmachen.

Auch aus an sich korrekten Fakten zieht die KI teilweise falsche Schlüsse. Teils wurden die Fakten korrekt wiedergegeben, aber zusätzliche Informationen waren falsch. Die KI ist auch leicht zu manipulieren: In mindestens einem Fall ging die KI auch einer mutwillig im Web platzierten Fehlinformation auf den Leim.

Aus all dem sollte man vor allem eines lernen: KI-Antworten können falsch sein und müssen immer doppelt überprüft werden, ungeprüft sollte man ihnen niemals trauen.