Große Sprachmodelle neigen dazu, auch dann irgendwas zu antworten, wenn ihnen die nötigen Informationen fehlen. Man spricht von Halluzinationen und die erfordern in jedem Fall eine menschliche Kontrolle der Resultate. Zwei Projekte spannen nun KI auch bei der Überprüfung ein.
KI soll also den menschlichen Faktencheckern die Arbeit erleichtern. In beiden Fällen handelt es sich aber nicht um einen klassischen Faktencheck – der könnte nicht funktionieren, wenn dieselbe KI bereits zuvor nicht bemerkt hat, dass ihre Informationen nicht ausreichen – sondern um einen Vergleich der Quellen, auf die sich die Antwort stützt, mit dem Wortlaut der Antwort. Treten dabei Diskrepanzen auf, wird nicht korrekt zitiert beziehungsweise werden Tatsachen falsch wiedergegeben.
Ein solches Projekt ist SymGen, entwickelt von Forschern des MIT. Es kann Fakten im Ausgabetext direkt mit Verweisen auf ihre Quellen versehen, also auf eine konkrete Textstelle in einem anderen Dokument oder auf einen konkreten Eintrag in einer Datenbank. Das vereinfacht und erleichtert die Kontrolle insofern, als das jetzt nicht mehr umfangreiche Dokumente durchgelesen werden müssen, um einen Beleg für die behaupteten Fakten zu finden, sondern nur noch die genau bezeichnete Quelle zu überprüfen ist. Die Benutzer fahren mit dem Mauszeiger über die hervorgehobenen Teile der Textantwort, um die Daten zu sehen, die das Modell verwendet hat, um dieses spezifische Wort oder diesen Satz zu generieren. Gleichzeitig zeigen die nicht hervorgehobenen Teile den Nutzern, welche Ausdrücke zusätzliche Aufmerksamkeit erfordern, um sie zu überprüfen und zu verifizieren.
Etwas Ähnliches macht auch Second Opinion, ein Open-Source-Produkt des deutschen AI for Media Networks. Hier geht es vor allem um Textvarianten, hauptsächlich um Zusammenfassungen längerer Texte. Überprüft wird die inhaltliche Übereinstimmung der Lang- und der Kurzfassung. Ergeben sich dabei Diskrepanzen werden sie farblich hinterlegt. Wer auf die hervorgehobene Passage klickt, erhält eine Erläuterung, was nicht zusammenpasst. Das erleichtert Kontrollen signifikant.
Allerdings überprüft auch Second Opinion keine Fakten. Fehler in der Langfassung werden in die Kurzfassung übernommen und bleiben unentdeckt. Ein menschlicher Plausibilitätscheck ist auch in diesem Fall unabdingbar. Er wird nur insofern erleichtert als eine Verfälschung der Fakten im Zuge der Zusammenfassung oder Überarbeitung unmittelbar kenntlich gemacht wird.
