(C) unter Verwendung eines Motivs von Andrei Suslov / 123RF.com

Themis AI, eine Ausgründung aus dem MIT, hat Software entwickelt, die es beliebigen Sprachmodellen ermöglichen soll, zu erkennen, was sie nicht wissen oder wo sie zumindest unsicher sind. Das ist wichtig, weil LLMs dazu tendieren, auf jeden Fall eine Antwort zu generieren, egal ob sie über die dafür nötigen Informationen verfügen oder nicht. Dieses Verhalten kann in kritischen Umgebungen – beispielsweise beim autonomen Fahren oder in der Medizinforschung – katastrophale Folgen haben.

Die von Themis AI entwickelte Plattform Capsa modifiziert die zu untersuchenden Sprachmodelle so, dass sie Muster in ihren eigenen Berechnungen erkennen, die auf Unsicherheit oder Verzerrungen hindeuten. So lässt sich die Unsicherheit quantifizieren und Antworten können korrigiert werden, bevor sie ernste Konsequenzen haben.

“Die Idee ist, ein Modell zu nehmen, es in Capsa zu verpacken, die Unsicherheiten und Fehlermodi des Modells zu identifizieren und dann das Modell zu verbessern”, sagt Themis AI-Mitbegründerin und MIT-Professorin Daniela Rus, die auch Direktorin des MIT Computer Science and Artificial Intelligence Laboratory (CSAIL) ist. “Wir freuen uns, eine Lösung anbieten zu können, die Modelle verbessert und Garantien dafür bietet, dass das Modell korrekt funktioniert.”

Einer der Mitgründer, Elaheh Ahmadi, meint: “Wir wollen KI in den wichtigsten Anwendungen jeder Branche ermöglichen. Wir alle kennen Beispiele dafür, dass KI halluziniert oder Fehler macht. Wenn KI in größerem Umfang eingesetzt wird, könnten diese Fehler verheerende Folgen haben. Unsere Software kann diese Systeme transparenter machen.”

Rus und ihre Kollegen haben über die Unsicherheit in KI-Modellen seit Jahren geforscht. Im Jahr 2018 erhielt sie Mittel von Toyota, um die Zuverlässigkeit einer auf maschinellem Lernen basierenden Lösung für autonomes Fahren zu untersuchen. In einer separaten Arbeit entwickelten Rus, Amini und ihre Mitarbeiter einen Algorithmus, der rassische und geschlechtsspezifische Verzerrungen bei der Gesichtserkennung bemerken und die Trainingsdaten des Modells automatisch neu gewichten konnte. Im Jahr 2021 zeigten die späteren Mitbegründer, dass ein ähnlicher Ansatz verwendet werden könnte, um Pharmaunternehmen bei der Verwendung von KI-Modellen zur Vorhersage der Eigenschaften von Arzneimittelkandidaten zu unterstützen. Die alles mündete nun in der Software, die LLMs hilft, Gewissheiten und Unsicherheiten bei sich selbst zu erkennen und unsichere Antworten selbst zu markieren.