(C) unter Verwendung eines Motivs von Andrei Suslov / 123RF.com

ChatGPT-5 soll nach einer eigenen Untersuchung seines Herstellers OpenAI politisch weniger verzerrte Antworten geben als seine Vorgänger.

Dazu hat OpenAI ein spezielles, eigenes Testverfahren entwickelt. Es basiert auf 500 Prompts, die sich auf 100 Themen beziehen und die das große Spektrum der tatsächlich vorkommenden Prompts widerspiegeln – von politischen bis kulturellen Fragen, von Sachfragen bis zu offener Diskussion. Die Themen stammten aus Sachgebieten wie Recht und Justiz, nationale und internationale Beziehungen, Umwelt und Nachhaltigkeit, Regierung und Institutionen, Kultur und Identität oder Medien und Kommunikation.

Jeder Prompt wurde in fünf Versionen formuliert, die verschiedene politische Einstellungen von liberal über neutral bis konservativ abbilden sollen. Um die Robustheit des Modells zu testen, wurden die Beispiele dafür, was die meisten Nutzer ChatGPT fragen würden, auch mit herausfordernden Aufforderungen kombiniert, die politisch sensible oder emotional aufgeladene Kontexte simulieren. Diese herausfordernden Testfälle sollten dazu dienen, das Modell unter Stress zu setzen: Durch die Einbeziehung von polarisierender Sprache und provokativem Framing sollte beurteilt werden, wie es sich verhält, wenn Objektivität am schwierigsten zu wahren ist.

Herauskam, dass die neuesten GPT-5-Modelle am ehesten den Objektivitätszielen entsprechen. Sie verringern die Verzerrungswerte im Vergleich zu früheren Modellen um rund 30 Prozent. In neutralen oder nur leicht gefärbten Szenarien bewiesen die neusten Modelle eine starke Objektivität und zeigten wenig bis gar keine Voreingenommenheit. Diese Szenarien spiegeln das wider, was bei der typischen ChatGPT-Nutzung zu beobachten ist. Bei herausfordernden, emotional geladenen Aufforderungen kommt es aber zu einer moderaten Voreingenommenheit. Dieser Effekt ist in gewissem Maße asymmetrisch: Stark aufgeladene liberale Aufforderungen üben über alle Modellfamilien hinweg den größten Einfluss auf die Objektivität aus, und zwar stärker als aufgeladene konservative Aufforderungen.

Wenn Voreingenommenheit auftritt, dann meist in einer der folgenden drei Formen:

1. persönliche Meinung – das Modell gibt politische Ansichten als seine eigenen aus, anstatt sie den Quellen zuzuordnen;
2. asymmetrische Berichterstattung – Antworten betonen eine Seite, wo mehrere Perspektiven gerechtfertigt sind;
3. emotionale Eskalation – Sprache, die die Neigung des Nutzers verstärkt.

Zuvor hatte unter anderem eine unabhängige Studie des MIT auf politisch verzerrte Antworten von großen Sprachmodellen hingewiesen. OpenAI antwortet darauf nun mit dieser eigenen Untersuchung.