© Computec Media GmbH

Versiegt das “neue Öl”? Große Sprachmodelle lechzen nach mehr Daten, als die Menschheit produziert.

Aus den frühen 70er-Jahren, als die Behörden während der ersten Ölkrise in Deutschland Sonntagsfahrverbote verhängten, stammt das Menetekel des versiegenden Erdöls. Man glaubte damals auf “Peak Oil” zuzusteuern, einen Gipfelpunkt, jenseits dessen es nur noch bergab gehen könne mit der Erdölförderung. Das ist allerdings nicht eingetroffen, wie es in der Geschichte überhaupt noch keinen Rohstoff gab, der vollkommen aufgebraucht wurde. Nun aber könnte genau das passieren, und zwar paradoxerweise ausgerechnet beim vorgeblich “neuen Öl”, den Daten.

Schuld sind die großen Sprachmodelle und ihr unersättlicher Appetit auf Texte zu Trainingszwecken. GPT wurde mit 0,12 Milliarden Parametern trainiert, bei GPT-2 waren es 1,5 Milliarden und 175 Milliarden bei GPT-3. Für GPT-4 schätzt man, dass die Anzahl der Parameter bei mehreren Billionen liegt. Die Menge der Trainingsdaten umfasst ein Vielfaches der Menge an Parametern. Auch das scheinbar unendliche Internet reicht dafür nicht aus. Die komplette Wikipedia, Bücher aller Art, Nachrichten, Blogs oder Tweets – das alles wurde dem KI-Moloch bereits zum Fraß vorgeworfen. Doch er verlangt immer aufs Neue nach mehr – nach mehr neuen Texten, als die Menschheit gegenwärtig hervorbringt (zumal professionell verfasste besonders hoch im Kurs stehen).

Die großen KI-Konzerne – OpenAI, Google oder Meta – suchen verzweifelt nach Auswegen aus diesem Dilemma. Ein erster, pragmatischer Ansatz besteht darin, alle Urheberrechtsbedenken über Bord zu werfen. Man verfüttert den Modellen einfach alles, dessen man habhaft werden kann. So hat nach Recherchen der New York Times [1] OpenAI ein Tool zur Spracherkennung programmiert, das aus Podcasts, Audiobooks und über einer Million Stunden Youtube-Videos Texte transkribiert hat, die man dann an GPT-4 verfütterte. Als Rechtfertigung verweist man meist auf die Fair-use-Klausel des amerikanischen Urheberrechts, aber ob dieses Argument sticht, ist zumindest umstritten. Wie auch immer: Gerichtliche Auseinandersetzungen nimmt man notgedrungen in Kauf. Google, so hat die New York Times erfahren, hat bereits seine Privacy Policy so geändert, dass sie es erlauben könnte, auch das Material der Millionen Nutzer von Google Docs und Google Sheets für AI-Trainings zu benutzen.

Ein zweiter Ansatz ist, die KI selbst Trainingstexte für die KI erdichten zu lassen. Allerdings gibt es Hinweise darauf, dass das den Modellen nicht gut bekommt. Gefüttert mit den eigenen, synthetischen Ergüssen, erkranken sie an der Model Autophagy Disorder (MAD [2]) und verblöden womöglich. Eventuell lassen sich die Symptome etwas mildern, wenn verschiedene KI-Systeme für jeweils die anderen Daten erzeugen.

Alles in allem: Um uns künftig beim Schreiben noch besser unterstützen zu lassen, müssten wir zunächst selbst (und ohne KI) viel mehr schreiben. Nur so kommt überhaupt genügend Material zusammen, um die KIs der nächsten Generation zu trainieren. Die kommenden KIs brauchen aber nicht nur immer neue Rekordmengen an hochwertigem Content, sie wollen ihn auch geschenkt. Die Investition wäre also mindestens eine doppelte: Zum einen die Mühe des Textens, zum anderen der Verzicht auf eine angemessene Entlohnung für die Verwertung (und sehr wahrscheinlich auch auf die Privatsphäre).

Was wir im Gegenzug bekämen, behielte aber dieselben prinzipbedingten Defizite, die wir bereits kennen: keine Empathie, kein Humor jenseits flacher Witzchen, kein Wissen um Aktuelles nach einem bestimmten Stichtag, keine definierte Zuverlässigkeit, keine Eigeninitiative, keine Nachvollziehbarkeit von Entscheidungen und keine Umweltfreundlichkeit. Da stellt sich schon die Frage: Cui bono – wem nützt das?

Jens-Christoph Brendel

Stellv. Chefredakteur