(C) unter Verwendung eines Motivs von Andrei Suslov / 123RF.com
Die KI setzt Webseitenbetreiber mehrfach unter Druck: Zum einen fangen KI-Zusammenfassungen von Suchergebnissen und KI-Chatbots ihre Kunden ab, zum anderen konsumiert KI ihre Inhalte zu Trainingszwecken, ohne sie zu entschädigen. Vor diesem Hintergrund hat Cloudflare nun die Betaversion eines Marktplatzes gelauncht, auf dem jeder Betreiber einer Webseite seine Inhalte an einzelne KI-Datensammler stückweise verkaufen kann. Die Cloudflare-Tools hindern dann unberechtigte KI-Scraper – das sind per Default alle – am Datensammeln.
Der Marktplatz heißt Pay per Crawl und erlaubt es Inhalteanbietern ihr Material pauschal für alle Crawler kostenlos freizugeben oder zu verbieten oder per Micropayment für bestimmte Crawler eine bestimmte Datenrate zu verkaufen. Das soll insbesondere Verlagen eine neue Möglichkeit eröffnen, mit ihren Inhalten Geld zu verdienen. Einige von ihnen hatten dafür in der Vergangenheit mit bestimmten KI-Firmen Lizenzvereinbarungen abgeschlossen, andere — zum Beispiel die New York Times — hatten dagegen KI-Firmen vor Gericht verklagt.
Zahlen von Cloudflare selber zeigen, dass KI-Crawler so gut wie keinen Traffic auf die von ihnen besuchten Webseiten leiten. Der Crawler von Google besuchte eine Websites im Durchschnitt 14 Mal für jeden Verweis darauf, der auf ihn zurückzuführen ist. Aber der Crawler von OpenAI scannte Websites im Schnitt 1 700 Mal für jede Weiterleitung, während Anthropic Websites 73 000 Mal für jede Weiterleitung gescannt hat.
Um an Cloudflare’s experimentellem Marktplatz teilnehmen zu können, müssen sowohl KI-Unternehmen als auch Publisher mit Cloudflare-Konten ausgestattet sein. In ihren Konten können beide Parteien die Preise festlegen, zu denen sie einen Crawl der Inhalte des Verlegers kaufen und verkaufen möchten. Cloudflare fungiert bei diesen Transaktionen als Vermittler, der dem KI-Unternehmen Gebühren in Rechnung stellt und die Einnahmen an den Verlag weiterleitet.
