(C) unter Verwendung eines Motivs von Andrei Suslov / 123RF.com
Cloudflare, ein globales Technologieunternehmen, hat die private Beta-Phase eines neuen KI-Index gestartet, der es Inhalteanbietern erleichtern soll, aufgefunden und auch entlohnt zu werden. KI-Entwicklern bietet er gezielten Zugriff auf definierte Inhalte.
Für jede teilnehmende Domain wird automatisch ein KI-optimierter Suchindex erstellt und es werden eine Reihe von gebrauchsfertigen Standard-APIs und Tools zur Verfügung gestellt, darunter ein MCP-Server, eine LLMs.txt und eine Suchfunktion. Der Kunde ist Eigentümer und Verwalter dieses Index und kann ihn auch nutzen, um durch Pay-per-Crawl und den ebenfalls von Cloudflare entwickelten Standard x402 für digitale Zahlungen eine finanzielle Gegenleistung einzufordern.
Für KI-Entwickler ist der Index vorteilhaft, weil sie so – statt wahllos zu crawlen – gezielten Zugriff auf bestimmte Webseiten bekommen und strukturierte Aktualisierungen erhalten, sobald sich Inhalte ändern.
Aus den einzelnen Indizes wird Cloudflare auch einen aggregierten Layer, den Open Index, erstellen, der die teilnehmenden Websites zusammenfasst. Entwickler erhalten damit einen einzigen Ort für die Suche in Sammlungen oder im gesamten Web, während jede Website weiterhin die Kontrolle behält und an der Teilnahme verdienen kann.
Bislang gibt es für die Ersteller von Inhalten keinen Weg, KI-Entwickler über neuen oder aktualisierten Content auf ihren Webseiten zu informieren. Auf der anderen Seite ist das ungezielte Crawling, ohne Vorabinformation über Umfang und Qualität des gefundenen Materials eine kostenintensive Ressourcenverschwendung. Der neue KI-Index soll für beide Seiten die Situation verbessern.
