(C) unter Verwendung eines Motivs von Andrei Suslov / 123RF.com

Große Nachrichtenseiten, darunter die New York Times, The Guadian und USA Today, vor allem aber über 340 lokale Nachrichtenmedien der USA, schränken den Zugriff des Internet Archive auf ihre Seiten ein.

Grund dafür ist die Sorge, ihre Inhalte könnten via Internet Archive unberechtigt für das KI-Training verwendet werden. Das hat eine Untersuchung des amerikanischen Nieman Lab ergeben. Damit ist eine der effektivsten Methoden gefährdet, mit der Nachrichteninhalte langfristig erfasst und gespeichert werden. Es droht eine wichtige Primärquelle auszufallen, “die nötig ist, um zu verstehen, woher wir kommen und wohin wir wollen”, so Edward McCain, Bibliothekar für Journalismus an der University of Missouri. Journalisten sind nämlich auch die häufigsten Nutzer der Wayback Machine.

Dabei hat die Wayback Machine bereits Anstrengungen unternommen, um ihren Missbrauch zu KI-Trainingszwecken zu erschweren, darunter die Implementierung von Systemen, die das Herunterladen großer Datenmengen einschränken, sowie die Zusammenarbeit mit Anbietern wie Cloudflare zur Überwachung von Bot-Aktivitäten. Mark Graham, der Gründer der Wayback Machine, erklärte gegenüber Nieman Lab zudem, dass die Nutzungsbedingungen des Internet Archive die Nutzung seiner Bestände ausschließlich für wissenschaftliche oder Forschungszwecke gestatten.

Im Januar nutzte das Nieman Lab die Datenbank des Journalisten Ben Welsh mit den robots.txt-Dateien von 1167 Nachrichten-Websites, um festzustellen, welche Seiten das Internet Archive blockierten. Da das Internet Archive damals nicht auf Anfragen reagierte, welche Crawling-Bots es einsetzte, identifizierten die Untersucher vier Bots, die der KI-User-Agent-Überwachungsdienst ‘Dark Visitors’ mit dem Internet Archive in Verbindung gebracht hatte. Das Ergebnis war, dass 241 Nachrichten-Websites mindestens einen mit dem Internet Archive verbundenen Crawling-Bot sperrten. Etwa 80 Prozent dieser Websites gehörten der USA Today Co. Bis Mai wurden 141 weitere Nachrichtenwebsites gefunden, die mindestens einen mit dem Internet Archive verbundenen Bot blockierten, wodurch sich die Gesamtzahl der Websites in der Stichprobe auf 382 erhöhte. Die endgültige Stichprobe umfasst Websites aus 10 Ländern, wobei die überwiegende Mehrheit (93 Prozent) ihren Sitz in den Vereinigten Staaten hat.