OpenAI hat eine Anleitung veröffentlicht, wie Webseiten das Crawlen durch den GPTBot vrhindern können.
Wie OpenAI mitteilt, würden Webseiten, die mit dem GPTBot-Benutzer-Agenten gecrawlt wurden, potenziell dazu beitragen, das Modell von ChatGPT zu verbessern. OpenAI führt weiter aus, dass die vom Bot gesammelten Informationen gefiltert würden. Dabei entferne man etwa Quellen, die einen die einen Paywall-Zugang erfordern. Auch solche, von denen bekannt sei, dass sie persönlich identifizierbare Informationen sammeln, oder Text enthalten, der gegen die OpenAI-Richtlinien verstossen, landeten im Filter, heißt es weiter.
Wer dem GPTBot den Zugang zu seiner Website gewähren, könne den KI-Modellen helfen, genauer zu werden und ihre allgemeinen Fähigkeiten und Sicherheit zu verbessern. Wer den GPTBot den Zugang verweigern wolle, könne dies mit einem Eintrag in die robots.txt tun oder mit der Blockade von IP-Adressen des Bots.
In der robots.txt sei dazu folgender Eintrag geeignet:
User-agent: GPTBot
Disallow: /
Die IP-Adressen des Bots, die es zu blockieren gilt, finden sich auf dieser Seite.
