Google hat seine Pläne kundgetan, sich um die Standardisierung des Robots Exclusion Protocol (REP) durch die Internet Engineering Task Force (IETF)) zu bemühen. Als unterstützenden Schritt hat der Suchmaschinenkonzern seinen Parser für die Robots.txt unter der Apache Lizenz als freie Software veröffentlicht.
Das REP sei 1994 von Martijn Koster, einem Webmaster Initialisiert worden, nachdem Crawlers seine Seite überflutet hatten, schreibt Google. Dank Input von anderen Webmasters entstand in der Folge das REP. In den vergangenen 25 Jahren hat es das Protokoll nicht zum offiziellen Standrad geschafft, bemängelt Google. Das habe dazu geführt, dass Entwickler das Protokoll in den vergangenen 25 Jahren unterschiedlich interpretiert hätten. Es sei außerdem nicht an aktuelle Grenzfälle angepasst worden, was zu einem Problem für Webmaster werde.
Google habe in Zusammenarbeit mit Martijn Koster, weiteren Webmastern und auch Suchmaschinen dokumentiert, wie das REP in der heutigen Zeit genutzt werde. Diese Dokumentation habe man an die IETF geschickt. Der vorgeschlagene REP-Entwurf basiere auf den Robots.txt-Regeln, die der Googlebot und andere maßgeblichen Crawler nutzten, schreibt Google. Außerdem nutze er Informationen von rund einer halben Milliarde Webseiten. Im Google Webmaster-Blog sind weitere Informationen enthalten. Die als freie Software unter Apache Lizenz veröffentlichten Robots-Parser und der Matcher von Google sind als C++-Bibliothek auf Github zu finden. Bis auf minimalen Abweichungen entspreche der Parser dem von Google eingesetzten.
