Google hat seine Pläne kundgetan, sich um die Standardisierung des Robots Exclusion Protocol (REP) durch die Internet Engineering Task Force (IETF)) zu bemühen. Als unterstützenden Schritt hat der Suchmaschinenkonzern seinen Parser für die Robots.txt unter der Apache Lizenz als freie Software...
News

