Google will Robots Exclusion Protocol standardisieren
#Google #IETF #Internet #Protokoll #Standards
Google hat seine Pläne kundgetan, sich um die Sandardisierung des Robots Exclusion Protocol (REP) durch die Internet Engineering Task Force (IETF)) zu bemühen. Als unterstützenden Schritt hat der Suchmaschinenkonzern seinen Parser für die Robots.txt unter der Apache Lizenz als freie Software veröffentlicht. Das REP sei 1994 von Martijn Koster, einem Webmaster Initialisiert worden, nachdem Crawlers …
#Google #IETF #Internet #Protokoll #Standards
Google hat seine Pläne kundgetan, sich um die Sandardisierung des Robots Exclusion Protocol (REP) durch die Internet Engineering Task Force (IETF)) zu bemühen. Als unterstützenden Schritt hat der Suchmaschinenkonzern seinen Parser für die Robots.txt unter der Apache Lizenz als freie Software veröffentlicht. Das REP sei 1994 von Martijn Koster, einem Webmaster Initialisiert worden, nachdem Crawlers …