Webcrawler-Standardisierung: Google legt seinen Parser für robots.txt offen
#Google #Suchmaschinen #WebCrawler #robotstxt

Die Open-Source-Legung des Parsers ist Teil von Googles Bemühungen, das Robots Exclusion Protocol offiziell zu standardisieren.

​​​​​Crawler für Training von GPT ausschließen: OpenAI stellt Code für robots․txt vor
#ChatGPT #Internet #KünstlicheIntelligenz #WebCrawler #Websites #robotstxt

Für das Training von KI-Chatbots wie ChatGPT wird das Internet durchpflügt․ Wer Inhalte davon ausschließen will, kann das nun über Code in der robots․txt tun․

​​​​​New York Times verbittet sich Auswertung durch OpenAI
#AI #ChatGPT #Crawler #GPTBot #Hausverbot #Immaterialgüter #Immaterialgüterrecht #KünstlicheIntelligenz #NYT #NewYorkTimes #Urheberrecht #robotstxt

Die New York Times setzt den GPTBot auf die Sperrliste․ Der Verlag fordert Kompensation dafür, dass KI-Modelle von OpenAI mit Zeitungsartikeln trainiert werden․

​​​​​Google-Extended schließt Bard und Vertex AI aus
#Bard #Google #KünstlicheIntelligenz #Vertex #robotstxt

Google-Extended erweitert die robots-txt-Datei․ Damit lassen sich Webseiten für Googles KI-Modelle sperren․