Webcrawler-Standardisierung: Google legt seinen Parser für robots.txt offen
#Google #Suchmaschinen #WebCrawler #robotstxt

Die Open-Source-Legung des Parsers ist Teil von Googles Bemühungen, das Robots Exclusion Protocol offiziell zu standardisieren.

​​​​​KI: Sprachmodelle wie GPT-3 könnten völlig neue Suchmaschinen ermöglichen
#Experten #Gespräch #Google #Infotech #Pagerank #Suchmaschine #WebCrawler

Die Art der Online-Suche hat sich seit Jahrzehnten nicht geändert․ Google-Forscher wollen sie so gestalten, dass sie einem Gespräch mit einem Experten ähnelt․​

​​​​​Mit IndexNow sollen Webmaster neue Inhalte an Suchmaschinen melden
#Bing #Crawler #Microsoft #SEO #Suchmaschine #WebCrawler #Webseiten #Yandex

Eine neue Initiative Microsofts und Yandex' soll die Crawler der Suchmaschinen entlasten․ Webmaster sollen neue Inhalte über eine Software-Schnittstelle melden․

​​​​​Crawler für Training von GPT ausschließen: OpenAI stellt Code für robots․txt vor
#ChatGPT #Internet #KünstlicheIntelligenz #WebCrawler #Websites #robotstxt

Für das Training von KI-Chatbots wie ChatGPT wird das Internet durchpflügt․ Wer Inhalte davon ausschließen will, kann das nun über Code in der robots․txt tun․

​​​​​Large Language Models: Kein Training mit Inhalten der New York Times
#ChatGPT #KünstlicheIntelligenz #NewYorkTimes #OpenAI #WebCrawler

Die New York Times verbietet das Verwenden ihrer Inhalte zu KI-Trainingszwecken in ihren Nutzungsbedingungen․