August 2025 spam update завершился. Он продлился 26 дней.

Аутентификация ботов в Shopify
Крис Левер описал способ сканирования сайта на платформе Shopify с помощью Screaming Frog или аналогичных инструментов, не сталкиваясь с ограничениями (если вы владелец сайта или имеете доступ к настройкам).

С помощью фичи под названием Web Bot Auth нужно завести HTTP-заголовок, на который не будут распространяться ограничения. Его необходимо указать в заголовках запроса в настройках Screaming Frog.

+ испанский

По мотивам того же события.

«Контент используется в ИИ-продуктах без адекватной оплаты, а сводки ИИ встраиваются напрямую в поиск, лишая оба сектора доходов. Это настоящий экзистенциальный кризис для индустрии», — отмечает Крис Дункан, медиаконсультант и бывший руководитель News UK.

Еще на тему регулирования. YouTube, оказывается, занимался политической цензурой 🤔

Поделюсь-ка плейлистом с бодрой музыкой для работы:
https://music.yandex.ru/playlists/d15755ab-170e-a648-bbb3-22946705289c

Search Live выкатили в США на английском языке.

Как это работает:
— Кликните на значок Live в приложении Google (Android, iOS)
— Задавайте вопросы
— При желании можно включить камеру, чтобы поиск мог интерпретировать то, что находится перед вами
— Поиск выдает ответы, контекст и ссылается на свои источники внизу

Cloudflare снова выдвинул инициативу в области регулирования ИИ-краулеров, на этот раз через robots.txt — Content Signals Policy.
Что-то мне подсказывает, что Гугл с OpenAI на это никак не отреагируют и учитывать их не будут.

Победили в квизе 😎

Gemini, впрочем, тоже начал транслировать эти фейки.

Agent Experience Optimization (AXO)
Слободан Манич про оптимизацию под новый тип пользователей — агентов:

За последние два десятилетия в веб-оптимизации существовало два основных направления: поисковая оптимизация (SEO) и оптимизация показателя конверсии (CRO).
Моя карьера прошла на стыке этих двух направлений. Долгое время я утверждал, что техническое SEO и оптимизация конверсии — это две стороны одной медали. Первое ориентировано на машины (Googlebot), второе — на людей, но обе направлены на улучшение и повышение прибыльности сайта. Были небольшие различия, но их цели были глубоко схожи.
Сегодня у этой медали появилась третья сторона. Возникает новая дисциплина, основанная на ДНК своих предшественников, и она вот-вот станет самой важной темой для обсуждения в сфере веб-оптимизации.

В AXO заключена душа технического SEO
Ему не важны красивые изображения или продуманные заголовки. Ему важен чистый, логичный и машиночитаемый код. Это мир семантического HTML ( <article>, <nav>, <section>), комплексных структурированных данных (Schema.org) и стандартов доступности (ARIA - Accessible Rich Internet Applications), которые придают вашему контенту однозначное значение

и мышление CRO
агент не просто просматривает страницы, у него есть задача. У него есть цель – конверсия. Он должен успешно и эффективно управлять рабочим процессом. Если агент не справляется с задачей на вашем сайте, потому что не может найти кнопку «Отправить» или зависает на капче, это потерянная конверсия.

Мы вступаем в «эру веб-оптимизации без хаков».
Агенты ИИ логичны. Они управляются процессами. Их невозможно убедить таймерами обратного отсчета, вызывающими срочность, или виджетами социального доказательства, если базовая структура нарушена. Они требуют возвращения к основам.

Хороший диалог Барри Адамса и Джона Шехаты.
Джон Шехата:

ИИ — это одновременно и разрушитель, и ускоритель. Как и у всего, у него есть свои плюсы и минусы.
Мы все знаем, как это влияет на трафик и количество кликов. Но если посмотреть на ускорение, то ИИ может действительно помочь редакциям быстрее справляться со многими задачами, например, с контент-анализом финансовых отчетов, или в случае утечки документов очень быстро анализировать сотни страниц. Он также полезен для повторяющихся SEO-задач и работы с аудиторией.

Барри Адамс набрасывает:

Издатели не берут на себя ответственность за создание паршивых сайтов с паршивым интерфейсом, полным всплывающих окон, рекламы и прочей коммерческой ерунды, вместо того, чтобы сосредоточиться на основном результате журналистики и создать что-то ценное для читателей.
Чем больше я смотрю на сайты, пострадавшие от потери трафика, тем больше понимаю, что они, вероятно, этого заслуживают. Им стоит пересмотреть свой подход к контенту, и это сложный вопрос, который издатели часто не хотят слышать.
...
Вам нужно подумать о структуре сайта — насколько легко найти более глубокие, старые страницы. В мире LLM объем имеет значение. Лучше, если LLM индексируют больше контента, а это значит, что ваш архив должен быть доступным и легкодоступным — а не через 55 кликов с главной страницы.
Это пагинация старой школы. Архитектура сайта и удобство поиска важны. Можно использовать количество кликов с главной страницы в качестве своего рода метрики. В идеале практически каждая статья должна находиться в пределах 5 кликов с главной страницы. Это не так уж сложно реализовать, если подойти к этому с умом.

Видос по мотивам пятничного ивента.

В AI Mode появились возможности агента — например, можно забронировать столик в ресторане. Пока только в виде эксперимента в Labs для пользователей из США на английском языке.

Дашборд от Promptwatch с самыми цитируемыми доменами в ChatGPT.