Как вам такой вопрос?

Интересный, сразу подумал я, так как сходу не смог ответить и пришлось открывать лягушку и все вспоминать. Не так часто в работу приходят сайты на JS (точнее никогда), но решил ответить развернуто. Кстати, если будут вопросы, то самые интересные из них, буду разбирать также на канале, думаю, многим спецам это будет полезно.

Итак, что делать с парсингом и рендерингом в JS? На эту тему я уже записывал видео на Ютуб-канале. Отвечу на вопрос текстом тут.

Итак погнали сразу по шагам:
1️⃣ Сначала проводим все необходимые настройки (Configuration — Spider — Extraction).
2️⃣ Включаем две галочки (скрин) для сохранения кода в чистом виде и после рендера (Store HTML и Store Rendered HTML).
3️⃣ Далее идем в настройки рендеринга и выставляем тайм-аут. Зачем? Банально, чтобы ваш компьютер мог успеть отрисовать все вовремя. Обычно, я выбираю мобильный Googlebot в качестве устройства. Нажимаем ОК (в программе, чтобы сохранились настройки).
4️⃣ Подготовка есть. Теперь выпаршиваем ваш сайт, сколько сможете, так как из-за тайм-аута и рендеринга ваше железо будет умирать в реалтайме.
5️⃣ Допустим, спарсили сайт. Теперь можем посмотреть, что получилось во вкладке Rendered Page.
6️⃣ Во вкладке View Source можно посмотреть на различия после рендера. Не рекомендую нажимать на галочку Show Differences (ваш комп может погибнуть во второй раз).

Мне проще смотреть на разницу в рендере через расширение для Хрома: View Rendered Source. На практике выглядит так. Google уже давно рендерит эти данные и с недавних пор и Яндекс.

PS. И еще такой момент. Гуглу нужно гораздо больше мощностей на обработку JS по сравнению с обычным HTML (источник), поэтому гораздо эффективнее (при наличии норм размеров сайта) рендерить на стороне сервера и отдавать готовый HTML поисковому роботу. А вот еще официальная информация по динамическому рендеру. Вкратце, весь JS нужен пользователям (может рендерить клиент — браузер), а роботам HTML.

#вопросы

@seosekretiki