Forwarded from 42 секунды
Известия: Яндекс разрабатывает собственную версию нейросети ChatGPT
– Яндекс работает над новой нейросетью под названием YaLM 2.0
– Интеграции со своими сервисами Яндекс запустит до конца года
– Она будет частью«Поиска», «Алисы», «Почты» и других сервисов
– «Алиса» будет отвечать на большее количество сложных вопросов
– В «Почте» нейросеть поможет быстро составить любое письмо
– Яндекс уже использует генеративные нейросети в поиске
– Внедрение YaLM 2.0 позволит поиску самому генерировать ответы
@ftsec
– Яндекс работает над новой нейросетью под названием YaLM 2.0
– Интеграции со своими сервисами Яндекс запустит до конца года
– Она будет частью«Поиска», «Алисы», «Почты» и других сервисов
– «Алиса» будет отвечать на большее количество сложных вопросов
– В «Почте» нейросеть поможет быстро составить любое письмо
– Яндекс уже использует генеративные нейросети в поиске
– Внедрение YaLM 2.0 позволит поиску самому генерировать ответы
@ftsec
Forwarded from noindex, nofollow
Как генеративные модели (ChatGPT-подобные) могут быть использованы для анализа качества страницы?
На Search Engine Land разобрали гугловскую публикацию 2020 года с темой "Generative Models are Unsupervised Predictors of Page Quality: A Colossal-Scale Study".
Если в двух словах, то обнаружение машинного авторства (сгенерированного текста) может быть мощным прокси для оценки качества текста.
Для эксперимента авторы использовали:
- 3 датасета:
-- Web500M (случайная выборка из корпуса в 500 миллионов англоязычных веб-страниц, полученных из commoncrawl org)
-- 250 тыс. генераций текста GPT-2
-- Grover-Output: 1,2 млн сгенерированных статей с использованием предварительно обученной модели Grover-Base, которая была разработана для выявления фейковых новостей
- детекторы:
-- детектор GPT-2 на основе RoBERTa от OpenAI
-- модель GLTR
-- The Spam Baseline - классификатор, обученный на датасете Enron Spam Email Dataset для определения вероятности, является ли документ спамом.
На скриншотах постом выше:
1) Относительная оценок детектора OpenAI по разным темам.
Для адалта картина не вызывает вопросов, а в "Литературу" просто попали фермы эссе, в "Здоровье" - всякая виагра :)
2) Облако слов из Web500M для различных диапазонов оценок детектора OpenAI
3) Доля документов с оценками детектора OpenAI в разных диапазонах в зависимости от длины
Контент низкого качества, как правило, короче и достигает пика в 3000 символов.
Авторы наблюдают всплеск доли низкокачественных документов в начале 2019 года. Одно из объяснений - зрелость технологий для быстрой генерации реалистичных текстов.
Выводы в оригинальном исследовании:
"В статье утверждается, что детекторы, обученные различать текст, написанный человеком и AI-текст, являются эффективными предикторами языкового качества веб-страниц. Они превосходят базовый уровень классификатора спама. Мы подтверждаем это с помощью тщательной человеческой проверки.
Мы заметили интересные тематические и временные закономерности в низкокачественном контенте и обнаружили, что многие правонарушители ("offenders" в оригинале) являются либо 1) машинным переводом текста 2) фермами эссе 3) SEO-текстами ("attempts at search engine optimization" в оригинале) 4) NSFW, т.е. взрослый контент."
На Search Engine Land разобрали гугловскую публикацию 2020 года с темой "Generative Models are Unsupervised Predictors of Page Quality: A Colossal-Scale Study".
Если в двух словах, то обнаружение машинного авторства (сгенерированного текста) может быть мощным прокси для оценки качества текста.
Для эксперимента авторы использовали:
- 3 датасета:
-- Web500M (случайная выборка из корпуса в 500 миллионов англоязычных веб-страниц, полученных из commoncrawl org)
-- 250 тыс. генераций текста GPT-2
-- Grover-Output: 1,2 млн сгенерированных статей с использованием предварительно обученной модели Grover-Base, которая была разработана для выявления фейковых новостей
- детекторы:
-- детектор GPT-2 на основе RoBERTa от OpenAI
-- модель GLTR
-- The Spam Baseline - классификатор, обученный на датасете Enron Spam Email Dataset для определения вероятности, является ли документ спамом.
На скриншотах постом выше:
1) Относительная оценок детектора OpenAI по разным темам.
Для адалта картина не вызывает вопросов, а в "Литературу" просто попали фермы эссе, в "Здоровье" - всякая виагра :)
2) Облако слов из Web500M для различных диапазонов оценок детектора OpenAI
3) Доля документов с оценками детектора OpenAI в разных диапазонах в зависимости от длины
Контент низкого качества, как правило, короче и достигает пика в 3000 символов.
Авторы наблюдают всплеск доли низкокачественных документов в начале 2019 года. Одно из объяснений - зрелость технологий для быстрой генерации реалистичных текстов.
Выводы в оригинальном исследовании:
"В статье утверждается, что детекторы, обученные различать текст, написанный человеком и AI-текст, являются эффективными предикторами языкового качества веб-страниц. Они превосходят базовый уровень классификатора спама. Мы подтверждаем это с помощью тщательной человеческой проверки.
Мы заметили интересные тематические и временные закономерности в низкокачественном контенте и обнаружили, что многие правонарушители ("offenders" в оригинале) являются либо 1) машинным переводом текста 2) фермами эссе 3) SEO-текстами ("attempts at search engine optimization" в оригинале) 4) NSFW, т.е. взрослый контент."
Search Engine Land
Is Google using a ChatGPT-like system for spam and AI content detection and ranking websites?
Key SEO takeaways from Google's 2020 paper on how text-generation models can be successfully used to detect low-quality content.
Яндекс:
Мы стремимся обеспечить эффективную работу XML-поиска и следим за минимизацией рисков технических сбоев. В связи с этим меняется формула расчета RPS — допустимого количества запросов в секунду.
В определенные интервалы времени в течение дня нагрузка на поиск становится гораздо выше. Поэтому теперь для расчета RPS часовой лимит запросов будет делиться не как раньше, на 2000, а на 3420. Это оптимальное значение, благодаря которому можно перераспределить нагрузку на поиск и сохранить высокое качество сервиса.
Перераспределите свои запросы к поиску в течение двух недель. Обновления вступят в силу с 20 февраля 2023 года.
https://yandex.ru/dev/xml/doc/dg/concepts/rps-limits-new.html
Мы стремимся обеспечить эффективную работу XML-поиска и следим за минимизацией рисков технических сбоев. В связи с этим меняется формула расчета RPS — допустимого количества запросов в секунду.
В определенные интервалы времени в течение дня нагрузка на поиск становится гораздо выше. Поэтому теперь для расчета RPS часовой лимит запросов будет делиться не как раньше, на 2000, а на 3420. Это оптимальное значение, благодаря которому можно перераспределить нагрузку на поиск и сохранить высокое качество сервиса.
Перераспределите свои запросы к поиску в течение двух недель. Обновления вступят в силу с 20 февраля 2023 года.
https://yandex.ru/dev/xml/doc/dg/concepts/rps-limits-new.html
yandex.ru
Ограничения на количество запросов в секунду. Руководство разработчика
Дополнительно могут вводиться ограничения на количество запросов, отправляемых в секунду (RPS).
Forwarded from Не offline бизнес | Кравцов Виталий
Постоянная дилемма делать качественный проект в долгосрок или пилить "темки", которые проще реализовать и возможно, зарабатывать по наименьшему пути сопротивления с привлечением меньших ресурсов.
Ко второму варианту я отношу проекты типа дорвеев. Они тоже имеют право на жизнь и есть вебы (их не много), которые на этом хорошо зарабатывают. Под словом зарабатывают я подразумеваю 300к-500к и больше в месяц.
Я больше склонен к первому варианту по нескольким причинам:
▫️ Такие проекты имеют меньше шансов попасть под фильтр.
▫️ Не нужно постоянно пилить новые, дополняя сетку из-за отвалившихся проектов.
▫️ Такие проекты капитализируются, т.е. их можно продать.
Из минусов долгосрочных проектов: долго, дорого и тоже не факт, что стрельнет.
Вы за какие проекты? Напищите в комментах.
💰 Все о заработке на сайтах - @ProfitPraktika
Ко второму варианту я отношу проекты типа дорвеев. Они тоже имеют право на жизнь и есть вебы (их не много), которые на этом хорошо зарабатывают. Под словом зарабатывают я подразумеваю 300к-500к и больше в месяц.
Я больше склонен к первому варианту по нескольким причинам:
▫️ Такие проекты имеют меньше шансов попасть под фильтр.
▫️ Не нужно постоянно пилить новые, дополняя сетку из-за отвалившихся проектов.
▫️ Такие проекты капитализируются, т.е. их можно продать.
Из минусов долгосрочных проектов: долго, дорого и тоже не факт, что стрельнет.
Вы за какие проекты? Напищите в комментах.
💰 Все о заработке на сайтах - @ProfitPraktika
Очень поучительная история, будем следить за развитием
https://vc.ru/life/599531-kak-avito-slivaet-moy-startap-i-trebuet-168-millionov-v-sude
https://vc.ru/life/599531-kak-avito-slivaet-moy-startap-i-trebuet-168-millionov-v-sude
vc.ru
Как Авито сливает мой стартап и требует 168 миллионов в суде — Личный опыт на vc.ru
Меня зовут Денис Решанов, мне 35 лет, я серийный предприниматель. Начал свой путь с самого низа, в 2007 работал грузчиком в Ленте и перекладывая коробки придумал свой первый бизнес – аутсорсинговую компанию “Персональное решение”. Я предоставлял вспомогательный…
Можно много рассуждать, что Яша/Google такой херовый и не ранжирует "мой сайт", но на днях мне понадобилось спарсить ИНН/ОГРН/ОГРНИП с сайтов коммерческих компаний.
Парсер разделили на 2 части. Первый по определенным признакам искал на сайтах страницы, где может быть юридическая инфа. Второй парсил и валидировал юридические данные.
Так вот, из 18к доменов коммерческих сайтов, юридические данные были только на 1.3к доменов, т.е. меньше, чем на 10%
E-E-A-T? Не, не слышали!
Парсер разделили на 2 части. Первый по определенным признакам искал на сайтах страницы, где может быть юридическая инфа. Второй парсил и валидировал юридические данные.
Так вот, из 18к доменов коммерческих сайтов, юридические данные были только на 1.3к доменов, т.е. меньше, чем на 10%
E-E-A-T? Не, не слышали!
Forwarded from NN
Microsoft показала обновлённый поисковик Bing с подключенной ИИ-моделью.
Теперь в поисковую строку можно ввести до 1000 символов на 100 языках мира. Кроме того, инструмент работает с языковой моделью нового поколения.
Пользователям также стала доступна возможность задавать предметные вопросы (по типу бытовых «влезет ли стол в минивэн» или «чем заменить яйцо при готовке»). И, что важно, получать требуемые ответы.
Помимо интерфейса выдачи можно перейти в чат-бота, который уж очень похож на ChatGPT. В качестве теста разработчики продемонстрировали результат запроса на составление плана туристической поездки в Мехико.
Из прочего — чат-бот может, например, пересказать содержание PDF-файла или же сравнить указанные в документе данные с другими из открытых источников.
Новый интерфейс Bing станет доступен всем пользователям «в ближайшие недели». Google занервничал...
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
Дарим 6000 ₽ на покупку ссылок по промокоду “SEOPRAKTIKA”
Команда Sape проанализировала рынок и убедилась, что более 90% SEO-специалистов занимаются линкбилдингом. Эксперты отмечают, что ссылочное продвижение — самый важный элемент в процессе оптимизации в Google и четвёртый по значимости в Яндекс.
Мы не понаслышке знаем как много времени и сил уходит на грамотное продвижение с помощью линкбилдинга.
Делегируйте эту задачу профессионалу от Sape и он сделает все за вас:
▫️ Проанализирует сайт и сформирует стратегию для улучшения позиций и видимости;
▫️ Подберет запросы для продвижения и кластеризует их;
▫️ Подберет площадки и подготовит нужные материалы;
▫️ Будет держать сайт в актуальном состоянии.
Первые 20 счастливчиков что оставят заявку, получат 6 000 бонусных средств на покупку ссылок.
Переходи по ссылке и введи промокод “SEOPRAKTIKA”
Команда Sape проанализировала рынок и убедилась, что более 90% SEO-специалистов занимаются линкбилдингом. Эксперты отмечают, что ссылочное продвижение — самый важный элемент в процессе оптимизации в Google и четвёртый по значимости в Яндекс.
Мы не понаслышке знаем как много времени и сил уходит на грамотное продвижение с помощью линкбилдинга.
Делегируйте эту задачу профессионалу от Sape и он сделает все за вас:
▫️ Проанализирует сайт и сформирует стратегию для улучшения позиций и видимости;
▫️ Подберет запросы для продвижения и кластеризует их;
▫️ Подберет площадки и подготовит нужные материалы;
▫️ Будет держать сайт в актуальном состоянии.
Первые 20 счастливчиков что оставят заявку, получат 6 000 бонусных средств на покупку ссылок.
Переходи по ссылке и введи промокод “SEOPRAKTIKA”
Forwarded from SEO для роботов
Зарубежные коллеги выкатили отличную статью с разбором утечки кода Яндекса. Спасибо Алаичу за наводку. Если вам лень читать все полностью, то вот мое саммари по статье. Возможно кому то будет полезно.
Основные тезисы, часть 1:
• Яндекс в настоящее время использует двух краулеров для индексации. Основной краулер и “Orange crawler” который работает в режиме реального времени. (В Гугле при этом используется деление индекса на три краулера - в режиме реального времени, регулярного и редкого).
• У Яндекса нет рендеринга JavaScript. Несмотря на то, что возможность имеется, они ограничиваются краулингом текста.
• Существует два варианта отдачи пользователю результатов поисковой выдачи. Первая - поиск результатов в “Метапоиске” (“Метапоиск” - кэш популярных запросов). Если результат не найден в данном слое, то запрос отправляется на обработку в базовый поиск, откуда переходит в Матрикснет для формирования выдачи.
• Изучив файлы более подробно, было обнаружено, что в общей сложности существует 17 854 фактора ранжирования.
• Дополнительно есть серия записей из 2000 факторов не входящих в основной код и предположительно являющихся тестовыми.
• В документации сказано что у Яндекса есть три основные три класса факторов ранжирования:
- Статические - TG_STATIC (например, относящиеся к странице - количество ссылок на страницу, в момент совершения поиска);
- Динамические - TG_DYNAMIC (относящиеся и к запросу и к странице: слова, соответствующие поисковому запросу, их количество и местоположение на странице);
- Запросные/Особые - TG_QUERY_ONLY, TG_QUERY, TG_USER_SEARCH и TG_USER_SEARCH_ONLY. (характерные только для поисковых запросов, например геолокация).
• Главная особенность MatrixNet - возможность настройки формулы ранжирования для определенного класса поисковых запросов.
• Несмотря на количество доступных факторов, в слитом коде присутствует много файлов, ссылки на которые отсутствуют в архиве.
• В файле nav_linear.h в каталоге /search/relevance/ находятся начальные коэффициенты (или веса), связанные с факторами ранжирования. Этот раздел кода выделяет 257 из 17 000+ факторов ранжирования.
• Учитывая, что коэффициенты в файлах имеют статические значение, высказывается гипотеза о том, что это не единственное место, где происходит ранжирование. Скорее всего данная функция служит для первоначальной оценки релевантности, после чего данные передаются в MatrixNet.
• Что известно о MatrixNet?
- Матрикснет применяется ко всем факторам;
- Существует несколько уровней ранжирования (L1, L2, L3);
- На каждом уровне есть ассортимент моделей ранжирования;
• Файл select_rankings_model.cpp предполагает различные модели ранжирования для каждого уровня. Это пример того, как функционируют нейронные сети. Каждый слой - это компонент, который выполняет операции, а объединенные результаты этих операций создают ранжированный список документов, который затем представляется в виде поисковой выдачи.
Основные тезисы, часть 1:
• Яндекс в настоящее время использует двух краулеров для индексации. Основной краулер и “Orange crawler” который работает в режиме реального времени. (В Гугле при этом используется деление индекса на три краулера - в режиме реального времени, регулярного и редкого).
• У Яндекса нет рендеринга JavaScript. Несмотря на то, что возможность имеется, они ограничиваются краулингом текста.
• Существует два варианта отдачи пользователю результатов поисковой выдачи. Первая - поиск результатов в “Метапоиске” (“Метапоиск” - кэш популярных запросов). Если результат не найден в данном слое, то запрос отправляется на обработку в базовый поиск, откуда переходит в Матрикснет для формирования выдачи.
• Изучив файлы более подробно, было обнаружено, что в общей сложности существует 17 854 фактора ранжирования.
• Дополнительно есть серия записей из 2000 факторов не входящих в основной код и предположительно являющихся тестовыми.
• В документации сказано что у Яндекса есть три основные три класса факторов ранжирования:
- Статические - TG_STATIC (например, относящиеся к странице - количество ссылок на страницу, в момент совершения поиска);
- Динамические - TG_DYNAMIC (относящиеся и к запросу и к странице: слова, соответствующие поисковому запросу, их количество и местоположение на странице);
- Запросные/Особые - TG_QUERY_ONLY, TG_QUERY, TG_USER_SEARCH и TG_USER_SEARCH_ONLY. (характерные только для поисковых запросов, например геолокация).
• Главная особенность MatrixNet - возможность настройки формулы ранжирования для определенного класса поисковых запросов.
• Несмотря на количество доступных факторов, в слитом коде присутствует много файлов, ссылки на которые отсутствуют в архиве.
• В файле nav_linear.h в каталоге /search/relevance/ находятся начальные коэффициенты (или веса), связанные с факторами ранжирования. Этот раздел кода выделяет 257 из 17 000+ факторов ранжирования.
• Учитывая, что коэффициенты в файлах имеют статические значение, высказывается гипотеза о том, что это не единственное место, где происходит ранжирование. Скорее всего данная функция служит для первоначальной оценки релевантности, после чего данные передаются в MatrixNet.
• Что известно о MatrixNet?
- Матрикснет применяется ко всем факторам;
- Существует несколько уровней ранжирования (L1, L2, L3);
- На каждом уровне есть ассортимент моделей ранжирования;
• Файл select_rankings_model.cpp предполагает различные модели ранжирования для каждого уровня. Это пример того, как функционируют нейронные сети. Каждый слой - это компонент, который выполняет операции, а объединенные результаты этих операций создают ранжированный список документов, который затем представляется в виде поисковой выдачи.
Forwarded from Partnerkin | Арбитраж трафика
Владельцы крупных сайтов опасаются, что чат-боты с ИИ от Google и Bing заберут их трафик или убьют SEO
Такое мнение высказал Барри Шварц из SERoundTable. Мысль в том, что при использовании чат-ботов с ИИ, типа ChatGPT, пользователям не надо переходить по ссылкам на сайты. В обновленном Bing переходить по ссылкам можно, но все равно это сильно уронит поисковый трафик.
Амит Сигнхал из Google, сравнил обычный поиск со швейцарским ножом, а ИИ-чат боты со штопором. Дэнни Салливан из Google также сказал, что «10 ссылок из топа теперь будут не нужны».
По вашему мнению, повлияют ли интегрированные чат-боты в поисковые системы на органический трафик?
👍 — Да, повлияют.
👎 — Нет, все останется как есть.
Партнеркин 👈
Такое мнение высказал Барри Шварц из SERoundTable. Мысль в том, что при использовании чат-ботов с ИИ, типа ChatGPT, пользователям не надо переходить по ссылкам на сайты. В обновленном Bing переходить по ссылкам можно, но все равно это сильно уронит поисковый трафик.
Амит Сигнхал из Google, сравнил обычный поиск со швейцарским ножом, а ИИ-чат боты со штопором. Дэнни Салливан из Google также сказал, что «10 ссылок из топа теперь будут не нужны».
По вашему мнению, повлияют ли интегрированные чат-боты в поисковые системы на органический трафик?
👍 — Да, повлияют.
👎 — Нет, все останется как есть.
Партнеркин 👈
Сейчас из всех утюгов про то, что ChatCPT и аналогичные ИИ заменят классические поисковики.
Типа задал вопрос, получил сразу ответ и все счастливы до усрачки!
На мой взгляд, это произойдет не так быстро как все говорят, по нескольким причинам:
1. Пока это слишком дорогая операция с точки зрения процессинга (но это решаемо).
2. Рекламная модель поисковиков зависит от количества рекламных мест и показов на серпе, т.е. если сессия пользователя ПС сократится до 1 визита, охваты упадут. Если будет только один ответ, много рекламных блоков туда не запихнешь, придется делать ТОП10 ответов ИИ.
3. Еще одна статья доходов для поисковиков - партнерские сайты, т.е. убив весь траф на внешние сайты, сильно упадут охваты РСЯ и адсенса, что тоже не айс для ПС.
В общем, мое субъективное мнение такое: данные технологии будут интегрироваться в существующие системы, улучшая и дополняя их, но полной замены на уровне поисковых систем не произойдет в ближайшем будущем.
👉 @SEOpraktika
Типа задал вопрос, получил сразу ответ и все счастливы до усрачки!
На мой взгляд, это произойдет не так быстро как все говорят, по нескольким причинам:
1. Пока это слишком дорогая операция с точки зрения процессинга (но это решаемо).
2. Рекламная модель поисковиков зависит от количества рекламных мест и показов на серпе, т.е. если сессия пользователя ПС сократится до 1 визита, охваты упадут. Если будет только один ответ, много рекламных блоков туда не запихнешь, придется делать ТОП10 ответов ИИ.
3. Еще одна статья доходов для поисковиков - партнерские сайты, т.е. убив весь траф на внешние сайты, сильно упадут охваты РСЯ и адсенса, что тоже не айс для ПС.
В общем, мое субъективное мнение такое: данные технологии будут интегрироваться в существующие системы, улучшая и дополняя их, но полной замены на уровне поисковых систем не произойдет в ближайшем будущем.
👉 @SEOpraktika
Как-то так! Яндекс рекомендует.
https://yandex.ru/support/market-distr/partner-links/sponsored-link.html
https://yandex.ru/support/market-distr/partner-links/sponsored-link.html
Forwarded from 42 секунды
vc: Яндекс выложил в открытый доступ исходный код счетчика «Метрики»
– Исходный код счетчика «Метрики» был опубликован на GitHub
– Его можно адаптировать под свои задачи для разных проектов
– Код счетчика предоставляется по открытой лицензии Apache 2.0
– В опубликованном коде доступны все основные функции счетчика
– За исключением некоторых проприетарных модулей (вебвизор и др.)
– Разработчики смогут сами контролировать и настраивать счетчик
@ftsec
– Исходный код счетчика «Метрики» был опубликован на GitHub
– Его можно адаптировать под свои задачи для разных проектов
– Код счетчика предоставляется по открытой лицензии Apache 2.0
– В опубликованном коде доступны все основные функции счетчика
– За исключением некоторых проприетарных модулей (вебвизор и др.)
– Разработчики смогут сами контролировать и настраивать счетчик
@ftsec