🧑‍💻 Прощай, фича: как понять, что пора отказаться от функциональности, если A/B-тесты не работают

Привет, это Алексей Чубуков, аналитик группы поиска и назначения водителей в Яндекс Такси. В этом посте я расскажу, как наша команда на 13% снизила нагрузку на сервис.

♾ Что случилось

В 2023 году мы запустили в прод ML-модель, которая прогнозировала вероятность заказа на этапе пина (когда пользователь уже ввёл адрес, но ещё не нажал «Заказать»). Если показатель был высокий, система заранее начинала искать водителя, чтобы ускорить подачу.

В своё время эта фича доказала эффективность на экспериментах, но с тех пор рынок такси сильно изменился. У нас были сомнения насчёт того, сколько пользы модель приносит теперь и не стоит ли выделить эти вычислительные ресурсы на что-то другое.

♾ При этом мы не могли поставить обычный А/B-тест

Допустим, у нас есть два пользователя: Таня (попала в тестовую группу) и Саша (попал в контрольную группу). Они работают в одном бизнес-центре и вечером после работы хотят уехать домой. Ребята одновременно нажимают на кнопку «Заказать», но Таня получает водителя чуть быстрее, потому что находится в тестовой группе, и ей назначается ближайший исполнитель. А Саше достаётся ближайший оставшийся исполнитель, который может быть далеко. Саша недоволен, он отменяет такси и едет домой на метро.

Это хороший пример сетевого эффекта, когда одна группа влияет на другую и меняет результаты исследования.

♾ Поэтому мы использовали свитчбэк

Нам не подходит рандомизация на уровне пользователя, поэтому мы начали делить группы по зоне и времени. Например, в Казани с 08:00 до 09:00 мы раскатывали на 100% пользователей контрольный алгоритм, а с 09:00 до 10:00 — тестовый. И так далее, чередуя периоды. Таким образом, внутри одного временного окна все пользователи находились в одинаковых условиях, и сетевые эффекты были сведены к минимуму.

♾ Что показал обратный эксперимент

🔵 Без фичи нагрузка на сервис снизилась на 13% (как мы и планировали)

🔵 При этом, что удивительно, время подачи (наша царь-метрика) только улучшилось

🔵 А бизнес-метрики остались без изменений

⏬ Если вы тоже думаете использовать свитчбэк-эксперимент — смотрите полную версию моего доклада на YouTube и VK Видео. Там я рассказываю, как выбрать правильную единицу наблюдений и избежать ошибки первого рода, а ещё отвечаю на вопросы из зала.

Подписывайтесь:
💬 @Yandex4Analytics

🧑‍💻 Data Driven в Яндексе: приходите и посмотрите сами, как у нас всё устроено

Привет! Это важный пост для аналитиков: мы зафиналили список выступлений и спикеров на Data Driven 2025. Это большая конференция от бизнес-группы Поиск и Рекламные технологии: обсудим, как аналитику влиять на бизнес, искать новые точки роста и определять цифровое будущее нашего мира.

Собираемся 20 сентября в Москве и онлайн. Будут доклады наших экспертов, игры, нетворкинг и воркшоп. Для самых активных участников мы уже приготовили подарки: станции с Алисой и радиоуправляемых роботов.

🔢 А вот программа конференции

Доклады для продуктовых, data-аналитиков и Data Scientists:

🔵 Мария Акопян, руководитель команды end-to-end-качества AI-ассистента Алисы. Расскажет про end-to-end-оценку качества Алисы как универсального AI-ассистента

🔵 Владислав Немиро, руководитель группы аналитики рободоставки. Заглянет под капот рободоставки и покажет, как аналитика и метрики помогают достичь общей цели

🔵 Тимофей Струнков, руководитель группы аналитики Справочника в Яндекс Картах. Объяснит, как в Яндекс Картах построили интегральные метрики качества и эффективности

🔵 Роман Васильев, руководитель аналитики международного Поиска. Расскажет про аналитику для Яндекс Поиска на рынках Казахстана и Турции, а также про подходы к масштабированию

Доклады для data-инженеров, системных и BI-аналитиков:

🔵 Марина Нестерук, руководитель команды Датакаталога и Meta DWH. Расскажет, как ребята делают из Датакаталога полноценный продукт, не ограничиваясь его инфраструктурной составляющей

🔵 Владимир Дмитриев, BI-аналитик из команды визуализации данных и дашбордов. Рассмотрит дашборд как средство коммуникации разработчика с пользователем

🔵 Лера Терова, руководитель команды аналитической инфраструктуры. Объяснит, что такое дата-контракты и как они помогают навести порядок даже в самой запутанной экосистеме

🔵 Марат Сацкевич, разработчик в отделе подготовки и анализа больших данных. Расскажет про РитмМастер — реалтайм-процессинг для нового сервиса

💎 А офлайн-воркшоп проведёт Максим Стаценко, руководитель службы подготовки и анализа больших данных. Он покажет, как создать собственного агента для работы с данными. Важно: для участия в воркшопе вам понадобится ноутбук 💻

⏬ Зарегистрироваться на Data Driven 2025

Подписывайтесь:
💬 @Yandex4Analytics