🛎 Я.Субботник начинается уже через час

Мы спешим напомнить о трансляции нашего осеннего митапа по Go. Здесь ребята поделятся ценным опытом разработки, покажут шестерёнки под капотом наших сервисов и ответят на все ваши (даже самые каверзные) вопросы.

💹 Начнём в 14:00 по Москве

А пока делимся расписанием докладов

🟢 В 14:10 Александр Демиденко, старший разработчик бэкенда Yandex Cloud, выступит с докладом про Userspace Networking на Go

🟢 В 15:00 Игорь Панасюк, Go-разработчик Персональных сервисов Яндекса, расскажет про новый сборщик мусора в Go 1.25

🟢 В 16:10 Степан Пестерников, CTO Яндекс Игр, покажет, как в сервисе используют KV-хранилища и кеши

🟢 В 16:50 Александр Никитин, старший разработчик Яндекс Маркета, расскажет про трассировку логики вычислений с помощью debug tree

🔶 Подключайтесь к трансляции на сайте, в ютубе или в VK Видео.

🈯️ Ждём вас!

Подписывайтесь:
💬 @Yandex4Backend
📹 @YandexforBackend

🍔 Как мы улучшаем алгоритмы эффективности в Яндекс Еде

Чтобы улучшить пользовательский опыт и оптимизировать ресурсы, мы постоянно разрабатываем, тестируем и вводим новые алгоритмы и метрики. Каждый раз, когда вы пользуетесь приложением, в дело вступают фичи, которые отвечают за эффективность доставки и поиск курьера.

Обо всём этом на митапе Яндекс Tech Tour в Нижнем Новгороде расскажет Дмитрий Ефимов, руководитель отдела эффективности и аналитики в Яндекс Еде.

💹 Держите немного спойлеров из доклада

В 2019 году диспатч доставки был простым и состоял всего из 4 элементов. Система брала заказ, искала курьеров, определяла ближайшего и назначала его на задание.

В 2025 году шагов стало уже 9. Причин много. Бывают разные курьеры — как пешие, так и на автомобиле. Возможны одиночные маршруты, батчи или цепочки доставок. А ещё есть разные заказы: с долгой/короткой готовкой и различным расстоянием.

Теперь у диспатча есть своё сердце — венгерский алгоритм. Каждое ребро оценивается скорингом, и на выходе их оптимальность получает некоторое числовое значение.

После этого алгоритм выбирает рёбра так, чтобы минимизировать сумму их скоров.

💹 Все подробности будут в полном докладе. В нём же Дмитрий расскажет про этапы разработки:

🟢 RnD. Ищем, где можно улучшиться, оцениваем эффекты и затраты

🟢 Разработка. Реализовываем фичу

🟢 Тестирование. Проверяем поведение и оцениваем интегральные метрики

🟢 Выкатка. Раскатываем решение, берём на поддержку и убеждаемся, что всё работает

Делать фичи, которые массово влияют на сервис, сложно. Нужно думать, как описать всё метриками и как это повлияет на соседние части. Но вместе с тем это очень весело! Всего одним решением можно сразу повлиять на миллионы пользователей и курьеров.

💹 Что ещё будет на Яндекс Tech Tour

Мы покажем внутреннюю кухню инфраструктуры и продуктовой разработки в Яндекс Еде, Маркете и Лавке. Будем много нетворкать, обсуждать реальные задачи на кейс-лабах и слушать хардовые доклады. А ещё поделимся опытом разработки и работы с фреймворками на C++, Java, Golang.

📆 Когда и где: 22 ноября в Нижнем Новгороде.

🔶 Регистрируйтесь по ссылке

🈯️ Увидимся на Яндекс Tech Tour

Подписывайтесь:
💬 @Yandex4Backend
📹 @YandexforBackend

🐚 Расскажите, с каким языком программирования вы работаете

Мы хотим сделать наш канал ещё полезнее. А для этого нам нужно узнать кое-что о вас. Ответьте, пожалуйста, на маленький опрос ниже ⬇️

Подписывайтесь:
💬 @Yandex4Backend
📹 @YandexforBackend

🛎 Приглашаем на крупнейшую конференцию по Scala

22 ноября мы снова собираем практикующих разработчиков и энтузиастов функционального программирования, чтобы обсудить самые актуальные технические темы: метапрограммирование, ZIO, распределённые системы и Big Data.

🈯️ В этом году на F[Scala] ещё более насыщенная программа, чем раньше, и нам понадобилось целых 2 зала, чтобы вместить всё запланированное.

Вас ждут:

🟢 9 докладов лучших экспертов
🟢 13 спикеров — гуру Scala, Clojure и Erlang из Яндекса, Т-Банка и других компаний
🟢 Практический воркшоп и круглый стол для жарких дискуссий
🟢 Стенды Яндекс Вертикалей и Т-Банка

Когда и где:

📆 22 ноября
📍 Москва и онлайн

🔶 Зарегистрироваться на конференцию

Подписывайтесь:
💬 @Yandex4Backend
📹 @YandexforBackend

👀 Что в чёрном ящике? Узнаем на Pytup

Приглашаем вас на митап для Python-разработчиков и специалистов по машинному обучению! Встречаемся в неформальной обстановке, чтобы обсудить тренды, новые подходы и вызовы индустрии. Вас ждут три технических доклада, а также полезный нетворкинг с экспертами из разных компаний.

Когда и где:

📆 27 ноября, 18:00 (16:00 по Москве)
📍 Екатеринбург и онлайн

В программе:

🟢 Разработка тестового фреймворка для производства Алисы на Python: метапрограммирование и чёрные ящики

Арсений Саблин, разработчик системы контроля качества умных устройств на производстве в Яндекс Алисе, расскажет, зачем команде понадобился собственный тестовый фреймворк Sokratos и как в нём используется метапрограммирование. А ещё вы узнаете, как устроены системы «Джига» и «Чембер» и как в них применяется тестовый фреймворк.

🟢 Чистая архитектура: прагматизм против догматов

Никита Улько, техлид в VK Tech, объяснит, как можно гибко применять архитектурные принципы, если фокусироваться на решении конкретных проблем, а не на соблюдении всех предписаний.

🟢 Сферический конь в вакууме, или Дата-центр как чёрный ящик для разработчика

Егор Гордовский, технический менеджер проектов в Yandex Cloud, расскажет про дома для серверов, из каких составляющих они состоят и как технологии, воздух и люди работают вместе.

А после выступлений будет афтерпати! Подискутируем о темах мероприятия и устроим соревнования по игре «Змейка» 👾

🔶 Зарегистрироваться на митап

🈯️ Ждём вас!

Подписывайтесь:
💬 @Yandex4Backend
📹 @YandexforBackend

🧬 Как мы приручили более 700 шардов PostgreSQL

Меня зовут Алексей Кременьков, я старший разработчик в Яндекс Почте. Наша команда отвечает за один из самых нагруженных сервисов в компании, который обрабатывает больше 300 тысяч RPS. Сегодня я хочу рассказать, как мы создавали собственный сервис динамического шардирования Sharpei, как развивали инфраструктуру под него и как проходил переезд на облачное решение.

❇️ Раньше Почта жила в Oracle, где шардирование было завязано на внутренний сервис Яндекс ID

Инфраструктура была вертикальной. Шардов мало, но каждый — очень большой. Переносы пользователей между ними выполнялись вручную администраторами, а мы, разработчики, почти не влияли на эти процессы. Со временем стало ясно, что нужно что-то менять.

❇️ Рождение Sharpei

Когда мы переехали на PostgreSQL, то решили не адаптировать старые решения, а создать что-то новое. Мы сменили парадигму: вместо нескольких огромных шардов мы стали использовать много небольших, но уже с новым сервисом динамического шардирования для удобного горизонтального масштабирования и большей надёжности. Этим новым сервисом и стал Sharpei.

❇️ Что умеет Sharpei

🟢 Хранить информацию о пользователях, шардах, хостах и дата-центрах в отдельной базе ShardDB

🟢 С минимальными задержками отдавать клиентам необходимую информацию о шарде пользователя и формировать строку подключения в зависимости от потребностей

🟢 Автоматически выбирать подходящий шард для новых пользователей с учётом различной продуктовой логики

❇️ Как менялся Sharpei

Конечно, за время развития сервиса мы делали множество архитектурных изменений. Сложили мастер шардирующей базы во время массового переноса пользователей, после чего мы перешли на каскадную репликацию. При переезде в облачное решение боролись с сетевыми задержками при запросах cross-dc. Ну и, разумеется, вспоминали о самых очевидных улучшениях по ходу разработки, например сделали рандомизатор выбора реплик.

❇️ К чему всё это нас привело

🟢 Получили высокоотказоустойчивый сервис. 99,99% доступности

🟢 Получили небольшое время ответа от сервиса. Менее 5 мс на 97-м перцентиле

🟢 Сделали сервис удобным для масштабирования. Сейчас поддерживается 700+ шардов, и это число продолжает расти

🟢 Максимально автоматизировали все процессы. А также снизили нагрузку на инфраструктурную поддержку сервиса

🔶 Если вам интересно глубже погрузиться в технические детали, почитать про оптимизацию нашего сервиса, двухфазные коммиты, тонкости трансферов и узнать, как мы перевезли шарды в облако, — читайте полную статью на Хабре.

Подписывайтесь:
💬 @Yandex4Backend
📹 @YandexforBackend

🛎 Не пропустите: nexthop 2025 уже сегодня

Приглашаем вас посмотреть конференцию для сетевых инженеров в прямом эфире.

В программе:

🟢 18 докладов в двух треках

Эксперты из Yandex Infrastructure расскажут об эволюции сбора flow-статистики, VxLAN в enterprise-сегменте, метриках устройств и внедрении QoS Infiniband во внутреннем облаке компании. А ребята из других компаний покажут, как они строят сети в офисах, межсетевые экраны для ЦОД и автоматизируют оптические магистральные сети. И это только часть из тем!

🟢 Мастер-классы

Научимся использовать нейросети, агентов и протокол MCP. Участники получат опыт синхронного вайбкодинга, научатся суммаризировать тысячи непрочитанных сообщений в чатах и настраивать маршрутизаторы MikroTik.

✨ Начинаем в 11:00 по Москве.

🔶 Подключайтесь к трансляции по ссылке.

Подписывайтесь:
💬 @Yandex4Backend
📹 @YandexforBackend