◾️ Что такое Техплатформа Городских сервисов Яндекса и как она устроена

В новом эпизоде подкаста I like techno заглядываем под капот Техплатформы Городских сервисов Яндекса: из чего она состоит, кто создаёт инструменты для разработчиков и какие платформенные продукты работают уже сейчас.

А ещё в ролике выясняем, как продукты Техплатформы помогают запускать новые сервисы, зачем сюда идут специалисты и что в Яндексе называют счастьем разработчика.

🎙 Герои выпуска:

🟢 Артём Арюткин, экс-руководитель проектного офиса DevEx в Техплатформе Городских сервисов Яндекса
🟢 Роман Елизаров, руководитель DevEx в Техплатформе Городских сервисов Яндекса
🟢 Александр Червяков, руководитель отдела разработки платформенных продуктов в Техплатформе Городских сервисов Яндекса
🟢 Илья Дёжин, руководитель биллинга и инфраструктуры поиска исполнителей в Техплатформе Городских сервисов Яндекса

🎧 Смотрите и слушайте новый эпизод на платформах:

🟢 Техносайт
🟢 Яндекс Музыка
🟢 VK Видео
🟢 Ютуб

🔶 А если хотите пообщаться офлайн с экспертами Техплатформы Городских сервисов Яндекса и узнать больше о dev-to-dev-разработке, регистрируйтесь на Яндекс Techplatform Meetup. Он пройдет 23 октября.

Подписывайтесь:
💬 @Yandex4Backend
📹 @YandexforBackend

📺 Сколько мониторов нужно для комфортной работы на C++

1, 2, 4? Мы спросили об этом участников C++ Zero Cost Conf!

🐚 Пишите в комментариях, сколько мониторов используете вы (не только для C++).

🔶 Кстати, все доклады с конференции можно посмотреть на ютубе и в VK Видео.

Подписывайтесь:
💬 @Yandex4Backend
📹 @YandexforBackend

☁️ Разбираемся в облачной инфраструктуре

Точнее, приглашаем вас на about:cloud — infrastructure в Москве. Это митап от разработчиков Yandex Cloud и Yandex Infrastructure для разработчиков, архитекторов и сетевых инженеров.

🧬 На встрече мы покажем внутреннюю кухню инфраструктурных сервисов и поделимся опытом в решении нетривиальных технических задач. А также обсудим развитие NFS, опыт работы с Headless в VPC, приватные соединения и мини-инсталляции S3.

Когда и где:
📆 16 октября с 17:00
🗺 Москва, Loft Hall (Avantage), и онлайн

В программе:

🟢 Егор Машарский, старший разработчик NBS в Yandex Cloud. Расскажет про устройство и развитие Network File System

🟢 Павел Пушкарев, разработчик Yandex BareMetal в Yandex Infrastructure. Объяснит, как ребята строят безопасный доступ к серверам в Yandex BareMetal и чем их подход отличается от привычного для Яндекса

🟢 Ринат Байгильдин, руководитель группы разработки в Yandex Cloud. Выступит с докладом о том, как в сервисе разделили плейны для стабильности сети

🟢 Григорий Орлов, руководитель группы разработки гибридных сетевых облачных сервисов в Yandex Cloud. Покажет, как устроена система управления сервисом Cloud Interconnect

🟢 Иван Калинин, руководитель подразделения Deploy & Runtime в Yandex Cloud. Расскажет про инфраструктуру самого Yandex Cloud и покажет, как в сервисе сочетают голое железо, Kubernetes и Self-hosting

🟢 Александр Нечаев, ведущий разработчик бэкенда Storage в Yandex Infrastructure. Расскажет, как вместе с командой делал маленькие инсталляции S3 без инфраструктуры

🔠 А после докладов — нетворкинг!

🔶 Зарегистрироваться на about:cloud — infrastructure

➖ Количество офлайн-мест ограничено. Мы внимательно рассматриваем и подтверждаем формат участия по каждой заявке. Пожалуйста, дождитесь подтверждения на почте.

Подписывайтесь:
💬 @Yandex4Backend
📹 @YandexforBackend

🚀 Road to Highload: видеопроект о проектировании архитектуры высоконагруженных систем

За годы работы инженеры Яндекс 360 накопили значительный опыт в проектировании и разработке систем, которыми ежедневно пользуются миллионы людей и тысячи предприятий. Мы знаем, что такое highload и отказоустойчивость не из книжек и докладов, а из реальной многолетней практики.

В этом проекте мы хотим поделиться опытом и рассказать, как решаем наши задачи и как создаём архитектуру высоконагруженных систем.

В выпусках обсуждаем:

🟢 Серия 1. Функциональные и нефункциональные требования. Как сбор требований помогает создавать надёжные и масштабируемые решения

🟢 Серия 2. Надёжный API. Принципы проектирования API, которые помогут сделать его консистентным, предсказуемым и поддерживаемым

🟢 Серия 3. Крупноблочная архитектура: карта вашей системы. Как выглядит такая модель на практике и как использовать её для эффективной коммуникации с различными командами разработки, вовлечёнными в проект

🟢 Серия 4. Практика. Рост баз данных: от единиц запросов к тысячам. Как правильно организовать работу с БД, чтобы система оставалась стабильной и эффективной

🟢 Серия 5. Практика. Взаимодействие со смежными системами. Сложности, с которыми сталкиваются команды при интеграции с внешними сервисами, и как их предотвратить или минимизировать

Наши разработчики создают Диск, Почту, Телемост, Мессенджер, Календарь и другие знакомые вам сервисы. Ими пользуются более 95 миллионов людей ежемесячно, а сервисы держат нагрузки более 1 миллиона RPS, наши базы данных хранят петабайты метаинформации.

📺 Смотрите проект, чтобы узнать, как создаются одни из крупнейших облачных сервисов в России:

➖ Наш сайт
➖ VK Видео
➖ Ютуб

Подписывайтесь:
💬 @Yandex4Backend
📹 @YandexforBackend

🦾 Дев-тулинг: прошлое и будущее

Редакторы кода и инструменты для разработчиков — это целая индустрия. Когда-то переименование переменной казалось подвигом, а сегодня IDE делают десятки сложнейших трансформаций, и при этом программа остаётся корректной.

Это и многое другое Кирилл Мокевнин обсудил в выпуске подкаста «Организованное программирование» с Дмитрием Ивановым, руководителем платформы SourceCraft, Yandex B2B Tech.

А ещё внутри:

🟢 Почему IntelliJ IDEA стала революцией: тайна рефакторинга

🟢 История создания Kotlin: JetBrains против Scala и медленного Java

🟢 Почему редакторы тормозят: что не так с Java и UI

🎧 Смотрите и слушайте выпуск на ресурсах:

🎵 Яндекс Музыка
💬 VK Видео
📹 Ютуб

Подписывайтесь:
💬 @Yandex4Backend
📹 @YandexforBackend

🍁 Приглашаем на осенний Я.Субботник по Go

Это открытое мероприятие Яндекса, на котором разработчики делятся опытом, рассказывают, что прячется под капотом сервисов, и честно отвечают даже на самые каверзные вопросы.

📆 1 ноября в Москве вместе с экспертами обсудим практики разработки и заглянем в закулисье сервисов Яндекса.

В программе:

🟢 Александр Демиденко, старший разработчик бэкенда Yandex Cloud. Выступит с докладом про Userspace Networking на Go

🟢 Игорь Панасюк, Go-разработчик Плюса и Финтеха. Расскажет про новый сборщик мусора в Go 1.25

🟢 Степан Пестерников, CTO Яндекс Игр. Покажет, как в сервисе используют KV-хранилища и кеши

🟢 Александр Никитин, старший разработчик Яндекс Маркета. Расскажет про трассировку логики вычислений с помощью debug tree

✨ А после докладов, конечно же, устроим афтерпати с глинтвейном и уютным нетворкингом.

🔶 Мероприятие пройдёт 1 ноября в Москве и онлайн. Количество офлайн-участников ограничено — рекомендуем регистрироваться заранее.

🈯️ Go согреемся, обсудим!

Подписывайтесь:
💬 @Yandex4Backend
📹 @YandexforBackend

💹 Видишь сбой? И я не вижу. А он есть

Иногда в системах возникают коварные ситуации: проверки состояния показывают, что всё хорошо, но по факту ничего не работает. Это называется «серый отказ».

На связи Александр Душеин, технический лидер команды архитекторов Yandex Cloud. Давайте разбираться, как возникают серые отказы и как Zonal Shift помогает с ними справиться.

❇️ Что-то может пойти не так на уровне сети

Один из вариантов серого отказа — сбой в сетевой связности, когда в одних направлениях она работает, а в других нет. Например, могут сбоить каналы интернет‑провайдеров.

Целевые ресурсы бэкенда в повреждённой зоне доступности могут по‑прежнему отвечать на все проверки Health Check и показывать зелёный статус. При этом они перестают обрабатывать весь трафик или начинают генерировать ошибки.

Эта ситуация может нарушить работу системы, ведь сетевой балансировщик всё ещё будет рассчитывать на бэкенд со сбоями и статусом «Всё ок!».

❇️ Иногда что-то ломается на уровне приложения

На уровне L7 ситуация с серыми отказами становится серьёзнее. Частичная деградация связности может привести к дополнительному ухудшению запросов между зонами: трафик из больной зоны начинает переливаться в здоровую. И наоборот.

🧬 Для управления такими ситуациями мы создали Zonal Shift

Это инструмент для управляемого закрытия конкретной зоны доступности на конкретном балансировщике. Он пригодится не только в ситуации частичных отказов, но и при необходимости закрыть балансировку в зоне доступности, чтобы провести учения или регламентные работы.

Zonal Shift поддерживает два режима:

🟢 Полное закрытие всех балансировщиков в зоне доступности

🟢 Закрытие тех, на которые клиент сам повесил признак «Можно потушить»

Для сетевого балансировщика этот признак позволит сразу перераспределить трафик в другие зоны. Функциональность Zonal Shift поддерживается и на уровне L7, так что в более сложной схеме также можно избежать каскадного сбоя из‑за амплификации. Мы можем явно выключать балансировку на бэкенды в зоне доступности, а семантически это работает аналогично сетевой балансировке (NLB).

При этом важно помнить, что Zonal Shift закрывает не зону, а балансировку трафика в неё. Например, если у клиента есть Kubernetes в нескольких зонах доступности, то микросервисы также будут размещены в них и будут общаться между собой горизонтально.

❇️ Что важно учесть

Мы изучили графики и журналы по следам инцидентов и заметили, что настройки балансировки часто бывают неоптимальны. Это приводит к сбоям в работе сервисов, поэтому мы сформулировали правила на уровне NLB:

🟢 Делать проверки готовности целевых ресурсов с интервалом не более 3 секунд

🟢 Указывать корректный порог работоспособности и неработоспособности. Значения должны быть строго больше одной проверки

🟢 Следить за тем, чтобы реализация проверок не требовала много ресурсов для генерации ответа. Тогда не будет повышенной нагрузки

🔶 А ещё мы подготовили чек‑лист для работы с ALB-сервисами. Ищите его в статье на Хабре. В ней же мы рассказываем, какие именно настройки балансировщиков критически важны для защиты от серых отказов, и делимся подробными инструкциями по отказоустойчивости.

Подписывайтесь:
💬 @Yandex4Backend
📹 @YandexforBackend

⚙️ Фестиваль технологий и инженерного воображения

24 сентября мы провели Yandex Neuro Scale — главную конференцию Yandex Cloud. Традиционно многие интерактивы и активности создавали сами разработчики для разработчиков.

Что происходило на площадке:

🟢 Говорящие грибы. Мы подключили мицелий к нейросетям через нейроинтерфейс. Грибы генерировали сигналы, которые YandexGPT превращала в текст, а SpeechKit — в голос

🟢 Серваки и сосиски. На стенде Infrastructure гости собирали серверы, а мы наглядно тестировали безопасность стоек с помощью пальцев-сосисок

🟢 Хаос в Контейнерленде. Мы создали отдельную вселенную, где сервисы не отвечают, поды падают, а хранилища недоступны. Участники могли попробовать себя в роли мастера K8s и исправить типичные ошибки в коде, чтобы всё спасти

🟢 Мечты о будущем можно было визуализировать на платформе SourceCraft, попрограммировав немного с ИИ-ассистентом и подправив YAML-конфиг. Все результаты стали частью частью общего «вихря образов»

Ребята прочитали более 50 докладов, провели 14 воркшопов и организовали 9 зон экспо. Кстати, на офлайн-часть конфы пришли три тысячи участников! Окунуться в атмосферу Yandex Neuro Scale можно по ссылкам ниже ⬇️

➖ Фото
➖ Презентации
➖ Доклады

🔶 А полный разбор нашего техноперформанса вы можете почитать на Хабре.

Подписывайтесь:
💬 @Yandex4Backend
📹 @YandexforBackend

🎙 Приходите на Backend Talks

Привет! А у нас новость: команда Яндекс 360 зовёт бэкенд-разработчиков и архитекторов на митап.

🧬 На нём разберём архитектуру облачной записи встреч, наведём порядок в API и покажем, как простые решения спасают сервисы.

🗺 Санкт-Петербург
📆 13 ноября, 19:00–23:00

В программе:

🟢 Илья Григорьев, разработчик бэкенда Телемоста. Покажет на реальном примере, как проектировать большие стейт-машины, и поделится хитростями для многократного ускорения асинхронной обработки медиаданных

🟢 Артемий Коцюбенко, разработчик протокольных сервисов Почты. Объяснит на примере реального сервиса, почему архитектурная простота очень важна и что может пойти не так, если не придерживаться этого принципа

🟢 Никита Ломакин, разработчик в команде Техплатформы. Расскажет, почему важно следить за качеством API, и поделится практиками, которыми пользуются в Яндекс 360 и которые позволят сделать ваш API более качественным и удобным

✨ А после докладов вас будут ждать афтерпати и нетворкинг.

🔶 Регистрируйтесь по ссылке

Подписывайтесь:
💬 @Yandex4Backend
📹 @YandexforBackend

💹 Как текст в логах замедляет браузер и что можно с этим сделать?

Всем привет! Меня зовут Илья Кара́псин, я работаю над производительностью Яндекс Браузера и улучшаю опенсорсные решения, которые там используют.

История началась со стажировки, на которой я взялся сократить полные пути в логах до имени path/to/filename → filename. Казалось бы, простейшая задачка, но она потянула за собой целую цепочку проблем: от увеличения размера DLL до необходимости залезть в исходный код компилятора Clang, чтобы добавить в него новый макрос.

Это рассказ о том, как я решил проблему полных путей в логах, после чего получил офер на позицию мидл-разработчика. И наглядный пример того, как небольшие оптимизации помогают двигать вперёд большие проекты.

❇️ Зачем вообще сокращать полные пути до имени файла?

При запуске того же Браузера в ОЗУ загружаются разные файлы, которые необходимы для работы программы. И чем больше размер требуемых файлов, тем дольше будет идти старт приложения. Это особенно больно для пользователей без SSD. Попробуете угадать, какой процент таких среди аудитории Яндекс Браузера? Ответ: 27%.

Размер сборки приложения влияет не только на запуск, но и на объём регулярных обновлений. Следовательно, мы не должны увеличивать ключевые файлы без крайней необходимости.

❇️ Использование имени вместо пути только в одном из двух C/C++-макросов логирования (LOG и FROM_HERE) вначале показалось идеей без минусов…

Но этот подход дал обратный эффект! DLL увеличилась, потому что при одновременном использовании обоих макросов логирования в одном файле в DLL запишутся две разные строки: имя файла для модифицированного макроса LOG и полный путь для другого макроса FROM_HERE. Получается, что суммарный размер строк стал больше, а не меньше. Выходит, чтобы решить задачу, надо улучшить оба макроса одновременно.

❇️ В статье на Хабре я разбираю:

🟢 Небольшое изменение, ускорившее старт Браузера на 2%
🟢 Что такое __builtin_FILE() и чем он отличается от обычного __FILE__
🟢 Как я создал __builtin_FILE_NAME() в Clang, когда понял, что нужного макроса не существует
🟢 Почему уменьшение DLL без негативных эффектов — это успех

🔶 Читайте полную версию статьи на Хабре! Там я подробно рассказываю, как повлиял на инструмент, которым пользуются разработчики по всему миру.

Подписывайтесь:
💬 @Yandex4Backend
📹 @YandexforBackend