Если вы уже применили все известные практики SRE, но желаемый показатель Mission Critical — 99,95% — не достигнут, посмотрите запись техтолка с Владимиром Перфильевым, с конференции HighLoad++ 2024 🖐️

Вы узнаете, как уменьшить простой продукта и увеличить надёжность, ускорив решение инцидентов.

Продуктивного просмотра 🙌

🔥 950+ минут суперполезного контента о базах данных

Мы принесли вам 7 новых лекций от Руслана Савченко, спикера HighLoad++ и члена Программного комитета нашей новой конференции Data Internals X:

• Обзор современных СУБД: от классических реляционных до озёр данных
• Транзакции: уровни изоляций serializable, snapshot isolation и serializable snapshot isolation
• Иерархические данные: поколоночное хранение и вложенная агрегация в запросах
• Многопоточные реализации операторов Join и Group By
• СУБД в оперативной памяти: транзакции и индексы
• Динтаблицы YTsaurus: запись в журналы, работа с SSD и табличная репликация
• Современные подходы к построению геораспределённых транзакций: протоколы TAPIR и Detock

Больше пользы по инженерии данных, базам данных и системам хранения и обработки данных вы найдёте в канале @dataconference и на сайте

Переходите в канал, там проводим розыгрыш билета!

Хотели бы вы работать почти вдвое больше стандартной 40-часовой недели?

Это вопрос, который все чаще задают потенциальным сотрудникам руководители компаний в Кремниевой долине. Чтобы получить работу, ответ, конечно, должен быть «да». Дело в том, что многие стартапы уже предлагают сотрудникам график «996» — с 9 утра до 9 вечера, шесть дней в неделю. Суммарно 72 часа.

Связано это с жесткой конкуренцией и стремительным развитием технологий. Взамен сотрудникам предлагается повышенная оплата труда, опцион, карьерный буст.

Стоит ли оно того, как вы считаете?

👍 — на короткий период времени вполне
🔥 — нет, это прямой путь к скорейшему выгоранию
😎 — это мой обычный график

Мы начинаем знакомить вас с программой HighLoad++ 2025 🖐️

Сегодня расскажем о первых принятых докладах из секций «Архитектура», «Безопасность высоконагруженных систем» и «DevOps-практики и культура». Всего в программе ожидается 140+ докладов, распределенных по 15 тематическим трекам. Обо всех подробностях программы будем вам рассказывать.

1️⃣ Как масштабируются блокчейны. Сергей Прилуцкий (MixBytes)

Блокчейны — медленные и никогда не догонят Web2 сервисы, которые могут себе позволить просто «поверить на слово» доверенному серверу. Для соблюдения требований к безопасности в этих сетях все перепроверяют всех, что создает фундаментальные ограничения на скорость блокчейнов. Несмотря на это, сейчас, в Web3, где количество пользователей постоянно растет, проблемы скорости практически незаметны для обычных пользователей. Как этого удалось добиться? В этом докладе слушатели рассмотрят, как разные проекты решали проблемы масштабирования.

2️⃣ Transaction Outbox под нагрузкой: как не потерять ни одного события при 100k+ RPS. Олег Мифле (Altenar)

Как гарантировать доставку каждого события при экстремальных нагрузках? Разберём оптимизации WAL, zero-copy публикацию и асинхронное чтение с реплик. Плюс — когда Outbox превращается в антипаттерн. Практика, а не теория!

3️⃣ Действительно безопасная оплата картой. Дмитрий Викулов (Мир Plat.Form)

Если вы не хотите заморачиваться с хранением и передачей данных карты для оплаты на сайтах и в приложениях или не хотите сообщать номера своих карт — этот доклад для вас. Дмитрий затронет следующие пункты: что такое токенизация и зачем она нужна; платёж через терминал, как это происходит; как устроены мобильные платежи в НСПК; особенности оплаты картой в интернете; как скрыть чувствительные данные и другие.

4️⃣ За Гранью Очередей: RabbitMQ 4 и Его Темная Сторона Streamов. Юрий Власов (CDEK)

Юрий расскажет о том, как они работают с огромным потоком данных. Слушатели узнают о Новой Базе Данных (Kepri), полной поддержке MQTT 5.0., о новых классических очередях v2, про улучшение потоков (транзакции, сжатие), упрощение управления кластерами и удаление устаревших функций (возможно ли работать если у вас старые очереди).

Присоединяйтесь к нам 6 и 7 ноября в Москве на HighLoad++ 2025 🙌

✅ Посмотреть другие уже принятые доклады и купить билет можно на сайте

Производительность финансовых систем. Что нельзя забыть, когда делаешь финтех?

На этот вопрос ответил Александр Ланцов в техтолке с конференции HighLoad++ 2024, запись можно посмотреть здесь ✅

Производительность является одним из важнейших свойств для любой жизнеспособной финтех-системы, которая непосредственно влияет на пользовательский опыт, безопасность и масштабируемость. Поэтому еще на стадии проектирования таких программных решений важно задать определенные процессы и процедуры, минимизирующие возможность возникновения проблем с быстродействием.

Александр рассказал о том, как они занимаются производительностью клиринга платежной системы «Мир».

Если вам интересно рассмотреть современные платежные решения с точки зрения производительности, посмотрите это видео.

🖐️ И, конечно, присоединяйтесь к нам 6 и 7 ноября в Москве на HighLoad++ 2025

Сегодня рассказываем о следующих докладах, принятых в программу. На этот раз из секции «Базы данных и системы хранения».

Три доклада, которые будут особенно интересны: архитекторам платформ для сбора логов и архитекторам распределенных систем; разработчикам, пользователям и администраторам СУБД, аналитикам; разработчикам сервисов и распределенных систем.

1) Федерация брокеров сообщений и как с ней экономить половину места. Андрей Серебрянский (YDB)

Во всех организациях огромный объем передаваемых данных — это логи и метрики бегущих микросервисов. В Яндексе через YDB Topics каждую секунду пишется около 80 Гб логов. В своем докладе Андрей, разработчик YDB Topics, расскажет: как в Яндексе устроен процесс обработки такого огромного объема логов, что такое erasure кодирование и почему оно экономит половину места по сравнению с Kafka. И многое другое, подробнее по ссылке в названии доклада.

2) Почему следует время от времени переписывать все компоненты СУБД с нуля. Павел Велихов (Yandex Cloud)

В мире СУБД постоянно происходят изменения: железо стремительно меняется, диски замещаются NVMe SSD, ядер в процессоре становится больше сотни, появляются новые способы работы с сетью, такие как RDMA. Появляются новые подходы, идеи, алгоритмы. Но еще важнее — все время меняются требования пользователей. В таком динамическом мире требуется или создавать с нуля современные СУБД каждые лет 10, или переписывать с нуля основные ее компоненты. В этом докладе сфокусируемся на двух конкретных компонентах СУБД: движке выполнения запросов и оптимизаторе запросов.

3) Неожиданные различия PostgreSQL и YDB: опыт перевоза процессинга Яндекс Такси. Игорь Березняк (Техплатформа Городских сервисов Яндекса)

В своем докладе Игорь поделится опытом миграции микросервиса с шардированного PostgreSQL на YDB: несмотря на похожесть двух СУБД, YDB далек от состояния «drop-in replacement» для PostgreSQL. Также спикер коснется вопросов отличия гарантий, подходов к написанию запросов и эксплуатационных характеристик. Эти особенности стоит учесть заранее, чтобы не столкнуться с ними посреди процесса миграции.

🖐️ Присоединяйтесь к нам 6 и 7 ноября в Москве на HighLoad++ 2025.

✅ Посмотреть, какие доклады уже приняты в программу конференции, можно на сайте

Как добиться высокой пропускной способности и надежности в обработке аудио/видео данных? Как эффективно устранить перекос данных при джоинах Spark с геоданными в Apache Sedona?

Ответы на эти вопросах ждут вас в докладах из секции «Data Engineering» ⤵️

1) Платформа для создания субтитров на весь UGC в RUTUBE. Дмитрий Лукьянов (RUTUBE)

Чтобы обеспечить автоматическими субтитрами миллионы часов UGC-контента, нужно не просто точно распознавать речь — требуется промышленная платформа, способная к экстремальному масштабированию. В RUTUBE прошли путь от ограниченного MVP на Whisper до высокопроизводительной системы на собственных моделях, которая сейчас обрабатывает новые пользовательские видео почти без задержки. Дмитрий раскроет архитектурные решения, позволившие добиться такой пропускной способности при качестве, близком к ручной расшифровке.

2) Как быстро Join-ить датафреймы с геоданными на Apache Sedona. При чем здесь DataSkew, деревья и RDD. Павел Молчанов (MWS (МТС Web Services))

Боремся с длительными джоинами Spark датафреймов, с геоданными в Apache Sedona (с условием в виде пространственного предиката типа ST_Contains) и побеждаем! Выясняем, почему здесь часто возникает перекос данных (Data Skew) и как его ликвидировать. Пишем инструмент для быстрых Spatial Joins.

🖐️ Приглашаем вас на крупнейшую профессиональную конференцию для разработчиков высоконагруженных систем HighLoad++ 2025, которая пройдет 6 и 7 ноября в Москве.

✅ Посмотреть, какие доклады уже приняты в программу, можно на сайте

Golang продолжает эволюционировать! Что изменилось, почему это важно и какие преимущества дает новая структура данных?

Об обновленной реализации хеш-таблиц в Go 1. 24, основанной на принципах Swiss Tables технологии, которая уже применяется в Rust и C++, рассказал в новой статье ведущий разработчик в Ви.Tech Кирилл Кузин.

Это изменение улучшает структуру данных и влияет на производительность, создавая основу для дальнейшей оптимизации и развития Go.

Сегодня рассказываем о докладах из трех секций программы: Архитектура и масштабируемость, Базы данных и системы хранения, Интернет вещей (IoT).

Выбирайте актуальную для вас тему и сохраняйте в свое личное расписание на HighLoad++ 2025 😉

1️⃣ Риал-тайм аналитика в распределенной системе. Вадим Зотеев (Яндекс)

Как обрабатывать аналитические запросы за сотни миллисекунд, когда данные распределены по десяткам сервисов, а объемы измеряются миллионами/миллиардами записей? В докладе Вадима — практический опыт построения системы real-time аналитики в большом B2B продукте.

2️⃣ Как мы внедрили WebAssembly в SQL-движок динамических таблиц YTsaurus. Дмитрий Торилов (Яндекс)

В своем докладе Дмитрий расскажет: как они внедрили WebAssembly во взрослый SQL-движок, работающий в продакшене; почему WebAssembly выполняется и безопасно, и быстро; что требуется от хорошего WebAssembly рантайма, и как им пришлось допиливать существующий; как кросс-компилировать под WebAssembly код произвольной сложности, а не только игрушечные примеры; почему это лучший способ поддержать UDF на настоящий момент.

3️⃣ DIY подход к цифровизации предприятий с помощью готовых решений: как мы реализовали гибкую IoT и МТОИР платформу для сбора, реакции и анализа событий. Василий Ежов (Систем ИКС)

Из этого доклада вы узнаете: про готовое решение «из коробки», DIY-построение сценариев цифровизации для пользователей любого уровня ИТ-подготовки; про унификацию сбора данных: как реализовали подключение IoT-устройств на разных протоколах; DSL-скрипты и No-code workflow для настройки пользовательских сценариев. Объединение всех объектов платформы и создание бизнес-процессов; кросс-платформенные интерфейсы: web, IOS, Android.


Узнайте одними из первых, как меняется индустрия сейчас, — присоединяйтесь к нам на самой масштабной встрече highload-разработчиков в стране 🙌

➡️ На сайте можно подробнее узнать о программе и успеть забронировать билет до следующего повышения цены

Пятничная подборка записей докладов для разработчиков различных направлений с конференции HighLoad++ 2024. Выбирайте интересную для вас тему, смотрите видео и делитесь с коллегами, которым это будет тоже актуально 🖐️

1️⃣ Что наша жизнь? Стата! или Укрощаем технические события плееров в VK Видео. Алексей Шпагин.
Доклад о переходе VK Видео на новую архитектуру сбора технической статистики.

2️⃣ От 45 до 450 Gbit/s, или 10 лет эволюции архитектуры сетевых stateful-приложений. Павел Иващенко.
На примере архитектуры своего решения спикер рассказал, как использовать возможности железа по максимуму с учетом неочевидных особенностей сетевых карт.

3️⃣ Цифровая подпись, эволюция. Сергей Прилуцкий.
Вы узнаете, как выбирать оптимальные решения для конкретных задач и правильно задавать вопросы криптографам.

4️⃣ Движок распределённого SQL в СУБД Picodata: принцип его работы, принятые архитектурные решения и сравнение с аналогами. Эмир Вильданов.
Доклад о том, какие проблемы встают перед распределенными SQL-движками, как эти проблемы решались в Picodata, и на какие инженерные компромиссы пришлось пойти.

5️⃣ Real-time A/B: как получать метрики по экспериментам на больших объемах данных здесь и сейчас. Данил Валгушев.
Как быстро понять, что эксперимент не алё, и вырубить его? Как постепенно увеличить процент пользователей, но при этом не ждать сутки до каждого увеличения? Как сделать все это, когда у тебя в системе одновременно идет тысяча экспериментов? Ответы в докладе.

6️⃣ Бесконечная война в памяти: ретроспектива методов защиты от бинарных угроз. Сергей Игнатов.
Прекрасная систематизация знания про методы защиты от бинарных угроз с выводами о том, как и почему так обстоят дела и что ждет в будущем.

7️⃣ Развивать B2C-сервис или сделать SaaS? Мы решили не выбирать — добавляем мультитенантность в «Яндекс Лавка». Павел Подколзин.
Как предоставить продукт более чем одному клиенту, при этом не делая по отдельной инсталляции на каждого? Задача «добавить ещё один фильтр по всей системе» быстро становится заградительно дорогой на масштабах. В докладе такой опыт на примере архитектуры очень большого проекта.

8️⃣ Жизнь после Greenplum: выбор Open Source-решения для аналитики. Петр Гуринов.
Опыт перехода с Greenplum на альтернативные решения для аналитической платформы. Причины поиска новых решений, критерии их выбора, а также практический опыт внедрения Iceberg, Trino и S3.

9️⃣ Valkey 8 — релиз форка Redis про performance. Евгений Дюков.
Доклад интересен не только глубокими техническими подробностями об изменениях от активного члена комьюнити Valkey, но и интересным примером о нюансах бизнес-моделей в Open Source-проектах на примере Redis, как это ограничивает продукт и почему смысл в форках есть.

1️⃣0️⃣ API Gateway в Авито. Александр Данковцев.
Как устроен роутинг между бесчисленным количеством микросервисов в Авито. Как он развивался, какие проблемы были и как сделать удобно и полезно.

Продуктивного просмотра и отличных выходных 🙌

P.S. Оставайтесь с нами, продолжение следует…

Друзья, хотим сообщить, что наш чат — это не только чат конференции HighLoad++, а сообщество профессионалов и единомышленников, которые делают технологии!

Здесь вы можете открыто общаться на темы высоких нагрузок, делиться опытом, рассказывать о своих успехах и даже о фейлах — ведь без них никуда. Не стесняйтесь задавать вопросы, обсуждать интересные технологии и находить решения для своих профессиональных задач.

Давайте объединяться и вместе создавать уютное highload-сообщество, где каждый сможет внести свой вклад 🙌

🖐️ Мы начнем с вопроса: какой самый интересный или неожиданный вызов вам приходилось решать в работе?

Планируете завести огромные ML-модели в проде? А может вы заинтересованы во внедрении или усовершенствовании подходов к модельному выбору каналов коммуникации с клиентами?

Если на эти вопросы вы ответили положительно, тогда следующие доклады из секции «Data Engineering» — для вас 🖐️

1) MLops в супертяжелом весе: приседания с большими моделями в k8s. Максим Мараков (Т-Банк)

В Т-Банке запустили внутреннюю продакшн-платформу для синтеза визуального контента. В докладе Максим расскажет, как поднимали «супертяжелые» ML-модели в Kubernetes: как справлялись с огромными образами и весами, строили архитектуру вокруг особенностей инференса и выжимали максимум подручными средствами.

2) Next Best Action: от просроченной задолженности к прибыли через персонализацию коммуникаций. Ольга Кравченко (Газпромбанк.Тех)

В современном банковском секторе критически важно эффективно управлять просроченной задолженностью. Ольга расскажет, как они разработали систему, которая уже на первом месяце применения увеличила объем возврата средств на 25%. Как создавалась архитектура комплексного пилота и промышленного решения. Внедренный подход позволил полностью автоматизировать и персонализировать выбор канала взаимодействия с клиентом.

Встречаемся 6 и 7 ноября на HighLoad++ 2025 в Москве, присоединяйтесь к нам 🙌

✅ Забронировать билет до повышения цены можно на сайте

Команда NGINX анонсировала предварительный релиз поддержки протокола ACME, который упрощает управление SSL/TLS сертификатами.

Новый модуль ngx_http_acme_module позволяет запрашивать, устанавливать и обновлять сертификаты непосредственно из конфигурации NGINX, что уменьшает количество ошибок и зависимость от внешних инструментов, таких как Certbot. В итоге более безопасный и эффективный процесс.

Поддержка доступна для пользователей NGINX Open Source и NGINX Plus.

Признавайтесь, друзья, какое из этих противоречий было?

👍 — первое
💯 — второе
❤️ — третье
😎 — у меня все ровно, никаких противоречий!

Если у вас свои варианты, расскажите ⤵️