Данные — это сердце любой высоконагруженной системы 🖤

В треке «Базы данных и системы хранения» собран опыт работы с петабайтами информации: от классических РСУБД до современных распределенных хранилищ. Мы обсудим реальные проблемы и их решения: шардирование, репликация, консистентность, оптимизация запросов.

Рассказываем еще о двух докладах трека ⤵️

1) TTL данных в Яндекс Доставке – где закончился PostgreSQL и что вместо него. Валерий Кондаков (Яндекс Доставка)

Яндекс Доставка — высоконагруженный сервис, считающий 10 000 офферов в секунду (каждый оффер — JSON ~30 КБ). Им нужно укладываться в 20 мс на сохранение и при этом сохранять персистентность данных. В докладе Валерий поделится выжимкой трехлетнего пути: PostgreSQL под write-heavy и TTL – с какими ограничениями они столкнулись и почему масштабирование упирается в архитектуру базы. Переход к Redis/Valkey: почему in-memory хранилище подходит под эту задачу и как они не потеряли гарантии. Хранение офферов на клиентах Ya.Go вместо собственной БД: когда это оправдано, какие подводные камни и что важно учесть при внедрении.

2) Миграция контента в KION: как перенести сотни ТБ без downtime. Никита Иванов (МТС Web Services (MWS))

Казалось бы, перенос данных — рутинная задача. Но когда речь идет о работающем онлайн-кинотеатре с нагрузкой в тысячи RPS, гигабитами трафика и жесткими требованиями к IOPS, всё становится сложнее. В этом докладе Никита расскажет реальный кейс миграции контента из легаси-системы (на физических серверах) на новую платформу KION без остановки сервиса.

✅ Все доклады трека можно посмотреть на сайте

Ждем вас 6 и 7 ноября на HighLoad++ 2025 🙌

Рассмотреть актуальные скорости трафика и методы их съема, узнать архитектуру современного сервера и принципы создания высокопроизводительных систем вы сможете на докладах из секции «Архитектура и масштабируемость», о которых рассказываем сегодня ⤵️

1) Программный съем трафика на скорости 400Gbps: опыт, оптимизации и неочевидные решения. Юрий Морозов (Группа компаний «Гарда»)

В этом докладе слушатели рассмотрят актуальные скорости трафика и методы их съема. Узнают, почему 400Gbps — сегодняшняя реальность. Погрузятся в теорию программного съема и на практических примерах компании «Гарда» разберут, как достигли 400Gbps. Главный фокус — на неочевидных оптимизациях схемы и кода, давших прорыв в производительности, а также вывод — решение есть почти всегда, надо стараться найти.

2) Восстание машин или как хранилища Sage на новое железо заезжали. Руслан Боярский (Т-Банк)

Из доклада вы узнаете:
-Архитектуру современного сервера: процессоры, память, riser и RAID-контроллеры.
- Опыт запуска ES на новом железе и на какие проблемы с аппаратным обеспечением (hardware) наткнулась команда Sage в Т-Банке (их «черный лебедь»).
- Как при этом вел себя ES нода или сервер, и как команда доказывала, что проблема не в приложении, а на уровне железа.
- Как эти проблемы были решены и какие выводы были сделаны на будущее.

3) Performance-Driven Development — как сделать торговую систему с минимальными задержками. Алексей Шурыгин (AlphaNova)

Какими принципами надо руководствоваться, чтобы создать систему, где скорость задержки — микросекунды, а количество заявок — десятки и сотни тысяч? Что такое Performance-Driven Development (PDD), и почему без него такую систему не создать? Какие практические подходы надо использовать? За ответами приходите на доклад Алексея.

Присоединяйтесь к нам 6 и 7 ноября на HighLoad++ 2025 🙌

➡️ Программа пока в стадии формирования, но вы уже можете посмотреть часть из того интересного и полезного, что вас ждет.

Языки программирования и технические стеки, GenAI и большие языковые модели (LLM), Тестирование высоконагруженных систем — тематические треки из программы HighLoad++ 2025.

В этом посте рассказываем о докладах из этих треков. Выбирайте актуальное для вас направление и сохраняйте в свое личное расписание на конференции ✅

1) От Protobuf к FlatBuffers: Двухкратное ускорение сервиса с правильной сериализацией. Денис Божок (Островок!)

Денис поделится опытом перехода от использования Protocol Buffers к FlatBuffers в связке с языком Go и gRPC. Будут детально разобраны причины и процесс миграции, рассмотрены проблемы, с которыми они столкнулись, а также результаты этой миграции.

2) Как сохранить высокую надёжность при GenAI трансформации. Вячеслав Кудряшов (Сбер)

Из доклада узнаете, как в Сбере внедряют AI-агентов в критичные банковские системы без падений прода. Увидите 12 боевых паттернов надежности: от предотвращения зацикливаний до автоматических откатов. Готовые решения для вашего GenAI. Не пропустите опыт, который сэкономит вам месяцы!

3) Чему нас научили 24 миллиарда событий в сутки: уроки эксплуатации ClickHouse. Сергей Волков (Сбер)

Сергей расскажет о том, как устроен их стриминговый пайплайн, как сервис сбора событий справляется с миллиардами событий, какие тесты они проводили. Про внезапный скачок нагрузки х2, сбой кластера ClickHouse и как он проявился, сбой Kafka и поведение пайплайна. К чему привела запись всех событий в один проект вместо 50+. Какие баги, затыки и инсайты они получили, и как это повлияло на прод. Доклад будет интересен всем, кто работает с ClickHouse под высокой нагрузкой, собирает real-time данные, использует Kafka и хочет понять, где тонко и как не порвать.

Ждем вас на HighLoad++ 2025 🙌

➡️ Узнать больше о программе и забронировать билет можно на сайте

Как обеспечить отказоустойчивость почтового сервера Exim при обработке миллиона писем в минуту?

В статье Максим Уймин из VK делится опытом создания распределённой почтовой очереди на базе Tarantool и Zepto, которая позволяет Exim стать stateless и легко переживать сбои ЦОД без прерывания работы.

Узнайте, как устроена архитектура очереди, почему Tarantool оказался лучшим решением, как реализована файловая система на FUSE и как всё это интегрируется с Kubernetes для стабильной и масштабируемой работы почты.

💡 Для всех, кто интересуется высоконагруженными системами и отказоустойчивыми решениями — отличный глубокий кейс от практиков!

Мы начинаем работу над новым продуктом и хотели бы обратиться к вам за помощью 🖐️

Приглашаем вас принять участие в опросе, который поможет нам лучше понять ваши потребности.

Опрос небольшой, займет всего пару минут, но для нас это важная информация для создания действительно полезного и нужного продукта для вас.

✅ Пройти опрос

Спасибо за ваше участие!

Разобрать весь путь данных, поговорить о security в масштабе, узнать, как выжимать максимум из железа и перенять опыт работы с петабайтами информации — все это вы сможете на HighLoad++ 2025 🙌

Берите на заметку следующие доклады из программы конференции ⤵️

1) Онлайн-анализатор миллиона видеостримов: как положить в кликхаус 2 млрд записей в сутки и достать в мультитенантную графану. Максим Лапшин (erlyvideo)

В докладе вы узнаете технические детали разработанного решения, анализирующего структурную целостность около миллиона видеопотоков одновременно. Это поток в 2 млрд строк в Clickhouse в сутки. Эти данные просматривают люди через Grafana, адаптированную для мультитенатного доступа и роботы, присылающие алерты в системы мониторинга клиентов.

2) SSO для бедных: реализация IAM на Open Source в инфраструктуре разработки. Александр Лысенко (К2 Кибербезопасность)

Инфраструктура заказной разработки — страшный сон для любого специалиста ИБ: большое количество сервисов, «тестовые» и «демо»-сервисы с инфраструктурной обвязкой. При этом бизнес требует делать больше за меньшее число человеко‑часов. В таких условиях DevOps‑инженеры успевают лишь «чинить» очередную упавшую сборку. Подобные ситуации порождают огромное количество рисков ИБ. Александр расскажет, как это решить данную проблему.

3) Как понимание работы RAM ускорило на +30% пакетный шлюз 4G/5G сетей и позволило обрабатывать 4M пакетов в секунду на одном ядре и 100Gbps на NUMA node. Максим Шахметов (ООО «Протей-Лаб»)

Максим поделится опытом, как они при помощи профилирования нашли узкие места в программе. Какие CPU метрики (DTLB miss, L2/L3 cache miss, RAM throughput) проседали, какие решения они применяли для увеличения производительности. Эти простые методы применимы для широкого круга задач разработки.

4) Как прокачать иопсы вновь: новый слой хранения для Vitastor. Виталий Филиппов (Личный проект)

За последние 3 года Vitastor стал универсальной SDS. Появилось много новых функций и оптимизаций. Однако одной вещи не хватало давным-давно — более умного и быстрого слоя хранения. Идея не давала покоя буквально все эти годы, и только сейчас наконец кристаллизовалась и вылилась в практическую реализацию. Результаты отличные! О новом хранилище и будет доклад Виталия.

🖐️ Ждем вас 6 и 7 ноября в Москве

✅ Пройдите на сайт, чтобы узнать больше о программе HighLoad++ 2025

Узнайте, как внедрить Traffic Mirroring в OVN для анализа трафика. Погрузитесь в архитектуру высоконагруженного поиска с 10К запросов в секунду. Узнайте, почему ML не всегда лучше классического кэширования. Получите готовый план масштабирования GitLab до 4000 RPS. ⤵️

1) Зеркала не врут: Traffic Mirroring в OVN. Александра Рукомойникова (K2 Cloud)

Александра расскажет, как им удалось осуществить желание стать первым российским облаком с готовым решением Traffic Mirroring. Как они реализовали этот механизм в своей SDN-платформе на базе OVN и интегрировали его с NTA-решениями.

2) Как поиск авиабилетов в Туту обрабатывает 10000 предложений в секунду: вызовы, архитектура, кейсы оптимизации. Иван Садовой (Туту)

Почему поиск авиабилетов — это не просто бизнес‑логика про тарифы, а настоящий Highload со специфическими метриками качества? Как устроены доменные слои поиска и где внутри системы «взрывается» нагрузка? Ответы на эти вопросы вы получите в докладе Ивана. А также узнаете: на какие компромиссы и приемы оптимизации им пришлось пойти, где не сработали первоначальные идеи; каких целей и показателей в продакшн они достигли, а каких целей достичь не удалось; какие новые вызовы стоят перед системой после 5 лет эксплуатации.

3) Интеллектуальное кэширование: можем ли мы научить backend предсказывать будущее. Николай Кокоулин (Ви.Tech)

Кэширование ускоряет работу сервисов, и чаще всего мы полагаемся на проверенные эвристики вроде TTL или LRU. Но в реальных высоконагруженных системах они не дают хороших результатов. В докладе Николай расскажет, как они пробовали использовать ML, чтобы кэш сам предсказывал востребованность данных, почему не все сработало и почему в проде они оставили классическое решение.

4) От одного контейнера до 4000 RPS: как мы масштабировали GitLab в 3 датацентрах. Максим Степанов (МТС Web Services (MWS))

Доклад посвящен реальному опыту масштабирования GitLab от маленького контейнера до крупного распределенного решения в трех датацентрах с нагрузкой 4000 запросов в секунду. Будут подробно рассмотрены ограничения, с которыми столкнулись при росте нагрузки и пользователей, и конкретные шаги по решению этих проблем. После доклада вы поймете, как последовательно и эффективно масштабировать GitLab и аналогичные сервисы, избегать распространенных ошибок и заранее подготовиться к техническим ограничениям инфраструктуры.

Присоединяйтесь к нам на HighLoad++ 2025, будем обсуждать реальные решения для актуальных задач 🙌

➡️ Пройдите на сайт, чтобы посмотреть другие доклады и забронировать билет

На HighLoad++ 2025 у вас будет возможность обсудить и разобрать: баланс между безопасностью и производительностью; языки и фреймворки с точки зрения производительности и масштабируемости; как обеспечить качество данных, минимизировать задержки и масштабировать обработку; как строить и масштабировать системы с LLM.

В этом анонсе доклады из четырех секций, выбирайте актуальную для вас тематику и добавляйте в свое личное расписание на конференции ✅

1️⃣ Опережаем угрозу: антивирусная защита начинается с CI/CD. Марк Песков (Selectel)

В докладе будет рассмотрено оригинальное архитектурное решение по антивирусной защите разрабатываемых облачных сервисов и особенности его практического применения.

2️⃣ Порефлексируем о Spring AOT. Рустам Курамшин (MAGNIT TECH)

Рустам покажет, как Spring AOT ускоряет запуск Spring Boot-приложений за счет генерации кода и RuntimeHints. Это не про GraalVM Native Image и не про JDK AOT/CDS. Что меняется, где реальная выгода по времени старта, риски и шаги внедрения. В конце — демо «до/после» и чек-лист.

3️⃣ GPT в службе поддержки: автоматизация, оптимизация и инновации. Николай Пономаренко (Техплатформа Городских сервисов Яндекса)

Вы узнаете, как Яндекс внедряет GPT для автоматизации различных процессов; как построить RAG для высоко эффективной автоматизации обращений в службу поддержки; какие уроки были извлечены в процессе переосмысления подхода к использованию языковых моделей.

4️⃣ Как RAG ускоряет поддержку RUTUBE: от гибридного поиска до мониторинга галлюцинаций. Виктор Леньшин (RUTUBE)

Сильный производственный кейс от RUTUBE: как построить RAG-систему, которая реально работает. Конкретные метрики, архитектурные решения, сравнение технологий. Особенно ценно: опыт работы с русским языком и on-premise. Рекомендуется всем, кто думает о внедрении AI в поддержку.

Присоединяйтесь к нам 6 и 7 ноября в Москве, чтобы забрать готовые решения для своих проектов 🖐️

➡️ Пройдите на сайт и вы узнаете больше о программе конференции

🖐️ 13 сентября приглашаем на новую онлайн-конференцию для тех, кто хочет систематизировать знания в разработке высоконагруженных систем — HighLoad++ Genesis. Эта фундаментальная конференция сфокусирована на системной разработке и архитектуре высоконагруженных проектов.

Формат создан специально для тех, кто находится в начале пути и стремится развивать профессиональные компетенции в области highload. Мероприятие максимально доступное для каждого, кто хочет расти в IT — полностью онлайн и абсолютно бесплатное.

🎯 Наша главная цель — дать мощный старт тысячам инженеров.

Здесь нет абстрактных докладов без погружения в контекст.
Каждая тема начинается с базы и доводится до прикладного уровня, чтобы участник не просто понял суть — а мог применять знания на практике.

На конференции вы:

1️⃣ получите системное понимание архитектуры высоконагруженных систем, что поможет принимать обоснованные архитектурные решения;

2️⃣ узнаете про современные подходы к обработке данных — практические навыки выбора между строчными и колоночными базами, понимание ClickBench-бенчмарков;

3️⃣ научитесь работать с современной инфраструктурой — когда использовать Docker Compose, а когда — Kubernetes, практические критерии выбора;

4️⃣ поймете, как работают очереди сообщений — научитесь принимать решения на основе реальных потребностей проекта, а не «потому что все используют»;

5️⃣ научитесь масштабировать ML-решения — узнаете три подхода к ML-архитектуре, их преимущества и подводные камни.

Еще вас ждут:
▪️прикладные знания — разбор основ highload без «воды»,
▪️обучение от топовых спикеров HighLoad++,
▪️общение в чате с экспертами и коллегами со всей России.

🔥 Ознакомиться с темами докладов и спикерами, а также бесплатно зарегистрироваться можно на сайте

✔️Отправьте этот пост тем, кому тоже может быть полезно. Давайте делиться знаниями и опытом друг с другом.

Багу 78 лет 🎉

9 сентября 1947 года команда Грейс Хоппер работала с компьютером Harvard Mark II — монстром, размером с комнату, на электромагнитных реле. Внезапно машина начала сбоить. После долгих поисков инженеры нашли причину: между контактами реле застряла… моль! Ее извлекли и приклеили в технический журнал с пометкой «First actual case of bug being found». Этот случай считается первым обнаруженным компьютерным багом в истории.

И так родился термин «debugging», а запись в журнале стала символом начала эпохи «охоты на ошибки».

Эта история идеально отражает суть IT: даже самые гениальные технологии иногда уязвимы перед самой простой случайностью. И да, она напоминает нам, что даже великие начинания могут зависеть от мелочей. В прямом смысле 😉

А у вас была своя «моль»? Поделитесь самым эпичным или забавным багом, который вам доводилось встречать или создавать ⤵️

Забрать практические решения, погрузиться в технические детали нового типа сетевых нереплицируемых дисков, получить фреймворк выбора RAG-архитектуры + экономическое обоснование для бизнеса — все это вы сможете на докладах из секции «Архитектура и масштабируемость» ⤵️

1️⃣ Эволюция Kafka as a Service: от факапа до чилаута. Анастасия Цепелева (РСХБ.цифра)

От одной «большой» Kafka до «Kafka as a Service» под бизнес-задачи: ошибки и решения, автоматизация развертывания через GitOps-подход в Kubernetes, упрощение авторизации и не только. Анастасия поделится практическими решениями, схемами, рекомендациями и чек-листом.

2️⃣ Сетевые нереплицируемые диски в облаке: почему, как, а главное — зачем? Александр Руденко (K2 Cloud)

Доклад посвящен обзору и техническим деталям нового типа дисков в K2 Cloud. Александр расскажет, как устроена инфраструктура этих дисков, за счет чего достигаются высокие показатели производительности и низкие задержки, о проблемах и особенностях эксплуатации, их слабые и сильные стороны. Вы узнаете, для чего подойдут такие диски и как их использовать, чтобы максимизировать их плюсы и минимизировать риски.

3️⃣ RAG → GraphRAG → LightRAG: как мы трижды переписывали медицинский AI и кратно снизили издержки. Андрей Носов (Raft)

Практическая история эволюции RAG-системы в MedTech через три итерации: от наивной реализации, дорогой GraphRAG к оптимальному LightRAG. С реальными цифрами, архитектурными решениями и ценой ошибок.

🖐️ Ждем вас на HighLoad++ 2025

➡️ Программа конференции и билеты на сайте

Друзья, с праздником!

Вы – супергерои, потому что делаете технологии, которые меняют мир 💪. Вы решаете сложнейшие задачи, умеете справляться с огромными объемами данных и делаете невозможное возможным!

Продолжайте прокладывать путь в мире высоких нагрузок и сложных архитектур! Желаем вам вдохновения в каждом проекте, кода без багов и покорения новых вершин 🚀

Да пребудет с вами желаемая суперсила 🙌