Рассказываем о трёх доклада из секции «Базы данных и системы хранения», на которых вы:

- узнаете о внедрении стоимостного оптимизатора в YDB, улучшающего обработку как OLTP, так и аналитических запросов;
- сфокусируетесь на надежности хранения данных, анализируя поведение ОС и методы тестирования приложений;
- исследуете физические ограничения баз данных и способы их преодоления, включая транзакции между удаленными системами.

1) Стоимостный оптимизатор в YDB — как, зачем и почему? Павел Велихов (Yandex.Cloud (YDB))

Ничто так не бесит аналитиков и разработчиков, чем когда тормозит сложный запрос в СУБД. Ответственность за все это несет оптимизатор запросов. В этом докладе узнаем, как современный оптимизатор помогает БД не тормозить и что удалось уже реализовать в оптимизаторе YDB.

2) Итак, вы решили надежно записывать данные на диск. Дмитрий Родионов (Picodata)

Простые действия могут иметь под собой на удивление сложную логику и многочисленные последствия. Доклад погрузит нас в дивный мир гарантий при записи данных, покажет интересные примеры проблем из жизни и затронет важный вопрос поиска подобных ошибок в приложениях.

3) О геораспределённых транзакциях. Владимир Комаров (СберТех)

Теория и ее приложение на практические реализации для задач выбора геораспределенных баз данных — что может быть лучше? Только дополнение о самых современных теориях построения таких систем как SLOG и Detock. И все это — в докладе Владимира!

Встречаемся 2 и 3 декабря в Москве на крупнейшей профессиональной конференции для разработчиков высоконагруженных систем HighLoad++ 2024 😎

✅ Узнать подробнее о конференции и купить билет можно на сайте

✋ 14 октября приглашаем вас на встречу потенциальных докладчиков с Программным комитетом DevOpsConf 2025.

⏰ Собираемся в 19:00

Форматы:

Офлайн. Москва, офис Газпромбанк, Коровий Вал 5, БЦ «Оазис».

Онлайн. Ссылка придёт после регистрации на встречу.

Участие свободное нужно только зарегистрироваться здесь

🔥 От Программного комитета во встрече будут участвовать:

🔴Дмитрий Зайцев (Flocktory) — руководитель Программного комитета DevOpsConf. Высококвалифицированный профессионал с опытом работы в разных индустриях — gamedev, adtech, bigdata, fintech, marketing. Развивал DevOps- и SRE-практики и подходы тогда, когда это еще не было мейнстримом. Совмещал их с ITIL и Cobit, пока они еще были в моде. Один из организаторов devopsdays moscow, devops moscow, hangops_ru.

🔴Александр Коротков (Т-Банк). Начал карьеру с разработки инструментов для автоматизации тестирования. После углубился в процессы разработки, непрерывной доставки, обеспечения качества и стабильности. Сейчас увлечён оптимизацией процессов кросс-командного взаимодействия. Суммарный опыт в разработке около 10 лет.

🔴Игорь Курочкин (Enabling.team). Помогал развивать инженерную культуру, процессы и практики в Авито, Учи.ру, Тинькофф, Росбанк, Райффайзен Банк, inDrive, X5 Tech, Wild Apricot, Pushwoosh, Exness, retailCRM, Skyeng, Делимобиль и Lamoda. Руководил направлением анализа и консалтинга в компании Express 42. Работал платформенным и SRE инженером в корпорации Microsoft, технологической компании Skype, стартапах Qik и Scalaxy. Выступал на конференциях HighLoad, AgileDays, South HUB, TeamLeadConf, DevOpsConf, RootConf, DevOops.
⠀
Если вы хотите стать спикером DevOpsConf 2025 — приходите/подключайтесь. Обсудим новости и планы, поговорим о том, что болит и волнует, обменяемся идеями. Мы расскажем про актуальные темы, на которых в этот раз хотим сделать акцент, про все возможные форматы выступления и чем они хороши для вас. Вы узнаете актуальна ли ваша тема и нет ли похожих докладов от других спикеров, а также мы расскажем, как проходит процесс отбора заявок в программу и подготовка принятых докладов к выступлению.

Подать заявку на доклад можно здесь. Дедлайн 22 ноября.
Конференция пройдет 7 и 8 апреля в Москве.
⠀
Встреча обещает быть очень полезной, ждём вас 🙌

Часто о надежности начинают задумываться, когда система уже написана, запущена в боевую эксплуатацию и «вдруг» случился серьезный инцидент. Как идентифицировать важные риски еще на этапе проектирования системы и заложить защитные меры в дизайн системы? А только ли в архитектуре дело? Что насчет процедур и инженерной культуры?

Разберёмся с этими вопросами на докладах:

1) Надежность на масштабе в 45 млн клиентов — инструменты и практики цифрового банка. Алексей Мерсон (Т-Банк)

В любой сложной системе есть механизмы поддержки, их много, и часто они разрозненны. Дежурные команды, оповещения, «железные женщины» и т.д. В докладе Алексея вы узнаете, как связать их в цельную стройную систему, чтобы надёжными были не только инфраструктура и приложения, но также услуги и клиентский опыт.

2) Что продуктовой команде нужно сделать ДО полного блэкаута системы. Наталья Макарова (CDEK)

Наталья покажет блекаут, про который мы все слышали, глазами техлида одной из команд CDEK, поделится своим прошлым опытом по восстановлению работоспособности систем и новыми инсайтами, как подниматься с нуля. С самого нуля. А ещё какие скрипты приготовить, где все будут толкаться при запуске и пр.

3) Как мы в Авито анализируем 5 миллионов трейсов и проводим архитектурный надзор. Иван Нещадин (Авито)

Вы узнаете как осуществлять архитектурный надзор post-factum анализируя трейсы, какие классы проблем можно идентифицировать таким образом и как организовать хранилище подобных данных.

🖐️ Присоединяйтесь к нам 2 и 3 декабря в Москве на крупнейшую профессиональную конференцию для разработчиков высоконагруженных систем HighLoad++ 2024.

✅ Посмотреть программу конференции и купить билет можно на сайте

🔄Четвёрка докладов из секции «Архитектура», которые будут особенно интересны:

- разработчикам, в системах которых так или иначе обрабатываются адреса;
- BE-инженерам, архитекторам, бэкенд-разработчикам;
- и всем тем, кто хочет узнать, как изменилась Алиса с появлением LLM, с какими трудностями столкнулась команда и как их преодолели.

1) Точный адрес – вечная боль! Адресный путь геораспределённого агрегатора курьерской доставки. Михаил Колосов (Газпромбанк.Тех)

Узнайте, как решать вечную проблему адресов в логистике и не только: несовпадение форматов, ошибки в доставке и интеграция с ФИАС. Вы увидите реальные кейсы, технические решения и актуальные подходы к обработке адресов. Доклад Михаила поможет улучшить адресную архитектуру в ваших проектах.

2) Как применить перколятор по назначению и не только. Владислав Сикач (Авито)

Доклад посвящён анализу различных кейсов использования функциональности перколятора на больших объёмах. Владислав также поднимет вопрос о сравнении различных перколяторов — Sphinx, ElasticSearch.

3) Как устроена Алиса нового поколения. Руслан Ахтариев (Яндекс Технологии)

Под капотом новой Алисы три дата-центра и сотни серверов с GPU. Но все равно для обеспечения быстрой работы приходится использовать множество оптимизаций: «рефразеры» для запросов, стриминг, квантизацию и спекулятивный декодинг. Все это — в докладе Руслана.

4) Выделение микросервиса из 15-летнего монолита. Приключение на 1 год. Станислав Кондратьев (hh.ru)

Каждый рефакторинг монолита частично уникален, но только частично. Какие-то, каждый раз свои, шаги и подходы будут повторяться. Очень полезно иметь в своём арсенале запас идей и подходов, потому что рано или поздно монолит придётся рефакторить и вам.

Встречаемся 2 и 3 декабря в Москве на HighLoad++ 2024 🖐️

✅ Программа конференции и билеты на сайте

Редкий пример использования nomad в реальном продакшне в докладе Константина Касева и Марии Васильевой «Переход к Platform as a Service в Яндекс Вертикалях: опыт, проблемы, ошибки» с конференции Saint HighLoad++ 2023, запись которого мы принесли 🙌

Всего пять лет назад в Яндекс Вертикалях разработчики деплоили приложения deb-пакетами. Логи писались в файлы, деплой был долгим и неудобным, мониторинг и алерты лежали на плечах админов — и им же звонили. Они жили на железе и ручном приводе. Из такой точки А начался их путь к прекрасному PaaS будущего.

Теперь в Яндекс Вертикалях живут в облаке, у админов много автоматики, и звонки только по ops-проблемам. Разработчики их сервисов деплоят по кнопке из телеграм-бота или Web UI, пользуются автосгенерированными дашбордами, просматривают логи сервисов в Grafana и анализируют трейсы. В платформе доступны canary- и branch-деплои и запуск периодических задач. Процесс подготовки сервиса к запуску — это написание карты сервиса и манифеста деплоя, что занимает минимум времени. И все это — без вовлечения в процесс службы эксплуатации.

▶️Смотреть запись доклада в VK Видео

Продуктивного просмотра 😎

#записьдокладаHL
@HighLoadChannel

Как минимизировать ущерб и восстановить работу системы проекта, который внезапно столкнулся с нагрузкой в 20 000 RPS в самый ответственный момент? Какие сложности и преимущества внедрения Service Mesh с Istio? Как эффективно управлять многотенантными кластерами Kubernetes? И как поддерживать высокую доступность автоматизированных HR-процессов?

Кейсы с ответами на эти вопросы и практические рекомендации ждут вас в следующих докладах из секции «Эксплуатация систем» 🔄

1) История трансформации: Как мы не справились с 20 000+ RPS и что из этого вынесли. Лев Немировский (ПСБ)

Когда нужно было сделать вчера, вендоры, отсутствие метрик, автотестов и централизированных логов. Что может пойти не так? Да всё! Тут точно будет весело!

2) Опыт эксплуатации Service Mesh в Авито. Игорь Балюк (Авито)

Уникальная возможность узнать о многолетнем опыте эксплуатации Service Mesh в большой компании и ее эволюции с учетом запросов и требований времени.

3) Многотенантный kubernetes. Выжимаем максимум. Александр Качмашев (Точка)

Все знают, как сделать выделенный кубернетес на команду. Но это порождает множество кластеров. Сделать по-настоящему многотенантный или коммунальный кластер сложно. Очень много моментов, которые нужно учесть. Александр поделится своими секретами мастерства для приготовления такого кластера.

4) Сжимаем ресурсы Java в контейнерах: 80% результата за 20% времени и без OOM. Денис Никулин (Сбер)

Отличный доклад, который расскажет, как правильно приготовить JAVA приложение для работы в среде kubernetes и при этом не обжечься. Будут советы, которые помогут сэкономить денег на инфраструктуре, причем значительно, за счет правильной оптимизации java машины и оптимального выбора requests/limits.

Присоединяйтесь к нам 2 и 3 декабря в Москве на самую масштабную тусовку разработчиков высоконагруженных систем HighLoad++ 2024 😎

✅ Посмотреть программу конференции и купить билет можно на сайте

Сегодня знакомим вас с докладами из секции «DevOps-практики и культура», на которых эксперты: развеют мифы о PowerShell7, поделятся опытом адаптации PHP-приложений под Kubernetes и расскажут, как оптимизировать облачные расходы. Вы также узнаете о важности инженерной культуры и получите советы по управлению инцидентами в распределённых системах. Не пропустите 🖐

1) Когда Powershell лучше, чем Ansible? Рецепты приготовления на 1000+ серверов. Михаил Соколов (ГНИВЦ)

На нынешний день есть несколько мифов об использовании PowerShell7 в индустрии. Очень хочется их разрушить и взять на заметку советы и паттерны для Configuration Management при условии, когда Ansible уже может не справляться или его использование затруднено

2) Теперь готовлю только так: как мы затащили новостные сайты на Drupal 8 в Kubernetes. Алексей Демьянов (Флант)

Автор расскажет историю одного php приложения, которое было адаптировано под kubernetes. Из этого доклада слушатели поймут, что это не так сложно сделать, как говорится «глаза боятся — руки делают». Узнают, какие подводные камни могут ожидать на этом пути, и благодаря докладу избегут их.

3) FinOps: Optimize для K8s. Илья Кочнев (Lamoda Tech)

Облако съело годовой бюджет проекта за неделю? Илья объяснит, что самое неоптимальное — это виртуальные машины, которые недогружены. В частности, узлы K8s. Спикер расскажет, каким образом сохранить деньги без потери эффективности работы приложения.

4) Инженерная культура на масштабе: Как развивать и оценивать практики! Евгений Харченко (Райффайзен Банк)

В докладе затрагиваются вопросы, связанные с внедрением, развитием и оценкой инженерной культуры, процессов и практик в больших технологических и enterprise компаниях.

5) Дизастер нерекавери, или Как на очередных учениях по отказоустойчивости у нас сломались PostgreSQL-кластеры. Артем Федоров (ИВИ)

Каждый любит истории падений. Кто тестирует на проде, тот знает им цену. Вероятно, многие, кто имел дело с распределёнными базами данных, встречался с проблемами Split Brain или перевыборами. Как обезопасить себя во время падений дата-центра, что делать во время и после инцидента — всё здесь!

Присоединяйтесь к нам 2 и 3 декабря в Москве на HighLoad++ 2024 🖐

✅ Программа конференции и билеты на сайте

Как построить высоконагруженную систему мониторинга в экосистеме из более 300 продуктов?

Руководитель стрима мониторинга и наблюдаемости в МТС Digital Филипп Бочаров расскажет, как они реализовали централизованное управление конфигурацией агентов, интерфейс для настройки алертинга и правил сбора метрик. Как собрали все метрики в единое хранилище и построили дашборды здоровья по ключевым продуктам с помощью агента telegraf и большого кластера Victoria Metrics, принимающего 10+ миллионов сэмплов в секунду.

🔴Подробности в статье: https://habr.com/ru/companies/oleg-bunin/articles/851024/

До HighLoad++ 2024 осталось чуть больше месяца, билетов остаётся всё меньше, и это значит, что сейчас самое время к нам присоединиться 😉

🔴Почему вам стоит стать участником:

- познакомитесь с большим количеством единомышленников;
- обменяетесь опытом с коллегами;
- пообщаетесь с крутыми экспертами отрасли.

На HighLoad++ 2024 вы услышите классные технологические доклады, с решением конкретных задач, узнаете, как меняется индустрия прямо сейчас, что в тренде, а что в хайпе, какие есть новые инструменты и технологии. И, конечно, у вас будет отличная возможность найти решение своих собственных профессиональных задач.

Ждём вас 2 и 3 декабря на самой большой айтишной тусовке в стране — HighLoad++ 2024 😎

С 1 ноября билеты станут дороже и достигнут своей финальной отметки. Чтобы зафиксировать текущую стоимость, забронируйте билет сейчас, а оплатить сможете в течение нескольких дней.

✅ Программа конференции, предварительное расписание и билеты на сайте

Давно ли вы пересматривали свой технологический стек? Не устарели ли ваши технологии? А может быть, о ужас, ваш проект уже воспринимается как legacy? Давайте проследим за изменениями в ландшафте доступных технологий и задумаемся, а не пора ли запланировать переезд, пока не стало слишком поздно?

1) Valkey 8 — релиз форка Redis про performance. Евгений Дюков (Yandex Cloud)

Доклад интересен не только глубокими техническими подробностями об изменениях от активного члена комьюнити Valkey, но и интересным примером о нюансах бизнес-моделей в Open Source-проектах на примере Redis, как это ограничивает продукт и почему смысл в форках есть.

2) Picodata: много маленьких данных. Константин Осипов (Picodata)

Обзорный доклад о распределенной базе данных Picodata, построенной на базе Tarantool. Архитектура, гарантии консистентности, плагины на Rust для клуба любителей распределенных СУБД.

3) PHP-FPM, (g)unicorn, Puma и uWSGI — будут больше не нужны. Валентин Бартенев (Web Server LLC)

Разработчики на скриптовых языках годами жили с дефолтными и не самыми эффективными рантаймами. Сейчас ситуация начала меняться, и вот подтянулся и Angie, сделав своё эффективное решение. Потенциально оно может очень сильно повлиять на то, как мы запускаем свои приложения.

Присоединяйтесь к нам на HighLoad++ 2024 🙌

✅ Выбрать интересные для себя доклады из программы и забронировать билет до повышения цены можно на сайте

На конференции HighLoad++ 2024 будет много интересного, но, пожалуй, самое необычное — награждение победителей конкурса «Красота кода».

Это не просто конкурс, а возможность показать, что хороший код может быть настоящим искусством. Для участников — это признание их мастерства, а для зрителей — шанс вдохновиться и, возможно, увидеть что-то новое, важное и полезное для себя.

Идея посмотреть на код, как на искусство родилась у разработчиков Сбера. В этом году конкурс получил название «Красота кода 2.0». В чём идея? Красивый код — это такой код, который легко читать даже новичкам и приятно писать.

Если хотите принять участие — welcome. Для этого нужно:

1. выбрать дисциплину;
2. написать решение, которое будет не только функциональным, но и изящным;
3. авторизоваться и заполнить анкету;
4. загрузить код на сайт.

Соревноваться будем по пяти направлениям: frontend, backend, mobile, DevOps и AI. В каждом направлении можно стать победителем в номинациях «краса кода», «изящный код», «звезда кода». Отдельно будет награждён и самый «народный код».

+ В этом году в конкурсе появилась специальная номинация от конференции HighLoad++

Победителей ждёт не только признание сообщества, но и классные призы — iPhone 16, колонка SberBoom и офлайн-билет на конференцию HighLoad++.

Участвуйте и вдохновляйтесь!

🔴Подробности и регистрация — на сайте

Третий выпуск Podcast++, в котором обсудили важные аспекты менеджмента:

Как обучать лидов в разработке?
Какие навыки и компетенции важны для успешного лидера?
Как развивать и «выращивать» лидов в команде?

Ведущий подкаста: Иван Матвеев — более 15 лет в разработке и 7 лет в руководстве командами. Побывал в роли Unit lead и Director of Engineering. На текущий момент руководит разработкой в командах core в Ви.Tech.

В гостях: Александр Орлов — эксперт в области обучения руководителей в ИТ, управляющий партнер Школы менеджеров Стратоплан, через обучение в которой прошли более 22 000 руководителей команд и проектов, тимлидов. Автор ряда книг по управлению в ИТ, карьере руководителя и коммуникациям, включая «Секреты управления программистами», «Белая книжная полка менеджера», «Джедайские техники конструктивного общения». В прошлом — менеджер в компаниях Intel и Sun Microsystems, Inc.

🎧 Слушать подкаст:

ВКонтакте
mave
Яндекс Музыка

* В рамках подкаста Александр упоминал бесплатный инструмент оценки ключевых компетенций руководителя, который они используют внутри Школы: если вы хотите оценить себя, как управленца, то переходите по этой ссылке

Коллеги обещают, что вы сможете:

🔴понять, что нужно «докачать», как руководителю
🔴оценить свой уровень в десяти важных функциональных зонах менеджера
🔴использовать его как четкий ориентир в противопоставлении развиваюсь/не развиваюсь, как специалист

Продуктивного прослушивания 🙌

Как внедрить WASM в зрелую систему и какие практические вопросы возникают при этом? Как ВКонтакте справляется с отказоустойчивостью и репликацией больших объемов данных? Что насчет менее известных, но эффективных структур данных, таких как дерево Меркла, и их применения в хранении? И, наконец, как построить масштабируемое хранилище данных, учитывающее требования различных потребителей?

Эти вопросы будут рассмотрены в докладах из секции «Базы данных и системы хранения» 🔄

1) WebAssembly и хайлоад: история о том, как Tarantool стал полиглотом. Максим Кокряшкин (VK, Tarantool)

Доклад от команды Tarantool — инженерный дипдайв в WASM и практические вопросы разработки и архитектуры, когда WASM нужно встроить в зрелую систему. Доклад будет интересен всем, кто интересуется, можно ли использовать WASM в продакшне и как.

2) Архитектура хранилища ВКонтакте. Денис Дерюгин (VK, ВКонтакте)

В докладе рассматривается эволюция хранилища ВКонтакте. Особое внимание уделяется отказоустойчивости, репликации и избыточности. Описываются особенности работы с большими объёмами данных и методы распределения данных для предотвращения потери в случае выхода из строя одного из дата-центров.

3) Лес Меркла, или Как мы уменьшили объём метаданных на 83% и заодно ускорили поиск дубликатов в 10 раз в СХД TATLIN.BACKUP. Сергей Ли (YADRO)

В мире уже придумано множество структур данных, подходящих для разных случаев. Среди них есть менее известные, но от этого не теряющие своей красоты структуры, способные помочь в эффективном хранении данных. В докладе мы узнаем про дерево Меркла и его эффективное применение совместно с CDC.

4) Архитектура хранилища рекламных объектов Яндекс.Директ. Булат Гайфуллин (Яндекс Технологии)

Булат расскажет, как построить почти безгранично масштабирующееся хранилище данных, учесть требования поставщиков и потребителей, а благодаря использованию YTsausus реализовать эффективный стриминг изменений большому количеству разнородных потребителей.

🖐️ Встречаемся 2 и 3 декабря на крупнейшей профессиональной конференции для разработчиков высоконагруженных систем HighLoad++ 2024 в Москве.

✅ Программа конференции и билеты на сайте

Друзья, у нас готово финальное расписание конференции HighLoad++ 2024 — уже можно планировать, когда и какой доклад пойдете слушать 🖐️

Коротко о том, что вас ждёт:

2 дня,
3 конференции на одной площадке (об этом ещё расскажем подробнее уже следующих постах),
8 потоков,
13 параллельно работающих залов,
170+ докладов.
⠀
О чем поговорим: архитектура, базы данных и системы хранения, Platform Engineering, DevOps-практики и культура, безопасность, эксплуатация систем, аппаратное обеспечение, тестирование, производительность enterprise-систем, интернет вещей, Edge Computing, технологии будущего, BigData и инфраструктура машинного обучения (data engineering), нейронные сети и искусственный интеллект (data science)

HighLoad++ 2024 — реальные кейсы, практический и применимый опыт, честные истории со всеми «граблями», которые встретились на пути решения технологических задач 😎

✅ Выбрать, на какие доклады вы пойдете, и купить билет можно на сайте