🔄Четвёрка докладов из секции «Архитектура», которые будут особенно интересны:

- разработчикам, в системах которых так или иначе обрабатываются адреса;
- BE-инженерам, архитекторам, бэкенд-разработчикам;
- и всем тем, кто хочет узнать, как изменилась Алиса с появлением LLM, с какими трудностями столкнулась команда и как их преодолели.

1) Точный адрес – вечная боль! Адресный путь геораспределённого агрегатора курьерской доставки. Михаил Колосов (Газпромбанк.Тех)

Узнайте, как решать вечную проблему адресов в логистике и не только: несовпадение форматов, ошибки в доставке и интеграция с ФИАС. Вы увидите реальные кейсы, технические решения и актуальные подходы к обработке адресов. Доклад Михаила поможет улучшить адресную архитектуру в ваших проектах.

2) Как применить перколятор по назначению и не только. Владислав Сикач (Авито)

Доклад посвящён анализу различных кейсов использования функциональности перколятора на больших объёмах. Владислав также поднимет вопрос о сравнении различных перколяторов — Sphinx, ElasticSearch.

3) Как устроена Алиса нового поколения. Руслан Ахтариев (Яндекс Технологии)

Под капотом новой Алисы три дата-центра и сотни серверов с GPU. Но все равно для обеспечения быстрой работы приходится использовать множество оптимизаций: «рефразеры» для запросов, стриминг, квантизацию и спекулятивный декодинг. Все это — в докладе Руслана.

4) Выделение микросервиса из 15-летнего монолита. Приключение на 1 год. Станислав Кондратьев (hh.ru)

Каждый рефакторинг монолита частично уникален, но только частично. Какие-то, каждый раз свои, шаги и подходы будут повторяться. Очень полезно иметь в своём арсенале запас идей и подходов, потому что рано или поздно монолит придётся рефакторить и вам.

Встречаемся 2 и 3 декабря в Москве на HighLoad++ 2024 🖐️

✅ Программа конференции и билеты на сайте

Редкий пример использования nomad в реальном продакшне в докладе Константина Касева и Марии Васильевой «Переход к Platform as a Service в Яндекс Вертикалях: опыт, проблемы, ошибки» с конференции Saint HighLoad++ 2023, запись которого мы принесли 🙌

Всего пять лет назад в Яндекс Вертикалях разработчики деплоили приложения deb-пакетами. Логи писались в файлы, деплой был долгим и неудобным, мониторинг и алерты лежали на плечах админов — и им же звонили. Они жили на железе и ручном приводе. Из такой точки А начался их путь к прекрасному PaaS будущего.

Теперь в Яндекс Вертикалях живут в облаке, у админов много автоматики, и звонки только по ops-проблемам. Разработчики их сервисов деплоят по кнопке из телеграм-бота или Web UI, пользуются автосгенерированными дашбордами, просматривают логи сервисов в Grafana и анализируют трейсы. В платформе доступны canary- и branch-деплои и запуск периодических задач. Процесс подготовки сервиса к запуску — это написание карты сервиса и манифеста деплоя, что занимает минимум времени. И все это — без вовлечения в процесс службы эксплуатации.

▶️Смотреть запись доклада в VK Видео

Продуктивного просмотра 😎

#записьдокладаHL
@HighLoadChannel

Как минимизировать ущерб и восстановить работу системы проекта, который внезапно столкнулся с нагрузкой в 20 000 RPS в самый ответственный момент? Какие сложности и преимущества внедрения Service Mesh с Istio? Как эффективно управлять многотенантными кластерами Kubernetes? И как поддерживать высокую доступность автоматизированных HR-процессов?

Кейсы с ответами на эти вопросы и практические рекомендации ждут вас в следующих докладах из секции «Эксплуатация систем» 🔄

1) История трансформации: Как мы не справились с 20 000+ RPS и что из этого вынесли. Лев Немировский (ПСБ)

Когда нужно было сделать вчера, вендоры, отсутствие метрик, автотестов и централизированных логов. Что может пойти не так? Да всё! Тут точно будет весело!

2) Опыт эксплуатации Service Mesh в Авито. Игорь Балюк (Авито)

Уникальная возможность узнать о многолетнем опыте эксплуатации Service Mesh в большой компании и ее эволюции с учетом запросов и требований времени.

3) Многотенантный kubernetes. Выжимаем максимум. Александр Качмашев (Точка)

Все знают, как сделать выделенный кубернетес на команду. Но это порождает множество кластеров. Сделать по-настоящему многотенантный или коммунальный кластер сложно. Очень много моментов, которые нужно учесть. Александр поделится своими секретами мастерства для приготовления такого кластера.

4) Сжимаем ресурсы Java в контейнерах: 80% результата за 20% времени и без OOM. Денис Никулин (Сбер)

Отличный доклад, который расскажет, как правильно приготовить JAVA приложение для работы в среде kubernetes и при этом не обжечься. Будут советы, которые помогут сэкономить денег на инфраструктуре, причем значительно, за счет правильной оптимизации java машины и оптимального выбора requests/limits.

Присоединяйтесь к нам 2 и 3 декабря в Москве на самую масштабную тусовку разработчиков высоконагруженных систем HighLoad++ 2024 😎

✅ Посмотреть программу конференции и купить билет можно на сайте

Сегодня знакомим вас с докладами из секции «DevOps-практики и культура», на которых эксперты: развеют мифы о PowerShell7, поделятся опытом адаптации PHP-приложений под Kubernetes и расскажут, как оптимизировать облачные расходы. Вы также узнаете о важности инженерной культуры и получите советы по управлению инцидентами в распределённых системах. Не пропустите 🖐

1) Когда Powershell лучше, чем Ansible? Рецепты приготовления на 1000+ серверов. Михаил Соколов (ГНИВЦ)

На нынешний день есть несколько мифов об использовании PowerShell7 в индустрии. Очень хочется их разрушить и взять на заметку советы и паттерны для Configuration Management при условии, когда Ansible уже может не справляться или его использование затруднено

2) Теперь готовлю только так: как мы затащили новостные сайты на Drupal 8 в Kubernetes. Алексей Демьянов (Флант)

Автор расскажет историю одного php приложения, которое было адаптировано под kubernetes. Из этого доклада слушатели поймут, что это не так сложно сделать, как говорится «глаза боятся — руки делают». Узнают, какие подводные камни могут ожидать на этом пути, и благодаря докладу избегут их.

3) FinOps: Optimize для K8s. Илья Кочнев (Lamoda Tech)

Облако съело годовой бюджет проекта за неделю? Илья объяснит, что самое неоптимальное — это виртуальные машины, которые недогружены. В частности, узлы K8s. Спикер расскажет, каким образом сохранить деньги без потери эффективности работы приложения.

4) Инженерная культура на масштабе: Как развивать и оценивать практики! Евгений Харченко (Райффайзен Банк)

В докладе затрагиваются вопросы, связанные с внедрением, развитием и оценкой инженерной культуры, процессов и практик в больших технологических и enterprise компаниях.

5) Дизастер нерекавери, или Как на очередных учениях по отказоустойчивости у нас сломались PostgreSQL-кластеры. Артем Федоров (ИВИ)

Каждый любит истории падений. Кто тестирует на проде, тот знает им цену. Вероятно, многие, кто имел дело с распределёнными базами данных, встречался с проблемами Split Brain или перевыборами. Как обезопасить себя во время падений дата-центра, что делать во время и после инцидента — всё здесь!

Присоединяйтесь к нам 2 и 3 декабря в Москве на HighLoad++ 2024 🖐

✅ Программа конференции и билеты на сайте

Как построить высоконагруженную систему мониторинга в экосистеме из более 300 продуктов?

Руководитель стрима мониторинга и наблюдаемости в МТС Digital Филипп Бочаров расскажет, как они реализовали централизованное управление конфигурацией агентов, интерфейс для настройки алертинга и правил сбора метрик. Как собрали все метрики в единое хранилище и построили дашборды здоровья по ключевым продуктам с помощью агента telegraf и большого кластера Victoria Metrics, принимающего 10+ миллионов сэмплов в секунду.

🔴Подробности в статье: https://habr.com/ru/companies/oleg-bunin/articles/851024/

До HighLoad++ 2024 осталось чуть больше месяца, билетов остаётся всё меньше, и это значит, что сейчас самое время к нам присоединиться 😉

🔴Почему вам стоит стать участником:

- познакомитесь с большим количеством единомышленников;
- обменяетесь опытом с коллегами;
- пообщаетесь с крутыми экспертами отрасли.

На HighLoad++ 2024 вы услышите классные технологические доклады, с решением конкретных задач, узнаете, как меняется индустрия прямо сейчас, что в тренде, а что в хайпе, какие есть новые инструменты и технологии. И, конечно, у вас будет отличная возможность найти решение своих собственных профессиональных задач.

Ждём вас 2 и 3 декабря на самой большой айтишной тусовке в стране — HighLoad++ 2024 😎

С 1 ноября билеты станут дороже и достигнут своей финальной отметки. Чтобы зафиксировать текущую стоимость, забронируйте билет сейчас, а оплатить сможете в течение нескольких дней.

✅ Программа конференции, предварительное расписание и билеты на сайте

Давно ли вы пересматривали свой технологический стек? Не устарели ли ваши технологии? А может быть, о ужас, ваш проект уже воспринимается как legacy? Давайте проследим за изменениями в ландшафте доступных технологий и задумаемся, а не пора ли запланировать переезд, пока не стало слишком поздно?

1) Valkey 8 — релиз форка Redis про performance. Евгений Дюков (Yandex Cloud)

Доклад интересен не только глубокими техническими подробностями об изменениях от активного члена комьюнити Valkey, но и интересным примером о нюансах бизнес-моделей в Open Source-проектах на примере Redis, как это ограничивает продукт и почему смысл в форках есть.

2) Picodata: много маленьких данных. Константин Осипов (Picodata)

Обзорный доклад о распределенной базе данных Picodata, построенной на базе Tarantool. Архитектура, гарантии консистентности, плагины на Rust для клуба любителей распределенных СУБД.

3) PHP-FPM, (g)unicorn, Puma и uWSGI — будут больше не нужны. Валентин Бартенев (Web Server LLC)

Разработчики на скриптовых языках годами жили с дефолтными и не самыми эффективными рантаймами. Сейчас ситуация начала меняться, и вот подтянулся и Angie, сделав своё эффективное решение. Потенциально оно может очень сильно повлиять на то, как мы запускаем свои приложения.

Присоединяйтесь к нам на HighLoad++ 2024 🙌

✅ Выбрать интересные для себя доклады из программы и забронировать билет до повышения цены можно на сайте

На конференции HighLoad++ 2024 будет много интересного, но, пожалуй, самое необычное — награждение победителей конкурса «Красота кода».

Это не просто конкурс, а возможность показать, что хороший код может быть настоящим искусством. Для участников — это признание их мастерства, а для зрителей — шанс вдохновиться и, возможно, увидеть что-то новое, важное и полезное для себя.

Идея посмотреть на код, как на искусство родилась у разработчиков Сбера. В этом году конкурс получил название «Красота кода 2.0». В чём идея? Красивый код — это такой код, который легко читать даже новичкам и приятно писать.

Если хотите принять участие — welcome. Для этого нужно:

1. выбрать дисциплину;
2. написать решение, которое будет не только функциональным, но и изящным;
3. авторизоваться и заполнить анкету;
4. загрузить код на сайт.

Соревноваться будем по пяти направлениям: frontend, backend, mobile, DevOps и AI. В каждом направлении можно стать победителем в номинациях «краса кода», «изящный код», «звезда кода». Отдельно будет награждён и самый «народный код».

+ В этом году в конкурсе появилась специальная номинация от конференции HighLoad++

Победителей ждёт не только признание сообщества, но и классные призы — iPhone 16, колонка SberBoom и офлайн-билет на конференцию HighLoad++.

Участвуйте и вдохновляйтесь!

🔴Подробности и регистрация — на сайте

Третий выпуск Podcast++, в котором обсудили важные аспекты менеджмента:

Как обучать лидов в разработке?
Какие навыки и компетенции важны для успешного лидера?
Как развивать и «выращивать» лидов в команде?

Ведущий подкаста: Иван Матвеев — более 15 лет в разработке и 7 лет в руководстве командами. Побывал в роли Unit lead и Director of Engineering. На текущий момент руководит разработкой в командах core в Ви.Tech.

В гостях: Александр Орлов — эксперт в области обучения руководителей в ИТ, управляющий партнер Школы менеджеров Стратоплан, через обучение в которой прошли более 22 000 руководителей команд и проектов, тимлидов. Автор ряда книг по управлению в ИТ, карьере руководителя и коммуникациям, включая «Секреты управления программистами», «Белая книжная полка менеджера», «Джедайские техники конструктивного общения». В прошлом — менеджер в компаниях Intel и Sun Microsystems, Inc.

🎧 Слушать подкаст:

ВКонтакте
mave
Яндекс Музыка

* В рамках подкаста Александр упоминал бесплатный инструмент оценки ключевых компетенций руководителя, который они используют внутри Школы: если вы хотите оценить себя, как управленца, то переходите по этой ссылке

Коллеги обещают, что вы сможете:

🔴понять, что нужно «докачать», как руководителю
🔴оценить свой уровень в десяти важных функциональных зонах менеджера
🔴использовать его как четкий ориентир в противопоставлении развиваюсь/не развиваюсь, как специалист

Продуктивного прослушивания 🙌

Как внедрить WASM в зрелую систему и какие практические вопросы возникают при этом? Как ВКонтакте справляется с отказоустойчивостью и репликацией больших объемов данных? Что насчет менее известных, но эффективных структур данных, таких как дерево Меркла, и их применения в хранении? И, наконец, как построить масштабируемое хранилище данных, учитывающее требования различных потребителей?

Эти вопросы будут рассмотрены в докладах из секции «Базы данных и системы хранения» 🔄

1) WebAssembly и хайлоад: история о том, как Tarantool стал полиглотом. Максим Кокряшкин (VK, Tarantool)

Доклад от команды Tarantool — инженерный дипдайв в WASM и практические вопросы разработки и архитектуры, когда WASM нужно встроить в зрелую систему. Доклад будет интересен всем, кто интересуется, можно ли использовать WASM в продакшне и как.

2) Архитектура хранилища ВКонтакте. Денис Дерюгин (VK, ВКонтакте)

В докладе рассматривается эволюция хранилища ВКонтакте. Особое внимание уделяется отказоустойчивости, репликации и избыточности. Описываются особенности работы с большими объёмами данных и методы распределения данных для предотвращения потери в случае выхода из строя одного из дата-центров.

3) Лес Меркла, или Как мы уменьшили объём метаданных на 83% и заодно ускорили поиск дубликатов в 10 раз в СХД TATLIN.BACKUP. Сергей Ли (YADRO)

В мире уже придумано множество структур данных, подходящих для разных случаев. Среди них есть менее известные, но от этого не теряющие своей красоты структуры, способные помочь в эффективном хранении данных. В докладе мы узнаем про дерево Меркла и его эффективное применение совместно с CDC.

4) Архитектура хранилища рекламных объектов Яндекс.Директ. Булат Гайфуллин (Яндекс Технологии)

Булат расскажет, как построить почти безгранично масштабирующееся хранилище данных, учесть требования поставщиков и потребителей, а благодаря использованию YTsausus реализовать эффективный стриминг изменений большому количеству разнородных потребителей.

🖐️ Встречаемся 2 и 3 декабря на крупнейшей профессиональной конференции для разработчиков высоконагруженных систем HighLoad++ 2024 в Москве.

✅ Программа конференции и билеты на сайте

Друзья, у нас готово финальное расписание конференции HighLoad++ 2024 — уже можно планировать, когда и какой доклад пойдете слушать 🖐️

Коротко о том, что вас ждёт:

2 дня,
3 конференции на одной площадке (об этом ещё расскажем подробнее уже следующих постах),
8 потоков,
13 параллельно работающих залов,
170+ докладов.
⠀
О чем поговорим: архитектура, базы данных и системы хранения, Platform Engineering, DevOps-практики и культура, безопасность, эксплуатация систем, аппаратное обеспечение, тестирование, производительность enterprise-систем, интернет вещей, Edge Computing, технологии будущего, BigData и инфраструктура машинного обучения (data engineering), нейронные сети и искусственный интеллект (data science)

HighLoad++ 2024 — реальные кейсы, практический и применимый опыт, честные истории со всеми «граблями», которые встретились на пути решения технологических задач 😎

✅ Выбрать, на какие доклады вы пойдете, и купить билет можно на сайте

На докладах секции «Platform Engineering» спикеры поделятся ценными инсайтами и практическим опытом.

Узнайте, как интегрировать безопасность и гибкость в Kubernetes с помощью eBPF, создайте собственное приватное облако без привязки к вендорам, разберитесь в сетевой безопасности и избегите распространенных ошибок в крупных проектах. Также обсудим эволюцию системы логирования в МТС — от теории до практики.

1) Как подружить сеть в Kubernetes и легаси, сделать безопасника счастливым и выиграть в производительности с ebpf. Дмитрий Самохвалов (К2 Cloud)

Мало что начинает строиться на пустом месте. В этом докладе узнаем о вариантах скрестить уже имеющиеся подходы к безопасности в компании и максимальную гибкость настроек сети в Kubernetes с помощью ebpf, при этом выиграв в производительности.

2) Собственная облачная платформа на 20000 виртуальных машин — опыт Wildberries. Алексей Чуркин (Wildberries)

Вы хотите свою платформу виртуализации, но доверия к OpenStack и VMWare нет? Вы хотите не завязываться на конкретных вендорах железа и софта и не боитесь писать код и выстраивать оперирование. Добро пожаловать в мир собственных приватных облаков. Мы с радостью поделимся своим опытом.

3) Все то, что нужно для сетевой безопасности приложений в платформе на базе Kubernetes. Максим Чудновский (СберТех)

Прекрасная возможность разложить у себя все по полочкам в голове относительно сетевой безопасности в Kubernetes и потом не придумывать и не использовать костыли.

4) Что я сделал неправильно, когда строил платформу в лидере рынка e-grocery. Олег Федоткин (Циан)

Что будет, если заранее не озаботиться выбором языков программирования, объяснением архитектурных решений, внедрением стандартов паттернов и конфигураций в действительно большом проекте? Доклад поможет избежать потери денег в неочевидных местах и избежать сопротивления стандартам платформы.

5) Сделать централизованное логирование и крепко спать по ночам. Филипп Бочаров, Юлия Тальцкова (МТС Диджитал)

Продолжение эпопеи о том, как в МТС устроено observability: про эволюцию системы логирования через поле, усыпанное граблями, до нагруженного production-сервиса. В меньшей степени про bleeding edge-технологии, в большей степени — про то, как технологии заставить работать на пользу разработчикам и SRE

Встречаемся 2 и 3 декабря в Москве на HighLoad++ 2024, ждём вас 🙌

✅ Программа конференции, расписание и билеты на сайте

Сейчас в инфраструктуре много мощных решений для балансировки и межсервисных коммуникаций: Nginx, HAProxy, Treafik и LB в публичных облаках. Но эти решения могут не справиться с масштабированием из-за ограничений старых систем для динамической конфигурации, особенно когда хочется автоматизируемое cloud-native-решение.

Архитектор в K2 Cloud Дмитрий Самохвалов расскажет о переходе с NGINX, HAProxy на Envoy. Как это позволяет улучшить быстрые обновления, об интеграции через envoy-control-plane и лайфхаки для эффективного перехода. Осветит и подводные камни, которые возникают при переходе.

🔴Подробности в статье: https://habr.com/ru/companies/oleg-bunin/articles/853910/

⌛️Осталось 3 дня до повышения цены на HighLoad++ 2024

Друзья, напоминаем, с 1 ноября билеты станут дороже. Если вы планируете к нам присоединиться, но пока этого не сделали, то сейчас самое время это сделать.
⠀
И вот 5 причин, по которым нельзя пропустить HighLoad++ 2024 😎
⠀
1) Узнаете, как делают highload-системы ваши коллеги и конкуренты. Как они думают и смотрят на highload-мир.

2) Будете в курсе последних новостей индустрии.

3) Познакомитесь с технологиями, о которых, возможно, ещё не знаете.

4) Услышите сильные доклады с решением конкретных задач.

5) И просто круто проведёте время в крупнейшей IT-тусовке страны.
⠀
Также напоминаем, что вы можете зафиксировать текущую стоимость, для этого нужно забронировать билет до 1 ноября. Оплатить сможете в течение нескольких дней после брони.
⠀
Мы встречаемся 2 и 3 декабря в Москве, ждём вас 🙌
⠀
✅ Ознакомиться с программой конференции и забронировать билет можно на сайте

Пишете на Go? Присматриваетесь к Go? Используете инструменты, написанные на Go? Тогда вам точно нужно на HighLoad++ 2024, в рамках которой пройдёт профессиональная конференция для Go‑разработчиков — Golang Conf 2024!

Участники Программного комитета — эксперты Go-сообществ России — выбрали в программу 30+ крутых докладов с решением актуальных задач.

Ключевые темы конференции:

🟣Обзор нововведений Go 1.22 и 1.23
🟣GO: парадигмы и паттерны
🟣Hardcore: ассемблер, кишки, декомпиляция
🟣Протоколы, библиотеки, тулинг
🟣Истории успеха и провала

Будем говорить про переход на Go с других языков, конечно, про хардкор и смежные области. Программа вас ждёт насыщенная: пять тематических секций докладов и отдельный слот для мастер-класса по Temporal.

Совсем скоро мы начнём рассказывать вам про доклады Golang Conf 2024.

Встречаемся 2 и 3 декабря на Golang Conf 2024, которая пройдёт в рамках HighLoad++ 2024 в Москве 🖐️

✅ Присоединиться к нам ещё можно, билеты на сайте