Как минимизировать ущерб и восстановить работу системы проекта, который внезапно столкнулся с нагрузкой в 20 000 RPS в самый ответственный момент? Какие сложности и преимущества внедрения Service Mesh с Istio? Как эффективно управлять многотенантными кластерами Kubernetes? И как поддерживать высокую доступность автоматизированных HR-процессов?

Кейсы с ответами на эти вопросы и практические рекомендации ждут вас в следующих докладах из секции «Эксплуатация систем» 🔄

1) История трансформации: Как мы не справились с 20 000+ RPS и что из этого вынесли. Лев Немировский (ПСБ)

Когда нужно было сделать вчера, вендоры, отсутствие метрик, автотестов и централизированных логов. Что может пойти не так? Да всё! Тут точно будет весело!

2) Опыт эксплуатации Service Mesh в Авито. Игорь Балюк (Авито)

Уникальная возможность узнать о многолетнем опыте эксплуатации Service Mesh в большой компании и ее эволюции с учетом запросов и требований времени.

3) Многотенантный kubernetes. Выжимаем максимум. Александр Качмашев (Точка)

Все знают, как сделать выделенный кубернетес на команду. Но это порождает множество кластеров. Сделать по-настоящему многотенантный или коммунальный кластер сложно. Очень много моментов, которые нужно учесть. Александр поделится своими секретами мастерства для приготовления такого кластера.

4) Сжимаем ресурсы Java в контейнерах: 80% результата за 20% времени и без OOM. Денис Никулин (Сбер)

Отличный доклад, который расскажет, как правильно приготовить JAVA приложение для работы в среде kubernetes и при этом не обжечься. Будут советы, которые помогут сэкономить денег на инфраструктуре, причем значительно, за счет правильной оптимизации java машины и оптимального выбора requests/limits.

Присоединяйтесь к нам 2 и 3 декабря в Москве на самую масштабную тусовку разработчиков высоконагруженных систем HighLoad++ 2024 😎

✅ Посмотреть программу конференции и купить билет можно на сайте

Сегодня знакомим вас с докладами из секции «DevOps-практики и культура», на которых эксперты: развеют мифы о PowerShell7, поделятся опытом адаптации PHP-приложений под Kubernetes и расскажут, как оптимизировать облачные расходы. Вы также узнаете о важности инженерной культуры и получите советы по управлению инцидентами в распределённых системах. Не пропустите 🖐

1) Когда Powershell лучше, чем Ansible? Рецепты приготовления на 1000+ серверов. Михаил Соколов (ГНИВЦ)

На нынешний день есть несколько мифов об использовании PowerShell7 в индустрии. Очень хочется их разрушить и взять на заметку советы и паттерны для Configuration Management при условии, когда Ansible уже может не справляться или его использование затруднено

2) Теперь готовлю только так: как мы затащили новостные сайты на Drupal 8 в Kubernetes. Алексей Демьянов (Флант)

Автор расскажет историю одного php приложения, которое было адаптировано под kubernetes. Из этого доклада слушатели поймут, что это не так сложно сделать, как говорится «глаза боятся — руки делают». Узнают, какие подводные камни могут ожидать на этом пути, и благодаря докладу избегут их.

3) FinOps: Optimize для K8s. Илья Кочнев (Lamoda Tech)

Облако съело годовой бюджет проекта за неделю? Илья объяснит, что самое неоптимальное — это виртуальные машины, которые недогружены. В частности, узлы K8s. Спикер расскажет, каким образом сохранить деньги без потери эффективности работы приложения.

4) Инженерная культура на масштабе: Как развивать и оценивать практики! Евгений Харченко (Райффайзен Банк)

В докладе затрагиваются вопросы, связанные с внедрением, развитием и оценкой инженерной культуры, процессов и практик в больших технологических и enterprise компаниях.

5) Дизастер нерекавери, или Как на очередных учениях по отказоустойчивости у нас сломались PostgreSQL-кластеры. Артем Федоров (ИВИ)

Каждый любит истории падений. Кто тестирует на проде, тот знает им цену. Вероятно, многие, кто имел дело с распределёнными базами данных, встречался с проблемами Split Brain или перевыборами. Как обезопасить себя во время падений дата-центра, что делать во время и после инцидента — всё здесь!

Присоединяйтесь к нам 2 и 3 декабря в Москве на HighLoad++ 2024 🖐

✅ Программа конференции и билеты на сайте

Как построить высоконагруженную систему мониторинга в экосистеме из более 300 продуктов?

Руководитель стрима мониторинга и наблюдаемости в МТС Digital Филипп Бочаров расскажет, как они реализовали централизованное управление конфигурацией агентов, интерфейс для настройки алертинга и правил сбора метрик. Как собрали все метрики в единое хранилище и построили дашборды здоровья по ключевым продуктам с помощью агента telegraf и большого кластера Victoria Metrics, принимающего 10+ миллионов сэмплов в секунду.

🔴Подробности в статье: https://habr.com/ru/companies/oleg-bunin/articles/851024/

До HighLoad++ 2024 осталось чуть больше месяца, билетов остаётся всё меньше, и это значит, что сейчас самое время к нам присоединиться 😉

🔴Почему вам стоит стать участником:

- познакомитесь с большим количеством единомышленников;
- обменяетесь опытом с коллегами;
- пообщаетесь с крутыми экспертами отрасли.

На HighLoad++ 2024 вы услышите классные технологические доклады, с решением конкретных задач, узнаете, как меняется индустрия прямо сейчас, что в тренде, а что в хайпе, какие есть новые инструменты и технологии. И, конечно, у вас будет отличная возможность найти решение своих собственных профессиональных задач.

Ждём вас 2 и 3 декабря на самой большой айтишной тусовке в стране — HighLoad++ 2024 😎

С 1 ноября билеты станут дороже и достигнут своей финальной отметки. Чтобы зафиксировать текущую стоимость, забронируйте билет сейчас, а оплатить сможете в течение нескольких дней.

✅ Программа конференции, предварительное расписание и билеты на сайте

Давно ли вы пересматривали свой технологический стек? Не устарели ли ваши технологии? А может быть, о ужас, ваш проект уже воспринимается как legacy? Давайте проследим за изменениями в ландшафте доступных технологий и задумаемся, а не пора ли запланировать переезд, пока не стало слишком поздно?

1) Valkey 8 — релиз форка Redis про performance. Евгений Дюков (Yandex Cloud)

Доклад интересен не только глубокими техническими подробностями об изменениях от активного члена комьюнити Valkey, но и интересным примером о нюансах бизнес-моделей в Open Source-проектах на примере Redis, как это ограничивает продукт и почему смысл в форках есть.

2) Picodata: много маленьких данных. Константин Осипов (Picodata)

Обзорный доклад о распределенной базе данных Picodata, построенной на базе Tarantool. Архитектура, гарантии консистентности, плагины на Rust для клуба любителей распределенных СУБД.

3) PHP-FPM, (g)unicorn, Puma и uWSGI — будут больше не нужны. Валентин Бартенев (Web Server LLC)

Разработчики на скриптовых языках годами жили с дефолтными и не самыми эффективными рантаймами. Сейчас ситуация начала меняться, и вот подтянулся и Angie, сделав своё эффективное решение. Потенциально оно может очень сильно повлиять на то, как мы запускаем свои приложения.

Присоединяйтесь к нам на HighLoad++ 2024 🙌

✅ Выбрать интересные для себя доклады из программы и забронировать билет до повышения цены можно на сайте

На конференции HighLoad++ 2024 будет много интересного, но, пожалуй, самое необычное — награждение победителей конкурса «Красота кода».

Это не просто конкурс, а возможность показать, что хороший код может быть настоящим искусством. Для участников — это признание их мастерства, а для зрителей — шанс вдохновиться и, возможно, увидеть что-то новое, важное и полезное для себя.

Идея посмотреть на код, как на искусство родилась у разработчиков Сбера. В этом году конкурс получил название «Красота кода 2.0». В чём идея? Красивый код — это такой код, который легко читать даже новичкам и приятно писать.

Если хотите принять участие — welcome. Для этого нужно:

1. выбрать дисциплину;
2. написать решение, которое будет не только функциональным, но и изящным;
3. авторизоваться и заполнить анкету;
4. загрузить код на сайт.

Соревноваться будем по пяти направлениям: frontend, backend, mobile, DevOps и AI. В каждом направлении можно стать победителем в номинациях «краса кода», «изящный код», «звезда кода». Отдельно будет награждён и самый «народный код».

+ В этом году в конкурсе появилась специальная номинация от конференции HighLoad++

Победителей ждёт не только признание сообщества, но и классные призы — iPhone 16, колонка SberBoom и офлайн-билет на конференцию HighLoad++.

Участвуйте и вдохновляйтесь!

🔴Подробности и регистрация — на сайте

Третий выпуск Podcast++, в котором обсудили важные аспекты менеджмента:

Как обучать лидов в разработке?
Какие навыки и компетенции важны для успешного лидера?
Как развивать и «выращивать» лидов в команде?

Ведущий подкаста: Иван Матвеев — более 15 лет в разработке и 7 лет в руководстве командами. Побывал в роли Unit lead и Director of Engineering. На текущий момент руководит разработкой в командах core в Ви.Tech.

В гостях: Александр Орлов — эксперт в области обучения руководителей в ИТ, управляющий партнер Школы менеджеров Стратоплан, через обучение в которой прошли более 22 000 руководителей команд и проектов, тимлидов. Автор ряда книг по управлению в ИТ, карьере руководителя и коммуникациям, включая «Секреты управления программистами», «Белая книжная полка менеджера», «Джедайские техники конструктивного общения». В прошлом — менеджер в компаниях Intel и Sun Microsystems, Inc.

🎧 Слушать подкаст:

ВКонтакте
mave
Яндекс Музыка

* В рамках подкаста Александр упоминал бесплатный инструмент оценки ключевых компетенций руководителя, который они используют внутри Школы: если вы хотите оценить себя, как управленца, то переходите по этой ссылке

Коллеги обещают, что вы сможете:

🔴понять, что нужно «докачать», как руководителю
🔴оценить свой уровень в десяти важных функциональных зонах менеджера
🔴использовать его как четкий ориентир в противопоставлении развиваюсь/не развиваюсь, как специалист

Продуктивного прослушивания 🙌

Как внедрить WASM в зрелую систему и какие практические вопросы возникают при этом? Как ВКонтакте справляется с отказоустойчивостью и репликацией больших объемов данных? Что насчет менее известных, но эффективных структур данных, таких как дерево Меркла, и их применения в хранении? И, наконец, как построить масштабируемое хранилище данных, учитывающее требования различных потребителей?

Эти вопросы будут рассмотрены в докладах из секции «Базы данных и системы хранения» 🔄

1) WebAssembly и хайлоад: история о том, как Tarantool стал полиглотом. Максим Кокряшкин (VK, Tarantool)

Доклад от команды Tarantool — инженерный дипдайв в WASM и практические вопросы разработки и архитектуры, когда WASM нужно встроить в зрелую систему. Доклад будет интересен всем, кто интересуется, можно ли использовать WASM в продакшне и как.

2) Архитектура хранилища ВКонтакте. Денис Дерюгин (VK, ВКонтакте)

В докладе рассматривается эволюция хранилища ВКонтакте. Особое внимание уделяется отказоустойчивости, репликации и избыточности. Описываются особенности работы с большими объёмами данных и методы распределения данных для предотвращения потери в случае выхода из строя одного из дата-центров.

3) Лес Меркла, или Как мы уменьшили объём метаданных на 83% и заодно ускорили поиск дубликатов в 10 раз в СХД TATLIN.BACKUP. Сергей Ли (YADRO)

В мире уже придумано множество структур данных, подходящих для разных случаев. Среди них есть менее известные, но от этого не теряющие своей красоты структуры, способные помочь в эффективном хранении данных. В докладе мы узнаем про дерево Меркла и его эффективное применение совместно с CDC.

4) Архитектура хранилища рекламных объектов Яндекс.Директ. Булат Гайфуллин (Яндекс Технологии)

Булат расскажет, как построить почти безгранично масштабирующееся хранилище данных, учесть требования поставщиков и потребителей, а благодаря использованию YTsausus реализовать эффективный стриминг изменений большому количеству разнородных потребителей.

🖐️ Встречаемся 2 и 3 декабря на крупнейшей профессиональной конференции для разработчиков высоконагруженных систем HighLoad++ 2024 в Москве.

✅ Программа конференции и билеты на сайте

Друзья, у нас готово финальное расписание конференции HighLoad++ 2024 — уже можно планировать, когда и какой доклад пойдете слушать 🖐️

Коротко о том, что вас ждёт:

2 дня,
3 конференции на одной площадке (об этом ещё расскажем подробнее уже следующих постах),
8 потоков,
13 параллельно работающих залов,
170+ докладов.
⠀
О чем поговорим: архитектура, базы данных и системы хранения, Platform Engineering, DevOps-практики и культура, безопасность, эксплуатация систем, аппаратное обеспечение, тестирование, производительность enterprise-систем, интернет вещей, Edge Computing, технологии будущего, BigData и инфраструктура машинного обучения (data engineering), нейронные сети и искусственный интеллект (data science)

HighLoad++ 2024 — реальные кейсы, практический и применимый опыт, честные истории со всеми «граблями», которые встретились на пути решения технологических задач 😎

✅ Выбрать, на какие доклады вы пойдете, и купить билет можно на сайте

На докладах секции «Platform Engineering» спикеры поделятся ценными инсайтами и практическим опытом.

Узнайте, как интегрировать безопасность и гибкость в Kubernetes с помощью eBPF, создайте собственное приватное облако без привязки к вендорам, разберитесь в сетевой безопасности и избегите распространенных ошибок в крупных проектах. Также обсудим эволюцию системы логирования в МТС — от теории до практики.

1) Как подружить сеть в Kubernetes и легаси, сделать безопасника счастливым и выиграть в производительности с ebpf. Дмитрий Самохвалов (К2 Cloud)

Мало что начинает строиться на пустом месте. В этом докладе узнаем о вариантах скрестить уже имеющиеся подходы к безопасности в компании и максимальную гибкость настроек сети в Kubernetes с помощью ebpf, при этом выиграв в производительности.

2) Собственная облачная платформа на 20000 виртуальных машин — опыт Wildberries. Алексей Чуркин (Wildberries)

Вы хотите свою платформу виртуализации, но доверия к OpenStack и VMWare нет? Вы хотите не завязываться на конкретных вендорах железа и софта и не боитесь писать код и выстраивать оперирование. Добро пожаловать в мир собственных приватных облаков. Мы с радостью поделимся своим опытом.

3) Все то, что нужно для сетевой безопасности приложений в платформе на базе Kubernetes. Максим Чудновский (СберТех)

Прекрасная возможность разложить у себя все по полочкам в голове относительно сетевой безопасности в Kubernetes и потом не придумывать и не использовать костыли.

4) Что я сделал неправильно, когда строил платформу в лидере рынка e-grocery. Олег Федоткин (Циан)

Что будет, если заранее не озаботиться выбором языков программирования, объяснением архитектурных решений, внедрением стандартов паттернов и конфигураций в действительно большом проекте? Доклад поможет избежать потери денег в неочевидных местах и избежать сопротивления стандартам платформы.

5) Сделать централизованное логирование и крепко спать по ночам. Филипп Бочаров, Юлия Тальцкова (МТС Диджитал)

Продолжение эпопеи о том, как в МТС устроено observability: про эволюцию системы логирования через поле, усыпанное граблями, до нагруженного production-сервиса. В меньшей степени про bleeding edge-технологии, в большей степени — про то, как технологии заставить работать на пользу разработчикам и SRE

Встречаемся 2 и 3 декабря в Москве на HighLoad++ 2024, ждём вас 🙌

✅ Программа конференции, расписание и билеты на сайте

Сейчас в инфраструктуре много мощных решений для балансировки и межсервисных коммуникаций: Nginx, HAProxy, Treafik и LB в публичных облаках. Но эти решения могут не справиться с масштабированием из-за ограничений старых систем для динамической конфигурации, особенно когда хочется автоматизируемое cloud-native-решение.

Архитектор в K2 Cloud Дмитрий Самохвалов расскажет о переходе с NGINX, HAProxy на Envoy. Как это позволяет улучшить быстрые обновления, об интеграции через envoy-control-plane и лайфхаки для эффективного перехода. Осветит и подводные камни, которые возникают при переходе.

🔴Подробности в статье: https://habr.com/ru/companies/oleg-bunin/articles/853910/

⌛️Осталось 3 дня до повышения цены на HighLoad++ 2024

Друзья, напоминаем, с 1 ноября билеты станут дороже. Если вы планируете к нам присоединиться, но пока этого не сделали, то сейчас самое время это сделать.
⠀
И вот 5 причин, по которым нельзя пропустить HighLoad++ 2024 😎
⠀
1) Узнаете, как делают highload-системы ваши коллеги и конкуренты. Как они думают и смотрят на highload-мир.

2) Будете в курсе последних новостей индустрии.

3) Познакомитесь с технологиями, о которых, возможно, ещё не знаете.

4) Услышите сильные доклады с решением конкретных задач.

5) И просто круто проведёте время в крупнейшей IT-тусовке страны.
⠀
Также напоминаем, что вы можете зафиксировать текущую стоимость, для этого нужно забронировать билет до 1 ноября. Оплатить сможете в течение нескольких дней после брони.
⠀
Мы встречаемся 2 и 3 декабря в Москве, ждём вас 🙌
⠀
✅ Ознакомиться с программой конференции и забронировать билет можно на сайте

Пишете на Go? Присматриваетесь к Go? Используете инструменты, написанные на Go? Тогда вам точно нужно на HighLoad++ 2024, в рамках которой пройдёт профессиональная конференция для Go‑разработчиков — Golang Conf 2024!

Участники Программного комитета — эксперты Go-сообществ России — выбрали в программу 30+ крутых докладов с решением актуальных задач.

Ключевые темы конференции:

🟣Обзор нововведений Go 1.22 и 1.23
🟣GO: парадигмы и паттерны
🟣Hardcore: ассемблер, кишки, декомпиляция
🟣Протоколы, библиотеки, тулинг
🟣Истории успеха и провала

Будем говорить про переход на Go с других языков, конечно, про хардкор и смежные области. Программа вас ждёт насыщенная: пять тематических секций докладов и отдельный слот для мастер-класса по Temporal.

Совсем скоро мы начнём рассказывать вам про доклады Golang Conf 2024.

Встречаемся 2 и 3 декабря на Golang Conf 2024, которая пройдёт в рамках HighLoad++ 2024 в Москве 🖐️

✅ Присоединиться к нам ещё можно, билеты на сайте

Ловите пятерку докладов из секции «Архитектура», которые будут особенно интересны для:

- разработчиков backend-компонентов, которые сталкиваются с проблемами надежности сервисов;

- разработчиков, решающих задачи изоляции или создающих B2B-продукт внутри отлаженного B2C-бизнеса. Архитекторов и CTO. Специалистов, которым интересно, с какими технологическими вызовами сталкивается «Яндекс Лавка»;

- специалистов по Software-Defined Networking. Сетевых инженеров и архитекторов. Разработчиков сетевых сервисов. Администраторов и разработчиков облачных платформ и платформ виртуализации;

- разработчиков продуктовых и инфраструктурных команд;

- разработчиков, архитекторов и менеджеров, разрабатывающих приложения, в которых нужен поиск.

🔄

1) Как не деградировать сервису подбора рекламы, когда мир сходит с ума. Артем Букин (VK Реклама)

Вместе с разработчиком баннерного демона пройдем путь добавления graceful degradation «на живую» в сложный высоконагруженный проект, сталкивающийся с перегрузками. Попутно разберемся, как устроена рекламная система VK изнутри.

2) Развивать B2C-сервис или сделать SaaS? Мы решили не выбирать — добавляем мультитенантность в «Яндекс Лавка». Павел Подколзин (Яндекс Лавка)

Как предоставить продукт более чем одному клиенту, при этом не делая по отдельной инсталляции на каждого? Задача «добавить ещё один фильтр по всей системе» быстро становится заградительно дорогой на масштабах. Послушаем про такой опыт на примере архитектуры очень большого и известного проекта.

3) От NSX к OVN: 4 года подготовки и успешная миграция облака «на лету». Владислав Одинцов (K2 Cloud)

Миграция всегда была задачей со звёздочкой для любых сущностей и систем. Но всё становится сильно сложнее, если мигрируемые сущности связаны. Из доклада мы узнаем интересную и длительную историю такой миграции на примере требования сетевой связности сетей из старого и нового SDN.

4) Resource EXpress: как мы построили общую шину динамических ресурсов в Яндексе. Николай Гайворонский (Яндекс)

Николай расскажет о том, как объединить десяток велосипедов обновления сервисов без перезагрузки в одно решение для всей компании. Задача, которая выглядит несложной, имеет множество подводных камней и граничных случаев, особенно на масштабах Яндекса.

5) Гибридный поиск на базе OpenSearch и Qdrant. Егор Прохоренко (Т-Банк)

Модный «векторный» поиск хорош, но теряет полнотекстовую составляющую, которая все еще важна. Егор расскажет, как они объединяли вместе два поиска: дообучали модель на датасете результатов, учитывали релевантность кликов, использовали дополнительную модель для ранжирования.

Встречаемся 2 и 3 декабря на HighLoad++ 2024 в Москве 🖐️

✅ Программа конференции, расписание и билеты на сайте

На предстоящей HighLoad++ 2024 пройдёт конференция PHP Russia 2024 💥

Поговорим о тестировании, качестве, лучших практиках, архитектуре и фреймворках, добавим хардкора.

В программе PHP Russia 2024 вас ждут 16 докладов, которые распределены по таким секциям:

🟣AI/ML + PHP
🟣Производительность
🟣Devops под PHP
🟣Лучшие практики
🟣Новые крутые либы
🟣Альтернативные рантаймы
🟣Новые фреймворки
🟣Опыт больших сложных проектов на PHP

Встречаемся 2 и 3 декабря в Москве на HighLoad++ 2024, в рамках которой пройдёт PHP Russia 2024, присоединяйтесь 🖐️

✅ Подробная программа конференции и билеты на сайте