HighLoad++
6.31K subscribers
2.41K photos
160 videos
16 files
2.27K links
Официальный канал профессиональной конференции разработчиков высоконагруженных систем

Saint HighLoad++ 2026 пройдёт в июне в Санкт-Петербурге: https://highload.ru/spb/2026

Общаемся в чатике https://xn--r1a.website/HighLoadTalks
Download Telegram
Празднуем 10 лет Kubernetes на Saint HighLoad++ 2024

На связи Александр Белоцерковский, член ПК HighLoad++, директор по технологическому евангелизму, СберТех.

10 лет назад, в июне 2014 года, на GitHub был отправлен первый коммит в Kubernetes – 250 файлов, 47 тысяч строчек разнообразного кода. Kubernetes тогда отвечал на вопрос: а как же управлять всем тем богатством контейнеров, которое увеличивалось вслед за мощностью железа и требовательностью в производительности от пользователей сервисов?

Сегодня Kubernetes называют новой операционной системой. Я вижу в этом аккуратную метафору к пользовательскому опыту. Десять лет назад, чтобы собрать и запустить проект, нужно было основательно подготовиться. Пять лет назад – немного постараться. Сегодня же можно зайти на CNCF Tech Radar и собрать Cloud Native экосистему, компоненты которой будут так или иначе поддерживать друг друга. Бери, что нужно, собирай, как нужно, подключай куда нужно.

Как же операционная система под названием Kubernetes повлияла на индустрию и HighLoad++?

Я полюбопытствовал и изучил программы за прошлые годы:

HighLoad++ 2014 – как скрестить Docker & Puppet?

HighLoad++ 2015 – уже два доклада с фокусом на Docker и высокопроизводительные системы, опыт разработки.

HighLoad++ 2016 – пять докладов. Становится больше продакшена, больше миграций, нить мысли – «как мы это пережили и сделали эффективнее»

HighLoad++ 2017 – Docker как тема уходит с радаров, переходя на плато продуктивности, вместо него – продакшен на Kubernetes.

... прыжок во времени ...

Saint HighLoad++ 2022 – мультитенантный Kubernetes (запись доклада, посмотрите)

Saint HighLoad++ 2023 – перенос легаси-приложений в Kubernetes (и здесь запись доклада)

Kubernetes значительно повлиял на то, как в индустрии решают задачи и породил собственные тренды. Мы на HighLoad++ любим тренды и будем много говорить о них в Санкт-Петербурге:

1. Open Source: Kubernetes был внутренним проектом Google, который они разработали и решили выложить в Open Source. Осмелюсь сделать вывод, что Kubernetes вместе с Tensorflow стали одним из мощнейших стимулов развития Open Source, открыв путь к новым бизнес-моделям, а вместе с этим – новым проблемам. Об этом в подробностях в докладе от Николая Никитина (ИТМО) «Как обеспечить воспроизводимость научных исследований в AI/ML с помощью Open Source?»

2. Оркестрация контейнеров: Kubernetes стал стандартом для управления контейнеризированными приложениями. В 2014 на HighLoad++ рассказывали о том, как скрестить Docker с Puppet, в 2024 Максим Чудновский из СберТех с солидным докладом «Как мигрировать тысячи сервисов между любыми дистрибутивами Kubernetes без единой правки чего-либо». 

3. Эволюция экосистемы и платформы: За 10 лет экосистема Kubernetes значительно выросла. Стало доступно множество инструментов для мониторинга, управления конфигурациями, автоматизации CI/CD и обеспечения безопасности. Компании разрабатывают на основе или с помощью Kubernetes платформы. Kubernetes дал стимул этой теме и говорят, что 70% платформ будет Cloud Native. И платформы вышли за пределы темы Kubernetes — и об этом нам расскажет Данил Валгушев из Яндекса «Как платформа A/B-тестов Яндекса превратилась в решение для всего Интернета — Varioqub».

4. Облачные сервисы и Kubernetes: Практически все крупные облачные провайдеры предлагают управляемые сервисы Kubernetes (Kubernetes as a Service), делая его ещё более доступным и привлекательным для разработчиков. Но, если Kubernetes изначально cloud native, что делать, если хочется сделать managed сервис из того, что не было разработано или адаптировано для облака? Об этом Дмитрий Некрылов из Яндекс360, как они Jitsi под большие нагрузки в облаке готовили.

5. Эксперименты: Куда без экспериментов! В самом начале пути Kubernetes и базы данных никто не ставил в одном предложении, сегодня обсуждают паттерны эффективности. ML? Пожалуйста. Возможно, и квантовые вычисления подоспеют. В облаке же уже есть симуляторы, например, от Cloud. ru. 

Приходите праздновать день рождения Kubernetes в Санкт-Петербурге 😎
🎉7👍5🔥3
Друзья, знакомьтесь с докладами из секции «BigData и машинное обучение», в которых спикеры поделятся опытом и расскажут:

- как распределенная команда дата-сайентистов, дата-инженеров и автоматизаторов за несколько лет изменила подход к системе Collection, повернув ее вектор в сторону заботы о клиентах и сотрудниках;

- какой путь прошли во время миграции с вендорного SAS DI на OpenSource-экосистему из Airflow + dbt.

⤵️

1) Collection. Темная сторона Data Science. Ольга Кравченко (Газпромбанк.Тех)

Взыскание банком долга может выглядеть как консервативный процесс. Но прогресс не остановить — ML и здесь. Ольга расскажет про модельный скоринг, возможно ли подобрать идеальный мэтч между оператором и клиентом, почему не ко всем должникам приезжают домой, а также о будущем этой области.

2) Реновация ETL. Как мы подменяли монолит, обслуживающий 6000+ потоков данных. Антон Стеблянко (X5 Tech)

Последние пару лет в IT для многих проходят под знаком «импортозамещение». Не остаются в стороне и ETL-процессы — важная деталь в деятельности любой организации. Из доклада Антона вы узнаете про то, как эффективно и безболезненно перевести ETL крупной организации на «новые рельсы».

До скорой встречи на Saint HighLoad++ 2024 💥

Расписание конференции на сайте
Please open Telegram to view this post
VIEW IN TELEGRAM
Чаще всего мы (программисты) заняты решением проблем и выпутыванием себя из приключений. Мы постоянно сталкиваемся с тем, что наши средства ведут себя не так, как мы рассчитываем, и с тем, что техническое задание не содержит в себе нужных деталей.

Доклады секции «Проблемы и приключения» из программы Golang Conf 2024 для тех, кто хочет вместе со спикером всплакнуть над нашей нелегкой судьбой.


1) Fullstack v2: я научу вас писать UI на Go. Илья Глухов (Независимый эксперт)

Как на Go написать UI приложения? gopherjs, полузаброшенный gomobile, обертки над Qt/GTK и прочими ncurses. А чтобы общий код для браузеров, мобилок и десктопа? В докладе будет разобран рабочий пример кросс-платформенного UI на Go.

2) Как сделать тесты надежными: property-based-тестирование и fuzzing на практике. Николай Климов (VK, ВКонтакте)

Property-based-тестирование существует уже более 20 лет, но используется довольно редко. А зря, ведь этот подход может избавить от необходимости придумывать кучу тест-кейсов для юнит-тестов. Николай расскажет, чем этот подход отличается от фаззинга и как его применить в вашем проекте.

3) Как Temporal помогает не потерять вашу пиццу. Антон Цитульский (Uzum Tezkor)

Писали когда-нибудь стейт-машину на Go? Пытались делать ее отказоустойчивой? Зря, все уже написано до нас: можно взять Temporal. Слушаем доклад о том, как его применять!

Встречаемся на Saint HighLoad++ 2024, в рамках которой пройдёт Golang Conf 2024 🖐️

Расписание конференции на сайте
Please open Telegram to view this post
VIEW IN TELEGRAM
Два ифа и четыре помолимся богу

315 подкаст The Art of Programming – заключительный выпуск трилогии подкастов от членов ПК HighLoad++. В этот раз Антон Черноусов вместе с Евгением Россинским, CTO ИВИ, погрузились в дивный мир продакшена видеоконтента для диванчиков.

В процессе не забыли про доклады на Saint HighLoad++ 2024, а именно:

🟣Бурно обсудили грязные хаки нейронных сетей, которыми насладимся в докладе Евгения Кокуйкина — «Атаки на AI-чат-боты и методы защиты»;

🟣Вспомнили доклад Максима Лапшина про то, как реально что-то сделать на дрянном или не совсем дрянном железе — «Нейросети на китайских камерах: дешево и задорно»;

🟣Подсветили необходимость и сложность работы с метриками на конечных устройствах и доклад Алексея Шпагина — «Измеряем качество видео и звука в видеозвонках на реальных девайсах»

Подписаться в iTunes

Слушать ВКонтакте

Слушать на Яндекс Музыке
Please open Telegram to view this post
VIEW IN TELEGRAM
Про IT в промышленности много стереотипов. Что там всё устарело, медленно, забюрократизировано и все ходят в чёрных костюмах с галстуками. А что там происходит на самом деле, расскажет директор по развитию ИТ в ЕВРАЗе Максим Феопентов.

Много интересных кейсов связано с применением ИИ. Например, интеллектуальная видеоаналитика для оценки процента шлака в ковше и качества заготовки. С помощью ИИ удалось достичь точности 99,98% и низкого показателя ложных срабатываний. Нейросеть пропускает брак лишь в 0,02% случаев. Конечно, благодаря этому выросло качество продукта и появился объективный инструмент анализа. Система помогает человеку обнаружить отклонения.

Подробности в нашей свежей статье: https://habr.com/ru/companies/oleg-bunin/articles/822841/
👍1
Программисты, тимлиды и те, кому интересно, как упростить себе дебаг, собрав подходящие ошибки для проекта, приходите на доклад Ильи Сергунина «Регламент для работы с ошибками в Go», который входит в секцию «Лучшие практики, Go-way»

Обработка ошибок есть в любом приложении, но эта задача только кажется простой. Ошибка может быть строкой, структурой, интерфейсом, содержать стек, другую ошибку…

Илья предложит регламент, позволяющий легко определить нужный подход в зависимости от типа приложения и требований к обработке ошибок.

До скорой встречи на Golang Conf 2024, которая пройдёт в рамках Saint HighLoad++ 2024 🖐️

Расписание конференции на сайте
Please open Telegram to view this post
VIEW IN TELEGRAM
2
Разработчики C++, разработчики фронтенда, веб-разработчики и все, кому интересно узнать больше про то, как сайты открываются в браузере – этот доклад для вас:

Механизм пререндера в браузерах. Алексей Кузнецов (Chromium contributor и энтузиаст)

Highload — это не только бэкенд, но и браузеры, отображающие наши сайты. Алексей расскажет, как на низком уровне в современных браузерах организован «пререндер» — механизм, с помощью которого браузеры делают вид, что наши сервисы быстрее, чем на самом деле.

До скорой встречи, друзья 🙌

Расписание конференции на сайте
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥4👍3
🐘 Вечеринка от Postgres Professional — обсуждение патчей PostgreSQL, демонстрация решений и розыгрыш мерча

В честь предстоящего июльского коммитфеста PostgreSQL на Saint HighLoad++ пройдет вечеринка от разработчика самой популярной российской СУБД — компании Postgres Professional.

В шатре Postgres Professional:

✔️ Обсудим патчи в Postgres — опытом работы поделятся эксперты компании, в том числе Major Contributors Олег Бартунов и Федор Сигаев;

✔️ Покажем решения на базе Postgres Pro: интегрированную в ядро технологию BiHA (Built-in High Availibility) для встроенной отказоустойчивости СУБД и новую распределённую реляционную СУБД Shardman для крупнейших инсталляций в десятки и сотни ТБ.

Вы не просто увидите, а опробуете технологии в деле!  На стенде можно отключить шард СУБД Shardman или узел кластера Postgres Pro Enterprise BiHA и посмотреть, как системы справляются с перераспределением нагрузки.

✔️ Разыграем мерч: подходите к шатру (схема прохода — на карте конференции), сканируйте QR-код, правильно отвечайте на вопросы в боте и выигрывайте призы!

Ждем вас на PostgreSQL Pre-Commitfest Party! А если вас не будет на площадке, смотрите онлайн 🖐️

Узнать подробнее и зарегистрироваться для просмотра трансляции можно на сайте
Please open Telegram to view this post
VIEW IN TELEGRAM
3👍2🔥1
Зачем делать прожорливый софт? Потому что мир не идеален!

Любая крупная система состоит из множества отдельных подсистем. Как их все контролировать? По закону Мёрфи — всё, что может пойти не так, пойдет не так. Поэтому распределённые системы тоже когда-нибудь сломаются.

Как при всём при этом облегчить себе жизнь? Расскажет руководитель группы разработки IaaS в облачной платформе VK Cloud Георгий Меликов. Он поделится своим опытом создания софта с self-healing на принципах closed loop automation. Это основная причина высокой стабильности K8s. И сравнит его с привычным в индустрии подходом event-based.

И даже честно расскажет об увеличении накладных расходов для спокойного сна ночью.

Подробности в статье: https://habr.com/ru/companies/vk/articles/821021/
👍2
Как при помощи локального ИИ и без ручного написания кода создать, протестировать и задокументировать прототип платёжной системы на Go и Java? Расскажет Алексей Цветков в своём докладе «Как воспитать себе помощника: применение локального ИИ для разработки», который входит в секцию «Go и AI»

Трудно делать содержательный доклад на горячую тему: ожидания высоки, готовность аудитории низкая. И Алексей справился блестяще! Это интересный и полезный доклад, рекомендован всем, кого интересует практическое применение AI в повседневной работе.

Встречаемся уже через 3 дня на Saint HighLoad++ 2024, в рамках которой пройдёт Golang Conf 2024 🖐️

Расписание конференции на сайте
Please open Telegram to view this post
VIEW IN TELEGRAM
Друзья, это начало новой HighLoad-традиции!

Теперь каждый участник конференции может заработать уникальный приз — кастомную матрешку. Этот приз будет символизировать ваш личный вклад в развитие  HighLoad++ 🔥

Как участник влияет на конференцию? Он дополняет выступление спикера своими вопросами. Задавайте вопросы после докладов, и за самый интересный вопрос мы и подарим одну из наших матрёшек. Выбирая самый интересный, учтем вопросы и от онлайн-участников.

Для каждой конференции мы будем готовить новый дизайн матрешки. Так что вы сможете собрать целую коллекцию!

Будьте активны, задавайте вопросы спикерам и получайте сувениры для своей коллекции 😎
🔥7
24 июня в 17:50 в зале Башня ожидается аномальное явление 😎

Вместо привычного технического хардкора, вас ждет секретный доклад от Александра Кибасова, ведущего методиста Русского музея и историка искусств, лектора образовательного пространства Doctrina et Nobiles.

Doctrina et Nobiles — проект о самых разных видах искусства. Здесь делятся интересными историями и помогают взглянуть на привычное по-новому.

Но о чем может рассказать искусствовед на HighLoad++? Пока секрет. Приходите и узнайте сами.
🔥61😢1👌1
24 июня на Saint HighLoad++ 2024 пройдёт встреча с программными комитетами AiConf, Industrial++, Golang Conf 2024

Это встреча как для потенциальных спикеров, так и для тех, кому интересно узнать о предстоящих конференциях напрямую от создателей программ. Приходите, задавайте вопросы, узнавайте актуальные тематики наших новых конференций – AiConf и Industrial++

📍Вас будут ждать в лаунж-зоне Онтико в 19:00
Формат встречи: неформальный

Приходите, будет интересно!
🔥1
This media is not supported in your browser
VIEW IN TELEGRAM
7👍2😢2
This media is not supported in your browser
VIEW IN TELEGRAM
👍1
🚀 Доброе утро, друзья! Мы рады объявить о старте профессиональной конференции для разработчиков высоконагруженных систем Saint HighLoad++ 2024, которая пройдет сегодня и завтра в Санкт-Петербурге!

Как это будет?

🔹Сегодня регистрация открывается в 8:00. Завтра в 8:30

🔹Продолжительность мероприятия - два полных дня. Первый доклад начинается ежедневно в 10:00, а последний заканчивается в 18:40 в первый день и в 19:10 - во второй. Сегодня после окончания основной программы состоится afterparty :)

🔹Длительность докладов 40-50 минут + перерыв на 10-20 минут для проветривания залов.

👉 Расписание на два дня здесь: https://highload.ru/spb/2024/schedule

😉 Ждём вас! Открытие конференции уже в 9:30
🔥171
Регистрация уже началась

Для того, чтобы пройти её подготовьте, пожалуйста, любой документ, удостоверяющий личность, или заранее распечатанный билет.

☕️ После регистрации вы сможете выпить чашечку бодрящего кофе (или чая, на выбор), чтобы зарядиться энергией и окончательно проснуться.
📋 Ловите расписание конференции на два дня
https://highload.ru/spb/2024/schedule
👍1
This media is not supported in your browser
VIEW IN TELEGRAM
🔥5
🖐 Друзья, в 10:00 начинаются первые доклады Saint HighLoad++ 2024:

🏰 «00 Зал - Башня». Тернистый путь к единому хранилищу метрик экосистемы. Филипп Бочаров (МТС Диджитал)

Подробный технический доклад про построение высоконагруженной системы мониторинга в огромной продуктовой экосистеме (более 300 продуктов). Мы любим хайлоад за то, что он проверяет технические решения практикой. Если вы построите мониторинг у себя также, то как минимум он будет работать.

🔘 Зал «08 Шатер Голубой». Видишь суслика? А он есть! Как переехала на Go Главная страница Яндекса. Вячеслав Круглов (Яндекс)

Миллионы людей, постоянно пользуются Главной страницей Яндекса и даже не подозревают, что ее бэкенд «без шума и пыли» перестроили с Perl на Go. Вячеслав расскажет, как переписать все так, чтобы пользователи ничего не заметили, где Go сыграл ключевую роль и какие плюсы это принесло.

🔹 «03 Зал Синий». Запуск заданий по расписанию на бэкенде. Андрей Зарубин (Райффайзен Банк)

Кажется, ну что такого — запустить выполнение задачи по крону? Но вместе с Андреем вы сможете копнуть на полный штык и рассмотреть длинный путь от запуска задачи на локальной машине до исполнения в распределенной среде. Хорошая возможность систематизировать свои знания.

🟣 «04 Зал Красный». Как оптимизировать обработку звука на ограниченных в ресурсах устройствах и не потерять в качестве. Михаил Чуриков (SberDevices)

Умные колонки работают на экономных ARM-процессорах, поэтому код для них нужно писать аккуратно. Михаил расскажет, как на чистом Си написал библиотеку для работы со звуком, чтобы колонка могла одновременно быть и умной, и круто звучащей.

🟢 «06 Зал Зеленый». Реновация ETL. Как мы подменяли монолит, обслуживающий 6000+ потоков данных. Антон Стеблянко (X5 Tech)

Последние пару лет в IT для многих проходят под знаком «импортозамещение». Не остаются в стороне и ETL-процессы — важная деталь в деятельности любой организации. Из доклада вы узнаете про то, как эффективно и безболезненно перевести ETL крупной организации на «новые рельсы».

🔵 Зал «09 Шатер Фиолетовый». Микросекьюрити в продуктовых микросервисах. Алексей Морозов (ecom.tech)

Это доклад о ключевых уязвимостях в продуктовых микросервисах. Тут будут рассмотрены разные варианты уязвимостей и защиты от них — на реальных примерах из жизни докладчика. Этот доклад будет полезен любому разработчику, а особенно — работающему с высоконагруженными системами.

🔸 Зал «07 Шатер Оранжевый». GraphQL: зачем на самом деле он нужен. Apollo Federation — дар бога. Олег Коровин (Ecom.tech)

Множество больших систем создаются с оглядкой на GraphQL или OpenAPI. И в этом докладе вы сможете чуть глубже погрузиться в GraphQL с использованием Apollo Federation. Затронете вопросы безопасности и сможете на ранних стадиях внедрения решить ряд типовых вопросов со своим отделом ИБ.
4🔥1