Сегодня рассказываем про доклады по базам данных, не вошедшие в блоки «Кластеризация СУБД» и «Внутрянка БД».

Здесь вы услышите честное сравнение GQL и OpenApi, увидите, что GQL — это не какая-то магия и что это не панацея, а технология со своими плюсами и минусами. А также узнаете опыт интегрирования ClickHouse в ядро BI-платформы Visiology для использования в кейсах Self-Service-аналитики и ad-hoc-запросов, где пользователи могут самостоятельно загружать и анализировать большие объемы данных, не привлекая разработчиков.

1) GraphQL: зачем на самом деле он нужен. Apollo Federation — дар бога. Олег Коровин (ecom.tech)

Множество больших систем создаются с оглядкой на GraphQL или OpenAPI. И в этом докладе вы сможете чуть глубже погрузиться в GraphQL с использованием Apollo Federation. Затронете вопросы безопасности и сможете на ранних стадиях внедрения решить ряд типовых вопросов со своим отделом ИБ.

2) ClickHouse не тормозит в Self-Service BI: как мы достигли этого в Visiology. Никита Ильин (Visiology)

Хайлоад — это не всегда миллионы запросов. Порой аналитик и один запрос может написать такой, что его обработка сожрёт все ресурсы. А если систему нужно сделать такой, чтобы эти запросы могли писать даже непрофессиональные аналитики, а обычные сотрудники? Об этом — в докладе Никиты.


Ждём вас 24 и 25 июня на Saint HighLoad++ 2024 🙌

✅ Программа конференции, расписание и билеты на сайте

Приглашаем спикеров на Industrial++ — первую профессиональную конференцию для разработчиков, инженеров и IT-экспертов всего реального сектора.

Если у вас есть опыт, который может быть полезен для участников конференции, но вы сомневаетесь в актуальности темы — подключайтесь на онлайн-встречу с Программным комитетом.

6 июня (четверг)
13:00 (МСК).

✅ Участие в онлайн-встрече свободное, нужно только зарегистрироваться здесь

На встрече обсудим потенциально интересные темы, новости и планы. Поговорим о том, что болит и волнует, обменяемся идеями. И конечно, участники ПК ответят на все ваши вопросы об участии и организации конференции
⠀
✅ Заявки на доклады принимаем до 30 июня на сайте

Мы определили перечень тем, которые считаем наиболее актуальными для сообщества. Конечно, мы ими не ограничимся при рассмотрении заявок, но предпочтение будет отдано докладам на эти темы:

- Масштабируемые и отказоустойчивые архитектуры.

- Работа с данными, СУБД, системы хранения.

- Инфраструктура производственной компании.

- DevOps в производственной компании.

- ML и AI в производственных компаниях.

- Безопасность в производственной компании.

- Интернет вещей, индустрия 4.0 в промышленности.

- Российские разработки, импортозамещение.

- Культура разработки в производственных компаниях, инженерная культура.

- Продакт-менеджмент в производственной компании

Ждём вас в онлайн 6 июня 🙌

В докладах из сегодняшней подборки спикеры расскажут о построении инфраструктуры для работы высоконагруженной системы или команды, разрабатывающей такую систему. В блок "Инфраструктура" собраны доклады и о финансовой составляющей capacity planning, о построении хранилища метрик и даже о масштабировании системы хранения секретов.

1) Как мигрировать тысячи сервисов между любыми дистрибутивами Kubernetes без единой правки чего-либо. Максим Чудновский (АО "СберТех")

Постараемся обойтись без спойлеров: Максим и команда получили на вход очень сложную и тяжёлую задачу и успешно её решили, причём крайне остроумным способом. В конце доклада вас ждёт open source-анонс.

2) Масштабирование системы хранения секретов на базе HashiCorp Vault. Виктор Корейша (Ozon)

Чтобы отдавать сотни тысяч секретов и укладываться в SLA, ребятам из Ozon пришлось хорошенько поработать с Hashicorp Vault. Бэкендом выбрали etcd, словили проблемы из-за бага, поправили и законтрибьютили. Научили vault работать в режиме мультимастер — решили проблемы с кэшами и отмасштабировались.

3) Укрощаем хайлоад из тысячи разработчиков и разрабатываем управляемую систему деплоя. Павел Шерепо (VK, ВКонтакте)

Доклад о том, как построить релизный процесс в крупной компании. Пригодится всем, у кого высокая частота релизов или надо собирать большое количество MR (PR) кода в релизы. Еще всегда очень интересно посмотреть на опыт соседей — этот доклад дает такую возможность

4) Тернистый путь к единому хранилищу метрик экосистемы. Филипп Бочаров (МТС Digital)

Подробный технический доклад про построение высоконагруженной системы мониторинга в огромной продуктовой экосистеме (более 300 продуктов). Мы любим хайлоад за то, что он проверяет технические решения практикой. Если вы построите мониторинг у себя так же, то как минимум он будет работать.

5) Кластеризация с помощью etcd. Петр Растегаев (AGIMA)

Etcd является популярным инструментом при реализации распределённых кластерных приложений, и этот доклад поможет узнать, как правильно его использовать для подобных задач и чему стоит уделить особое внимание.

6) Capacity Planning в Ozon. Анатолий Межебицкий (Ozon)

Ozon построил достаточно точную систему прогнозирования потребностей в железе на основе предыдущего потребления, бизнес-метрик и продуктовых планов. Вы узнаете, как заказывать железо с минимальным запасом и не ошибаться.


Ждём вас 24 и 25 июня на Saint HighLoad++ 2024 🙌

✅ Программа конференции, расписание и билеты на сайте

Друзья, мы начинаем знакомить вас со спикерами конференции Golang Conf 2024, которая пройдёт в рамках Saint HighLoad++ 2024. Берите на заметку 📝

На докладах секции Инструменты на Go и для Go вы:

- рассмотрите задачу реализации ограничения количества запросов на бэкенд в промежуточном сервисе в условиях высокой нагрузки;
- узнаете почему SQLC бережет время и нервы разработчика за счет кодогенерации типобезопасного кода для работы с SQL;
- обсудите непривычный метод оптимизации производительности.

1) Быстро — не всегда хорошо: рейтлимиты в мультикластерном окружении. Дмитрий Виноградов (Wildberries)

Для контроля входящего RPS в сервисах применяют rate limit. Вот только он реализуется или как простой in-memory-счетчик, или более продвинуто — как счетчик во внешнем K/V. В докладе Дмитрий пошел в своей работе дальше — к более сложным решениям.

2) Как ускорить программу, не переписав ни строчки: PGO для Go-разработчиков. Кирилл Кузин (Vi.Tech)

Написание быстрого кода — это одна из самых сложных задач при создании высоконагруженного приложения. Кирилл покажет другой путь: используя автоматический анализ работы вашего приложения, Go может сам принять лучшие решения об оптимизации кода. И расскажет, как именно компилятор это делает.

3) Меньше кода, больше результата: применяем SQLC для работы с БД. Евгений Конечный (Uzum Tezkor)

Кодогенерация — как много скрыто в этом слове для разработчика. В своем докладе Евгений покажет, как, используя этот инструмент, можно облегчить боль при работе с БД. Возвращаясь к основам — к написанию SQL-запросов — можно получить производительный, корректный и типобезопасный код на Go.


До встречи 24 и 25 июня в Санкт-Петербурге 🖐️

✅ Программа конференции и билеты на сайте

В докладах блока «Data Engineering» вас ждёт изнанка работы команд, работающих с огромным количеством данных: инфраструктура, работа в нескольких дата-центрах, построение платформ хранения данных.

1) Как мы сделали собственный Software-Defined Storage для публичного облака Cloud.ru. Сергей Лысанов (Cloud.ru)

Глубоко технический доклад про реализацию собственного хранилища в условиях больших нагрузок и критических систем вокруг. Если вам нравится разбираться во внутрянке таких систем и специфике хранения данных — этот доклад для вас.

2) Highload MLOPs: ускорение и автоматизация. Павел Николаев (Альфа-банк)

Доклад будет интересен широкой публике ML-разработчиков. Из доклада вы узнаете, как в условиях ограниченных вычислительных ресурсов может выживать большая DS-команда. Также вы узнаете, как на небольших серверах оптимально крутить не менее 300 моделей.

3) Опыт перевода банковского продукта в риалтайм. Владимир Ловцов, Владимир Аврамов (Холдинг Т1)

Доклад-исследование, доклад-детектив. Как на больших масштабах правильно принимать решения, правильно принимать технологии и справляться с рисками и интеграционными проблемами. Рекомендуется для тех, кто любит много технологий.

4) Streaming Processing на данных BigData для рекламных кампаний МТС. Евгений Ненахов (МТС Диджитал)

Вы узнаете, как делать процессинг очень больших потоков данных в режиме реального времени из Kafka на голой Java с использованием минимального количества железа.

5) Выбор стримингового фреймворка в 2024 году. Максим Буйлин (Т-Банк)

Spark, Flink, Nifi или что-то другое — какой стриминговый фреймворк выбрать в текущем году? Из доклада вы узнаете основные критерии для выбора, на что обращать особое внимание. И все это на основе практического опыта.


До скорой встречи на Saint HighLoad++ 2024 🙌

✅ Программа конференции и билеты на сайте

ML-модели требуют всё больше и больше ресурсов, и задача экономии железа (и батарейки) становится всё более и более актуальной. Об этом все пять докладов блока об экономии CPU/GPU.

1) Нейросети на китайских камерах: дешево и задорно. Максим Лапшин (erlyvideo)

Flussonic уже много лет строит решения видеоаналитики. С точки зрения программиста и продакта, Максим расскажет о своем опыте запуска нейросетей на камерах Rockchip. Это одни из первых доступных камер стандартного форм-фактора и доступной цены, пригодных для запуска нейросетей.

2) Мир будущего: управление устройствами с помощью жестов. Александр Нагаев (SberDevices)

Доклад Александра интересен тем, что обращается к корням. Из него вы узнаете, как в современнейшей задаче распознавания динамических жестов можно применить нейросеть, разработанную ещё в XX веке!

3) Эффективная ML-обработка видео в web-браузере для видеоконференций SberJazz. Дмитрий Балиев (SberDevices)

Работа в браузере — одна из самых сложных задач для нейросетей, работающих с медиаконтентом, особенно для сервиса видеоконференций, которому нужно справляться в real-time. Будет интересно узнать о движке инференса нейронок в SberJazz тем, кто занимается инференсом нейросетей и edge computing.

4) Как оптимизировать обработку звука на ограниченных в ресурсах устройствах и не потерять в качестве. Михаил Чуриков (SberDevices)

Умные колонки работают на экономных ARM-процессорах, поэтому код для них нужно писать аккуратно. Михаил расскажет, как на чистом Си написал библиотеку для работы со звуком, чтобы колонка могла одновременно быть и умной, и круто звучащей.

5) И не менее интересный доклад в рамках темы «Экономия CPU/GPU при инференсе DL-моделей» от Ольги Зайковой (Яндекс) про то, Как реклама Яндекса генерирует GPT-нейросетями заголовки для 3 миллиардов объявлений, используя 22 GPU.

Ольга расскажет, как они масштабировали ML-решение, генерирующее заголовки рекламных объявлений. Генерация одновременно использует тысячи процессорных ядер и десятки GPU, и нужно постараться, чтобы нигде не случился bottleneck.

Ждём вас 24 и 25 июня на Saint HighLoad++ 2024 🙌

✅ Программа конференции, расписание и билеты на сайте

Языки программирования бывают двух сортов: те, которые все ругают, и те, с которыми никто не работает. GO из тех, которые все ругают. Несмотря на то, что мы не можем контролировать процесс улучшения языка, потому что его изменениями занята Core Team, нам никто не запрещает подумать о том, как сделать GO лучше.

Секция докладов «Идеальный язык» предназначена для тех, кто ищет ответы на экзистенциальные вопросы бытия — какой язык окажется для нас самым лучшим?


1) В поисках идеального языка: чему Go стоит поучиться у Rust. Александр Кириллов (Evrone)

В отличие от Go, Rust — язык действительно новый. В первую очередь потому, что предлагает новые концепции, такие, например, как контроль владения. Вопрос: выиграл бы Go как инструмент, если бы эти концепции поддерживались и в нем? Поищем ответ вместе с Александром.

2) Мир Golang глазами C++-разработчика: так ли уж плох этот наш Go? Никита Деревянко (Яндекс Маркет)

Идеального языка программирования не существует, языки бывают плохие и очень плохие. И к какой категории относится конкретный язык, зависит от точки зрения. Давайте посмотрим на Go с точки зрения С++-разработчика — это будет интересно и наверняка поучительно.

3) Расширяем Go: зачем и как строить свое надмножество языка. Илья Горкун (Независимый эксперт), Эдгар Сипки (Ozon Банк)

Мы не просто рассмотрим синтаксические новшества и транспиляцию, но и откроем дверь в мир возможностей расширения вашего кода, а также узнаем, как новый инструментарий может обогатить вашу работу с Go, дав возможность внедрения «сахара» по вашему вкусу и без потери производительности.


Встречаемся на Saint HighLoad++ 2024, в рамках которой пройдёт Golang Conf 2024 🖐️

✅ Программа конференции и расписание на сайте

⚡️ Друзья, на Saint HighLoad++ 2024 все офлайн-билеты проданы! Но у вас еще есть возможность присоединиться к нам онлайн.
⠀
Для онлайн-участников будут доступны:
⠀
- Все презентации спикеров
- Видеозаписи всех докладов
- Трансляция всех докладов. Митапы и воркшопы не транслируются️
- Вопросы к спикерам в Telegram-чате
- Доступ к трансляции для одного пользователя
⠀
✅ Купить онлайн-билет можно на сайте
⠀
Ждем вас в эфире 24 и 25 июня 🙌

Сегодня рассказываем про доклады о построении сетевой инфраструктуры как в отдельно взятом дата-центре, так и во всём интернете в целом.

1) Ищем кратчайший путь в Интернете. Алексей Учакин (EdgeЦентр)

Как известно, в Интернете нет географии, зато есть топология. А это значит, что кратчайшим маршрутом между вашим приложением и пользователем вовсе не обязательно окажется прямая. На докладе Алексея будем разбираться: из чего складывается задержка и почему это важно; что влияет на путь трафика от клиента до приложения и обратно; при чём тут облака, DDoS-защита и CDN; что можно сделать, чтобы задержка стала меньше.

2) Автоматизация сетевой инфраструктуры ЦОД. Анна Кошк (Ростелеком-ЦОД)

Увлекательное путешествие в топологию одного из старейших ЦОДов и всю ту программную автоматику, которая используется для конфигурирования «железа» и построения сетевой карты.

До скорой встречи на Saint HighLoad++ 2024 🙌

✅ Программа конференции, расписание и онлайн-билеты на сайте

Проекты и решения на Go – следующая секция из программы Golang Conf 2024. Приходите на доклады секции, чтобы:

- Погрузиться в тему Интернета вещей.
- Рассмотреть недостатки проекта opentelemetry, с которыми можно столкнуться при развитии пайплайна трейсинга в Авито, и узнать, как их решить.
- Узнать, как можно использовать Go в современных DAW.
- Послушать про схему, при которой в ходе переезда два бэкенда — Perl и Go — работали параллельно.

1) Видишь суслика? А он есть! Как переехала на Go Главная страница Яндекса. Вячеслав Круглов (Яндекс)

Вячеслав расскажет, как переписать все так, чтобы пользователи ничего не заметили, где Go сыграл ключевую роль и какие плюсы это принесло.

2) Go в умном доме: опыт успешной интеграции. Алексей Хить (@AlexxIT)

Узнайте, как расширить возможности Xiaomi Gateway 3 для Home Assistant с помощью Go. Алексей представит уникальный подход к интеграции, сохраняющий оригинальную прошивку устройства и добавляющий новые функции. Погрузитесь в мир Open Source и разработки embedded ПО.

3) Opentelemetry и эволюция распределенного пайплайна трейсинга в Авито. Сергей Ларионенко (Авито)

Opentelemetry — де-факто стандарт современной телеметрии. Сергей расскажет о подводных камнях при построении распределенного пайплайна трейсинга, какие модули пришлось переписать, чтобы собирать 14 млн спанов в секунду с 2к микросервисов почти без потерь. Много деталей, очень интересно!

4) Rock’n’roll — это не работа: пишем обработку звука на Go. Эмиль Шарифуллин (Т-Банк)

Go годится не только для крудошлепства и перекладывания json'ов. На нем можно делать музыку! Приходите послушать доклад под аккомпанемент электрогитары и, возможно, вскоре вы и сами захотите стать Rockstar-разработчиком и запилить собственную гитарную примочку на Go.


🖐️ Встречаемся на Saint HighLoad++ 2024, в рамках которой пройдёт Golang Conf 2024

✅ Программа конференции и расписание на сайте

В этом году блок докладов «Кругозор» удался – здесь и мобильная связь, и квантовые вычисления, и телеметрия и даже биотех. Как делаются новые вирусы и при чем тут Data Science? Сегодня рассказываем про вторую часть докладов блока, первая часть здесь

1) Помогаем спасать жизни: как работает IT-команда крупнейшей российской фармы. Михаил Мартынов (BIOCAD)

Взгляд на IT-составляющую огромной фармкомпании глазами CIO. Совсем другой мир, если сравнивать с привычным нам айти. Приходите на доклад Михаила, чтобы послушать про самое сложное в цифровизации разработки и производства лекарств и посмотреть на привычную автоматизацию под совсем другим углом.

2) Как продакту инфраструктурного софта через телеметрию познать клиента. Аркадий Велькер (erlyvideo)

Как понимать профиль поведения клиента, если ваше ПО установлено у заказчика? Кажется, что никак. Но ребята разобрали эту задачу, решили ее и готовы поделиться своим опытом. А также рассказать о конкретных клиентских проблемах, которые они сумели решить без обращений клиентов.

3) Перспективы квантового компьютера в обозримое время. Михаил Ремнев (Cloud.ru)

Главный вопрос с квантами — как их применять в обычных задачах и бизнесе. Из доклада вы узнаете о том, что сегодня происходит, чем уникальны кванты на фоне остальных альтернативных вычислителей и как на практике помогают этому эмуляторы квантовых вычислителей, развернутые в облаке Cloud.ru.


До скорой встречи на Saint HighLoad++ 2024 😎

✅ Расписание конференции на сайте

Это история про то, что такое CI/CD. Про то, что это не просто написать пачку YAML'ов или собрать код при создании pull request и деплой по кнопке, а много чего ещё.

Тема, казалось бы, сильно заезжена, но дьявол, как известно, кроется в деталях. Поэтому поговорим про то, что остаётся за бортом, превращая ценный набор практик в карго-культ.

Head of Infrastructure and Security в Uzum Market Владимир Утратенко провёл антинаучное исследование на нерелевантной выборке, но вывод интересный: 25 из 30 DevOps-инженеров на собеседовании путают CI и CD.

✅ Подробности в статье: https://habr.com/ru/companies/oleg-bunin/articles/821867/