HighLoad++
6.31K subscribers
2.41K photos
160 videos
16 files
2.27K links
Официальный канал профессиональной конференции разработчиков высоконагруженных систем

Saint HighLoad++ 2026 пройдёт в июне в Санкт-Петербурге: https://highload.ru/spb/2026

Общаемся в чатике https://xn--r1a.website/HighLoadTalks
Download Telegram
⚡️Друзья, этой осенью приглашаем вас на AiConf 2024первую прикладную тематическую конференцию по Data Science!

Программа конференции будет строиться вокруг областей применения машинного обучения, а к выступлению приглашены спикеры не только из отраслей IT, Интернет и ECommerce, но также из реального сектора.

Основные темы конференции:

- работа со звуком;
- компьютерное зрение и генерация изображений;
- обработка естественного языка;
- рекомендательные системы и поиск;
- умные механизмы;
- разработка агентов;
- академические исследования;
- оптимизация использования железа и т.д.

До 15 июня принимаются заявки на доклады. Если вам есть чем поделиться, подавайте заявку на сайте

А 23 мая в 18:00 приглашаем на онлайн-встречу потенциальных докладчиков с Программным комитетом конференции, где обсудим актуальные темы для AiConf. Участие во встрече свободное, нужно только зарегистрироваться

Подробности о конфeренции AiConf на сайте
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥6👍31🤝1
Как добиться понятной и прозрачной работы от сложных распределённых систем? Особенно если количество обрабатываемых в единицу времени спанов постоянно растёт.

Своим опытом модернизации системы трейсинга поделится руководитель центра мониторинга и наблюдаемости в МТС Digital Филипп Бочаров. Он расскажет, как они мигрировали с Elasticsearch на Clickhouse для хранения распределенной трассировки. Какую экспертизу по Clickhouse наработали на собственных ошибках и как доработали Open Source-решения под свои нагрузки. Как добавили возможность выполнять аналитические запросы к Clickhouse и строить дашборды по данным трассировки.

Подробности в статье: https://habr.com/ru/companies/oleg-bunin/articles/814877/
Сегодняшняя подборка докладов входит в обучающий блок, который привлекает большое внимание на highload-конференциях. Здесь собраны разноплановые обучающие доклады, которые позволят вам структурировать свои знания в предметной области.

1) Запуск по расписанию на бэкенде: Счастливые часов не наблюдают? Андрей Зарубин (Райффайзен Банк)

Кажется, ну что такого запустить выполнение задачи по крону? Но вместе с Андреем вы сможете копнуть на полный штык и рассмотреть длинный путь от запуска задачи на локальной машине до исполнения в распределенной среде. Хорошая возможность систематизировать свои знания.

2) Лечим flaky тесты в режиме blackbox. Евгений Веретенников (Яндекс Вертикали)

Флакающие тесты сами по себе проблема, а в монорепе эта проблема проявляется особенно остро. Евгений расскажет, с помощью каких техник можно кратно уменьшить количество таких тестов.

3) Гайд по shift left security для архитекторов и разработчиков. Вацлав Довнар (Независимый эксперт)

Когда начинаешь заниматься внедрением безопасности в разработку, порой начинает казаться, что она сложнее самого продукта. Между тем, какие-то вещи можно сделать проще, какие-то можно не делать вообще, а о каких-то вы раньше могли и не задумываться. Об этом всём — в докладе Вацлава.

4) Enterprise deploy: почему это больно. Филипп Дельгядо (lekton.io)

Миграция данных и их схемы очень часто приносят нежданные проблемы. Филипп расскажет не только про совсем типичные случаи, но и про довольно сложные нюансы.


До встречи 24 и 25 июня в Питере на Saint HighLoad++ 2024 🙌

Программа конференции и билеты на сайте
Please open Telegram to view this post
VIEW IN TELEGRAM
3💯1
This media is not supported in your browser
VIEW IN TELEGRAM
Друзья, у нас готово финальное расписание конференции Saint HighLoad++ 2024 🙌

Ознакомиться с ним можно на сайте

Проходите, изучайте и планируйте свой день на конференции 😉
🔥4💯21
Построить нормальный быстрый релевантный поиск – не самая простая задача. Мы впервые собрали блок про архитектуру поиска из трёх докладов – полнотекстовый поиск, архитектура поискового движка отелей и быстрое обновление параметров.

1) Как работать с поставщиками на примере поиска доступных отелей. Иван Чернов (Островок!)

Доклад о методах построения архитектуры поиска не только в отельной индустрии, но и в других сферах, где сервис тесно взаимодействует с внешними сервисами. От кэширования до сложных алгоритмов балансировки запросов. Ценное знание для разработчиков, работающих с высокими нагрузками и ограничениями.

2) Обновления данных в поиске за секунды. Быстрообновляемые атрибуты в поисковом движке Ozon. Петр Портнов (Ozon)

Обычно от поисковых движков не требуется частое (и быстрое) обновление, но в современных e-Commerce-системах это не так: остатки на складах и цена могут меняться очень быстро. Пётр расскажет, как они в Ozon доработали для этого своё решение на базе Apache Lucene.

3) Быстрый поиск на Redisearch в ленте операций для миллионов пользователей. Илья Сиванев (Тинькофф)

Что приходит на ум первым, когда упоминают полнотекстовый поиск? ElasticSearch и Sphinx. Но как быть, когда они не могут решить ваших задач? Илья поделится опытом Тинькофф в использовании поиска на базе Redis.

Присоединяйтесь к нам на Saint HighLoad++ 2024 🙌

Программа конференции, расписание и билеты на сайте
Please open Telegram to view this post
VIEW IN TELEGRAM
Запись доклада Степана Родионова «Как сделать поиск в интернет-магазине» с конференции Saint HighLoad++ 2023

Степан дал практически пошаговую инструкцию, как можно развернуть рабочее решение для организации товарного поиска. Особую ценность данному материалу добавляет то, что для повторения не требуется серьезная разработка — основные компоненты доступны в open source.
💯1
Kubernetes сейчас запускают везде! Даже в критических информационных инфраструктурах, где с Интернетом очень плохо или его нет совсем.

Поэтому поговорим про установку самого популярного решения для запуска контейнеров там, где не ступал ни один пакет из публичной сети.

Лид Kubernetes-платформы Deckhouse в компании Флант Максим Набоких покажет целевую схему закрытого контура и расскажет нюансы работы инструментов для создания безопасной среды: https://habr.com/ru/companies/oleg-bunin/articles/798317/
👍1
Как организовать тестирование, если в архитектуре есть сервисы, выдерживающие 1 миллион RPS? Ответы на этот вопрос в сегодняшних докладах, составляющих отдельный блок об организации нагрузочного тестирования.

1) Непрерывное нагрузочное тестирование на интеграционных средах. Сергей Жебет (Совкомбанк Технологии)

В докладе будет разобран кейс реализации непрерывного нагрузочного тестирования. Сергей расскажет, как это ускорило вывод новых фич в прод.

2) Зачем в Ozon понадобилось написать свой gRPC-клиент для нагрузочного тестирования, и как мы это сделали. Павел Грибанов (Ozon)

Написать свой gRPC-клиент, ну да, ну да... а зачем это нужно? А если действительно нужно, как быть? В своем докладе Павел расскажет, как он справился с этой задачей и в процессе решил один из вопросов нагрузочного тестирования.

Встречаемся 24 и 25 июня в Санкт-Петербурге на Saint HighLoad++ 2024 🙌

Программа конференции и билеты на сайте
Please open Telegram to view this post
VIEW IN TELEGRAM
Приглашаем спикеров на AiConf 2024 – прикладную техническую конференцию по Data Science, которая пройдёт 26 и 27 сентября в Москве.

В программе конференции:

- CV, Generative models
- LLM, NLP
- Speech recognition
- RecSys & Search
- и многое другое!

Заявки на доклады принимаем до 15 июня.

🎁 Для всех наших спикеров предусмотрены бонусы: билет на конференцию; покроем ваши расходы на логистику, будь то поезд, самолет или автобус; предоставим вам номер в комфортабельном отеле рядом с местом проведения конференции; и, конечно, поможем подготовиться к выступлению.

Узнать подробнее об AiConf 2024 можно на сайте

Если у вас есть экспертный опыт, которым вы хотели бы поделиться, но сомневаетесь в актуальности темы доклада — приходите сегодня на онлайн-встречу с Программным комитетом конференции. На встрече обсудим потенциально интересные темы, новости и планы. Поговорим о том, что болит и волнует, обменяемся идеями. И конечно, участники ПК ответят на все ваши вопросы об участии и организации конференции.

Ждём вас в онлайн сегодня (23 мая) в 18:00 (Мск)

Также будем благодарны, если поделитесь этим постом с друзьями и коллегами, которым может быть интересна информация 💚

Участие в онлайн-встрече свободное, нужно только зарегистрироваться
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥5
Запись техтолка с Максимом Петровым «Anti-Fraud-платформа — технологии верификации» с конференции HighLoad++ 2023

В ходе интервью обсудили:

- Антифрод глазами бизнеса и СТО, ключевые темы.
- Технологическую основу антифрода в билайн.
- Как решаются проблемы масштабирования при постоянно растущей нагрузке и ее сезональности, какие процессы и технологии используются.
- Межоператорский антифрод и экосистема.

Посмотрите 🙌
Могут ли нейросети творить? В блоке «ИИ и творчество» обсудим создание музыкальных произведений, поиск кадров по описанию, проверим качество видео и звука в звонках и сгенерируем об этом ответ с использованием RAG-метода.

1) Мастер-класс «Создание модульной (и желательно эффективной) RAG-системы». Антон Белоусов (Raft)

В результате воркшопа каждый участник поймет, как строить системы RAG (Retrieval Augmented Generation), узнает их особенности и получит собственную работоспособную систему.

2) Особенности и вызовы реализации технологии создания готовых музыкальных произведений с применением ИИ. Максим Метальников, Максим Смоляков (Сбер)

Генеративный AI достиг больших успехов в создании текстов и изображений, а вот с аудио дела обстоят не так радужно. Доклад затронет методы генерации музыки и то, как нейросети учатся выполнять работу композиторов, аранжировщиков и вокалистов.

3) Как с помощью AI в тысячах видео найти нужный кадр. Александр Соколов (ГПМ Дата)

Доклад затрагивает сложную тему комплексного анализа видео и последующего извлечения нужных сущностей. Для решения задачи в короткий срок используется множество нейронных сетей. Как их подружить, прогнать сотни тысяч видео и научиться извлекать полезное — узнаете из доклада Александра.

4) Измеряем качество видео и звука в видеозвонках на реальных девайсах. Алексей Шпагин (VK, ВКонтакте)

Алексей расскажет о том, как они собрали стенд для тестирования звонков на физических ноутбуках, телефонах и десктопах. Как подают референсные видео и аудио, снимают результат и сравнивают с Zoom и WhatsApp.


Присоединяйтесь к нам на Saint HighLoad++ 2024 🙌

Программа конференции, расписание и билеты на сайте
Please open Telegram to view this post
VIEW IN TELEGRAM
⚡️Повышение цены

Друзья, с 1 июня стоимость билетов на Saint HighLoad++ 2024 вырастет и станет максимальной. Но если вы забронируете билет до 31 мая, то текущая стоимость зафиксируется и у вас еще будет несколько дней для оплаты.

На Saint HighLoad++ 2024 вас ждет:

- насыщенная программа из 80+ докладов на самые актуальные темы, связанные с большими и высоконагруженными IT-системами;
- высокая концентрация IT-профессионалов страны, с которыми вы сможете обсудить свои рабочие вопросы и получить идеи решений;
- и, конечно, классное времяпрепровождение в крутой тусовке единомышленников.

Ждем вас 24 и 25 июня в Санкт-Петербурге на Saint HighLoad++ 2024 🙌

Ознакомиться с программой конференции и забронировать билет можно на сайте
Please open Telegram to view this post
VIEW IN TELEGRAM
Разработка Postgres идёт «коммитфестами» — месяцами, когда новые фичи от сообщества проходят ревью и принимаются (либо не принимаются) в будущую версию PostgreSQL. В июле начинается работа над Postgres 18, а значит авторам кода нужны ревью их патчей: иногда даже самый полезный и нужный код остается без внимания и не попадает в ванильную СУБД.

Чтобы решить эту проблему, инициативная группа российских постгресистов во главе с крупнейшим российским СУБД-разработчиком Postgres Pro проводит на Saint HighLoad++ 2024 первую в России Postgres Pre-Commitfest Party, где каждый сможет:

• рассказать о своем патче сообществу
• получить быструю обратную связь от коммитеров с многолетним опытом, в том числе Major Contributors в лице Олега Бартунова и Федора Сигаева!
• найти ревьюера — и повысить свои шансы на комит патча в PostgreSQL!

Чтобы принять участие — заполните форму . Мы рассмотрим заявку и пригласим рассказать о своем патче прямо со сцены Saint HighLoad++ 2024: получить обратную связь от коллег по Postgres-цеху и найти ревьюера. Участие спикеров в Saint HighLoad++ 2024 — за наш счет!

А еще можно сделать ревью одного из представленных патчей. Кстати, это самый простой способ попасть в commit log большого проекта.

P.S. Если вы над чем-то работаете и только планируете принять участие в коммитфесте — всё равно подавайте заявку!

Всем — Slonik! 😉
👍4🔥3
Масштабируемая система и распределённая в разные дата-центры система — две разные вещи. Впервые за историю Saint HighLoad++ мы раскрываем тему геораспределённых архитектур столь подробно ⤵️

1) Как регулярно терять один ДЦ и не волноваться? Михаил Кабищев (Ozon)

Михаил расскажет историю о том, как в Ozon превратили крайне неприятную ситуацию падения ДЦ в абсолютно спокойный и предсказуемый для них процесс.

2) Геораспределенные системы. Евгений Кузовлев (Тинькофф)

Самое сложное в больших проектах — сделать нормально работающий геораспределенный сторадж. В докладе автор поделится своим практическим опытом построения геораспределененных систем, а также расскажет всю необходимую теорию (CAP/PACELC) для тех, кто ещё не сталкивался с распределенными системами.

3) Hadoop в 3 ДЦ. Андрей Коняев (Ozon)

Петабайтные размеры данных давно перестали быть cutting-edge и их можно встретить в огромном количестве организаций. With great power comes great responsibility — надо делать работу с данными экономически эффективной, а инфраструктуру — надежной и масштабируемой. Из доклада слушатели узнают про это.


🖐️ Ждём вас 24 и 25 июня на Saint HighLoad++ 2024.

Ознакомиться с программой конференции и забронировать билет до повышения цены можно на сайте
Please open Telegram to view this post
VIEW IN TELEGRAM
👍1
111-й выпуск подкаста «Люди и Код» с Александром Макаровым

Знакомство с Yii: история фреймворка, отличия от Laravel и Symfony, архитектура

Александр  член основной команды фреймворка Yii и соавтор Yii 2. Представитель Yii в PHP-FIG. Кроме разработки фреймворка успел поработать в разных компаниях, таких как Skyeng, Wrike и Stay.com и перепробовать в бою целые поколения разных технологий. Руководитель программного комитета PHP Russia, член ПК HighLoad++ и РИТ. CTO Twindo.

В подкасте Александр рассказал:

- как выглядит процесс разработки фреймворка. Кто и как принимает решения о выпуске версий;
- историю Yii: от PRADO до третьей версии;
- когда ждать Yii 3;
- что такое Yii и какие приложения на нём можно создавать;
- чем Yii отличается от Laravel, Symfony и других MVC-фреймворков;
- какова архитектура решений, созданных на Yii.

И многое другое


Слушать:

YouTube
Яндекс.Музыка
mave
Apple
Castbox
Google Podcasts

Послушайте сами, поделитесь с коллегами 🙌
❤‍🔥3👍2
Многие компании пренебрегают нагрузочным тестированием, потому что для этого нужны узкопрофильные специалисты и специфический софт. Давайте разберёмся, нужно оно или нет.

Владелец продукта Платформы Сфера Ксения Бирюкова поделится своим опытом проведения нагрузочного тестирования. Списком совершенных ошибок и другими болями на этом пути. Расскажет про собственные и чужие примеры проведения нагрузочного тестирования.

Подробности в статье: https://habr.com/ru/companies/oleg-bunin/articles/817591/
То, насколько хорошо вы спроектировали архитектуру своего проекта, определяет всю его жизнь: возможность расти, масштабироваться и выдерживать высокие нагрузки. В блоке «Проектирование архитектуры» собраны доклады-кейсы о проектировании тех или иных аспектов архитектуры.

1) Мастер-класс «Разделим данные». Алексей Лосев (Яндекс Маркет)

На мастер-классе будет разобран кейс создания системы с разделенными и слабо связанными мастер-системами.

2) Архитектура биллинга: как не стать единой точкой отказа. Илья Иванов (Яндекс 360)

Интересный архитектурный кейс от Яндекса по созданию высоконагруженного биллинга.

3) Пайплайны записи своими руками: думали — велосипед, оказалось — паттерны. Роман Щербаков (Тинькофф)

Если вы строите систему доставки данных в распределенной среде, то вам будет полезно узнать, как не наступить на множество граблей. Этот доклад — хорошая возможность взглянуть на свою систему через призму применения любимых паттернов.

4) Как мы шли к 5000 RPS на запись. Ян Силов (Ozon)

Хорошая история повышения нагрузки на запись и борьбы с ней. Вместе с докладчиком слушатели погрузятся в анализ проблем и оптимизацию.

5) YTSaurus и аналитические витрины с актуальностью в 15 минут. Филипп Козьмин (Яндекс Маркет)


Часто в ETL-процессах возникает потребность «считать часть данных не в batch-режиме, а в NRT». Из доклада слушатели узнают, как эффективно реализовать такой процесс для big-data-инфраструктур на базе YTSaurus и при этом не наплодить параллельные вселенные для батча и стриминга.


🖐️ Успевайте забронировать билет до повышения цены 1 июня.

Расписание конференции и билеты на сайте
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥3
This media is not supported in your browser
VIEW IN TELEGRAM
🔥7
При разработке продукта на компилируемом языке, таком как C или Rust, рано или поздно появляется необходимость разделения на несколько компонентов или расширения функциональности плагинами. А значит, появляется проблема прямой и обратной совместимости. Например, непонятно, что произойдёт при обновлении одного компонента независимо от другого?

Давайте разберёмся, как делать бинарно-совместимые API на С и других компилируемых языках. О проблематике, подходах к бинарной совместимости и проверке версий расскажет Евгений Левашов из VK Tech: https://habr.com/ru/companies/vk/articles/816493/
2 дня до повышения цены на Saint HighLoad++ 2024

Присоединяйтесь к нам, чтобы:


- узнать, как делают highload-системы ваши коллеги и конкуренты. Как они думают и смотрят на highload-мир;

- быть в тренде и двигаться дальше;

- познакомиться с технологиями, о которых, возможно, вы ещё не знаете;

- услышать сильные доклады с решением конкретных задач;

- круто провести время в IT-тусовке.

Также напоминаем, что вы можете забронировать билет до 1 июня, чтобы сохранить за собой текущую стоимость, а оплатить в течение нескольких дней после брони.

Мы встречаемся 24 и 25 июня в Санкт-Петербурге, ждём вас 🙌

Ознакомиться с программой конференции и забронировать билет можно на сайте
Please open Telegram to view this post
VIEW IN TELEGRAM