Как организовать тестирование, если в архитектуре есть сервисы, выдерживающие 1 миллион RPS? Ответы на этот вопрос в сегодняшних докладах, составляющих отдельный блок об организации нагрузочного тестирования.

1) Непрерывное нагрузочное тестирование на интеграционных средах. Сергей Жебет (Совкомбанк Технологии)

В докладе будет разобран кейс реализации непрерывного нагрузочного тестирования. Сергей расскажет, как это ускорило вывод новых фич в прод.

2) Зачем в Ozon понадобилось написать свой gRPC-клиент для нагрузочного тестирования, и как мы это сделали. Павел Грибанов (Ozon)

Написать свой gRPC-клиент, ну да, ну да... а зачем это нужно? А если действительно нужно, как быть? В своем докладе Павел расскажет, как он справился с этой задачей и в процессе решил один из вопросов нагрузочного тестирования.

Встречаемся 24 и 25 июня в Санкт-Петербурге на Saint HighLoad++ 2024 🙌

✅ Программа конференции и билеты на сайте

Приглашаем спикеров на AiConf 2024 – прикладную техническую конференцию по Data Science, которая пройдёт 26 и 27 сентября в Москве.
⠀
В программе конференции:
⠀
- CV, Generative models
- LLM, NLP
- Speech recognition
- RecSys & Search
- и многое другое!
⠀
Заявки на доклады принимаем до 15 июня.
⠀
🎁 Для всех наших спикеров предусмотрены бонусы: билет на конференцию; покроем ваши расходы на логистику, будь то поезд, самолет или автобус; предоставим вам номер в комфортабельном отеле рядом с местом проведения конференции; и, конечно, поможем подготовиться к выступлению.
⠀
✅ Узнать подробнее об AiConf 2024 можно на сайте
⠀
Если у вас есть экспертный опыт, которым вы хотели бы поделиться, но сомневаетесь в актуальности темы доклада — приходите сегодня на онлайн-встречу с Программным комитетом конференции. На встрече обсудим потенциально интересные темы, новости и планы. Поговорим о том, что болит и волнует, обменяемся идеями. И конечно, участники ПК ответят на все ваши вопросы об участии и организации конференции.
⠀
⏰ Ждём вас в онлайн сегодня (23 мая) в 18:00 (Мск)
⠀
Также будем благодарны, если поделитесь этим постом с друзьями и коллегами, которым может быть интересна информация 💚
⠀
✅ Участие в онлайн-встрече свободное, нужно только зарегистрироваться

Могут ли нейросети творить? В блоке «ИИ и творчество» обсудим создание музыкальных произведений, поиск кадров по описанию, проверим качество видео и звука в звонках и сгенерируем об этом ответ с использованием RAG-метода.

1) Мастер-класс «Создание модульной (и желательно эффективной) RAG-системы». Антон Белоусов (Raft)

В результате воркшопа каждый участник поймет, как строить системы RAG (Retrieval Augmented Generation), узнает их особенности и получит собственную работоспособную систему.

2) Особенности и вызовы реализации технологии создания готовых музыкальных произведений с применением ИИ. Максим Метальников, Максим Смоляков (Сбер)

Генеративный AI достиг больших успехов в создании текстов и изображений, а вот с аудио дела обстоят не так радужно. Доклад затронет методы генерации музыки и то, как нейросети учатся выполнять работу композиторов, аранжировщиков и вокалистов.

3) Как с помощью AI в тысячах видео найти нужный кадр. Александр Соколов (ГПМ Дата)

Доклад затрагивает сложную тему комплексного анализа видео и последующего извлечения нужных сущностей. Для решения задачи в короткий срок используется множество нейронных сетей. Как их подружить, прогнать сотни тысяч видео и научиться извлекать полезное — узнаете из доклада Александра.

4) Измеряем качество видео и звука в видеозвонках на реальных девайсах. Алексей Шпагин (VK, ВКонтакте)

Алексей расскажет о том, как они собрали стенд для тестирования звонков на физических ноутбуках, телефонах и десктопах. Как подают референсные видео и аудио, снимают результат и сравнивают с Zoom и WhatsApp.


Присоединяйтесь к нам на Saint HighLoad++ 2024 🙌

✅ Программа конференции, расписание и билеты на сайте

⚡️Повышение цены
⠀
Друзья, с 1 июня стоимость билетов на Saint HighLoad++ 2024 вырастет и станет максимальной. Но если вы забронируете билет до 31 мая, то текущая стоимость зафиксируется и у вас еще будет несколько дней для оплаты.
⠀
На Saint HighLoad++ 2024 вас ждет:
⠀
- насыщенная программа из 80+ докладов на самые актуальные темы, связанные с большими и высоконагруженными IT-системами;
- высокая концентрация IT-профессионалов страны, с которыми вы сможете обсудить свои рабочие вопросы и получить идеи решений;
- и, конечно, классное времяпрепровождение в крутой тусовке единомышленников.
⠀
Ждем вас 24 и 25 июня в Санкт-Петербурге на Saint HighLoad++ 2024 🙌
⠀
✅ Ознакомиться с программой конференции и забронировать билет можно на сайте

Масштабируемая система и распределённая в разные дата-центры система — две разные вещи. Впервые за историю Saint HighLoad++ мы раскрываем тему геораспределённых архитектур столь подробно ⤵️

1) Как регулярно терять один ДЦ и не волноваться? Михаил Кабищев (Ozon)

Михаил расскажет историю о том, как в Ozon превратили крайне неприятную ситуацию падения ДЦ в абсолютно спокойный и предсказуемый для них процесс.

2) Геораспределенные системы. Евгений Кузовлев (Тинькофф)

Самое сложное в больших проектах — сделать нормально работающий геораспределенный сторадж. В докладе автор поделится своим практическим опытом построения геораспределененных систем, а также расскажет всю необходимую теорию (CAP/PACELC) для тех, кто ещё не сталкивался с распределенными системами.

3) Hadoop в 3 ДЦ. Андрей Коняев (Ozon)

Петабайтные размеры данных давно перестали быть cutting-edge и их можно встретить в огромном количестве организаций. With great power comes great responsibility — надо делать работу с данными экономически эффективной, а инфраструктуру — надежной и масштабируемой. Из доклада слушатели узнают про это.


🖐️ Ждём вас 24 и 25 июня на Saint HighLoad++ 2024.

✅ Ознакомиться с программой конференции и забронировать билет до повышения цены можно на сайте

То, насколько хорошо вы спроектировали архитектуру своего проекта, определяет всю его жизнь: возможность расти, масштабироваться и выдерживать высокие нагрузки. В блоке «Проектирование архитектуры» собраны доклады-кейсы о проектировании тех или иных аспектов архитектуры.

1) Мастер-класс «Разделим данные». Алексей Лосев (Яндекс Маркет)

На мастер-классе будет разобран кейс создания системы с разделенными и слабо связанными мастер-системами.

2) Архитектура биллинга: как не стать единой точкой отказа. Илья Иванов (Яндекс 360)

Интересный архитектурный кейс от Яндекса по созданию высоконагруженного биллинга.

3) Пайплайны записи своими руками: думали — велосипед, оказалось — паттерны. Роман Щербаков (Тинькофф)

Если вы строите систему доставки данных в распределенной среде, то вам будет полезно узнать, как не наступить на множество граблей. Этот доклад — хорошая возможность взглянуть на свою систему через призму применения любимых паттернов.

4) Как мы шли к 5000 RPS на запись. Ян Силов (Ozon)

Хорошая история повышения нагрузки на запись и борьбы с ней. Вместе с докладчиком слушатели погрузятся в анализ проблем и оптимизацию.

5) YTSaurus и аналитические витрины с актуальностью в 15 минут. Филипп Козьмин (Яндекс Маркет)


Часто в ETL-процессах возникает потребность «считать часть данных не в batch-режиме, а в NRT». Из доклада слушатели узнают, как эффективно реализовать такой процесс для big-data-инфраструктур на базе YTSaurus и при этом не наплодить параллельные вселенные для батча и стриминга.


🖐️ Успевайте забронировать билет до повышения цены 1 июня.

✅ Расписание конференции и билеты на сайте

⚡2 дня до повышения цены на Saint HighLoad++ 2024
⠀
Присоединяйтесь к нам, чтобы:

⠀
- узнать, как делают highload-системы ваши коллеги и конкуренты. Как они думают и смотрят на highload-мир;

- быть в тренде и двигаться дальше;

- познакомиться с технологиями, о которых, возможно, вы ещё не знаете;

- услышать сильные доклады с решением конкретных задач;

- круто провести время в IT-тусовке.
⠀
Также напоминаем, что вы можете забронировать билет до 1 июня, чтобы сохранить за собой текущую стоимость, а оплатить в течение нескольких дней после брони.
⠀
Мы встречаемся 24 и 25 июня в Санкт-Петербурге, ждём вас 🙌
⠀
✅ Ознакомиться с программой конференции и забронировать билет можно на сайте

🎟 Приглашаем на встречу с Программным комитетом Industrial++ 2024

6 июня в 13:00 в формате онлайн предлагаем вам узнать какие темы будут актуальны на Industrial++ - профессиональной конференции IT-сообщества в промышленности.

Программа конференции будет сосредоточена на самых актуальных темах:

- Масштабируемые и отказоустойчивые архитектуры
- Работа с данными, СУБД, системы хранения
- Инфраструктура производственной компании
- DevOps в производственной компании
- ML и AI в производственных компаниях
- Безопасность в производственной компании
- Интернет вещей, индустрия 4.0 в промышленности
- Российские разработки, импортозамещение
- Культура разработки в производственных компаниях, инженерная культура
- Продакт-менеджмент в производственной компании
- Сотрудничество производственных компаний

➡️ Чтобы принять участие, задать вопросы ПК или получить запись встречи, нужно зарегистрироваться на сайте

В блоке «Кластеризация БД» собраны доклады о масштабировании баз данных – от бекапа до балансировки нагрузки. И новинка – cluster-first СУБД Picodata.

1) Переосмысление Picodata как cluster-first-СУБД. Ярослав Дынников (Picodata)

Ярослав много лет разрабатывал Tarantool, а теперь использует его в создании базы данных Picodata. Он расскажет, зачем бизнесу сейчас нужны распределенные OLTP-решения, как разные продукты реализуют «распределенность» и какими принципами руководствовалась компания, собирая свое решение в 2024 году.

2) Как мы монгу физически бэкапили. Владимир Гошев (Yandex Cloud)

Мы уже рассказывали вам о докладе Юрия Фролова про устройство MongoDB, а теперь подробнее поговорим о том, как Яндекс учился бэкапить кластеры MongoDB для своих клиентов: чтобы бэкапы занимали адекватное количество места, с ними было легко работать, а главное — чтобы из них можно было восстановить консистентный кластер!

3) Балансировка нагрузки шардированного PostgreSQL не своими руками. Денис Волков (Yandex Cloud)

Мы стараемся поддерживать Open Source, а в этом году SPQR (инструмент для шардирования PostgreSQL) научился менять количество шардов на лету. Из доклада вы узнаете о существующих подходах к решардингу, а также о том, что у команды SPQR получилось в результате.

Ждём вас 24 и 25 июня на Saint HighLoad++ 2024 🙌

✅ Программа конференции и билеты на сайте

Сегодня рассказываем про доклады по базам данных, не вошедшие в блоки «Кластеризация СУБД» и «Внутрянка БД».

Здесь вы услышите честное сравнение GQL и OpenApi, увидите, что GQL — это не какая-то магия и что это не панацея, а технология со своими плюсами и минусами. А также узнаете опыт интегрирования ClickHouse в ядро BI-платформы Visiology для использования в кейсах Self-Service-аналитики и ad-hoc-запросов, где пользователи могут самостоятельно загружать и анализировать большие объемы данных, не привлекая разработчиков.

1) GraphQL: зачем на самом деле он нужен. Apollo Federation — дар бога. Олег Коровин (ecom.tech)

Множество больших систем создаются с оглядкой на GraphQL или OpenAPI. И в этом докладе вы сможете чуть глубже погрузиться в GraphQL с использованием Apollo Federation. Затронете вопросы безопасности и сможете на ранних стадиях внедрения решить ряд типовых вопросов со своим отделом ИБ.

2) ClickHouse не тормозит в Self-Service BI: как мы достигли этого в Visiology. Никита Ильин (Visiology)

Хайлоад — это не всегда миллионы запросов. Порой аналитик и один запрос может написать такой, что его обработка сожрёт все ресурсы. А если систему нужно сделать такой, чтобы эти запросы могли писать даже непрофессиональные аналитики, а обычные сотрудники? Об этом — в докладе Никиты.


Ждём вас 24 и 25 июня на Saint HighLoad++ 2024 🙌

✅ Программа конференции, расписание и билеты на сайте