👤 Евгений Ненахов / MTS Digital
📋 Доклад / Создаем универсальный инструмент для потоковой обработки данных на основе Apache Spark Streaming.
https://clck.ru/Y4Hhn

Как создать универсальный инструмент потоковой обработки данных, который быстро обрабатывает события (~ 5-10 млн. событий в секунду), масштабируется и имеет высокую степень надежности, используя Scala(Java), Apache Spark Streaming и PostgreSQL?
Евгений поделится, почему они остановили свой выбор на Apache Spark Streaming, и даст рекомендации в части его тюнинга, которые были проверены в бою (concurrentJobs, speculation, memoryOverhead, memory, executors, cores и т.п.). Покажет как они подружили этот инструмент с Prometheus, Grafana, ELK, Kibana, и какие характеристики у железа, на котором это все работает.

Встречаемся на HighLoad++ 25 и 26 ноября в Москве.
Расписание, программа и билеты 👉🏻https://clck.ru/Y4HiT

#HighLoad2021 #BigData #машинное_обучение #архитектурный_кейс

👤 Константин Гаврильчик / ЦИАН
📋 Доклад / Проектирование ML-ориентированной системы дедубликации контента на ЦИАН.
https://clck.ru/Y8m8F

Поговорим о том, как построить ML-ориентированную систему дедубликации объявлений недвижимости в условиях высокой нагрузки и при высоких требованиях к качеству работы системы.
Константин расскажет о том, как сохранить практически линейную масштабируемость системы при росте базы в N раз. Обсудим, как разметить данные, обучить модель (с использованием текстов, картинок и численных полей), а также мониторить ее деградацию в режиме реального времени.

Встречаемся на HighLoad++ 25 и 26 ноября в Москве.
Расписание, программа и билеты 👉🏻 https://clck.ru/XzhAY

#HighLoad2021 #BigData #машинное_обучение #архитектурные_паттерны