Доклады Ozon Tech, которые стоит послушать сегодня:

1. Как точно проводить расчёты в эксперименте на сотни метрик.

2. Баланс между ростом бизнеса и мощностью имеющегося железа.

3. Уникальное решение: поисковый движок на основе Apache Lucene.

4. История повышения нагрузки до 5 000 RPS на запись. А знаете, что ещё стоит? Успеть заглянуть на стенд команды, которая создаёт ведущий e-com в стране. IT-эксперты Ozon Tech будут ждать вас, чтобы обсудить серьёзные нагрузки и обменяться опытом. А ещё поиграть — коллеги привезли кастомные настолки и онлайн-игру.

Реклама ООО «Озон Технологии» erid: LjN8K1frV

🖐 Анонс докладов, которые стартуют в 12:30
⠀
🏰 «00 Зал - Башня». Микросервисы: жизнь после. Невыдуманные истории, о которых невозможно молчать. Иван Матвеев (Vi.Tech)

Мало конкретной информации о том, с какими проблемами вы можете столкнуться при плавном переходе от монолитной системы к микросервисной? Иван на примере опыта своей компании расскажет о конкретных технических, организационных и процессных проблемах, связанных с переходом к микросервисам.
⠀
🔘 Зал «08 Шатер Голубой». Расширяем Go: зачем и как строить свое надмножество языка. Илья Горкун (Независимый эксперт)

Мы не просто рассмотрим синтаксические новшества и транспиляцию, но и откроем дверь в мир возможностей расширения вашего кода, а также узнаем, как новый инструментарий может обогатить вашу работу с Go, дав возможность внедрения «сахара» по вашему вкусу и без потери производительности.
⠀
🔹 «03 Зал Синий». Обновления данных в поиске за секунды. Быстробновляемые атрибуты в поисковом движке Ozon. Пётр Портнов (Ozon)

Обычно от поисковых движков не требуется частое (и быстрое) обновление, но в современных e-Commerce-системах это не так: остатки на складах и цена могут меняться очень быстро. Ozon расскажет, как они доработали для этого своё решение на базе Apache Lucene.
⠀
🟣 «04 Зал Красный». Capacity Planning в Ozon. Анатолий Межебицкий (Ozon)

Ozon построил достаточно точную систему прогнозирования потребностей в железе на основе предыдущего потребления, бизнес-метрик и продуктовых планов. Вы узнаете, как заказывать железо с минимальным запасом и не ошибаться.
⠀
🟢 «06 Зал Зеленый». Как научить фундаментальные модели читать, видеть, слышать и анализировать всё одновременно. Андрей Кузнецов (AIRI)

Моделью, которая умеет общаться текстом, сейчас уже никого не удивишь. Андрей расскажет, из чего собрать модель, которая в дополнение к этому умеет смотреть картинки и слушать речь. Очередной шаг на пути к General AI!
⠀
🔵 Зал «09 Шатер Фиолетовый». Как платформа A/B-тестов Яндекса превратилась в решение для всего Интернета — Varioqub. Данил Валгушев (Яндекс)

Всегда трудно делать продукт из внутреннего сервиса. Оргструктура бизнеса намертво зашита в архитектуру софта, а необходимые для внешних пользователей компоненты непонятно, как интегрировать. В докладе Данила всё это ещё и происходит на фоне высоких нагрузок и большого числа пользователей.

🔸 Зал «07 Шатер Оранжевый». Гарантии доставки сообщений в YDB Topics. Александр Зевайкин (Yandex Infrastructure)

Докладчик погрузит вас во внутреннее устройство брокеров сообщений, вы узнаете, как правильно «готовить» exactly-one и какие улучшения для этого типа доставки предлагает YDB Topics относительно Kafka.

Потеряшка. Забрать можно в Штабе

#Highload Николай Никитин из ИТМО. Как обеспечить воспроизводимость научных исследований в AI/ML с помощью Open Source? Основной тезис доклада, на мой взгляд, остался за рамкой: смысл научного исследования в том, что его результаты могут быть использованы другими в своих разработках. Именно это подразумевается под воспроизводимостью, не ограничиваясь просто проверкой результатов. Для Николая это тезис очевиден, в то время, как в социальных реалиях современной науки это далеко не так. Если же принять этот тезис, то для современных исследований, особенно в области AI/ML, просто публикации статьи недостаточно, к статье должен прилагаться код и наборы данных, которые обеспечат легкое использование результатов, включая его проверку, но не ограничиваясь ей. В open source есть площадки для этого. Но ученые - не программисты, разработка и создание open source для них - не профильная работа, получается довольно высокий порог входа, который полезно снизить. Они в 2020 годы в ИТМО начали это делать, и сейчас у них 10+ различных проектов. Был более подробный рассказ про фреймворк FEDOT. Тут есть особенности, связанные с тем, что есть 2-3 человека в ядре команды и ассоциированные стажры, которые делают студенческие работы. Но для успеха ядро должно быть увлеченным, в том числе проводить менторинг для студентов - и административно это не масштабируется. Такие проекты делают пиар, показывают что университет способен достигать серьезных результатов. Однако, несмотря на это уровень энтузиазма довольно велик. Тут есть вопрос финансирования, если на новые версии его еще можно получить, то на поддержку - не получается. Но сейчас есть возможность получить гранты, и то, что продуктом будет не просто публикация. а open source эксперты оценивают. И коммерческие компании тоже становятся толерантными к выкладке результатов в open source, хотя тут это каждый раз вопрос переговоров. Лично я желаю ИТМО всяческих успехов, и надеюсь, что этот опыт будет распространяться.

Друзья, напоминаем, что благодаря генеральному партнеру, компании МТС, Saint HighLoad++ 2024 заряжена поездками на самокатах МТС Юрент 😎

Вы можете добраться от метро до места проведения конференции на самокатах МТС Юрент.

Для этого сегодня перейдите в бот выберите «На Saint HighLoad++ на самокате МТС Юрент» и введите первые 8 цифр номера своего билета на конференцию. Вы получите промокод на 200 бонусов на поездку, который сможете активировать в приложении Юрент

Ближе всего к конференции станция метро Новочерскасская, выход 6 - там же можно взять самокат и поехать на Saint HighLoad++

Парковки, где самокат можно оставить, вы увидите в приложении Юрент.

Количество промокодов ограничено ;)

🖐 Следующие доклады ждут вас в 13:40
⠀
🏰 «00 Зал - Башня». Миграция банковского ядра на собственную разработку. Как выстроить процессы распространения данных? Лев Осипов (Райффайзен Банк)

Уникальный доклад о том, как в одном из крупнейших банков России решили переписать ядро банка.
⠀
🔘 Зал «08 Шатер Голубой». Fullstack v2: я научу вас писать UI на Go. Илья Глухов (Независимый эксперт)

Как на Go написать UI приложения? gopherjs, полузаброшенный gomobile, обертки над Qt/GTK и прочими ncurses. А чтобы общий код для браузеров, мобилок и десктопа? В докладе будет разобран рабочий пример кросс-платформенного UI на Go.
⠀
🔹 «03 Зал Синий». Делаем бесконечную галерею в Яндекс.Диске: балуемся плюшками, кластеризацией и синхронизацией. Дмитрий Кривопальцев (Яндекс 360)

Показать все, что скрыто! Честный и откровенный рассказ о том, как устроен изнутри просмотр фотографий в Яндекс.Диске, какие нестандартные решения пришлось применить, чтобы можно было удобно смотреть фоточки на мобилке и в браузере.
⠀
🟣 «04 Зал Красный». Гайд по shift left security для архитекторов и разработчиков. Вацлав Довнар (Независимый эксперт)

Когда начинаешь заниматься внедрением безопасности в разработку, порой начинает казаться, что она сложнее самого продукта. Между тем, какие-то вещи можно сделать проще, какие-то можно не делать вообще, а о каких-то вы раньше могли и не задумываться. Об этом всём — в докладе Вацлава.
⠀
🟢 «06 Зал Зеленый». Collection. Темная сторона Data Science. Ольга Кравченко (Газпромбанк.Тех)

Взыскание банком долга может выглядеть как консервативный процесс. Но прогресс не остановить — ML и здесь. Ольга расскажет про модельный скоринг, возможно ли подобрать идеальный мэтч между оператором и клиентом, почему не ко всем должникам приезжают домой, а также о будущем этой области.
⠀
🔵 Зал «09 Шатер Фиолетовый». Как научить почтовый сервер Exim под нагрузкой 1 000 000 писем/мин. переживать отказ ЦОД без простоя с помощью FUSE и Tarantool, а также развернуть такую систему в K8s. Максим Уймин (VK, Mail.ru)

Мы в целом научились делать отказоустойчивые и распределенные системы. В любом типе систем есть свои особенности. В докладе вы заглянете под капот почтового сервера Exim и вместе с докладчиком пройдете путь создания отказоустойчивой распределенной системы, работающей под большой нагрузкой.

🔸 Зал «07 Шатер Оранжевый». YTsaurus SPYT: внедряем Spark SQL в массы. Алексей Шишкин (Яндекс)

История от разработчиков YTsaurus о том, как сделать собственный клиент к Spark и на уровне сетевого протокола отправлять к нему запросы из удобного веб-интерфейса.

AvitoTech передаёт привет и ждёт в зале и на стенде.

В зале с докладом: «Opentelemetry и эволюция распределенного пайплайна трейсинга в Авито» —бэкенд-разработчик Сергей Ларионенко.

На стенде с целой командой: инженеры, техлид и IPM-менеджер. Все те, для кого хайлоад — стиль жизни.

Приходите общаться, играть, раскрашивать. Что? Да. Привезли самую большую в вашей жизни (но это неточно) раскраску по номерам. И фломики!

Реклама ООО «Авито Тех» erid: LjN8KHnyB

Ждём вас с 14:00 у Фестивальной зоны, чтобы подарить мерч Saint HighLoad++ 2024 😎

Приходите, поделитесь своими впечатлениями о конференции в коротком видеоинтервью и футболка ваша!

🖐 Ловите анонс докладов, которые начнутся в 14:50
⠀
🏰 «00 Зал - Башня». Streaming Processing на данных BigData для рекламных кампаний МТС. Евгений Ненахов (МТС Диджитал)

Вы узнаете, как делать процессинг очень больших потоков данных в режиме реального времени из Kafka на голой Java с использованием минимального количества железа.
⠀
🔘 Зал «08 Шатер Голубой». Opentelemetry и эволюция распределенного пайплайна трейсинга в Авито. Сергей Ларионенко (Авито)

Opentelemetry — де-факто стандарт современной телеметрии. Сергей Ларионенко расскажет о подводных камнях при построении распределенного пайплайна трейсинга, какие модули пришлось переписать, чтобы собирать 14 млн спанов в секунду с 2к микросервисов почти без потерь. Много деталей, очень интересно!
⠀
🔹 «03 Зал Синий». Чего не хватает обычному сервису, чтобы стать cloud-native. Дмитрий Некрылов (Яндекс 360)

Как встроить в платформу или облако сервис, который по дефолту для этого не был рассчитан? Дмитрий расскажет о том, как встраивали Jitsi в Яндекс 360, обеспечивали много девяток и отказоустойчивость под нагрузкой и встреченных подводных камнях на этом пути.
⠀
🟣 «04 Зал Красный». «А так можно было?» — обзор нестандартной криптографии в применении к практическим задачам. Сергей Прилуцкий (MixBytes)

Изучите передовые криптографические алгоритмы, решающие реальные задачи. Узнайте, как они могут быть полезны для вашего проекта и внести вклад в развитие вашей работы.
Сергей расскажет теорию и представит примеры их применения в реальных технических задачах.
⠀
🟢 «06 Зал Зеленый». Highload MLOPs: ускорение и автоматизация. Павел Николаев (Альфа-банк)

Доклад будет интересен широкой публике ML-разработчиков. Из доклада вы узнаете, как в условиях ограниченных вычислительных ресурсов может выживать большая DS-команда. Также вы узнаете, как на небольших серверах оптимально крутить не менее 300 моделей.
⠀
🔵 Зал «09 Шатер Фиолетовый». Оптимизация баннерного демона в условиях резкого роста нагрузки. Артем Букин (VK, VK Реклама)

Арбитраж рекламы — технически сложно. Сотни тысяч рекламных компаний и только 40 миллисекунд, чтобы найти лучшее объявление. Спикер из VK расскажет, какие технические приемы применила команда разработки, чтобы справиться с ростом нагрузки, который увеличил количество серверов до 1500.

🔸 Зал «07 Шатер Оранжевый». Как продакту инфраструктурного софта через телеметрию познать клиента. Аркадий Велькер (erlyvideo)

Как понимать профиль поведения клиента, если ваше ПО установлено у заказчика? Кажется, что никак. Но ребята разобрали эту задачу, решили ее и готовы поделиться своим опытом. А также рассказать о конкретных клиентских проблемах, которые они сумели решить без обращений клиентов.

#Highload Иван Чернов (Островок). Как работать с поставщиками на примере поиска доступных отелей. Чем отличается Островок от Букинга? В силу своей позиции на рынке букинг может от отелей потребовать работать в своей админке, описывать там условия отелей, и резервирование проводить внутри. А еще у него каждый отель представлен однократно. Хотя у каждого отеля есть своя система управления номерами, они очень разные, но проблемы интеграции их с букингом он отдает отелю. Островок сейчас работает как агрегатор, отели продаются через разные каналы, островок все это забирает и предлагает наиболее выгодные цены. В им надо при резервировании получать подтверждение отеля. А еще им важно кешировать запросы, чтобы сокращать число обращений к системам отелей. При этом учитывать, что данные устаревают. Динамика не столь высокая, как для динамического ценообразования в такси, но довольно высокая, при этом сильно различается в зависимости от спроса на конкретный период. При этом у отелей свое ценообразование, для раннего заказа могут быть скидки, для длинных сроков проживания тоже, плюс посредники, предлагающие отели, предлагают скидки по своим правилам. То есть ключ запроса - длинный, включает много данных. В докладе был рассказ про архитектуру решения для кеширования. Использовался redis, но там были сложности, связанные с большими ключами и большим объемом возвращаемых данных. Поэтому перешли на aerospike. В какой-то момент тоже отвалился, при разборе оказалось, что есть два вида ответов: описание доступных номеров и просто отказ, что номеров нет, без информации. И они разделили эти кэши, для кеширования отказов вернулись к redis, в котором использовали фильтр Блума. И тут сои хитрости, потому что некоторые поставщики, если у них проблемы, делают вид, что сервис работает, просто он перестает выдавать доступные номера, и эту ситуацию надо ловить, чтобы временно переставать обращаться. В целом - это был рассказ о решении задачи, в которой у авторов появилась довольно витиеватая схема. Ну и попробовали альтернативу redis.