Управление поиском цен на отели в сервисе бронирования — это как ремонт работающего двигателя. Работа происходит в реальном времени, и простой запрос «отель N на майские» не позволяет получить правильный ответ. Это проблема не только индустрии гостеприимства, но и всех сфер, где сервис тесно взаимодействует с внешними поставщиками данных.

Тимлид команды разработки Островок! Иван Чернов поделится методами построения архитектуры поиска от кэширования до сложных алгоритмов балансировки запросов. Расскажет, как справиться с нагрузкой и поддерживать бесперебойную работу системы. Про масштабирование Redis, использование Aerospike, фильтр Блума и про ещё одну задачу со звёздочкой.

🔴Подробности в статье: https://habr.com/ru/companies/oleg-bunin/articles/856540/

BigData и инфраструктура машинного обучения (data engineering) — следующая секция в программе HighLoad++ 2024.

Сегодня рассказываем вам о первых пяти докладах из данной секции, на которые нужно прийти, чтобы узнать, как большие языковые модели помогают решать реальные задачи, включая создание креативных ботов. Обсудить адаптацию SPYT к YTsaurus в Open Source, реализацию stateful-стриминга для аналитических платформ и разработку MLOps-платформы для рекомендательных систем. А также послушать про оптимизацию нейронных сетей для ботов без ГПУ, изучив методы ускорения и результаты работы с трансформером RoBERTa.

1) Практический подход к использованию LLM: особенности и сложности. Иван Красников (wikilect.com)

Доклад посвящен практическим аспектам применения LLM в реальных бизнес-кейсах. Иван расскажет о полном цикле разработки от создания и проектирования системы на базе LLM до финального продукта в реальной жизни!

2) YTsaurus SPYT: как мы избавились от форка Apache Spark и поддержали широкую совместимость. Александр Токарев (Яндекс)

Поддержка форка крупного Open Source-проекта — это больно. В Яндексе реализовали оригинальный способ внесения доработок в Apache Spark (JVM и Python) без необходимости создания форка, а также обеспечили совместимость своего проекта с широким диапазоном версий.

3) One streaming to rule them all. Стриминг как фундамент аналитической экосистемы. Дмитрий Широков (Яндекc Go)

Доклад про то, как внутри Яндекс Go удалось сделать универсальный стриминг, который поддерживает задачи real-time-аналитики, ML, BigData, DWH и платформы A/B-тестирования.

4) Spark in K8s для десятков DS-команд. Арсен Гумин (Сбер)

В противостоянии «Kubernetes против Apache Hadoop YARN» Арсен из Сбера всегда занимает сторону Kubernetes. В докладе он расскажет, как правильно запихнуть Spark в кубы, настроить весь необходимый для data science зоопарк и (почти) безболезненно манипулировать терабайтными датасетами.

5) Ускорение инференса ML-моделей без лишних трат. Денис Захаров (Домклик)

Глубокий технический доклад про ускорение инференса моделей. Денис расскажет про весь пайплайн работы с RoBERTa и OpenVino, поделится замерами производительности и потребления ресурсов, покажет плюсы и минусы реализации деплоя в прод.

Ждём вас 2 и 3 декабря на HighLoad++ 2024 в Москве или онлайн по всему миру 🖐️

✅ Программа конференции, расписание и билеты на сайте

🖐️ Начинаем знакомить вас со спикерами Golang Conf 2024, которая пройдет в рамках HighLoad++ 2024.

Сначала расскажем о секции «Ноу-Хау», в которую вошли доклады с нестандартными решениями задач и их реализациями на примерах реальных кейсов и мастер-класс для отработки новых знаний на практике.

1) Декларативная платформа управления доступом: от ролей к динамическим политикам. Олег Козырев (Независимый эксперт)

При реализации контроля доступа на уровне платформы регулярно встает дилемма: хардкодить и постоянно переделывать из-за меняющихся требований или потеряться в многомерном пространстве параметров всего и вся. Приходите послушать, как DSL решает эту проблему, и как гибко реализовать RBAC/ABAC.

2) Самый лучший мок на свете: разбираемся с инструментами для генерации моков в Go. Семен Эйгин (Авито)

Если вы уже генерируете моки для тестов в своём проекте, то, возможно, вы используете не самый удобный инструмент для этой задачи. А если ещё не генерируете моки, то самое время узнать, как это можно делать. Семен расскажет, чем отличаются существующие инструменты и какой из них он рекомендует.

3) Грокаем структуры данных для распределенных систем: Bloom Filter, CRDT и Consistent Hashing. Булат Усманов (Независимый эксперт)

Структуры данных связаны с задачами обработки локальных данных, но существуют специальные типы данных для решения задач обработки распределенных. В докладе рассмотрим наиболее распространённые примеры таких структур, их Go-реализацию и как использование этих структур поможет оптимизировать процесс.

4) Мастер-класс «Как использовать Temporal для создания MVP». Евгений Конечный (Uzum Tezkor)

Современные распределенные системы подарили нам целый пласт интересных проблем, которые приходится решать в отказоустойчивых системах. В мастер-классе будет рассмотрен этот класс задач и как их решать при помощи движка Temporal. Получившийся MVP будет не стыдно пустить под реальную нагрузку.

Присоединяйтесь к нам 🙌

✅ Программа, расписание и билеты на сайте

В наш век повсеместного распространения контейнеров все считают их привычной магией и забывают о том, что они построены на базе самых стандартных технологий, которым не один десяток лет. Особенно это касается организации сетевого взаимодействия. Пора снять завесу тайны с этих технологий и потрогать их руками!

Всегда хотели вжух-вжух и дебажить сети в этих ваших куберах и докерах, но не знали с чего начать? Приходите на Workshop «Контейнеры и сети. Изучаем, разбираемся, отлаживаем» от Александра Попова и Георгия Меликова из VK Cloud. Спикеры покажут, расскажут и научат основополагающим вещам в этом нелегком деле!

Александр и Георгий имеют большой опыт построения сложных систем. Мастер-класс рекомендуется к посещению всем, кто хочет глубоко разобраться в сетях и в тех принципах, что лежат в основе систем контейнеризации.

❗️Для участия в workshop вам потребуется ноутбук с доступом в Internet и ssh-клиент.

Встречаемся 2 и 3 декабря в Москве на HighLoad++ 2024 😎

✅ Программа конференции, расписание и билеты на сайте

Kubernetes сейчас запускают везде, в том числе и в банках, и в КИИ. Только вот с интернетом там дела не то чтобы обстоят плохо, его нет от слова совсем.

В своем докладе «Kubernetes без интернета» Максим Набоких (Deckhouse) рассказал про установку самого популярного решения для запуска контейнеров там, где не ступал ни один пакет из публичной сети.

🔄

- Рассмотрел целевую схему закрытого контура.
- Отдельно остановился на нюансах работы инструментов для создания безопасной среды.
- Показал, как они готовят дистрибутив к установке.
- Обсудили нюансы, возникающие на тех масштабах, на которых это делает Флант.
- Не обошли стороной и доставку приложений в закрытых окружениях.

▶️Смотреть запись доклада в VK Видео

#записьдокладаHL
@HighLoadChannel

Нестандартные решения в финтехе, новые подходы к микросервисам от Яндекса, эволюция WebAssembly и автономного транспорта, изменения в архитектуре метрик — об этом вы узнаете на докладах из сегодняшней подборки ⤵️

1) Финтех: причины моей ненависти. Екатерина Лысенко (Независимый эксперт)

Финтех — это не только интересная и сложная доменная область. Это еще и куча нестандартных решений, костылей и разбросанных граблей. О приключениях, которые могут ждать IТ-специалиста в финтехе — в докладе Екатерины.

2) AppHost: как Яндекс организует взаимодействие сотен микросервисов. Константин Вуколов (Яндекс)

Можно ли придумать альтернативу Service Mesh? Действительно ли это наилучшая технология для любого проекта? В докладе вы узнаете, почему Яндекс реализовал альтернативную модель межсервисного взаимодействия и насколько удачной она получилась.

3) WebAssembly: от браузеров до хайлоада. Алексей Комисов (Positive Technologies)

Взгляд на историю, текущее состояние и будущее WebAssembly. Основы, примеры использования и преимущества Wasm по сравнению с Java. Какие изменения в ландшафте экосистемы WebAssembly несет за собой компонентная модель, и почему этот подход может прийти на смену микросервисной архитектуре.

4) Быстрые Open Loop- и Closed Loop-симуляторы для автономного транспорта. Николай Поливанов (Яндекс)

Рассказ спикера из Яндекса про обучение моделей для автономного транспорта. Сейчас модели обучают уже не только на реальных, но и на симулированных данных. Николай расскажет, как они готовят эти данные и в реальном времени передают их ROS, которая «накатывает» миллионы километров.

5) Эволюция пайплайна метрик. Как менялась архитектура с ростом нагрузки. Руслан Боярский (Т-Банк)

Чем больше систему строишь, тем выше сложность с точки зрения наблюдаемости. Рост и объем системы требуют изменять и систему сбора метрик. Каждый, кто сталкивается с необходимостью строить подобную систему, найдет в докладе полезный опыт эволюции того, как собирать, хранить и анализировать метрики.

Присоединяйтесь к нам 2 и 3 декабря на HighLoad++ 2024 в Москве или онлайн по всему миру 🙌

✅ Программа конференции, расписание и билеты на сайте

Кирилл Кузин из компании Ви.Tech приглашает вас на Golang Conf 2024 и на свой доклад «Страх и Ненависть в Ви.Tech: как жить без микросервисов». 🖐️

Рефакторинг всего сервиса — от витрины интернет-магазина до всех внутренних систем. Закончить его нельзя, но можно сделать дёшево. Об этом и в целом о том, как строить прагматичную архитектуру масштабного сервиса, — будет рассказ.

Доклад Кирилла будет полезен сеньор-разработчикам, техлидам и лидам, которые так или иначе связаны с распилом монолита или же с созданием крупных сервисов на Golang.

Встречаемся 2 и 3 декабря в Москве на Golang Conf 2024, которая пройдёт рамках HighLoad++ 2024 🙌

✅ Программа конференции, расписание и билеты на сайте

Сегодня рассказываем вам о докладах секции «Ноу-хау» из программы предстоящей конференции Golang Conf 2024, которые будут особенно интересны для:

- разработчиков микросервисов. Для всех, кто желает познакомиться с распределенными транзакциями и интересуется паттернами проектирования;

- разработчиков на Go, которым будет интересно узнать о новом функционале, появившемся в Go 1.23 — итераторах;

- разработчиков и архитекторов ПО, IT-менеджеров. Тех, кто заинтересован в построении модульных систем хранения и обогащения больших объемов данных;

- разработчиков, которые активно используют конкурентность в своих проектах и стремятся к более глубокому пониманию микроархитектуры взаимодействия в Golang. Вы получите ценные знания о том, как структурировать конкурентные паттерны и создавать на их основе эффективные микроархитектуры приложений.

1) Эпическое программирование: как мы пишем понятные и поддерживаемые саги. Алексей Бакин (Независимый эксперт)

Практический доклад с обилием кода — как реализовать приложение на сагах так, чтобы бесконечные фичи реализовывались легко и приятно.

2) Итераторы в Go.123: зачем они нужны, как использовать и насколько они быстрые? Павел Агалецкий (Авито)

Когда в языке появляется что-то новое, не всегда понятно, в чем суть появившейся фичи и какую пользу я, как разработчик, получу от ее внедрения. В докладе будет рассмотрена не только история появления итераторов в языке, но и рекомендации по использованию, основанные на функциональных критериях.

3) Машины состояний для товарных данных из YDB и очередей. Виталий Московкин (Яндекс Еда)

Кэш в каждом микросервисе со всегда актуальными данными? Автор расскажет о нетрадиционной работе с БД во ВСЁМ сервисе и как в сложной нагруженной системе сделать БД и дешёвой, и не бутылочным горлышком.

4) Оптимизация конкурентных приложений: паттерны, сравнение и микроархитектура. Максим Мирошниченко (VK, VK Tech)

Конкурентность из коробки — одно из базовых преимуществ Go, однако практический результат применения зависит от умения ее готовить. В докладе речь пойдет о принципах эффективного применения паттернов конкурентности и построения надежно работающих решений, использующих конкурентность.

🖐️ Ждем вас на Golang Conf 2024, которая пройдет 2 и 3 декабря в рамках HighLoad++ 2024.

✅ Программа и расписание есть на сайте

🔥 Впервые на HighLoad++ — Яндекс-трек на тему «Информационная безопасность»

Защитить сервисы от внешних угроз, проанализировать поведенческие и технические сигналы, чтобы понимать, от робота или от человека пришёл запрос, отличать настоящие отзывы и рейтинги от накрученных — современный интернет невозможно представить без информационной безопасности.

Яндекс инвестирует в разработку технологий и инструментов, которые делают наши сервисы одновременно и безопаснее, и удобнее.

А как вы обеспечиваете и повышаете информационную безопасность? Впервые в истории HighLoad++ предлагаем обсудить это на отдельном треке.

В рамках трека участников ждут доклады на следующие темы:

🟣Безопасность разработки
🟣Безопасность платформы
🟣Безопасность сети
🟣Безопасность организации
🟣Вообще безопасность

🖐️ Приходите поговорить о своём опыте, поделиться любимыми подходами или наболевшим и узнать о практиках Яндекса из первых рук.

✅ Узнать подробнее о Яндекс-треке на HighLoad++ 2024

Конференции завалены историями успеха. Но путь к успеху всегда лежит через фейлы, о которых рассказывать не принято. Но только не на нашем fail-митапе 🔥

В своих коротких, но зажигательных выступлениях спикеры поделятся настоящими историями фейлов. Без записи, без трансляции, без комплексов.

Будет интересно как тем, кто уже хотя бы раз положил прод, так и тем, кто пока ещё нет 😎

До встречи на HighLoad++ 2024, которая пройдёт 2 и 3 декабря в Москве 🖐️

✅ Расписание конференции и билеты на сайте

Как выстроить процессы, которые помогают эффективно выявлять и устранять возникающие инциденты? Реализация какого функционала может значительно улучшить скорость отдачи данных консьюмерам в кластере Apache Kafka? Какие новшества появились в Java и JVM?

Ответы на эти вопросы в докладах:

1) Автоматизация инцидент-менеджмента для 10000 инженеров в Т-Банке. Иван Юрченко (Т-Банк)

Докладчик поделится передовым опытом Т-Банка в построении инцидент-менеджмента. Как с помощью платформы FineDog оперативно выявляются сбои, снижается время инцидента и уменьшается вероятность повторения одинаковых инцидентов.

2) Двоичная Java: CDS, CRaC и AOT для ускорения запуска и прогрева JVM. Рустам Курамшин (Axiom JDK)

Глубокий взгляд на новые технологии JVM: CRaC, CDS и GraalVM. Разбор внутренней работы, примеры для SpringBoot и возможные проблемы. Доклад для Java-разработчиков, которые хотят освоить новые JEP'ы, и всех, кого интересует, как устроена JVM под капотом

3) Возвращение zero-copy: как мы прикрутили kTLS к Apache Kafka. Иван Дащинский (СберТех)

Видишь работу? И я не вижу, а она есть. Простое чтение данных по сети часто происходит не с диска напрямую, а через userspace. В данном докладе автор расскажет про универсальный метод вернуться к эффективному использованию сисколла sendfile в современном мире тотального шифрования.


Ждём вас 2 и 3 декабря на HighLoad++ 2024 🖐️

✅ Программа конференции, расписание и билеты на сайте

Статический анализ уже стал де-факто стандартом при анализе кода, однако и он обладает своими ограничениями.

Из доклада Владимира Кочеткова «Программировать как хакер, защищать — как программист» вы узнаете об особенностях работы статических анализаторов, конструкциях кода, вызывающих наибольшие сложности, и о возможности их избежать.

А как вы обеспечиваете и повышаете информационную безопасность? Впервые в истории HighLoad++ предлагаем обсудить это на отдельном треке на тему «Информационная безопасность», который пройдёт при поддержке Яндекса

➡️ Полная программа Яндекс-трека на сайте

Какие есть преимущества и ограничения использования кэша PHP APCu при работе с приложениями, испытывающими большие нагрузки? Какие могут быть тонкости профилирования в производственной системе?

🖐️ Ответы на эти вопросы в докладах секции «Производительность», в программе PHP Russia 2024, которая пройдет в рамках HighLoad++ 2024.

1) (En) Using and (slightly) abusing APCu cache in high load concurrent environments. Ioannis Loukeris (Altenar)

APCu is a very unexpected choice for a distributed cache. That's why we are looking forward to Ioannis' talk to find out how it works.

2) Continuous Profiling — что, зачем и как. Александр Луценко (Vanta)

Профилирование — сложная и важная тема. В докладе рассказывается, как профилировать код в реальном окружении.

До встречи 2 и 3 декабря на HighLoad++ 2024 🖐️

✅ Программа конференции, расписание и билеты на сайте

На докладах, о которых рассказываем сегодня, у вас будет возможность узнать об архитектуре транзакций в YDB и Apache Kafka, их плюсах и минусах. Рассмотреть Apache Iceberg. Узнать методы масштабирования для повышения производительности и надежности, а также, как эффективно оценить PostgreSQL без нагрузочного тестирования. И погрузится во внутреннее устройство распределенных баз данных 🖐️

1) Транзакционная работа с топиками. Архитектура и сравнение решений в Apache Kafka и YDB. Алексей Николаевский (Яндекс)

Алексей расскажет про транзакционные топики в YDB, которые появились совсем недавно, но уже используются в бою в Яндексе. Будет раскрыта архитектура этого решения, а также сравнение с транзакционными топиками в Apache Kafka.

2) Как на самом деле работает Apache Iceberg. Владимир Озеров (Querify Labs)

Этот доклад — это глубокое погружение в Apache Iceberg. Спикер расскажет про архитектуру и реализацию работы с данными и метаданными, про каталоги и про то, как устроен клиент Trino.

3) Как объединять данные из разных СУБД и делать это эффективно. Виталий Исаев (Яндекс)

На первый взгляд простая задача по выборке данных из разных источников быстро становится дорогой и сложной. В данном докладе посмотрим на основные проблемы и методики, позволяющие решать эту задачу на стороне федеративных БД настолько эффективно, насколько это возможно для универсальной логики.

4) Как нагрузить СУБД без нагрузочного тестирования в рамках миграции на PostgreSQL. Ярослав Киселёв (К2Тех)

Доклад о том, как проводить нагрузочное тестирование при переезде с Oracle на PostgreSQL, при этом не синтетическую, а максимально приближенную к реальной нагрузке текущей работающей системы на Oracle.

5) Движок распределённого SQL в СУБД Picodata: принцип его работы, принятые архитектурные решения и сравнение с аналогами. Эмир Вильданов (Picodata)

Доклад о том, какие проблемы встают перед распределенными SQL-движками, как эти проблемы решались в Picodata, и на какие инженерные компромиссы пришлось пойти. Бонусом — обзор того, как это сделано в других распределенных БД.

Ждём вас 2 и 3 декабря в Москве на HighLoad++ 2024 🖐️

✅ Программа конференции и билеты на сайте

Иван Тямгин в своём докладе «Как масштабировать защиту от DDoS-атак на десятки миллионов RPS. Опыт Яндекса» детально раскроет аспекты создания масштабируемой и отказоустойчивой системы «Антиробот», используемой в Яндексе для защиты от DDoS-атак. Уделит внимание методам защиты сервисов и их балансировщиков, архитектуре системы и способам быстрого расчёта факторов для машинного обучения.

Доклад не только для тех, кто работает в области защиты сервисов и антифрода, но и для тех, кому интересно узнать про опыт Яндекса в построении высоконагруженного сервиса с бинарной классификацией в реальном времени. Приходите, если вам случалось выполнять задание «Я не робот» и вы хотите послушать про устройство внутри.

А как вы обеспечиваете и повышаете информационную безопасность? Впервые в истории HighLoad++ предлагаем обсудить это на отдельном треке на тему «Информационная безопасность», который пройдёт при поддержке Яндекса.

✅ Полная программа Яндекс-трека на сайте

Давайте разбираться, чем отличается облако и on-prem с точки зрения затрат, из чего состоит «Железный» FinOPS и при чём тут управление рисками? А также в том, как быть, если нужно сохранить Интернет в архив для будущих исследователей. Разобраться помогут доклады из программы HighLoad++ 2024 🔄

1) Железный FinOPS. Алексей Учакин (EdgeЦентр)

Если в хозяйстве существенная часть инфраструктуры живет в on-prem, то одними облачными FinOps-практиками не обойтись. С Алексеем вы пройдете длинный путь от пристального взгляда на инфраструктуру до процесса поставок, будете управлять расходами и обратите внимание на управление рисками.

2) Как сохранить Интернет, или Технологии хранения «холодных» данных. Иван Глебов (РХТУ)

Как ни удивительно, но данные мы храним в физическом мире, и не всегда нам нужна только производительность. Иван расскажет про его наработки в области носителей данных и как из простого стекла можно получить «ледяной» носитель, который проживет кардинально дольше наших с вами HDD и SSD.

Ждём вас 2 и 3 декабря в Москве на HighLoad++ 2024 🖐️

✅ Расписание конференции и билеты на сайте

Rust последние несколько лет стабильно лидирует в StackOverflow Developer Survey в секции языка, на котором хотели бы программировать разработчики.

Но достаточно ли он зрелый язык для того, чтобы начать на нём новый проект? Можно ли постепенно переходить на него в legacy проекте? За 5 лет разработки на Rust в Picodata успели познакомиться со многими нюансами языка и готовы поделиться своим опытом.

2 и 3 декабря на HighLoad++ 2024 спикеры из Picodata поделятся своим опытом решения различных задач.  

Вы узнаете про кейсы Rust проектов как с нуля, так и поверх legacy С/С++, системной разработки СУБД и классической прикладной разработки банковских проектов. Спикеры затронут такие темы как тулинг, кривая обучения, надёжность, скорость разработки и выполнения, особенности архитектуры. И постараются доказать, почему для вашего следующего проекта однозначно нужно выбрать Rust, а не Java/Go/C++

🔴2 декабря вас ждут доклады:

Плагины на Rust для распределённой СУБД — технологический вызов. Георгий Мошкин

Опыт использования Rust в разработке СУБД Picodata. В чём он нам помог и с какими сложностями мы столкнулись. Егор Ивков

В следующих постах расскажем про вторую часть докладов от спикеров Picodata, не пропустите ✋