Как выстроить процессы, которые помогают эффективно выявлять и устранять возникающие инциденты? Реализация какого функционала может значительно улучшить скорость отдачи данных консьюмерам в кластере Apache Kafka? Какие новшества появились в Java и JVM?

Ответы на эти вопросы в докладах:

1) Автоматизация инцидент-менеджмента для 10000 инженеров в Т-Банке. Иван Юрченко (Т-Банк)

Докладчик поделится передовым опытом Т-Банка в построении инцидент-менеджмента. Как с помощью платформы FineDog оперативно выявляются сбои, снижается время инцидента и уменьшается вероятность повторения одинаковых инцидентов.

2) Двоичная Java: CDS, CRaC и AOT для ускорения запуска и прогрева JVM. Рустам Курамшин (Axiom JDK)

Глубокий взгляд на новые технологии JVM: CRaC, CDS и GraalVM. Разбор внутренней работы, примеры для SpringBoot и возможные проблемы. Доклад для Java-разработчиков, которые хотят освоить новые JEP'ы, и всех, кого интересует, как устроена JVM под капотом

3) Возвращение zero-copy: как мы прикрутили kTLS к Apache Kafka. Иван Дащинский (СберТех)

Видишь работу? И я не вижу, а она есть. Простое чтение данных по сети часто происходит не с диска напрямую, а через userspace. В данном докладе автор расскажет про универсальный метод вернуться к эффективному использованию сисколла sendfile в современном мире тотального шифрования.


Ждём вас 2 и 3 декабря на HighLoad++ 2024 🖐️

✅ Программа конференции, расписание и билеты на сайте

Статический анализ уже стал де-факто стандартом при анализе кода, однако и он обладает своими ограничениями.

Из доклада Владимира Кочеткова «Программировать как хакер, защищать — как программист» вы узнаете об особенностях работы статических анализаторов, конструкциях кода, вызывающих наибольшие сложности, и о возможности их избежать.

А как вы обеспечиваете и повышаете информационную безопасность? Впервые в истории HighLoad++ предлагаем обсудить это на отдельном треке на тему «Информационная безопасность», который пройдёт при поддержке Яндекса

➡️ Полная программа Яндекс-трека на сайте

Какие есть преимущества и ограничения использования кэша PHP APCu при работе с приложениями, испытывающими большие нагрузки? Какие могут быть тонкости профилирования в производственной системе?

🖐️ Ответы на эти вопросы в докладах секции «Производительность», в программе PHP Russia 2024, которая пройдет в рамках HighLoad++ 2024.

1) (En) Using and (slightly) abusing APCu cache in high load concurrent environments. Ioannis Loukeris (Altenar)

APCu is a very unexpected choice for a distributed cache. That's why we are looking forward to Ioannis' talk to find out how it works.

2) Continuous Profiling — что, зачем и как. Александр Луценко (Vanta)

Профилирование — сложная и важная тема. В докладе рассказывается, как профилировать код в реальном окружении.

До встречи 2 и 3 декабря на HighLoad++ 2024 🖐️

✅ Программа конференции, расписание и билеты на сайте

На докладах, о которых рассказываем сегодня, у вас будет возможность узнать об архитектуре транзакций в YDB и Apache Kafka, их плюсах и минусах. Рассмотреть Apache Iceberg. Узнать методы масштабирования для повышения производительности и надежности, а также, как эффективно оценить PostgreSQL без нагрузочного тестирования. И погрузится во внутреннее устройство распределенных баз данных 🖐️

1) Транзакционная работа с топиками. Архитектура и сравнение решений в Apache Kafka и YDB. Алексей Николаевский (Яндекс)

Алексей расскажет про транзакционные топики в YDB, которые появились совсем недавно, но уже используются в бою в Яндексе. Будет раскрыта архитектура этого решения, а также сравнение с транзакционными топиками в Apache Kafka.

2) Как на самом деле работает Apache Iceberg. Владимир Озеров (Querify Labs)

Этот доклад — это глубокое погружение в Apache Iceberg. Спикер расскажет про архитектуру и реализацию работы с данными и метаданными, про каталоги и про то, как устроен клиент Trino.

3) Как объединять данные из разных СУБД и делать это эффективно. Виталий Исаев (Яндекс)

На первый взгляд простая задача по выборке данных из разных источников быстро становится дорогой и сложной. В данном докладе посмотрим на основные проблемы и методики, позволяющие решать эту задачу на стороне федеративных БД настолько эффективно, насколько это возможно для универсальной логики.

4) Как нагрузить СУБД без нагрузочного тестирования в рамках миграции на PostgreSQL. Ярослав Киселёв (К2Тех)

Доклад о том, как проводить нагрузочное тестирование при переезде с Oracle на PostgreSQL, при этом не синтетическую, а максимально приближенную к реальной нагрузке текущей работающей системы на Oracle.

5) Движок распределённого SQL в СУБД Picodata: принцип его работы, принятые архитектурные решения и сравнение с аналогами. Эмир Вильданов (Picodata)

Доклад о том, какие проблемы встают перед распределенными SQL-движками, как эти проблемы решались в Picodata, и на какие инженерные компромиссы пришлось пойти. Бонусом — обзор того, как это сделано в других распределенных БД.

Ждём вас 2 и 3 декабря в Москве на HighLoad++ 2024 🖐️

✅ Программа конференции и билеты на сайте

Иван Тямгин в своём докладе «Как масштабировать защиту от DDoS-атак на десятки миллионов RPS. Опыт Яндекса» детально раскроет аспекты создания масштабируемой и отказоустойчивой системы «Антиробот», используемой в Яндексе для защиты от DDoS-атак. Уделит внимание методам защиты сервисов и их балансировщиков, архитектуре системы и способам быстрого расчёта факторов для машинного обучения.

Доклад не только для тех, кто работает в области защиты сервисов и антифрода, но и для тех, кому интересно узнать про опыт Яндекса в построении высоконагруженного сервиса с бинарной классификацией в реальном времени. Приходите, если вам случалось выполнять задание «Я не робот» и вы хотите послушать про устройство внутри.

А как вы обеспечиваете и повышаете информационную безопасность? Впервые в истории HighLoad++ предлагаем обсудить это на отдельном треке на тему «Информационная безопасность», который пройдёт при поддержке Яндекса.

✅ Полная программа Яндекс-трека на сайте

Давайте разбираться, чем отличается облако и on-prem с точки зрения затрат, из чего состоит «Железный» FinOPS и при чём тут управление рисками? А также в том, как быть, если нужно сохранить Интернет в архив для будущих исследователей. Разобраться помогут доклады из программы HighLoad++ 2024 🔄

1) Железный FinOPS. Алексей Учакин (EdgeЦентр)

Если в хозяйстве существенная часть инфраструктуры живет в on-prem, то одними облачными FinOps-практиками не обойтись. С Алексеем вы пройдете длинный путь от пристального взгляда на инфраструктуру до процесса поставок, будете управлять расходами и обратите внимание на управление рисками.

2) Как сохранить Интернет, или Технологии хранения «холодных» данных. Иван Глебов (РХТУ)

Как ни удивительно, но данные мы храним в физическом мире, и не всегда нам нужна только производительность. Иван расскажет про его наработки в области носителей данных и как из простого стекла можно получить «ледяной» носитель, который проживет кардинально дольше наших с вами HDD и SSD.

Ждём вас 2 и 3 декабря в Москве на HighLoad++ 2024 🖐️

✅ Расписание конференции и билеты на сайте

Rust последние несколько лет стабильно лидирует в StackOverflow Developer Survey в секции языка, на котором хотели бы программировать разработчики.

Но достаточно ли он зрелый язык для того, чтобы начать на нём новый проект? Можно ли постепенно переходить на него в legacy проекте? За 5 лет разработки на Rust в Picodata успели познакомиться со многими нюансами языка и готовы поделиться своим опытом.

2 и 3 декабря на HighLoad++ 2024 спикеры из Picodata поделятся своим опытом решения различных задач.  

Вы узнаете про кейсы Rust проектов как с нуля, так и поверх legacy С/С++, системной разработки СУБД и классической прикладной разработки банковских проектов. Спикеры затронут такие темы как тулинг, кривая обучения, надёжность, скорость разработки и выполнения, особенности архитектуры. И постараются доказать, почему для вашего следующего проекта однозначно нужно выбрать Rust, а не Java/Go/C++

🔴2 декабря вас ждут доклады:

Плагины на Rust для распределённой СУБД — технологический вызов. Георгий Мошкин

Опыт использования Rust в разработке СУБД Picodata. В чём он нам помог и с какими сложностями мы столкнулись. Егор Ивков

В следующих постах расскажем про вторую часть докладов от спикеров Picodata, не пропустите ✋

Что делать, если вы небольшая команда безопасников и у вас есть десятки тысяч репозиториев на проверку?

Александр Мельников в своём докладе «Инвентаризируй это: строим автоматический DevSecOps для 40 тысяч репозиториев» расскажет про то, как они автоматически обходят репозитории, что складывают в базу, на что смотрят в репозиториях и как интегрируются с системой vulnerability management.

А как вы обеспечиваете и повышаете информационную безопасность? Впервые в истории HighLoad++ предлагаем обсудить это на отдельном треке на тему «Информационная безопасность», который пройдёт при поддержке Яндекса.

✅ Программа Яндекс-трека здесь

Ждём вас 2 и 3 декабря в Москве на HighLoad++ 2024 🙌

⚡️ Друзья, на HighLoad++ 2024 все офлайн-билеты проданы! Но у вас еще есть возможность присоединиться к нам онлайн.
⠀
Для онлайн-участников будут доступны:
⠀
- Все презентации спикеров
- Видеозаписи всех докладов
- Трансляция всех докладов. Митапы и воркшопы не транслируются️
- Вопросы к спикерам в Telegram-чате
- Доступ к трансляции для одного пользователя
⠀
✅ Купить онлайн-билет можно на сайте

* Ранее оформленные заявки доступны для оплаты⠀
Ждем вас в эфире 2 и 3 декабря 🙌

В докладе Игоря Игнатьева (VK) «Security Gate: платформа оркестрации SAST-сканирования своими руками» история-исследование процесса создания платформы безопасности на экстрабольших масштабах в компании.

Внутри будет много полезных инженерных решений и их анализ — от вопросов выбора хранилищ до того, «почему не Open Source».

Доклад будет особенно интересен инженерам по ИБ, а также их руководителям, размышляющим, стоит ли инвестировать время и силы в разработку собственной платформы, обеспечивающей покрытие кодовой базы инструментами SAST-анализа.

А как вы обеспечиваете и повышаете информационную безопасность? Впервые в истории HighLoad++ предлагаем обсудить это на отдельном треке на тему «Информационная безопасность», который пройдёт при поддержке Яндекса.

✅ Программа Яндекс-трека здесь

Четыре доклада из секции «Архитектура», которые будут особенно интересны:

- разработчикам, Data Driven-компаниям;
- разработчикам бэкенда, DevOps, MLOps, DS;
- разработчикам и архитекторам ПО, IT-менеджерам. Тем, кто заинтересован в построении модульных систем хранения и обогащения больших объемов данных;
- разработчикам, которые работают с крупными рекомендательными системами.

1) Real-time A/B: как получать метрики по экспериментам на больших объемах данных здесь и сейчас. Данил Валгушев (Яндекс)

Как быстро понять, что эксперимент не алё, и вырубить его? Как постепенно увеличить процент пользователей, но при этом не ждать сутки до каждого увеличения? Как сделать всё это, когда у тебя в системе одновременно идёт тысяча экспериментов? Кто занимался, тот знает, насколько эти вопросы острые.

2) Поиск и рекомендации Wildberries: почти миллион RPS, ML, персонализация и большинство запросов не через индексы. Александр Сидоров (Wildberries)

Высокий сезон в ретейле — это огромные пиковые нагрузки в первые минуты старта распродаж. Докладчик расскажет про архитектуру поиска Wildberries, которая отлично держит нагрузку, экономна по железу и дает хорошее качество поиска.

3) Машины состояний для товарных данных из YDB и очередей. Виталий Московкин (Яндекс Еда)

Обзор архитектуры системы, которая может пересчитывать состояние миллиардов объектов каждые несколько минут.

4) Как эволюционировала доставка данных для рекламного движка Яндекса: снижаем задержки от часов к минутам. Даниил Гавриловский (Яндекс)

На примере доставки данных в рекламный движок Яндекса вы узнаете, на каких принципах и технологиях строятся действительно большие проекты. Докладчик покажет, как использование специальных бинарных форматов данных помогает достигать высокой производительности на огромных размерах сложных данных.

До скорой встречи на HighLoad++ 2024 🙌

✅ Программа, расписание и онлайн-билеты на сайте

Как появилась технология WASM, какие задачи она пыталась решить изначально, и какие задачи перед ней стоят сейчас? Что такое YTsaurus и как он работает? Как устроен мир работы акций на Яндекс Маркете?

Ответы на эти вопросы вы найдёте в докладах:

1) WASM: цель, устройство, перспективы. Владимир Хомутов (ВебСервер)

Человек, столкнувшийся с WASM, впадает в ступор от своеобразия технологии и неожиданных архитектурных ходов. Это классический комитетский долгострой, а приложения нужны ещё вчера. Поэтому Владимир расскажет о том, как они «упаковали» WASM, чтобы разработчики могли эти приложения создавать.

2) Как проезжать миллион километров в YTsaurus. Владислав Долбилов (Яндекс Автономный транспорт)

Рассказ о многопоточной симуляции для обучения ML на основе акторов, которая хорошо утилизирует железо и GPU. В задаче есть множество подводных камней от детерминированности до кэширования, и спикер покажет, как YTsaurus можно использовать в качестве надежного фундамента для работы с данными.

3) Легко ли раздать больше миллиона скидок за два дня? Как мы строили архитектуру промоакций на Яндекс Маркете. Анна Кустарева (Яндекс Маркет)

Исследование производительности — процесс бесконечный и бесконечно сложный. Когда тебе надо свести разные аудитории в производительную систему, приходится проходить через череду компромиссов и архитектурных выборов. Доклад Анны — ретроспектива о том, как развивалась и будет развиваться архитектура акций.

Присоединяйтесь к нам онлайн 2 и 3 декабря на HighLoad++ 2024 🖐️

✅ Программа конференции и расписание на сайте

Умение разрабатывать высоко-производительные и надежные системы — ключевой навык бэкендера в современных крупных проектах. Это сложно: чтобы попасть в хайлоад, надо иметь опыт в хайлоаде, а чтобы его получить, надо попасть в хайлоад. Замкнутый круг какой-то!

Одно из направлений R&D-центра Devhands.io как раз такое обучение – обучение с экспертами, обучение через исследования и практикум в специализированных облаках.

Мы приглашаем вас в деврум Devhands, чтобы обсудить с нашими экспертами вопросы разработки систем, выдерживающих 1 миллион запросов в секунду, новый проект Valkey и его отличия от Redis, использование кластерных технологий и многое другое.

Для тех, кто только знакомится с разработкой больших систем, мы проведем сессию, посвященную CAP-теореме и PACELC-классификации. Для CTO и HR/LND у нас заготовлен подробный рассказ о программах обучения, о возможностях образовательного облака и о бизнес-кейсах.

🔴2 декабря вас ждут доклады:

Кто сможет в 1M RPS? В забеге участвуют: Valkey, Redis, Memcached, PostgreSQL, MySQL ;) Алексей Рыбак (devhands.io), Алексей Копытов (MyDB)

Корпоративное обучение в области высоких нагрузок: подход devhands. Алексей Рыбак (devhands.io)

wrk2/wrkx: особенности использования, coordinated omission и способы компенсации. Алексей Рыбак (devhands.io)

В следующих постах расскажем о второй части докладов секции, не пропустите 🖐️

🔥 Впервые на HighLoad++ — Яндекс-трек на тему «Информационная безопасность»

Защитить сервисы от внешних угроз, проанализировать поведенческие и технические сигналы, чтобы понимать, от робота или от человека пришёл запрос, отличать настоящие отзывы и рейтинги от накрученных — современный интернет невозможно представить без информационной безопасности.

Яндекс инвестирует в разработку технологий и инструментов, которые делают наши сервисы одновременно и безопаснее, и удобнее.

А как вы обеспечиваете и повышаете информационную безопасность? Впервые в истории HighLoad++ предлагаем обсудить это на отдельном треке.

В рамках трека участников ждут доклады на следующие темы:

🔴Безопасность разработки
🔴Безопасность платформы
🔴Безопасность сети
🔴Безопасность организации
🔴Вообще безопасность

🖐️ Приходите поговорить о своём опыте, поделиться любимыми подходами или наболевшим и узнать о практиках Яндекса из первых рук.

✅Узнать подробнее о Яндекс-треке на HighLoad++ 2024