Иван Тямгин в своём докладе «Как масштабировать защиту от DDoS-атак на десятки миллионов RPS. Опыт Яндекса» детально раскроет аспекты создания масштабируемой и отказоустойчивой системы «Антиробот», используемой в Яндексе для защиты от DDoS-атак. Уделит внимание методам защиты сервисов и их балансировщиков, архитектуре системы и способам быстрого расчёта факторов для машинного обучения.

Доклад не только для тех, кто работает в области защиты сервисов и антифрода, но и для тех, кому интересно узнать про опыт Яндекса в построении высоконагруженного сервиса с бинарной классификацией в реальном времени. Приходите, если вам случалось выполнять задание «Я не робот» и вы хотите послушать про устройство внутри.

А как вы обеспечиваете и повышаете информационную безопасность? Впервые в истории HighLoad++ предлагаем обсудить это на отдельном треке на тему «Информационная безопасность», который пройдёт при поддержке Яндекса.

✅ Полная программа Яндекс-трека на сайте

Давайте разбираться, чем отличается облако и on-prem с точки зрения затрат, из чего состоит «Железный» FinOPS и при чём тут управление рисками? А также в том, как быть, если нужно сохранить Интернет в архив для будущих исследователей. Разобраться помогут доклады из программы HighLoad++ 2024 🔄

1) Железный FinOPS. Алексей Учакин (EdgeЦентр)

Если в хозяйстве существенная часть инфраструктуры живет в on-prem, то одними облачными FinOps-практиками не обойтись. С Алексеем вы пройдете длинный путь от пристального взгляда на инфраструктуру до процесса поставок, будете управлять расходами и обратите внимание на управление рисками.

2) Как сохранить Интернет, или Технологии хранения «холодных» данных. Иван Глебов (РХТУ)

Как ни удивительно, но данные мы храним в физическом мире, и не всегда нам нужна только производительность. Иван расскажет про его наработки в области носителей данных и как из простого стекла можно получить «ледяной» носитель, который проживет кардинально дольше наших с вами HDD и SSD.

Ждём вас 2 и 3 декабря в Москве на HighLoad++ 2024 🖐️

✅ Расписание конференции и билеты на сайте

Rust последние несколько лет стабильно лидирует в StackOverflow Developer Survey в секции языка, на котором хотели бы программировать разработчики.

Но достаточно ли он зрелый язык для того, чтобы начать на нём новый проект? Можно ли постепенно переходить на него в legacy проекте? За 5 лет разработки на Rust в Picodata успели познакомиться со многими нюансами языка и готовы поделиться своим опытом.

2 и 3 декабря на HighLoad++ 2024 спикеры из Picodata поделятся своим опытом решения различных задач.  

Вы узнаете про кейсы Rust проектов как с нуля, так и поверх legacy С/С++, системной разработки СУБД и классической прикладной разработки банковских проектов. Спикеры затронут такие темы как тулинг, кривая обучения, надёжность, скорость разработки и выполнения, особенности архитектуры. И постараются доказать, почему для вашего следующего проекта однозначно нужно выбрать Rust, а не Java/Go/C++

🔴2 декабря вас ждут доклады:

Плагины на Rust для распределённой СУБД — технологический вызов. Георгий Мошкин

Опыт использования Rust в разработке СУБД Picodata. В чём он нам помог и с какими сложностями мы столкнулись. Егор Ивков

В следующих постах расскажем про вторую часть докладов от спикеров Picodata, не пропустите ✋

Что делать, если вы небольшая команда безопасников и у вас есть десятки тысяч репозиториев на проверку?

Александр Мельников в своём докладе «Инвентаризируй это: строим автоматический DevSecOps для 40 тысяч репозиториев» расскажет про то, как они автоматически обходят репозитории, что складывают в базу, на что смотрят в репозиториях и как интегрируются с системой vulnerability management.

А как вы обеспечиваете и повышаете информационную безопасность? Впервые в истории HighLoad++ предлагаем обсудить это на отдельном треке на тему «Информационная безопасность», который пройдёт при поддержке Яндекса.

✅ Программа Яндекс-трека здесь

Ждём вас 2 и 3 декабря в Москве на HighLoad++ 2024 🙌

⚡️ Друзья, на HighLoad++ 2024 все офлайн-билеты проданы! Но у вас еще есть возможность присоединиться к нам онлайн.
⠀
Для онлайн-участников будут доступны:
⠀
- Все презентации спикеров
- Видеозаписи всех докладов
- Трансляция всех докладов. Митапы и воркшопы не транслируются️
- Вопросы к спикерам в Telegram-чате
- Доступ к трансляции для одного пользователя
⠀
✅ Купить онлайн-билет можно на сайте

* Ранее оформленные заявки доступны для оплаты⠀
Ждем вас в эфире 2 и 3 декабря 🙌

В докладе Игоря Игнатьева (VK) «Security Gate: платформа оркестрации SAST-сканирования своими руками» история-исследование процесса создания платформы безопасности на экстрабольших масштабах в компании.

Внутри будет много полезных инженерных решений и их анализ — от вопросов выбора хранилищ до того, «почему не Open Source».

Доклад будет особенно интересен инженерам по ИБ, а также их руководителям, размышляющим, стоит ли инвестировать время и силы в разработку собственной платформы, обеспечивающей покрытие кодовой базы инструментами SAST-анализа.

А как вы обеспечиваете и повышаете информационную безопасность? Впервые в истории HighLoad++ предлагаем обсудить это на отдельном треке на тему «Информационная безопасность», который пройдёт при поддержке Яндекса.

✅ Программа Яндекс-трека здесь

Четыре доклада из секции «Архитектура», которые будут особенно интересны:

- разработчикам, Data Driven-компаниям;
- разработчикам бэкенда, DevOps, MLOps, DS;
- разработчикам и архитекторам ПО, IT-менеджерам. Тем, кто заинтересован в построении модульных систем хранения и обогащения больших объемов данных;
- разработчикам, которые работают с крупными рекомендательными системами.

1) Real-time A/B: как получать метрики по экспериментам на больших объемах данных здесь и сейчас. Данил Валгушев (Яндекс)

Как быстро понять, что эксперимент не алё, и вырубить его? Как постепенно увеличить процент пользователей, но при этом не ждать сутки до каждого увеличения? Как сделать всё это, когда у тебя в системе одновременно идёт тысяча экспериментов? Кто занимался, тот знает, насколько эти вопросы острые.

2) Поиск и рекомендации Wildberries: почти миллион RPS, ML, персонализация и большинство запросов не через индексы. Александр Сидоров (Wildberries)

Высокий сезон в ретейле — это огромные пиковые нагрузки в первые минуты старта распродаж. Докладчик расскажет про архитектуру поиска Wildberries, которая отлично держит нагрузку, экономна по железу и дает хорошее качество поиска.

3) Машины состояний для товарных данных из YDB и очередей. Виталий Московкин (Яндекс Еда)

Обзор архитектуры системы, которая может пересчитывать состояние миллиардов объектов каждые несколько минут.

4) Как эволюционировала доставка данных для рекламного движка Яндекса: снижаем задержки от часов к минутам. Даниил Гавриловский (Яндекс)

На примере доставки данных в рекламный движок Яндекса вы узнаете, на каких принципах и технологиях строятся действительно большие проекты. Докладчик покажет, как использование специальных бинарных форматов данных помогает достигать высокой производительности на огромных размерах сложных данных.

До скорой встречи на HighLoad++ 2024 🙌

✅ Программа, расписание и онлайн-билеты на сайте

Как появилась технология WASM, какие задачи она пыталась решить изначально, и какие задачи перед ней стоят сейчас? Что такое YTsaurus и как он работает? Как устроен мир работы акций на Яндекс Маркете?

Ответы на эти вопросы вы найдёте в докладах:

1) WASM: цель, устройство, перспективы. Владимир Хомутов (ВебСервер)

Человек, столкнувшийся с WASM, впадает в ступор от своеобразия технологии и неожиданных архитектурных ходов. Это классический комитетский долгострой, а приложения нужны ещё вчера. Поэтому Владимир расскажет о том, как они «упаковали» WASM, чтобы разработчики могли эти приложения создавать.

2) Как проезжать миллион километров в YTsaurus. Владислав Долбилов (Яндекс Автономный транспорт)

Рассказ о многопоточной симуляции для обучения ML на основе акторов, которая хорошо утилизирует железо и GPU. В задаче есть множество подводных камней от детерминированности до кэширования, и спикер покажет, как YTsaurus можно использовать в качестве надежного фундамента для работы с данными.

3) Легко ли раздать больше миллиона скидок за два дня? Как мы строили архитектуру промоакций на Яндекс Маркете. Анна Кустарева (Яндекс Маркет)

Исследование производительности — процесс бесконечный и бесконечно сложный. Когда тебе надо свести разные аудитории в производительную систему, приходится проходить через череду компромиссов и архитектурных выборов. Доклад Анны — ретроспектива о том, как развивалась и будет развиваться архитектура акций.

Присоединяйтесь к нам онлайн 2 и 3 декабря на HighLoad++ 2024 🖐️

✅ Программа конференции и расписание на сайте

Умение разрабатывать высоко-производительные и надежные системы — ключевой навык бэкендера в современных крупных проектах. Это сложно: чтобы попасть в хайлоад, надо иметь опыт в хайлоаде, а чтобы его получить, надо попасть в хайлоад. Замкнутый круг какой-то!

Одно из направлений R&D-центра Devhands.io как раз такое обучение – обучение с экспертами, обучение через исследования и практикум в специализированных облаках.

Мы приглашаем вас в деврум Devhands, чтобы обсудить с нашими экспертами вопросы разработки систем, выдерживающих 1 миллион запросов в секунду, новый проект Valkey и его отличия от Redis, использование кластерных технологий и многое другое.

Для тех, кто только знакомится с разработкой больших систем, мы проведем сессию, посвященную CAP-теореме и PACELC-классификации. Для CTO и HR/LND у нас заготовлен подробный рассказ о программах обучения, о возможностях образовательного облака и о бизнес-кейсах.

🔴2 декабря вас ждут доклады:

Кто сможет в 1M RPS? В забеге участвуют: Valkey, Redis, Memcached, PostgreSQL, MySQL ;) Алексей Рыбак (devhands.io), Алексей Копытов (MyDB)

Корпоративное обучение в области высоких нагрузок: подход devhands. Алексей Рыбак (devhands.io)

wrk2/wrkx: особенности использования, coordinated omission и способы компенсации. Алексей Рыбак (devhands.io)

В следующих постах расскажем о второй части докладов секции, не пропустите 🖐️

🔥 Впервые на HighLoad++ — Яндекс-трек на тему «Информационная безопасность»

Защитить сервисы от внешних угроз, проанализировать поведенческие и технические сигналы, чтобы понимать, от робота или от человека пришёл запрос, отличать настоящие отзывы и рейтинги от накрученных — современный интернет невозможно представить без информационной безопасности.

Яндекс инвестирует в разработку технологий и инструментов, которые делают наши сервисы одновременно и безопаснее, и удобнее.

А как вы обеспечиваете и повышаете информационную безопасность? Впервые в истории HighLoad++ предлагаем обсудить это на отдельном треке.

В рамках трека участников ждут доклады на следующие темы:

🔴Безопасность разработки
🔴Безопасность платформы
🔴Безопасность сети
🔴Безопасность организации
🔴Вообще безопасность

🖐️ Приходите поговорить о своём опыте, поделиться любимыми подходами или наболевшим и узнать о практиках Яндекса из первых рук.

✅Узнать подробнее о Яндекс-треке на HighLoad++ 2024

Доклад Сергея Игнатова «Бесконечная война в памяти: ретроспектива методов защиты от бинарных угроз» — это прекрасная систематизация знания про методы защиты от бинарных угроз с выводами о том, как и почему так обстоят дела и что ждет в будущем.

Доклад будет полезен разработчикам, исследователям и инженерам по безопасности, стремящимся улучшить защиту своих систем от бинарных угроз.

А как вы обеспечиваете и повышаете информационную безопасность? Впервые в истории HighLoad++ предлагаем обсудить это на отдельном треке на тему «Информационная безопасность», который пройдёт при поддержке Яндекса.

✅Программа Яндекс-трека

Чтобы узнать о специфике обработки данных электросетей и готовых решениях для бизнеса, а также о том, как улучшить стабильность и масштабируемость IoT-решений в бизнесе, приходите на доклады:

1) Проблема обработки временных рядов данных электросетей в крупных системах сбора и хранения информации. Сергей Юшманов (МТС Диджитал)

Доклад раскроет опыт разработки и внедрения инструмента анализа данных в системах учёта электроэнергии. Слушатели узнают об особенностях сбора и хранения информации о работе счётчиков, выявлении аномалий и фрода, а также о предоставлении аналитических данных энергокомпаниям.

2) Приручить «зоопарк»: как мы искали IT-подход к разнообразному парку самокатов. Андрей Калинин (МТС Юрент)

Сделать аренду самокатов — да что может пойти не так? Но если, с одной стороны, приходится лавировать между бизнесом и техническими возможностями IoT-устройств, задача становится сильно сложнее. В докладе погрузитесь в проблемы масштабирования TCP-соединений, MQTT, унификации без доработок и т. д.

🖐️ До скорой встречи на HighLoad++ 2024. Офлайн-билеты закончились, но вы ещё можете присоединиться к нам онлайн.

✅ Программа конференции, расписание и онлайн-билеты на сайте

DS- и ML-инженеры и все, кому интересна задача сбора и разметки больших данных для обучения и валидации нейронных сетей в эпоху LLM приходите на доклад «Искусственный vs естественный интеллект в задачах разметки»

В рамках доклада вместе с крутыми экспертами пройдемся по следующим темам:

- разметка в эпоху до LLM и сильных SOTA-решений;
- практические кейсы в домене CV: SAM для задач детекции и сегментации, VLM для кепшенинга изображений и видео;
- практические кейсы в домене NLP: SOTA-решения в задаче описания, суммаризации, рерайтинга больших пластов текста;
- практические кейсы в домене звука: транскрибация аудио, озвучка в режиме сингл- и мультиспикер. Кросс-модальная разметка для задач видео и аудио;
- появление LLM на арене: ускорение разметки, синергия человека и нейросетей;
- специализированная разметка: когда нейронные сети не справляются;
- синтетические данные и как очистить авгиевы конюшни;
- что делать, когда кончится Интернет?

Ждём встречи с вами 2 и 3 декабря на HighLoad++ 2024 🖐️

✅ Программа конференции на сайте

Рассказываем про два доклада из секции «Тестирование», которые будут особенно интересны:

- разработчикам телекоммуникационного оборудования, тестировщикам программного и аппаратного обеспечения, разработчикам сетевых функций, инженерам по телекоммуникациям, специалистам по безопасности;

- разработчикам автоматизированного тестирования, которые думают над архитектурой моков на тестовом окружении в кластере кубернетеса или которые хотят увеличить производительность своего тестового окружения, используя Wiremock не только как инструмент мокирования, но и как инструмент динамического управления трафиком.

1) Система тестирования сервисов управления беспроводными корпоративными сетями. Александр Лошкарев (Eltex)

Глубокое исследование с самых полей о том, что сегодня происходит в индустрии. Рекомендуется слушателям, которые хотят узнать, как развивается сетевая тема, причем тут облака и как всё это тестировать.

2) Под капотом Wiremock: разгадка проблемы производительности. Сергей Гоголев (Яндекс Финтех)

Детективная история о том, как команда Яндекс Финтех справилась с линейным ростом памяти и низкой пропускной способностью Wiremock. Доклад про организацию крупного тестового стенда, зачем там, вообще, Wiremock и узкие места этой технологии, которые могут поджидать в реальных проектах.

До скорой встречи на HighLoad++ 2024 🖐️

✅ Расписание конференции на сайте