HighLoad++
6.31K subscribers
2.41K photos
160 videos
16 files
2.27K links
Официальный канал профессиональной конференции разработчиков высоконагруженных систем

Saint HighLoad++ 2026 пройдёт в июне в Санкт-Петербурге: https://highload.ru/spb/2026

Общаемся в чатике https://xn--r1a.website/HighLoadTalks
Download Telegram
🔥 Впервые на HighLoad++ — Яндекс-трек на тему «Информационная безопасность»

Защитить сервисы от внешних угроз, проанализировать поведенческие и технические сигналы, чтобы понимать, от робота или от человека пришёл запрос, отличать настоящие отзывы и рейтинги от накрученных — современный интернет невозможно представить без информационной безопасности.

Яндекс инвестирует в разработку технологий и инструментов, которые делают наши сервисы одновременно и безопаснее, и удобнее.

А как вы обеспечиваете и повышаете информационную безопасность? Впервые в истории HighLoad++ предлагаем обсудить это на отдельном треке.

В рамках трека участников ждут доклады на следующие темы:

🔴Безопасность разработки
🔴Безопасность платформы
🔴Безопасность сети
🔴Безопасность организации
🔴Вообще безопасность

🖐️ Приходите поговорить о своём опыте, поделиться любимыми подходами или наболевшим и узнать о практиках Яндекса из первых рук.

Узнать подробнее о Яндекс-треке на HighLoad++ 2024
Please open Telegram to view this post
VIEW IN TELEGRAM
Рады сообщить вам, друзья, что мы внимательно изучили ваши отзывы и предложения после предыдущих конференций и заметили, что многие считают полезным добавить событий и отдельных мест для неформальных коммуникаций и поиска полезных знакомств!

Почему это полезно?

•Отличная возможность неформально пообщаться с экспертами предметной области
•Завести новые знакомства и найти единомышленников
•Найти нужные идеи и контакты для сотрудничества
•Узнать о том, как и что сейчас делают коллеги из индустрии и смежных областей и какие есть тренды и возможности для развития

Именно поэтому в этот раз мы выделили несколько слотов в программе конференции (в зале 05. Мумбай (2 этаж)) с 14:40 до 19:00 чисто для нетворкинга! И уже сейчас поделимся идеями некоторых из них 😉

📌 В 14:40 вас ждет активность Нетворкинг-зоны «ML» — это тематическая встреча для всех участников, в ходе которой планируем обсудить следующие актуальные темы этого сезона (но в процессе можно предлагать и свои):

• копилоты для бэкенда;
• RAGи и приложения векторных БД;
• динамика — взаимодействие с аудиторией;
• на стыке железа и пайплайнов;
• затащить сетку на маленькие маломощные девайсы;
• обучение и инференс моделей;
• разметка и датасеты;
• ML в производстве;
• антифрод и модерация;
• MLOps;
• мониторинг продакшн-ML-решений;
• облака

📌 В 15:50 приглашаем пообщаться в Нетворкинг-зоне «Базы данных и системы хранения» и обсудить наиболее актуальные тренды развития рынка СУБД с несколькими известными экспертами 😎

Приходите! Будет интересно, необычно и полезно 💡
3🔥2👍1
Доклад Сергея Игнатова «Бесконечная война в памяти: ретроспектива методов защиты от бинарных угроз» — это прекрасная систематизация знания про методы защиты от бинарных угроз с выводами о том, как и почему так обстоят дела и что ждет в будущем.

Доклад будет полезен разработчикам, исследователям и инженерам по безопасности, стремящимся улучшить защиту своих систем от бинарных угроз.

А как вы обеспечиваете и повышаете информационную безопасность? Впервые в истории HighLoad++ предлагаем обсудить это на отдельном треке на тему «Информационная безопасность», который пройдёт при поддержке Яндекса.

Программа Яндекс-трека
Please open Telegram to view this post
VIEW IN TELEGRAM
👍4
Чтобы узнать о специфике обработки данных электросетей и готовых решениях для бизнеса, а также о том, как улучшить стабильность и масштабируемость IoT-решений в бизнесе, приходите на доклады:

1) Проблема обработки временных рядов данных электросетей в крупных системах сбора и хранения информации. Сергей Юшманов (МТС Диджитал)

Доклад раскроет опыт разработки и внедрения инструмента анализа данных в системах учёта электроэнергии. Слушатели узнают об особенностях сбора и хранения информации о работе счётчиков, выявлении аномалий и фрода, а также о предоставлении аналитических данных энергокомпаниям.

2) Приручить «зоопарк»: как мы искали IT-подход к разнообразному парку самокатов. Андрей Калинин (МТС Юрент)

Сделать аренду самокатов — да что может пойти не так? Но если, с одной стороны, приходится лавировать между бизнесом и техническими возможностями IoT-устройств, задача становится сильно сложнее. В докладе погрузитесь в проблемы масштабирования TCP-соединений, MQTT, унификации без доработок и т. д.

🖐️ До скорой встречи на HighLoad++ 2024. Офлайн-билеты закончились, но вы ещё можете присоединиться к нам онлайн.

Программа конференции, расписание и онлайн-билеты на сайте
Please open Telegram to view this post
VIEW IN TELEGRAM
1
DS- и ML-инженеры и все, кому интересна задача сбора и разметки больших данных для обучения и валидации нейронных сетей в эпоху LLM приходите на доклад «Искусственный vs естественный интеллект в задачах разметки»

В рамках доклада вместе с крутыми экспертами пройдемся по следующим темам:

- разметка в эпоху до LLM и сильных SOTA-решений;
- практические кейсы в домене CV: SAM для задач детекции и сегментации, VLM для кепшенинга изображений и видео;
- практические кейсы в домене NLP: SOTA-решения в задаче описания, суммаризации, рерайтинга больших пластов текста;
- практические кейсы в домене звука: транскрибация аудио, озвучка в режиме сингл- и мультиспикер. Кросс-модальная разметка для задач видео и аудио;
- появление LLM на арене: ускорение разметки, синергия человека и нейросетей;
- специализированная разметка: когда нейронные сети не справляются;
- синтетические данные и как очистить авгиевы конюшни;
- что делать, когда кончится Интернет?

Ждём встречи с вами 2 и 3 декабря на HighLoad++ 2024 🖐️

Программа конференции на сайте
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥1
На HighLoad++ 2024 разработчики видеохостинга RUTUBE поделятся своими решениями в рамках специальной секции «Архитектура национального масштаба». Если хотите узнать, как устроена архитектура проектов, которыми пользуется почти каждый из нас, приходите послушать доклады:

•Архитектура национального видеохостинга RUTUBE: как мы раздаем 5 Тбит/с со своего CDN. Эльдар Ниязов

•Быстрые кешбеки для быстрых платежей. Константин Гузаров

•Как мы увеличили пропускную способность поиска картинок с помощью ML и изменения архитектуры. Денис Сахнов, Дмитрий Бузмаков

•Архитектура видеозвонков Т-Банка. Евгений Фирстов

RUTUBE — это крупнейшая российская платформа для просмотра и размещения аудио- и видеороликов. На платформе представлены UGC, эксклюзивные проекты RUTUBE, видео СМИ и государственных организаций, лицензионные шоу, фильмы и сериалы. Национальный видеохостинг RUTUBE входит в «Газпром-Медиа Холдинг», обеспечивающий российских пользователей разнообразным медиаконтентом и меняет технологический ландшафт страны.

Реклама ООО «Руформ» erid: LjN8KaZvE
👍2🔥1😢1
Рассказываем про два доклада из секции «Тестирование», которые будут особенно интересны:

- разработчикам телекоммуникационного оборудования, тестировщикам программного и аппаратного обеспечения, разработчикам сетевых функций, инженерам по телекоммуникациям, специалистам по безопасности;

- разработчикам автоматизированного тестирования, которые думают над архитектурой моков на тестовом окружении в кластере кубернетеса или которые хотят увеличить производительность своего тестового окружения, используя Wiremock не только как инструмент мокирования, но и как инструмент динамического управления трафиком.

1) Система тестирования сервисов управления беспроводными корпоративными сетями. Александр Лошкарев (Eltex)

Глубокое исследование с самых полей о том, что сегодня происходит в индустрии. Рекомендуется слушателям, которые хотят узнать, как развивается сетевая тема, причем тут облака и как всё это тестировать.

2) Под капотом Wiremock: разгадка проблемы производительности. Сергей Гоголев (Яндекс Финтех)

Детективная история о том, как команда Яндекс Финтех справилась с линейным ростом памяти и низкой пропускной способностью Wiremock. Доклад про организацию крупного тестового стенда, зачем там, вообще, Wiremock и узкие места этой технологии, которые могут поджидать в реальных проектах.

До скорой встречи на HighLoad++ 2024 🖐️

Расписание конференции на сайте
Please open Telegram to view this post
VIEW IN TELEGRAM
На HighLoad++ 2024 совместно с Домклик мы подготовили специальную секцию «ML как платформа: от kubeflow до feature store».

Домклик — продуктовая технологическая компания, которая создает высоконагруженные проекты в сфере недвижимости, обеспечивая полный цикл от выбора квартиры, получения ипотеки, взаиморасчетов с продавцом до постпродажного сопровождения.

На докладах секции поговорим про out-of-the-box подход и антихрупкие решения сложных технологических задач в разработке, обработке больших данных и обучения моделей. Как в рамках имеющегося стека и инфраструктурных ограничений построить платформу для ML команд на основе взаимозаменяемых модулей?

Спикеры расскажут о том, как стандартизируют обработку больших данных и тиражируют свою платформу в направления машинного обучения и data science: текстовых и голосовых ассистентов, компьютерного зрения, предиктивных и рекомендательных моделей.

•Проектируем свою inhouse Feature Platform. Алина Баймашева (Домклик)

•Переход от легаси к построению своего Feature Store: Активные действия. Евгений Дащенко (Домклик)

•От ошибок к успеху: эволюция ML Feature Store в Flocktory. Олег Кабанов (Flocktory)

•Централизованная платформа MLOps: от R&D до инференса в едином контуре. Елизавета Гаврилова (Леруа Мерлен)

Реклама ООО «Домклик» erid: LjN8KYYxE
Павел Черемушкин в своём докладе «Как построен процесс фаззинга в Яндексе» расскажет о том, как в Яндексе автоматизируют поиск уязвимостей порчи памяти при помощи фаззинга в своих сервисах. Как используют ресурсы Яндекса для ускорения этого процесса, а также внутреннем устройстве платформы для координации фаззинга, какие неожиданные сложности решали в процессе ее создания.

Доклад будет интересен специалистам в области разработки и безопасности, которые занимаются анализом защищенности, построением цикла безопасной разработки или повышением стабильности своих продуктов.

А как вы обеспечиваете и повышаете информационную безопасность? Впервые в истории HighLoad++ предлагаем обсудить это на отдельном треке на тему «Информационная безопасность», который пройдёт при поддержке Яндекса.

Программа Яндекс-трека на сайте
Please open Telegram to view this post
VIEW IN TELEGRAM
«Лаборатория Числитель» — это команда энтузиастов, которая пишет и внедряет инфраструктурный софт с 2019 года.

У коллег есть три продукта:

• «Штурвал» — контейнерная платформа для управления кластерами Kubernetes
• «Пульт» — система мониторинга ИТ-инфраструктуры, в основе которой лежит популярная программная платформа Zabbix
• «Нимбиус» — CMP-платформа управления и автоматизации существующей ИТ-инфраструктуры для создания частных и гибридных облаков.

Приходите к ним на стенд, чтобы узнать больше о продуктах и реализованных фичах.

А если хотите отвлечься от работы — для вас приготовили интерактивную игру, погружающую в мир Kubernetes, кнопочный бой, много разных угощений, а также ежедневные розыгрыши призов!

Реклама ООО“ЛабораторияЧислитель” erid: LjN8KG6WT
🔥1
4 доклада из секции «Нейронные сети и искусственный интеллект (data science)», на которые нужно прийти, если хотите узнать:

- как нейронные сети трансформируют процессы разметки и повышают эффективность;
- как оптимизировать ML-процессы без затрат на подрядчиков и повысить прибыль компании;
- как оптимизация распределенного обучения увеличивает прибыль в рекламе;
- про Face Liveness и его роли в защите от идентификационного фрода.

🔄

1) Ускоряем разметку данных нейронками: пайплайн, метрики и лайфхаки. Дмитрий Антипов (Сбер / абт)

Если вам нужно что-то размечать, то вы наверняка задумаетесь, как прикрутить к этому процессу нейронки, чтобы меньше полагаться на кожаных мешков. А тут человек, который этот путь прошёл, скорее всего, раньше вас, расскажет, где на нём грабельки разложены. Здорово же!

2) Как мы сделали рекомендации, отказались от подрядчика и заработали денег. Данила Федюкин (X5 Digital)

Доклад посвящён решению классической проблемы выбора — заказывать разработку или делать самим. В процессе будет рассказано про то, как анализировать заказанное решение, планировать своё и про технологическую основу получившегося ML-решения в продакшне.

3) Микросервисы на InfiniBand: 800 Gbps в распределенном обучении рекомендательных нейросетей. Алексей Морозов (Яндекс)

Как эффективно организовать коммуникацию и синхронизацию данных между вычислительными узлами? Доклад о том, что ждет разработчика, который хочет выжать максимум как из отдельного хоста, так и из целого кластера на задачах машинного обучения.

4) Специализированные vs мультимодальные модели в Face Liveness: почему мы в VisionLabs выбрали универсальность. Олег Гринчук (VisionLabs)

Доклад про Face Liveness от VisionLabs. Уже используются в Московском транспорте и крупнейших банках. Вы узнаете о ключевые аспектах технологии, включая её отличия от детекции дипфейков. Пройдем полный цикл от сбора данных до полноценного внедрения в продукт!

До скорой встречи на HighLoad++ 2024!

Если вы ещё не распланировали своё участие, то самое время это сделать, расписание на сайте
Please open Telegram to view this post
VIEW IN TELEGRAM
1🔥1🤩1
Какие есть подводные камни при работе с Open Source-продуктами и мифы про их использование? Как Timeweb Cloud применяет свой подход и масштабирует сетевые сервисы под бизнес-задачи клиентов? Как без простоя восстановиться после падения ЦОДа?

Ответы на эти вопросы вы найдёте в докладах 🔄

1) Как перестать бояться и полюбить Open Source. История создания одного продукта. Дмитрий Кудюкин (ITKey)

Комплексный взгляд на Open Source и его внедрения. Доклад затронет струны души как фанатов всего открытого, так и матёрых корпоратов, для которых слово Open Source ругательное.

2) Когда ваше маленькое облако перестало быть маленьким, или Как и почему мы тащим BGP на гипервизоры. Максим Яковлев (Timeweb Cloud)

Сети для многих выглядят как весьма статичные конструкции, конфигурируемые по надобности только при изменениях. Но в современном мире даже сети становятся всё более динамическими и требуют реконфигурации на лету. В этом докладе узнаем о популярном подходе к построению программных сетей в облаках.

3) Как (не)пережить падение ЦОДа. Николай Бутенко (VK, VK Tech)

Доклад поможет по-новому взглянуть на надежность вашего нынешнего ЦОД или того, куда вы только планируете ехать. Узнаете про аудит, который проводил VK Tech в ряде центров. Опыт докладчика и возможные проблемы в ДЦ приложите к вашим системам, честно ответите сами себе о том, затронут они вас или нет.

Ждём вас 2 и 3 декабря на HighLoad++ 2024 🖐️

Программа конференции и расписание на сайте
Please open Telegram to view this post
VIEW IN TELEGRAM
👍2🔥1
Доклад Алексея Федулаева и Андрея Моисеева «Защита от атак на CI/CD» — прикладной и полезный для любого разработчика, даже если вы только планируете настраивать CI/CD.

В докладе разберём на примерах различные векторы атак на CI/CD. Подробно рассмотрим, к чему приводит их реализация и какого импакта можно добиться. Обсудим, как защититься от таких атак, и рассмотрим практические примеры использования различных способов смягчения рисков.

А как вы обеспечиваете и повышаете информационную безопасность? Впервые в истории HighLoad++ предлагаем обсудить это на отдельном треке на тему «Информационная безопасность», который пройдёт при поддержке Яндекса.

Программа Яндекс-трека на сайте
Please open Telegram to view this post
VIEW IN TELEGRAM
👍1
Привет, айтишники! На линии копирайтер Домклик.

Приходите в гости на наш стенд, тапочки можно не надевать. Для вас мы придумали две уютные игры. С пустыми руками не уйдете — вас ждет мерч, а особенно ловких — экзотические животные.

Но не одной игрой жизнь полнится — на нашей секции про ML вас ждут полезные и питательные доклады про построение inhouse Feature Platform, эволюцию Feature Store и жизненный цикл MLOps.

Реклама ООО «Домклик» erid: LjN8KSAsy
👍2
This media is not supported in your browser
VIEW IN TELEGRAM
👍3
🖐️ Александр Попов и Георгий Меликов из VK Cloud приглашают вас на свой Workshop «Контейнеры и сети. Изучаем, разбираемся, отлаживаем»

Докладчики имеют большой опыт построения сложных систем. Мастер-класс рекомендуется к посещению всем, кто хочет глубоко разобраться в сетях и в тех принципах, что лежат в основе систем контейнеризации.

Для участия в workshop вам потребуется ноутбук с доступом в Internet и ssh-клиент.
🔥6
Сегодня рассказываем про шесть докладов, которые будут особенно интересны и полезны:

🟣специалистам, которые занимаются интеграцией высоконагруженных систем;
🟣всем, кому любопытно узнать, как серверы пытаются вас идентифицировать, когда вы хотите сохранить приватность;
🟣разработчикам на С/С++, пользователям GDB, разработчикам асинхронных движков;
🟣разработчикам облаков;
🟣ML-разработчикам и техлидерам проектов;
🟣системным и сетевым администраторам, которые хотят лучше разобраться в сетевой подсистеме и с тем, как работает eBPF. А также разработчикам и руководителям команд разработки, которые планируют начать использовать eBPF.


1) Интеграционная эволюция с помощью PaaS-платформы. Александр Князев (РСХБ.цифра)

Докладчик расскажет, как РСХБ в рамках экстренного импортозамещения удалось построить платформу для развертывания приложений на базе Open Souce, которая учитывает высокие требования к информационной безопасности банка и при этом удобна для разработчиков.

2) Инкогнито не поможет: разбираемся в fingerprint-идентификации. Александр Бобряков (МТС Диджитал)

Александр подробно разберёт, в каком состоянии сегодня находится тема цифрового отпечатка (fingerprint) в задачах разработки и практического использования. Рекомендуем доклад всем, кто интересуется жизненным циклом идентификации в больших системах.

3) Как отлаживать асинхронный Odyssey, не привлекая внимания санитаров. Роман Хапов (Yandex Cloud)

Глубоко технический доклад о том, как GDB расширяли для отладки Odyssey: асинхронного connection pool для PostgreSQL. Движок написан на C в асинхронной парадигме на корутинах, и в докладе спикер расскажет, как подобную задачу пытались решить в Go, но на самом деле не решили. А они — решили.

4) Особенности современной аппаратуры: как на x86-64 изолированные ВМ могут чувствовать друг друга. Максим Давыдов (Yandex Cloud)

Захватывающая история расследования проблемы с производительностью ВМ, вызванной конкуренцией за кэш L3 и шину к RAM. Будет показано, как инженеры Yandex Cloud смогли найти взаимное влияние ВМ и оптимизировать их работу.

5) Методология внедрения ML на примере оценки времени маршрута Яндекс Доставки. Дмитрий Клебанов (Яндекс Доставка)

Есть смысл или нет смысла внедрять искусственный интеллект — вот в чем вопрос. Когда система большая, рисков становится много, как и возможностей. Доклад однозначно рекомендуется всем, кому нужно на этот вопрос ответить, и тем, кому просто интересно, как это работает.

6) Покоряем сетевой стек Linux: декапсулируем пакеты с помощью eBPF на скорости 6Mpps+. Александр Шишебаров (Selectel)

Всегда приятнее делать улучшения через дополнение, а не полную замену. В данном докладе вспомним об устройстве сетевой подсистемы Linux и узнаем, как в ней на большой нагрузке можно перехватывать и обрабатывать трафик через eBPF без полной перестройки существующего движения трафика.

До скорой встречи, друзья, на HighLoad++ 2024 🙌

Программа конференции и расписание на сайте
Please open Telegram to view this post
VIEW IN TELEGRAM
Доклад Романа Лебедя «Исправлять — не искать. Разработка и внедрение AI-ассиcтента для исправления уязвимоcтей в коде» — это отличная возможность посмотреть, как AI может помочь с разбором отчетов сканеров кода и с созданием исправлений для уязвимостей.

Роман расскажет о том, как создавали и внедряли решение для помощи разработчикам в устранении уязвимостей и недостатков в коде с использованием технологий ИИ. Поделится результатами сравнения коммерческих и Open Source-моделей, различными трюками для улучшения качества, тестирования, обогащения данных. Покажет примеры работы и общую архитектуру решения.

А как вы обеспечиваете и повышаете информационную безопасность? Впервые в истории HighLoad++ предлагаем обсудить это на отдельном треке на тему «Информационная безопасность», который пройдёт при поддержке Яндекса.

Программа Яндекс-трека на сайте
Please open Telegram to view this post
VIEW IN TELEGRAM
👍1
Возможность горизонтального масштабирования — один из ключевых факторов успеха для современных технологических решений. Scale-out архитектуры позволяют системе расти почти бесконечно, добавлять ресурсы по мере необходимости и без потери производительности. В VK Tech создают решения для масштабирования и выпускают их на рынок — в SaaS и On-premise версиях.

На HighLoad++ 2024 мы подготовили секцию «Разработка и эксплуатация scale-out систем», где спикеры поделятся кейсами создания решений, которые поддерживают рост бизнеса в условиях постоянно увеличивающихся нагрузок. VK Tech — партнер секции с многолетним опытом в построении масштабируемых решений.

Секция посвящена практическим подходам к горизонтальному масштабированию высоконагруженных систем: разработчики, архитекторы и технические менеджеры продукта обменяются опытом по эффективной организации scale-out инфраструктуры.

Добавляйте доклады секции в избранное и обязательно приходите послушать:

Не всемогущий etcd или почему он не тянет большие нагрузки могучего Kubernetes. Алексей Волков (VK Cloud)

От 45 до 450 Gbit/s, или 10 лет эволюции архитектуры сетевых stateful-приложений. Павел Иващенко (TrafficSoft)

Покоряем сетевой стек Linux: декапсулируем пакеты с помощью ebpf на скорости 6Mpps+. Александр Шишебаров (Selectel)

Когда ваше маленькое облако перестало быть маленьким, или как и почему мы тащим BGP на гипервизоры. Максим Яковлев (Timeweb Cloud)

Реклама ВК Цифровые Технологии erid: LjN8JzhFM
🔥2
Привет от VK! В этом году на HighLoad++ будет интересно 😉

Будем ждать всех на стенде VK — в главном месте встречи для нетворкинга. Здесь вы найдёте полезные знакомства и сможете задать вопросы экспертам VK. Участвуйте в активностях от команд ВКонтакте, ОК, VK Tech и AI VK — и получайте приятные призы!

Кроме того, наши ребята поделятся пятнадцатью хардовыми докладами. Не пропустите эти темы — в расписании они отмечены логотипом VK 💙

Реклама ООО «ВК» erid: LjN8KFkoH
🔥5👍32