⌛️Осталось 3 дня до повышения цены на HighLoad++ 2024

Друзья, напоминаем, с 1 ноября билеты станут дороже. Если вы планируете к нам присоединиться, но пока этого не сделали, то сейчас самое время это сделать.
⠀
И вот 5 причин, по которым нельзя пропустить HighLoad++ 2024 😎
⠀
1) Узнаете, как делают highload-системы ваши коллеги и конкуренты. Как они думают и смотрят на highload-мир.

2) Будете в курсе последних новостей индустрии.

3) Познакомитесь с технологиями, о которых, возможно, ещё не знаете.

4) Услышите сильные доклады с решением конкретных задач.

5) И просто круто проведёте время в крупнейшей IT-тусовке страны.
⠀
Также напоминаем, что вы можете зафиксировать текущую стоимость, для этого нужно забронировать билет до 1 ноября. Оплатить сможете в течение нескольких дней после брони.
⠀
Мы встречаемся 2 и 3 декабря в Москве, ждём вас 🙌
⠀
✅ Ознакомиться с программой конференции и забронировать билет можно на сайте

Пишете на Go? Присматриваетесь к Go? Используете инструменты, написанные на Go? Тогда вам точно нужно на HighLoad++ 2024, в рамках которой пройдёт профессиональная конференция для Go‑разработчиков — Golang Conf 2024!

Участники Программного комитета — эксперты Go-сообществ России — выбрали в программу 30+ крутых докладов с решением актуальных задач.

Ключевые темы конференции:

🟣Обзор нововведений Go 1.22 и 1.23
🟣GO: парадигмы и паттерны
🟣Hardcore: ассемблер, кишки, декомпиляция
🟣Протоколы, библиотеки, тулинг
🟣Истории успеха и провала

Будем говорить про переход на Go с других языков, конечно, про хардкор и смежные области. Программа вас ждёт насыщенная: пять тематических секций докладов и отдельный слот для мастер-класса по Temporal.

Совсем скоро мы начнём рассказывать вам про доклады Golang Conf 2024.

Встречаемся 2 и 3 декабря на Golang Conf 2024, которая пройдёт в рамках HighLoad++ 2024 в Москве 🖐️

✅ Присоединиться к нам ещё можно, билеты на сайте

Ловите пятерку докладов из секции «Архитектура», которые будут особенно интересны для:

- разработчиков backend-компонентов, которые сталкиваются с проблемами надежности сервисов;

- разработчиков, решающих задачи изоляции или создающих B2B-продукт внутри отлаженного B2C-бизнеса. Архитекторов и CTO. Специалистов, которым интересно, с какими технологическими вызовами сталкивается «Яндекс Лавка»;

- специалистов по Software-Defined Networking. Сетевых инженеров и архитекторов. Разработчиков сетевых сервисов. Администраторов и разработчиков облачных платформ и платформ виртуализации;

- разработчиков продуктовых и инфраструктурных команд;

- разработчиков, архитекторов и менеджеров, разрабатывающих приложения, в которых нужен поиск.

🔄

1) Как не деградировать сервису подбора рекламы, когда мир сходит с ума. Артем Букин (VK Реклама)

Вместе с разработчиком баннерного демона пройдем путь добавления graceful degradation «на живую» в сложный высоконагруженный проект, сталкивающийся с перегрузками. Попутно разберемся, как устроена рекламная система VK изнутри.

2) Развивать B2C-сервис или сделать SaaS? Мы решили не выбирать — добавляем мультитенантность в «Яндекс Лавка». Павел Подколзин (Яндекс Лавка)

Как предоставить продукт более чем одному клиенту, при этом не делая по отдельной инсталляции на каждого? Задача «добавить ещё один фильтр по всей системе» быстро становится заградительно дорогой на масштабах. Послушаем про такой опыт на примере архитектуры очень большого и известного проекта.

3) От NSX к OVN: 4 года подготовки и успешная миграция облака «на лету». Владислав Одинцов (K2 Cloud)

Миграция всегда была задачей со звёздочкой для любых сущностей и систем. Но всё становится сильно сложнее, если мигрируемые сущности связаны. Из доклада мы узнаем интересную и длительную историю такой миграции на примере требования сетевой связности сетей из старого и нового SDN.

4) Resource EXpress: как мы построили общую шину динамических ресурсов в Яндексе. Николай Гайворонский (Яндекс)

Николай расскажет о том, как объединить десяток велосипедов обновления сервисов без перезагрузки в одно решение для всей компании. Задача, которая выглядит несложной, имеет множество подводных камней и граничных случаев, особенно на масштабах Яндекса.

5) Гибридный поиск на базе OpenSearch и Qdrant. Егор Прохоренко (Т-Банк)

Модный «векторный» поиск хорош, но теряет полнотекстовую составляющую, которая все еще важна. Егор расскажет, как они объединяли вместе два поиска: дообучали модель на датасете результатов, учитывали релевантность кликов, использовали дополнительную модель для ранжирования.

Встречаемся 2 и 3 декабря на HighLoad++ 2024 в Москве 🖐️

✅ Программа конференции, расписание и билеты на сайте

На предстоящей HighLoad++ 2024 пройдёт конференция PHP Russia 2024 💥

Поговорим о тестировании, качестве, лучших практиках, архитектуре и фреймворках, добавим хардкора.

В программе PHP Russia 2024 вас ждут 16 докладов, которые распределены по таким секциям:

🟣AI/ML + PHP
🟣Производительность
🟣Devops под PHP
🟣Лучшие практики
🟣Новые крутые либы
🟣Альтернативные рантаймы
🟣Новые фреймворки
🟣Опыт больших сложных проектов на PHP

Встречаемся 2 и 3 декабря в Москве на HighLoad++ 2024, в рамках которой пройдёт PHP Russia 2024, присоединяйтесь 🖐️

✅ Подробная программа конференции и билеты на сайте

На докладах секции «Нейронные сети и искусственный интеллект (data science)» поговорим про актуальные практические решения и инновации в области обработки данных.

Рассмотрим конкретные примеры использования LLM для извлечения атрибутов товаров и их дальнейшего мэтчинга. Узнаем о фичах для поиска кадров в видео, оптимизации векторных баз и мультимодальных моделях, а ещё о методах ускорения обучения моделей и оптимизации процессов на больших кластерах. Обсудим влияние модерации на клиентский опыт и применение блюра и inpainting для улучшения изображений. И разберёмся, как правильно отбирать и оценивать данные для обучения LLM на примере Gigachat.

1) Современные подходы к мэтчингу товаров с использованием LLM. GPT-4, Llama 3, InternVL2, Qwen2.5, Qwen2-VL. Виталий Кулиев (Wildberries)

Практический кейс использования llama для мэтчинга товаров. Команда не стала заливать проблему деньгами и пришла к довольно эффективному решению, которое вы, если нужно, сможете повторить у себя.

2) Поиск в видеоконтенте при помощи AI. Александр Соколов (ГПМ Дата)

Когда-нибудь задумывались о том, как найти нужный кадр в тысячах видео? Приходите на доклад и узнаете, как работает мультимодальный сервис поиска нужных моментов среди большой базы видео.

3) Ускоряем обучения LLM более, чем на 45%: увеличиваем реальную утилизацию GPU при помощи оптимизации использования памяти, коммуникаций и здравого смысла. Михаил Хрущев (Яндекс)

У команды Яндекса получилось ускорить свои претрейны в полтора раза, а соседние сценарии Alignment/DPO в 5-10 раз! Как и за счет чего можно достичь такой скорости? Михаил поделится в своём докладе секретными оптимизациями.

4) Эффективная модерация изображений: как исправлять нарушения, сохраняя количество и качество контента. Владимир Морозов (Авито)

Хотите узнать, как обрабатывать большой пул изображений и выявлять в них запрещенный контент с последующим исправлением? Приходите на доклад и узнаете, какой пайплайн построили в команде Авито.

5) Как мы варим данные Gigachat Pretrain. Иван Басков (SberDevices)

Мечтаешь о своей LLM? В Интернете петабайты информации, что само по себе уже вызов. Но как выбрать нужное и полезное? Иван поделится секретами кластеризации, дедупликации и отбора ценных данных для обучения, с акцентом на нюансы кодовых и математических материалов.

До встречи 2 и 3 декабря в Москве на HighLoad++ 2024 🖐️

✅ Программа конференции, расписание и билеты на сайте

В секции «Базы данных и системы хранения» вас ждут доклады, посвященные современным вызовам и решениям в области управления данными.

Сегодня знакомим вас с пятеркой докладов, из которых участники узнают о предотвращении ошибок удаления данных, инкрементальном резервном копировании, улучшении взаимодействия с облачными дисками, производительности аналитики маркетплейсов и управлении шардированными базами данных.

1) Как я удалил clickstream, но его восстановили из небытия. Дмитрий Немчин (Т-Банк)

Жизненная история о том, как нечаянно стереть 200 терабайт в Hadoop, а потом несколько месяцев их восстанавливать. И как после этого донастроить data governance, чтобы такого не повторилось: начиная от админок и заканчивая TTL.

2) Инкрементальные бэкапы в PostgreSQL при помощи Ptrack и Walsummarizer, или Bloom filter vs. roaring bitmap. Алексей Дарвин, Софья Копикова (Postgres Professional)

Поиск изменений в данных кажется задачей с очевидным решением, но всё быстро становится сложнее, если добавить к ней синхронность, рабочую продовую базу данных и желание делать это быстро и экономно. В докладе узнаем о нескольких подходах к инкрементальным бэкапам от авторов одного из инструментов.

3) Путь к стабильным и быстрым дискам в Yandex Cloud. Даниил Татьянин (Yandex Cloud)

Как не терять производительность при эмуляции устройств, не уходя в крайности? В докладе узнаем про вариант эффективной реализации виртуальных дисков и новый опенсорсный проект, позволяющий решать подобные задачи.

4) Как с помощью ClickHouse решать реальные бизнес-кейсы. Дмитрий Черобаев (Mpstats.io)

В докладе рассматривается опыт работы с большими объёмами данных в аналитике. Описываются особенности сбора и обработки информации, проблемы с её обновлением и практические аспекты использования ClickHouse. Отдельное внимание уделяется автоматизации поиска узких мест при работе с данными.

5) Почтовые приключения с PostgreSQL: как приручить 650+ шардов и выжить. Кирилл Григорьев (Яндекс 360)

В докладе вы узнаете о том, как устроена Яндекс Почта сейчас, какие архитектурные решения в прошлом привели её в эту точку и как команда решала проблему балансировки нагрузки между шардами большого Postgres-кластера при переезде в Облако.

Встречаемся уже меньше, чем через месяц в Москве на HighLoad++ 2024 🖐️

✅ Ознакомиться с программой конференции и купить билет можно на сайте

Управление поиском цен на отели в сервисе бронирования — это как ремонт работающего двигателя. Работа происходит в реальном времени, и простой запрос «отель N на майские» не позволяет получить правильный ответ. Это проблема не только индустрии гостеприимства, но и всех сфер, где сервис тесно взаимодействует с внешними поставщиками данных.

Тимлид команды разработки Островок! Иван Чернов поделится методами построения архитектуры поиска от кэширования до сложных алгоритмов балансировки запросов. Расскажет, как справиться с нагрузкой и поддерживать бесперебойную работу системы. Про масштабирование Redis, использование Aerospike, фильтр Блума и про ещё одну задачу со звёздочкой.

🔴Подробности в статье: https://habr.com/ru/companies/oleg-bunin/articles/856540/

BigData и инфраструктура машинного обучения (data engineering) — следующая секция в программе HighLoad++ 2024.

Сегодня рассказываем вам о первых пяти докладах из данной секции, на которые нужно прийти, чтобы узнать, как большие языковые модели помогают решать реальные задачи, включая создание креативных ботов. Обсудить адаптацию SPYT к YTsaurus в Open Source, реализацию stateful-стриминга для аналитических платформ и разработку MLOps-платформы для рекомендательных систем. А также послушать про оптимизацию нейронных сетей для ботов без ГПУ, изучив методы ускорения и результаты работы с трансформером RoBERTa.

1) Практический подход к использованию LLM: особенности и сложности. Иван Красников (wikilect.com)

Доклад посвящен практическим аспектам применения LLM в реальных бизнес-кейсах. Иван расскажет о полном цикле разработки от создания и проектирования системы на базе LLM до финального продукта в реальной жизни!

2) YTsaurus SPYT: как мы избавились от форка Apache Spark и поддержали широкую совместимость. Александр Токарев (Яндекс)

Поддержка форка крупного Open Source-проекта — это больно. В Яндексе реализовали оригинальный способ внесения доработок в Apache Spark (JVM и Python) без необходимости создания форка, а также обеспечили совместимость своего проекта с широким диапазоном версий.

3) One streaming to rule them all. Стриминг как фундамент аналитической экосистемы. Дмитрий Широков (Яндекc Go)

Доклад про то, как внутри Яндекс Go удалось сделать универсальный стриминг, который поддерживает задачи real-time-аналитики, ML, BigData, DWH и платформы A/B-тестирования.

4) Spark in K8s для десятков DS-команд. Арсен Гумин (Сбер)

В противостоянии «Kubernetes против Apache Hadoop YARN» Арсен из Сбера всегда занимает сторону Kubernetes. В докладе он расскажет, как правильно запихнуть Spark в кубы, настроить весь необходимый для data science зоопарк и (почти) безболезненно манипулировать терабайтными датасетами.

5) Ускорение инференса ML-моделей без лишних трат. Денис Захаров (Домклик)

Глубокий технический доклад про ускорение инференса моделей. Денис расскажет про весь пайплайн работы с RoBERTa и OpenVino, поделится замерами производительности и потребления ресурсов, покажет плюсы и минусы реализации деплоя в прод.

Ждём вас 2 и 3 декабря на HighLoad++ 2024 в Москве или онлайн по всему миру 🖐️

✅ Программа конференции, расписание и билеты на сайте

🖐️ Начинаем знакомить вас со спикерами Golang Conf 2024, которая пройдет в рамках HighLoad++ 2024.

Сначала расскажем о секции «Ноу-Хау», в которую вошли доклады с нестандартными решениями задач и их реализациями на примерах реальных кейсов и мастер-класс для отработки новых знаний на практике.

1) Декларативная платформа управления доступом: от ролей к динамическим политикам. Олег Козырев (Независимый эксперт)

При реализации контроля доступа на уровне платформы регулярно встает дилемма: хардкодить и постоянно переделывать из-за меняющихся требований или потеряться в многомерном пространстве параметров всего и вся. Приходите послушать, как DSL решает эту проблему, и как гибко реализовать RBAC/ABAC.

2) Самый лучший мок на свете: разбираемся с инструментами для генерации моков в Go. Семен Эйгин (Авито)

Если вы уже генерируете моки для тестов в своём проекте, то, возможно, вы используете не самый удобный инструмент для этой задачи. А если ещё не генерируете моки, то самое время узнать, как это можно делать. Семен расскажет, чем отличаются существующие инструменты и какой из них он рекомендует.

3) Грокаем структуры данных для распределенных систем: Bloom Filter, CRDT и Consistent Hashing. Булат Усманов (Независимый эксперт)

Структуры данных связаны с задачами обработки локальных данных, но существуют специальные типы данных для решения задач обработки распределенных. В докладе рассмотрим наиболее распространённые примеры таких структур, их Go-реализацию и как использование этих структур поможет оптимизировать процесс.

4) Мастер-класс «Как использовать Temporal для создания MVP». Евгений Конечный (Uzum Tezkor)

Современные распределенные системы подарили нам целый пласт интересных проблем, которые приходится решать в отказоустойчивых системах. В мастер-классе будет рассмотрен этот класс задач и как их решать при помощи движка Temporal. Получившийся MVP будет не стыдно пустить под реальную нагрузку.

Присоединяйтесь к нам 🙌

✅ Программа, расписание и билеты на сайте

В наш век повсеместного распространения контейнеров все считают их привычной магией и забывают о том, что они построены на базе самых стандартных технологий, которым не один десяток лет. Особенно это касается организации сетевого взаимодействия. Пора снять завесу тайны с этих технологий и потрогать их руками!

Всегда хотели вжух-вжух и дебажить сети в этих ваших куберах и докерах, но не знали с чего начать? Приходите на Workshop «Контейнеры и сети. Изучаем, разбираемся, отлаживаем» от Александра Попова и Георгия Меликова из VK Cloud. Спикеры покажут, расскажут и научат основополагающим вещам в этом нелегком деле!

Александр и Георгий имеют большой опыт построения сложных систем. Мастер-класс рекомендуется к посещению всем, кто хочет глубоко разобраться в сетях и в тех принципах, что лежат в основе систем контейнеризации.

❗️Для участия в workshop вам потребуется ноутбук с доступом в Internet и ssh-клиент.

Встречаемся 2 и 3 декабря в Москве на HighLoad++ 2024 😎

✅ Программа конференции, расписание и билеты на сайте

Kubernetes сейчас запускают везде, в том числе и в банках, и в КИИ. Только вот с интернетом там дела не то чтобы обстоят плохо, его нет от слова совсем.

В своем докладе «Kubernetes без интернета» Максим Набоких (Deckhouse) рассказал про установку самого популярного решения для запуска контейнеров там, где не ступал ни один пакет из публичной сети.

🔄

- Рассмотрел целевую схему закрытого контура.
- Отдельно остановился на нюансах работы инструментов для создания безопасной среды.
- Показал, как они готовят дистрибутив к установке.
- Обсудили нюансы, возникающие на тех масштабах, на которых это делает Флант.
- Не обошли стороной и доставку приложений в закрытых окружениях.

▶️Смотреть запись доклада в VK Видео

#записьдокладаHL
@HighLoadChannel

Нестандартные решения в финтехе, новые подходы к микросервисам от Яндекса, эволюция WebAssembly и автономного транспорта, изменения в архитектуре метрик — об этом вы узнаете на докладах из сегодняшней подборки ⤵️

1) Финтех: причины моей ненависти. Екатерина Лысенко (Независимый эксперт)

Финтех — это не только интересная и сложная доменная область. Это еще и куча нестандартных решений, костылей и разбросанных граблей. О приключениях, которые могут ждать IТ-специалиста в финтехе — в докладе Екатерины.

2) AppHost: как Яндекс организует взаимодействие сотен микросервисов. Константин Вуколов (Яндекс)

Можно ли придумать альтернативу Service Mesh? Действительно ли это наилучшая технология для любого проекта? В докладе вы узнаете, почему Яндекс реализовал альтернативную модель межсервисного взаимодействия и насколько удачной она получилась.

3) WebAssembly: от браузеров до хайлоада. Алексей Комисов (Positive Technologies)

Взгляд на историю, текущее состояние и будущее WebAssembly. Основы, примеры использования и преимущества Wasm по сравнению с Java. Какие изменения в ландшафте экосистемы WebAssembly несет за собой компонентная модель, и почему этот подход может прийти на смену микросервисной архитектуре.

4) Быстрые Open Loop- и Closed Loop-симуляторы для автономного транспорта. Николай Поливанов (Яндекс)

Рассказ спикера из Яндекса про обучение моделей для автономного транспорта. Сейчас модели обучают уже не только на реальных, но и на симулированных данных. Николай расскажет, как они готовят эти данные и в реальном времени передают их ROS, которая «накатывает» миллионы километров.

5) Эволюция пайплайна метрик. Как менялась архитектура с ростом нагрузки. Руслан Боярский (Т-Банк)

Чем больше систему строишь, тем выше сложность с точки зрения наблюдаемости. Рост и объем системы требуют изменять и систему сбора метрик. Каждый, кто сталкивается с необходимостью строить подобную систему, найдет в докладе полезный опыт эволюции того, как собирать, хранить и анализировать метрики.

Присоединяйтесь к нам 2 и 3 декабря на HighLoad++ 2024 в Москве или онлайн по всему миру 🙌

✅ Программа конференции, расписание и билеты на сайте

Кирилл Кузин из компании Ви.Tech приглашает вас на Golang Conf 2024 и на свой доклад «Страх и Ненависть в Ви.Tech: как жить без микросервисов». 🖐️

Рефакторинг всего сервиса — от витрины интернет-магазина до всех внутренних систем. Закончить его нельзя, но можно сделать дёшево. Об этом и в целом о том, как строить прагматичную архитектуру масштабного сервиса, — будет рассказ.

Доклад Кирилла будет полезен сеньор-разработчикам, техлидам и лидам, которые так или иначе связаны с распилом монолита или же с созданием крупных сервисов на Golang.

Встречаемся 2 и 3 декабря в Москве на Golang Conf 2024, которая пройдёт рамках HighLoad++ 2024 🙌

✅ Программа конференции, расписание и билеты на сайте

Сегодня рассказываем вам о докладах секции «Ноу-хау» из программы предстоящей конференции Golang Conf 2024, которые будут особенно интересны для:

- разработчиков микросервисов. Для всех, кто желает познакомиться с распределенными транзакциями и интересуется паттернами проектирования;

- разработчиков на Go, которым будет интересно узнать о новом функционале, появившемся в Go 1.23 — итераторах;

- разработчиков и архитекторов ПО, IT-менеджеров. Тех, кто заинтересован в построении модульных систем хранения и обогащения больших объемов данных;

- разработчиков, которые активно используют конкурентность в своих проектах и стремятся к более глубокому пониманию микроархитектуры взаимодействия в Golang. Вы получите ценные знания о том, как структурировать конкурентные паттерны и создавать на их основе эффективные микроархитектуры приложений.

1) Эпическое программирование: как мы пишем понятные и поддерживаемые саги. Алексей Бакин (Независимый эксперт)

Практический доклад с обилием кода — как реализовать приложение на сагах так, чтобы бесконечные фичи реализовывались легко и приятно.

2) Итераторы в Go.123: зачем они нужны, как использовать и насколько они быстрые? Павел Агалецкий (Авито)

Когда в языке появляется что-то новое, не всегда понятно, в чем суть появившейся фичи и какую пользу я, как разработчик, получу от ее внедрения. В докладе будет рассмотрена не только история появления итераторов в языке, но и рекомендации по использованию, основанные на функциональных критериях.

3) Машины состояний для товарных данных из YDB и очередей. Виталий Московкин (Яндекс Еда)

Кэш в каждом микросервисе со всегда актуальными данными? Автор расскажет о нетрадиционной работе с БД во ВСЁМ сервисе и как в сложной нагруженной системе сделать БД и дешёвой, и не бутылочным горлышком.

4) Оптимизация конкурентных приложений: паттерны, сравнение и микроархитектура. Максим Мирошниченко (VK, VK Tech)

Конкурентность из коробки — одно из базовых преимуществ Go, однако практический результат применения зависит от умения ее готовить. В докладе речь пойдет о принципах эффективного применения паттернов конкурентности и построения надежно работающих решений, использующих конкурентность.

🖐️ Ждем вас на Golang Conf 2024, которая пройдет 2 и 3 декабря в рамках HighLoad++ 2024.

✅ Программа и расписание есть на сайте

🔥 Впервые на HighLoad++ — Яндекс-трек на тему «Информационная безопасность»

Защитить сервисы от внешних угроз, проанализировать поведенческие и технические сигналы, чтобы понимать, от робота или от человека пришёл запрос, отличать настоящие отзывы и рейтинги от накрученных — современный интернет невозможно представить без информационной безопасности.

Яндекс инвестирует в разработку технологий и инструментов, которые делают наши сервисы одновременно и безопаснее, и удобнее.

А как вы обеспечиваете и повышаете информационную безопасность? Впервые в истории HighLoad++ предлагаем обсудить это на отдельном треке.

В рамках трека участников ждут доклады на следующие темы:

🟣Безопасность разработки
🟣Безопасность платформы
🟣Безопасность сети
🟣Безопасность организации
🟣Вообще безопасность

🖐️ Приходите поговорить о своём опыте, поделиться любимыми подходами или наболевшим и узнать о практиках Яндекса из первых рук.

✅ Узнать подробнее о Яндекс-треке на HighLoad++ 2024

Конференции завалены историями успеха. Но путь к успеху всегда лежит через фейлы, о которых рассказывать не принято. Но только не на нашем fail-митапе 🔥

В своих коротких, но зажигательных выступлениях спикеры поделятся настоящими историями фейлов. Без записи, без трансляции, без комплексов.

Будет интересно как тем, кто уже хотя бы раз положил прод, так и тем, кто пока ещё нет 😎

До встречи на HighLoad++ 2024, которая пройдёт 2 и 3 декабря в Москве 🖐️

✅ Расписание конференции и билеты на сайте