Рассказываем о следующих докладах, сегодня из блока «Узкотематические секции», которые будут особенно интересны:

- в первую очередь разработчикам из сферы видео, стриминга или телекома, но и разработчикам из других предметных областей тоже должно быть интересно;

- тем, кто занимается веб-парсингом (сбором данных), и кто пытается от него защищаться. Может быть любопытен как интересующимся антифродом, так и всем, кому интересно, какие данные пользователей собирают сайты.

1) Что наша жизнь? Стата! или Укрощаем технические события плееров в VK Видео. Алексей Шпагин (VK, ВКонтакте)

Доклад о переходе VK Видео на новую архитектуру сбора технической статистики. Алексей расскажет, как отказ от сложных событий в пользу моно-событий и сигналов повысил надежность и упростил поддержку плееров. Разбор ключевых метрик (время первого байта/кадра), особенности ленивой и срочной статистики

2) Проблемы при масштабировании сервиса для обхода антибот систем. Евгений Слайковский (Zyte)

Доклад освещает трудности, связанные с масштабированием сервисов для обхода антибот систем. Обсуждаются технические вызовы, такие как имитация браузеров и подделка отпечатков. Вы узнаете о сложностях, возникающих при обходе современных защитных мер.

Мы встречаемся 2 и 3 декабря на HighLoad++ 2024 в Москве, присоединяйтесь 🖐️

✅ На сайте можно посмотреть уже принятые доклады и забронировать билет до повышения цены 21 сентября

⚡Успейте забронировать билет на HighLoad++ 2024 до повышения цены
⠀
🖐️ Присоединяйтесь к нам, чтобы:
⠀
- узнать, как делают highload-системы ваши коллеги и конкуренты. Как они думают и смотрят на highload-мир;

- быть в тренде и двигаться дальше;

- познакомиться с технологиями, о которых, возможно, вы ещё не знаете;

- услышать сильные доклады с решением конкретных задач;

- круто провести время в IT-тусовке.
⠀
Также напоминаем, что вы можете забронировать билет до 1 октября, чтобы сохранить за собой текущую стоимость, а оплатить в течение нескольких дней после брони.
⠀
Мы встречаемся 2 и 3 декабря в Москве, ждём вас 🙌
⠀
✅ Ознакомиться с уже принятыми докладами и забронировать билет можно на сайте

▶️Запись доклада Константина Хицко «Успеть за 350 миллисекунд. Эволюция архитектуры Антиспама Почты Mail.ru» с Saint HighLoad++ 2023

Для того чтобы защитить пользователей почты Mail.ru от вредоносных писем, Антиспам Почты Mail.ru проверяет более 400 млн писем ежедневно.

Константин рассказал, как и почему менялась архитектура Антиспама за более 15 лет развития, а ещё:

- что такое спам и зачем с ним бороться;
- какие этапы выполняются при проверке письма;
- какие технические трудности возникают при фильтрации спама, и как они с ними борятся;
- как развивалась архитектура Антиспама, и какую роль в этом играют спамеры;
- что изменилось с началом применения технологий машинного обучения;
- какую роль играет ML в их задачах;
- какие принципы разработки используются, чтобы достичь целевых показателей SLA под нагрузкой выше 300K RPS;

в заключение рассказал примеры случаев, когда что-то пошло не по плану, и какие выводы они из этого сделали.

Посмотрите видео сами и поделитесь с коллегами 🙌

Смотреть на YouTube
Смотреть в VK Видео

#записьдокладаHL
@HighLoadChannel

Сегодня рассказываем о докладах из секции «Безопасность», из которых слушатели узнают:

- о разработанном инструменте для инвентаризации репозиториев и обеспечения безопасной разработки в VK;
- как в Т-Банке создавали и внедряли решение для помощи разработчикам в устранении уязвимостей и недостатков в коде с использованием технологий ИИ;
- о проблемах статического анализа кода и возможных способах их облегчения.

1) Инвентаризируй это: строим автоматический DevSecOps для 40 тысяч репозиториев. Александр Мельников (VK)

Доклад о том, что делать, если вы небольшая команда безопасников и у вас есть десятки тысяч репозиториев на проверку. Александр расскажет про то, как они автоматически обходят репозитории, что складывают в базу, на что смотрят в репозиториях и как интегрируются с системой vulnerability management.

2) Исправлять – не искать. Разработка и внедрение AI-ассиcтента для исправления уязвимостей в коде. Роман Лебедь (Т-Банк)

Отличная возможность посмотреть, как AI может помочь с разбором отчетов сканеров кода и с созданием исправлений для уязвимостей.

3) Как влюбить статанализатор в свой код. Владимир Кочетков (Positive Tecnhologies)

Статический анализ уже стал де-факто стандартом при анализе кода, однако и он обладает своими ограничениями. Из доклада вы узнаете об особенностях работы статических анализаторов, конструкциях кода вызывающих наибольшие сложности, возможности их избежать.

Встречаемся 2 и 3 декабря в Москве на HighLoad++ 2024 🖐️

✅ Посмотреть уже принятые доклады и забронировать билет до повышения цены 1 октября можно на сайте

▶️Запись доклада Артема Арюткина «Делаем Сбербанк Онлайн надежнее и надежнее: как мы готовимся к пиковым нагрузкам» с конференции Saint HighLoad++ 2023

Предсказуемый и управляемый монолит при переходе на микросервисную архитектуру растерял достоинства и оброс кучей архитектурных проблем. Посмотрите видео, и вы узнаете, на какие грабли наступил СБОЛ, как с ними справился, как готовится к пикам нагрузки и что делает, если подготовка не помогла.

🔴Смотреть запись в VK Видео

#записьдокладаHL
@HighLoadChannel

Спекуляции на тему того, что нейросети заменят человека, в последнее время появляются довольно часто. Поэтому, когда появился новый ИИ-агент Replit Agent, который якобы пишет код лучше настоящих программистов, команда Raft решила устроить мини-хакатон, чтобы повеселиться, а заодно проверить, насколько полезен новый инструмент и что умеет делать.

➡️ Делимся впечатлениями, промптами, результатами и выводами: https://habr.com/ru/companies/raft/articles/847680/

Построение масштабируемых и эффективных баз данных по-прежнему актуальная тема для разработчиков нагруженных систем. Ландшафт доступных СУБД и архитектурных практик продолжает активно меняться и эволюционировать.

Всё ли мы знаем о поведении Postgres под нагрузками? Нашли ли мы ниши для применения новых СУБД от Яндекса? Поставлена ли точка в дискуссии о способе хранения time-series?

Ответы в докладах ⤵️

1) Аномалии под нагрузкой в PostgreSQL 2.0. Михаил Жилин (Postgres Professional)

Доклад продолжает рассказ об аномалиях производительности PostgreSQL, начатый два года назад. Тут будут изменения за прошедшее время, новые проблемы с индексами и неожиданные эффекты параметра fetch size. Михаил также покажет методы диагностики и устранения проблем.

2) Добавляем ++ в Prometheus. Владимир Гурьянов (Флант), Давид Мэгтон (Флант), Евгений Бастрыков (Deckhouse)

Доклад будет интересен всем, кто интересуется базами данных временных рядов и хранением временных рядов, в частности.

3) Динтаблицы YTsaurus — и ещё одна СУБД от Яндекса. Руслан Савченко (Яндекс)

Динтаблицы YTsaurus используются внутри Яндекса с 2017 года для построения больших сервисов, требующих строгие гарантии консистентности и доступности. В 2023 году исходный код YTsaurus был выложен в open source. В этом докладе Руслан расскажет про самые интересные фичи динтаблиц YTsaurus и сценарии использования в Яндексе.

Присоединяйтесь к нам 2 и 3 декабря в Москве на HighLoad++ 2024 🙌

✅ Посмотреть уже принятые в программу доклады и купить билет можно на сайте

🖐️ Приглашаем на онлайн-митап «Эволюция управления данными: облако и open-source на службе качества»

10 октября в 13:00, онлайн.

Обсудим путь компании к размещению технологических данных в облаке и ключевые этапы принятия этого решения. Также поговорим о том, как open-source инструменты могут помочь в улучшении качества данных и какие вызовы могут возникнуть на этом пути. Узнаем, какие преимущества дают DQ-инструменты, как правильно их выбрать и внедрить даже в условиях слабой культуры данных.

🔴Митап для архитекторов, специалистов по данным, разработчиков, а также всех, кто задумывается о переходе в облако и совершенствовании процессов работы с данными.

✅ Митап бесплатный, но требуется регистрация. Подробности здесь

Как формируются персонализированные рекомендации в KION, и какие бизнес-правила за этим стоят? Какие сложности возникли при разработке архитектуры звонков в Авито и как их преодолевали? Как запустить программу лояльности для 80 миллионов клиентов, учитывая все нюансы нагрузки? Как создается система управления светофорами в Москве?

Ответы на эти вопросы будут ждать вас на HighLoad++ 2024 в докладах, о которых рассказываем сегодня 😎

1) Как KION формирует в Realtime персональные рекомендации и витрины. Алексей Жиряков (KION)

Интересный рассказ как из простых инструментов можно собрать систему, которая обеспечивает хорошую производительность для сложной задачи подготовки персональных рекомендаций в режиме realtime.

2) 1000 и 1 боль: как мы запускали «звонки через приложение» на Авито. Станислав Процкий (Авито)

Из доклада можно узнать, как развиваются большие системы. Как и когда принимаются архитектурные решения и чем надо руководствоваться при выборе.

3) Масштабирование в условиях неопределенности или как мы обновляли СберСпасибо. Мария Насырова (Сбер)

Мария расскажет о том, как происходит развитие очень большого проекта. Как готовятся масштабные архитектурные изменения и с какими неочевидными проблемами можно столкнуться в процессе миграции.

4) Как управлять мегаполисом без смс и регистрации. История одного пилота АСУДД. Арсений Сазанов (ИП Сазанов А.М.)

Доклад Арсения про то, как и на каких технологиях строятся АСУДД — Автоматизированная Система Управления Дорожного Движения. Какие проблемы могут встретиться при разработке и внедрении подобных систем.

Встречаемся 2 и 3 декабря в Москве, присоединяйтесь 🙌

✅ Программа конференции и билеты на сайте

Александр Лищук, архитектор решений из команды Технологической Платформы НЛМК, в сегодняшней статье рассказал про развитие IT в реальном секторе, про дресс-код и субординацию, стек и технологии. О том, как попасть в промышленность и что это дает для профессионального развития инженера.

👉Читать здесь: https://habr.com/ru/companies/oleg-bunin/articles/849290/

Не упустите возможность прокачать свои навыки и расширить знания в области управления данными 🙌

⏰ Завтра (10 октября в 13:00) подключайтесь онлайн на митап «Эволюция управления данными: облако и open-source на службе качества». Это возможность узнать о ключевых этапах перехода компании на облачные технологии и как open-source инструменты могут значительно повысить качество ваших данных.

Это событие — не просто очередная встреча, это шанс стать частью важного обсуждения, которое затрагивает будущее вашей работы и компании в целом.

Мы обсудим путь компании к размещению технологических данных в облаке и ключевые этапы принятия этого решения. Также поговорим о том, как open-source инструменты могут помочь в улучшении качества данных и какие вызовы могут возникнуть на этом пути. Узнаем, какие преимущества дают DQ-инструменты, как правильно их выбрать и внедрить даже в условиях слабой культуры данных.

🔴Митап для архитекторов, специалистов по данным, разработчиков, а также всех, кто задумывается о переходе в облако и совершенствовании процессов работы с данными.

✅ Митап бесплатный, но требуется регистрация. Подробности здесь

В мире технологий, где инновации движутся с невероятной скоростью, важно быть в курсе новых решений и подходов. Ловите пять докладов из секции «Архитектура», из которых вы узнаете о создании Feature Platform, организации архитектурных артефактов, эволюции системы защиты видео, инновациях в запуске приложений на nginx и опыте использования Kafka. Этот опыт спикеров поможет вам избежать распространенных ошибок и улучшить эффективность проектов 🔄


1) Проектируем свою inhouse Feature Platform. Алина Баймашева (Домклик)

Алина — архитектор платформы. В докладе она расскажет о том, как подходила к проектированию, какие варианты рассматривала и что в результате получилось. Это история большой компании, которой надо было не просто собрать Feature Platform, но и вписать получившееся в свой технологический ландшафт.

2) Артефакты архитектуры. Какие, зачем и как их организовать. Наиль Миннахметов (МТС)

Практическое осмысление One page enterprise architecture Святослава Котусева на примере процессов в МТС. Что подходит, что требует изменений, что излишне в процессах создания архитектурных артефактов — все через призму практического опыта.

3) Миллионы часов: поиск копий в VK Видео. Никита Кочетков (VK, ВКонтакте)

В докладе рассказывается о решении задачи поиска дубликатов видео при загрузке на VK Видео. Рассказ охватывает несколько стадий этой задачи: декодирование видео, оптимальный сбор фингерпринтов, поиск аналогов. В чем отличие от распознавания лиц, какие сложности при работе с видео — всё в докладе Никиты.

4) PHP-FPM, (g)unicorn, Puma и uWSGI — будут больше не нужны. Валентин Бартенев (Web Server LLC)

Разработчики на скриптовых языках жили с дефолтными, не самыми эффективными, рантаймами годами. Сейчас ситуация начала меняться, и вот, подтянулся и Angie, сделав своё эффективное решение. Потенциально оно может очень сильно повлиять на то, как мы запускаем свои приложения.

5) Apache Kafka как единственное хранилище. Использование, проблемы, боль и последствия. Дмитрий Емельянов (Altenar)

Попытка использовать Apache Kafka как единственный источник знаний — не очень хорошая идея. Рассказ о том, почему так и как именно это стреляет в ноги.

Присоединяйтесь к нам 2 и 3 декабря на HighLoad++ 2024 в Москве 🖐️

✅ Программа конференции и билеты на сайте

Запись доклада Евгения Россинского «Как из Python и палок собрать детектор аномалий для highload» с HighLoad++ 2023

Детекторы аномалий — это не всегда большие и сложные проекты. Евгений из ИВИ рассказал, как в свободное от техдирства время собрал такую штуку для микросервисной хайлоад-системы буквально «на коленке» — и сколько пользы решение принесло команде.

▶️Смотреть запись в VK Видео

#записьдокладаHL
@HighLoadChannel

Рассказываем о трёх доклада из секции «Базы данных и системы хранения», на которых вы:

- узнаете о внедрении стоимостного оптимизатора в YDB, улучшающего обработку как OLTP, так и аналитических запросов;
- сфокусируетесь на надежности хранения данных, анализируя поведение ОС и методы тестирования приложений;
- исследуете физические ограничения баз данных и способы их преодоления, включая транзакции между удаленными системами.

1) Стоимостный оптимизатор в YDB — как, зачем и почему? Павел Велихов (Yandex.Cloud (YDB))

Ничто так не бесит аналитиков и разработчиков, чем когда тормозит сложный запрос в СУБД. Ответственность за все это несет оптимизатор запросов. В этом докладе узнаем, как современный оптимизатор помогает БД не тормозить и что удалось уже реализовать в оптимизаторе YDB.

2) Итак, вы решили надежно записывать данные на диск. Дмитрий Родионов (Picodata)

Простые действия могут иметь под собой на удивление сложную логику и многочисленные последствия. Доклад погрузит нас в дивный мир гарантий при записи данных, покажет интересные примеры проблем из жизни и затронет важный вопрос поиска подобных ошибок в приложениях.

3) О геораспределённых транзакциях. Владимир Комаров (СберТех)

Теория и ее приложение на практические реализации для задач выбора геораспределенных баз данных — что может быть лучше? Только дополнение о самых современных теориях построения таких систем как SLOG и Detock. И все это — в докладе Владимира!

Встречаемся 2 и 3 декабря в Москве на крупнейшей профессиональной конференции для разработчиков высоконагруженных систем HighLoad++ 2024 😎

✅ Узнать подробнее о конференции и купить билет можно на сайте

✋ 14 октября приглашаем вас на встречу потенциальных докладчиков с Программным комитетом DevOpsConf 2025.

⏰ Собираемся в 19:00

Форматы:

Офлайн. Москва, офис Газпромбанк, Коровий Вал 5, БЦ «Оазис».

Онлайн. Ссылка придёт после регистрации на встречу.

Участие свободное нужно только зарегистрироваться здесь

🔥 От Программного комитета во встрече будут участвовать:

🔴Дмитрий Зайцев (Flocktory) — руководитель Программного комитета DevOpsConf. Высококвалифицированный профессионал с опытом работы в разных индустриях — gamedev, adtech, bigdata, fintech, marketing. Развивал DevOps- и SRE-практики и подходы тогда, когда это еще не было мейнстримом. Совмещал их с ITIL и Cobit, пока они еще были в моде. Один из организаторов devopsdays moscow, devops moscow, hangops_ru.

🔴Александр Коротков (Т-Банк). Начал карьеру с разработки инструментов для автоматизации тестирования. После углубился в процессы разработки, непрерывной доставки, обеспечения качества и стабильности. Сейчас увлечён оптимизацией процессов кросс-командного взаимодействия. Суммарный опыт в разработке около 10 лет.

🔴Игорь Курочкин (Enabling.team). Помогал развивать инженерную культуру, процессы и практики в Авито, Учи.ру, Тинькофф, Росбанк, Райффайзен Банк, inDrive, X5 Tech, Wild Apricot, Pushwoosh, Exness, retailCRM, Skyeng, Делимобиль и Lamoda. Руководил направлением анализа и консалтинга в компании Express 42. Работал платформенным и SRE инженером в корпорации Microsoft, технологической компании Skype, стартапах Qik и Scalaxy. Выступал на конференциях HighLoad, AgileDays, South HUB, TeamLeadConf, DevOpsConf, RootConf, DevOops.
⠀
Если вы хотите стать спикером DevOpsConf 2025 — приходите/подключайтесь. Обсудим новости и планы, поговорим о том, что болит и волнует, обменяемся идеями. Мы расскажем про актуальные темы, на которых в этот раз хотим сделать акцент, про все возможные форматы выступления и чем они хороши для вас. Вы узнаете актуальна ли ваша тема и нет ли похожих докладов от других спикеров, а также мы расскажем, как проходит процесс отбора заявок в программу и подготовка принятых докладов к выступлению.

Подать заявку на доклад можно здесь. Дедлайн 22 ноября.
Конференция пройдет 7 и 8 апреля в Москве.
⠀
Встреча обещает быть очень полезной, ждём вас 🙌