Друзья, с праздником 🙌

Желаем вам:

- хорошо выстроенную коммуникацию в компании: чтобы продакт понимал, как работает система, а менеджер не давил на сроки;
- одинаковое понимание качества у разработки и бизнеса;
- отсутствие синдрома самозванца, выгорания и т.д.
- прозрачные приоритеты и цели;
- не знать лени и прокрастинации;
- эффективную организационную структуру в компании;
- легкость с восприятием чужого кода;
- отсутствие эмоциональной привязки к написанному коду, особенно, когда этот код требуется выбросить;
- чтобы накопленный техдолг не влиял на вашу самооценку как специалиста 😎

Поздравляем! 🎉

Мы начинаем знакомить вас со спикерами зимней HighLoad++ 2024 💥

Стартуем с первых принятых докладов из секции «Архитектура»

1) api-gateway в Авито. Александр Данковцев (Авито)

В своём докладе Александр расскажет, как устроен роутинг между бесчисленным количеством микросервисов в Авито. Как он развивался, какие проблемы были и как сделать удобно и полезно.

2) Мобильные платежи «Мир». Дмитрий Викулов (Мир Plat.Form (НСПК))

Особое внимание в докладе будет уделено тому, как устроены мобильные платежи в НСПК, и как работает платформа мобильных платежей в целом. Не менее важным аспектом станет обсуждение адаптивности систем к изменениям, что критично для поддержания надёжности и бесперебойной работы.

3) Как масштабировать защиту от DDoS атак на десятки миллионов RPS. Опыт Яндекса. Иван Тямгин (Яндекс)

Иван детально раскроет аспекты создания масштабируемой и отказоустойчивой системы «Антиробот», используемой в Яндексе для защиты от DDoS-атак. Уделяется внимание методам защиты сервисов и их балансировщиков, архитектуре системы и способам быстрого расчёта факторов для машинного обучения.

Встречаемся 2 и 3 декабря в Москве 🙌

Если вы планируете к нам присоединиться, то сейчас самое удачное время это сделать, чтобы сэкономить на стоимости билета 😉 С 21 сентября цена станет выше.

✅ Программа пока в стадии формирования, но на сайте уже можно посмотреть принятые доклады, а также забронировать билет до повышения.

Рассказываем о следующих докладах, сегодня из блока «Узкотематические секции», которые будут особенно интересны:

- в первую очередь разработчикам из сферы видео, стриминга или телекома, но и разработчикам из других предметных областей тоже должно быть интересно;

- тем, кто занимается веб-парсингом (сбором данных), и кто пытается от него защищаться. Может быть любопытен как интересующимся антифродом, так и всем, кому интересно, какие данные пользователей собирают сайты.

1) Что наша жизнь? Стата! или Укрощаем технические события плееров в VK Видео. Алексей Шпагин (VK, ВКонтакте)

Доклад о переходе VK Видео на новую архитектуру сбора технической статистики. Алексей расскажет, как отказ от сложных событий в пользу моно-событий и сигналов повысил надежность и упростил поддержку плееров. Разбор ключевых метрик (время первого байта/кадра), особенности ленивой и срочной статистики

2) Проблемы при масштабировании сервиса для обхода антибот систем. Евгений Слайковский (Zyte)

Доклад освещает трудности, связанные с масштабированием сервисов для обхода антибот систем. Обсуждаются технические вызовы, такие как имитация браузеров и подделка отпечатков. Вы узнаете о сложностях, возникающих при обходе современных защитных мер.

Мы встречаемся 2 и 3 декабря на HighLoad++ 2024 в Москве, присоединяйтесь 🖐️

✅ На сайте можно посмотреть уже принятые доклады и забронировать билет до повышения цены 21 сентября

⚡Успейте забронировать билет на HighLoad++ 2024 до повышения цены
⠀
🖐️ Присоединяйтесь к нам, чтобы:
⠀
- узнать, как делают highload-системы ваши коллеги и конкуренты. Как они думают и смотрят на highload-мир;

- быть в тренде и двигаться дальше;

- познакомиться с технологиями, о которых, возможно, вы ещё не знаете;

- услышать сильные доклады с решением конкретных задач;

- круто провести время в IT-тусовке.
⠀
Также напоминаем, что вы можете забронировать билет до 1 октября, чтобы сохранить за собой текущую стоимость, а оплатить в течение нескольких дней после брони.
⠀
Мы встречаемся 2 и 3 декабря в Москве, ждём вас 🙌
⠀
✅ Ознакомиться с уже принятыми докладами и забронировать билет можно на сайте

▶️Запись доклада Константина Хицко «Успеть за 350 миллисекунд. Эволюция архитектуры Антиспама Почты Mail.ru» с Saint HighLoad++ 2023

Для того чтобы защитить пользователей почты Mail.ru от вредоносных писем, Антиспам Почты Mail.ru проверяет более 400 млн писем ежедневно.

Константин рассказал, как и почему менялась архитектура Антиспама за более 15 лет развития, а ещё:

- что такое спам и зачем с ним бороться;
- какие этапы выполняются при проверке письма;
- какие технические трудности возникают при фильтрации спама, и как они с ними борятся;
- как развивалась архитектура Антиспама, и какую роль в этом играют спамеры;
- что изменилось с началом применения технологий машинного обучения;
- какую роль играет ML в их задачах;
- какие принципы разработки используются, чтобы достичь целевых показателей SLA под нагрузкой выше 300K RPS;

в заключение рассказал примеры случаев, когда что-то пошло не по плану, и какие выводы они из этого сделали.

Посмотрите видео сами и поделитесь с коллегами 🙌

Смотреть на YouTube
Смотреть в VK Видео

#записьдокладаHL
@HighLoadChannel

Сегодня рассказываем о докладах из секции «Безопасность», из которых слушатели узнают:

- о разработанном инструменте для инвентаризации репозиториев и обеспечения безопасной разработки в VK;
- как в Т-Банке создавали и внедряли решение для помощи разработчикам в устранении уязвимостей и недостатков в коде с использованием технологий ИИ;
- о проблемах статического анализа кода и возможных способах их облегчения.

1) Инвентаризируй это: строим автоматический DevSecOps для 40 тысяч репозиториев. Александр Мельников (VK)

Доклад о том, что делать, если вы небольшая команда безопасников и у вас есть десятки тысяч репозиториев на проверку. Александр расскажет про то, как они автоматически обходят репозитории, что складывают в базу, на что смотрят в репозиториях и как интегрируются с системой vulnerability management.

2) Исправлять – не искать. Разработка и внедрение AI-ассиcтента для исправления уязвимостей в коде. Роман Лебедь (Т-Банк)

Отличная возможность посмотреть, как AI может помочь с разбором отчетов сканеров кода и с созданием исправлений для уязвимостей.

3) Как влюбить статанализатор в свой код. Владимир Кочетков (Positive Tecnhologies)

Статический анализ уже стал де-факто стандартом при анализе кода, однако и он обладает своими ограничениями. Из доклада вы узнаете об особенностях работы статических анализаторов, конструкциях кода вызывающих наибольшие сложности, возможности их избежать.

Встречаемся 2 и 3 декабря в Москве на HighLoad++ 2024 🖐️

✅ Посмотреть уже принятые доклады и забронировать билет до повышения цены 1 октября можно на сайте

▶️Запись доклада Артема Арюткина «Делаем Сбербанк Онлайн надежнее и надежнее: как мы готовимся к пиковым нагрузкам» с конференции Saint HighLoad++ 2023

Предсказуемый и управляемый монолит при переходе на микросервисную архитектуру растерял достоинства и оброс кучей архитектурных проблем. Посмотрите видео, и вы узнаете, на какие грабли наступил СБОЛ, как с ними справился, как готовится к пикам нагрузки и что делает, если подготовка не помогла.

🔴Смотреть запись в VK Видео

#записьдокладаHL
@HighLoadChannel

Спекуляции на тему того, что нейросети заменят человека, в последнее время появляются довольно часто. Поэтому, когда появился новый ИИ-агент Replit Agent, который якобы пишет код лучше настоящих программистов, команда Raft решила устроить мини-хакатон, чтобы повеселиться, а заодно проверить, насколько полезен новый инструмент и что умеет делать.

➡️ Делимся впечатлениями, промптами, результатами и выводами: https://habr.com/ru/companies/raft/articles/847680/

Построение масштабируемых и эффективных баз данных по-прежнему актуальная тема для разработчиков нагруженных систем. Ландшафт доступных СУБД и архитектурных практик продолжает активно меняться и эволюционировать.

Всё ли мы знаем о поведении Postgres под нагрузками? Нашли ли мы ниши для применения новых СУБД от Яндекса? Поставлена ли точка в дискуссии о способе хранения time-series?

Ответы в докладах ⤵️

1) Аномалии под нагрузкой в PostgreSQL 2.0. Михаил Жилин (Postgres Professional)

Доклад продолжает рассказ об аномалиях производительности PostgreSQL, начатый два года назад. Тут будут изменения за прошедшее время, новые проблемы с индексами и неожиданные эффекты параметра fetch size. Михаил также покажет методы диагностики и устранения проблем.

2) Добавляем ++ в Prometheus. Владимир Гурьянов (Флант), Давид Мэгтон (Флант), Евгений Бастрыков (Deckhouse)

Доклад будет интересен всем, кто интересуется базами данных временных рядов и хранением временных рядов, в частности.

3) Динтаблицы YTsaurus — и ещё одна СУБД от Яндекса. Руслан Савченко (Яндекс)

Динтаблицы YTsaurus используются внутри Яндекса с 2017 года для построения больших сервисов, требующих строгие гарантии консистентности и доступности. В 2023 году исходный код YTsaurus был выложен в open source. В этом докладе Руслан расскажет про самые интересные фичи динтаблиц YTsaurus и сценарии использования в Яндексе.

Присоединяйтесь к нам 2 и 3 декабря в Москве на HighLoad++ 2024 🙌

✅ Посмотреть уже принятые в программу доклады и купить билет можно на сайте

🖐️ Приглашаем на онлайн-митап «Эволюция управления данными: облако и open-source на службе качества»

10 октября в 13:00, онлайн.

Обсудим путь компании к размещению технологических данных в облаке и ключевые этапы принятия этого решения. Также поговорим о том, как open-source инструменты могут помочь в улучшении качества данных и какие вызовы могут возникнуть на этом пути. Узнаем, какие преимущества дают DQ-инструменты, как правильно их выбрать и внедрить даже в условиях слабой культуры данных.

🔴Митап для архитекторов, специалистов по данным, разработчиков, а также всех, кто задумывается о переходе в облако и совершенствовании процессов работы с данными.

✅ Митап бесплатный, но требуется регистрация. Подробности здесь

Как формируются персонализированные рекомендации в KION, и какие бизнес-правила за этим стоят? Какие сложности возникли при разработке архитектуры звонков в Авито и как их преодолевали? Как запустить программу лояльности для 80 миллионов клиентов, учитывая все нюансы нагрузки? Как создается система управления светофорами в Москве?

Ответы на эти вопросы будут ждать вас на HighLoad++ 2024 в докладах, о которых рассказываем сегодня 😎

1) Как KION формирует в Realtime персональные рекомендации и витрины. Алексей Жиряков (KION)

Интересный рассказ как из простых инструментов можно собрать систему, которая обеспечивает хорошую производительность для сложной задачи подготовки персональных рекомендаций в режиме realtime.

2) 1000 и 1 боль: как мы запускали «звонки через приложение» на Авито. Станислав Процкий (Авито)

Из доклада можно узнать, как развиваются большие системы. Как и когда принимаются архитектурные решения и чем надо руководствоваться при выборе.

3) Масштабирование в условиях неопределенности или как мы обновляли СберСпасибо. Мария Насырова (Сбер)

Мария расскажет о том, как происходит развитие очень большого проекта. Как готовятся масштабные архитектурные изменения и с какими неочевидными проблемами можно столкнуться в процессе миграции.

4) Как управлять мегаполисом без смс и регистрации. История одного пилота АСУДД. Арсений Сазанов (ИП Сазанов А.М.)

Доклад Арсения про то, как и на каких технологиях строятся АСУДД — Автоматизированная Система Управления Дорожного Движения. Какие проблемы могут встретиться при разработке и внедрении подобных систем.

Встречаемся 2 и 3 декабря в Москве, присоединяйтесь 🙌

✅ Программа конференции и билеты на сайте

Александр Лищук, архитектор решений из команды Технологической Платформы НЛМК, в сегодняшней статье рассказал про развитие IT в реальном секторе, про дресс-код и субординацию, стек и технологии. О том, как попасть в промышленность и что это дает для профессионального развития инженера.

👉Читать здесь: https://habr.com/ru/companies/oleg-bunin/articles/849290/

Не упустите возможность прокачать свои навыки и расширить знания в области управления данными 🙌

⏰ Завтра (10 октября в 13:00) подключайтесь онлайн на митап «Эволюция управления данными: облако и open-source на службе качества». Это возможность узнать о ключевых этапах перехода компании на облачные технологии и как open-source инструменты могут значительно повысить качество ваших данных.

Это событие — не просто очередная встреча, это шанс стать частью важного обсуждения, которое затрагивает будущее вашей работы и компании в целом.

Мы обсудим путь компании к размещению технологических данных в облаке и ключевые этапы принятия этого решения. Также поговорим о том, как open-source инструменты могут помочь в улучшении качества данных и какие вызовы могут возникнуть на этом пути. Узнаем, какие преимущества дают DQ-инструменты, как правильно их выбрать и внедрить даже в условиях слабой культуры данных.

🔴Митап для архитекторов, специалистов по данным, разработчиков, а также всех, кто задумывается о переходе в облако и совершенствовании процессов работы с данными.

✅ Митап бесплатный, но требуется регистрация. Подробности здесь