#Highload Роман Щербаков из Тинькофф. Пайплайны записи своими руками: думали — велосипед, оказалось — паттерны. Рассказ об организации высокой доступности для инфраструктурных потоков: логов, метрик, трейсов. 450 Мб/сек. Целевые хранилища там разные, а архитектура - общая. В докладе - много архитектурных схем, это надо смотреть презентацию. А тут мое краткое резюме принципов.
* Данные пишутся в том же дата-центре, в котором создаются, то есть в каждом - свой набор pipeline, и там же они остывают. А поиск - по всем датацентрам.
* Надо вести мониторинг обращений клиентов и уметь отделять тех, у кого особая нагрузка в отдельный pipeline, с которым отдельно разбираться.
* Worker записи от клиента пишет в Kafka, из которой читает Worker записи в хранилище. И worker записи работает в том темпе, в котором комфортно для БД. Kafka буферизует колебания нагрузки записи. А worker записи делает пакетную запись.
* Отказ операции - нормально. Особые случаи откидываем в отдельную retry-очередь, а если retry не проходит - в очередь ошибок, с которой разбираются вручную. Retry однократный, он на случай, если что-то моргнуло, а если что-то упало - то retry вреден. И такая схема обеспечивает оперативное поступление данных, с которыми все хорошо.
* Если база или узел деградировал - его надо отрубить, для этого фиксировать, что пошли массовые ошибки, для этого Circuit breaking pattern. Аналогично работает bulkhead pattern - ограничение на конкурентные обращения. Это бережет БД.
* Таймауты надо настраивать. Есть бюджет обработки от кафки - таймаут опроса очереди, при превышении которого она считает, что consumer отвалился, и в него надо укладываться, включая все таймауты. И для основного потока там жесткие настройки, а для retry и ошибок - свои.
* Для метрик основной поток пущен напрямую, без kafka, так как на стороне клиента обычно prometheus и у него есть свои буфера. И это экономит. Но при деградации - включается полная схема.

Что такое Servicepipe❓

Это
🎯 высокоточная фильтрация DDoS-атак и ботов ➕
🙈 незаметность защиты для пользователей, но непреодолимость для атакующих ➕
🏎 сверхскоростная техподдержка Узнайте больше об уникальных решениях защиты от DDoS и продвинутых ботов: servicepipe.ru 

Реклама ООО«Сервиспайп» erid: LjN8KNAJh

PVS-Studio – статический анализатор для C, C++, C# и Java кода. Они развеивают миф о том, что статический анализатор нужен только новичкам.

Миссия компании – повышение качества программ за счет продвижения идеи использования статического анализа кода в мире.

Приходите к ним на стенд, где у вас будет возможность пообщаться с экспертами мира статического анализатора, решить задачки на поиск ошибок коде программ и получить крутые призы.

✅ Подробнее о компании

Реклама ООО"ПВС" erid: LjN8JwJfo

🖐 Друзья, в 15:10 приходите на следующие доклады:
⠀
🏰 «00 Зал - Башня». Как регулярно терять один ДЦ и не волноваться? Михаил Кабищев (Ozon)

Спикер расскажет историю о том, как они в Ozon превратили крайне неприятную ситуацию падения ДЦ в абсолютно спокойный и предсказуемый для них процесс.
⠀
🔘 Зал «08 Шатер Голубой». Go в умном доме: опыт успешной интеграции. Алексей Хить (@AlexxIT)

Узнайте, как расширить возможности Xiaomi Gateway 3 для Home Assistant с помощью Go. Доклад представит уникальный подход к интеграции, сохраняющий оригинальную прошивку устройства и добавляющий новые функции. Погрузитесь в мир open source и разработки embedded ПО.
⠀
🔹 «03 Зал Синий». Автоматизация сетевой инфраструктуры ЦОД. Анна Кошк (Ростелеком-ЦОД)

Увлекательное путешествие в топологию одного из старейших ЦОДов и всю ту программную автоматику, которая используется для конфигурирования «железа» и построения сетевой карты.
⠀
🟣 «04 Зал Красный». Как мы держим миллион RPS в рекламе, троттлим трафик и не теряем при этом деньги. Михаил Кириченко (VK, VK Реклама)

Вся (!) реклама всех (!!) сервисов VK обрабатывается системой, о которой пойдёт речь в докладе. Вот уж хайлоад так хайлоад — ни отнять, ни прибавить.
⠀
🟢 «06 Зал Зеленый». Быстрый поиск на Redisearch в ленте операций для миллионов пользователей. Илья Сиванев (Т-Банк)

Что приходит на ум первым, когда упоминают полнотекстовый поиск? ElasticSearch и Sphinx. Но как быть, когда они не могут решить ваших задач? Опыт Т-Банка в использовании поиска на базе Redis.
⠀
🔵 Зал «09 Шатер Фиолетовый». Особенности и вызовы реализации технологии создания готовых музыкальных произведений с применением ИИ. Максим Метальников, Максим Смоляков (SberDevices)

Генеративный AI достиг больших успехов в создании текстов и изображений, а вот с аудио дела обстоят не так радужно. Доклад затронет методы генерации музыки и то, как нейросети учатся выполнять работу композиторов, аранжировщиков и вокалистов.

🔸 Зал «07 Шатер Оранжевый». Переосмысление Picodata как cluster-first-СУБД. Ярослав Дынников (Picodata)

Ярослав много лет разрабатывал Tarantool, а теперь использует его в создании базы данных Picodata. Он расскажет, зачем бизнесу сейчас нужны распределенные OLTP-решения, как разные продукты реализуют «распределенность» и какими принципами руководствовалась компания, собирая свое решение в 2024 году.

«Лаборатория Числитель» — российский разработчик ПО, специализирующийся на создании собственных продуктов в области контейнерных платформ, DevOps, облачных решений и мониторинга. Компания помогает крупному бизнесу создавать гибкую надежную инфраструктуру и быстрее выводить на рынок новые сервисы.

Сегодня и завтра приходите на стенд «Лаборатории Числитель», чтобы познакомиться с ее флагманскими продуктами «Штурвал», «Нимбиус» и «Пульт», а также попробовать самые необычные energy-шоты!

Реклама ООО “Лаборатория Числитель” erid: LjN8KBhiM

Присоединяйтесь к квизу «Умники и умницы» на стенде Т1: решайте хитрые задачки и получайте крутой мерч!

У них все серьезно: три игровые дорожки, ведущий и экспертное жюри. Если с детства знакомы слова "теоретик, аропаг и агонист", то эта активность для вас! А если нет, то все равно приходите участвовать. Победители смогут сразиться в суперфинале за ценные призы!

А еще: на стенде компании можно проверить равновесие на баланс-борде и пообщаться с экспертами Т1 о том, какие технологии используют в работе!

Реклама ООО «Т1» erid: LjN8KWrAR"

Специально для Saint HighLoad++ 2024 команда РСХБ.цифра создала квест о жизни современного фермера. Заходите на стенд, чтобы:

✅ открыть свою первую ферму,
✅ сразиться с нашествием кротов,
✅ завести корову
✅ и попытаться продать урожай.

А еще:

🟡 Рассмотреть Дерево технологий РСХБ
🟡 Решить технические задачи
🟡 Пообщаться с экспертами
🟡 Забрать фирменный мерч и побороться за главный приз – трактор LEGO.

РСХБ.цифра – бренд, объединяющий все технологические решения Россельхозбанка и его дочерних компаний.

Реклама АО «Россельхозбанк» erid: LjN8K41ch

ecom.tech — это про ИТ для ритейла реального времени.

Приходите к ним на стенд: поговорить, как они делают почти мгновенную доставку и маркетплейс, вам расскажут про то, как совмещают 5 разных стеков на бэкенде и в чем профит, расскажут про AI-driven новости.

А если хотите отвлечься от сложных тем — для вас приготовили пару простых, но залипательных активностей!

Реклама ООО "Умное пространство" erid: LjN8KC5nM

📣 Открытая трансляция Главного зала Saint HighLoad++ 2024!

24 и 25 июня.

Два дня с 10:00 до 18:00 — реальные кейсы высоконагруженной разработки от лучших специалистов МТС, Яндекса, Ozon и других крупных компаний.

Полная программа и ссылки для подключения — на сайте

Партнер трансляции — компания МТС.

МТС активно поддерживает ИТ-сообщество, развивает собственное комьюнити True Tech и создает площадки для обмена опытом и экспертизой для лидеров ИТ-отрасли и начинающих специалистов.

Реклама ПАО «МТС» erid: LjN8KUe61