С 2013 года в Яндексе использовали Kafka для потоковой передачи данных, но со временем она перестала справляться с растущими объемами. И в 2017 году в компании перешли на собственное решение. Брокер сообщений YDB Topics во многом вдохновлялся Kafka: в нем также есть топики, партиции и аналогичные способы работы с данными. Но есть и существенные отличия.

Под катом — статья по мотивам доклада Алексея Николаевского с HighLoad++ 2024 про архитектуру транзакций в системах и интересные для разработчиков детали и нюансы, которые обсуждались на конференции.

Почему в космосе (пока) нет дата-центров. Заключительная третья часть: какие вычисления уже работают.

Во второй части мы разобрались, что главные барьеры для космических ЦОДов — вовсе не процессоры, а энергия, охлаждение, радиация и отсутствие устойчивых сетей. Но пока проекты с «настоящими» дата-центрами остаются в рендерах, в космосе уже крутятся рабочие вычисления.

➡️ Давайте посмотрим, что из этого реально работает сегодня и какие горизонты впереди.

Данные — это сердце любой высоконагруженной системы. В треке «Базы данных и системы хранения» собран опыт работы с петабайтами информации: от классических РСУБД до современных распределенных хранилищ. Мы обсудим реальные проблемы и их решения: шардирование, репликация, консистентность, оптимизация запросов.

1️⃣ Перебалансировка без даунтайма в динтаблицах YTsaurus. Иван Смирнов (Яндекс, YTsaurus)

Спикер расскажет о том, как строить системы поверх множества автоматов, как правильно доставлять между ними сообщения, и какую пользу из этого можно извлечь. Расчет на то, что слушатели доклада базово знакомы с тем, что такое Raft (хотя бы на уровне, что это «отказоустойчивый кирпичик»).

2️⃣ Винил снова в моде или история дискового движка в Tarantool. Сергей Бронников (VK, VK Tech, Tarantool)

Этот доклад — история развития движка охлаждения данных для новой СУБД. Рассказ об архитектурных решениях, неочевидных багах, флакающих тестах, сложной отладке и непростом выборе: когда брать готовый код, а когда писать самому.

3️⃣ 2 DC 1 fail: как реализовать автоматический фейловер, когда данные в двух зонах доступности. Георгий Белянин (VK Tech, Tarantool)

Георгий покажет, как сделать авто-failover БД в двух ДЦ без split-brain: Active/Standby с внешним кворумом (etcd в 3-й зоне), per-node supervisor и кластерный координатор. Это не про RAFT в 3 ДЦ/«witness». Где выигрываем по RPO/RTO, риски, шаги внедрения.

4️⃣ Внедрение и развитие каталога данных в МТС BigData: практический опыт. Александр Полищук (МТС Web Services (MWS))

Александр расскажет историю сборки нового каталога данных из Open Source компонентов: архитектурные решения, неожиданные проблемы и сложности, о которых не подозреваешь, пока не начнешь писать код. В центре рассказа DataHub, полмиллиона таблиц и больше 400 источников данных.

➡️ Посмотреть все доклады трека и забронировать билет до повышения цены можно на сайте

24KiB of Flash Storage, 3KiB of Static RAM: энтузиаст собрал работающий веб-сервер на чипе от одноразового вейпа.

Через отладчик и протокол SLIP микроконтроллер получил IP-адрес в сети. После оптимизации буферизации скорость работы стала: пинг 20 мс, загрузка страницы — 160 мс. Сервер не только отдает статику, но и имеет API на C.

А у вас есть примеры использования сторонних девайсов в разработке? Поделитесь 🙌

Если вы интересуетесь микросервисной архитектурой или работаете в компаниях, где есть или планируются высокие нагрузки, тогда это видео для вас ✅. В нем Олег Табота приглашает вас на свой доклад, с которым он выступит на HighLoad++ 2025. Послушайте и узнаете главный момент, о котором расскажет Олег в докладе.

😎 Интересный факт о спикере: первый код написал в 6 классе.

➡️ Тезисы доклада на сайте

Ждем вас на крупнейшей профессиональной конференции для разработчиков высоконагруженных систем HighLoad++ 2025 🙌

Искусственный интеллект перешел от экспериментов к production-решениям, обрабатывающим миллионы запросов.

На докладах секции «GenAI и большие языковые модели (LLM)» вы сможете разобрать, как строить и масштабировать системы с LLM: от оптимизации инференса и управления GPU-кластерами до построения RAG-систем и fine-tuning моделей под высокие нагрузки. Здесь не о хайпе, а о практических решениях — от выбора фреймворков до экономики GPU-вычислений в масштабе. ⤵️


1️⃣ AI ответы в Яндекс.Поиске: как увеличить счастье пользователей и сэкономить GPU. Алексей Яндутов (Яндекс)

Алексей расскажет, как построили систему выбора LLM под каждый запрос. От простого фильтра с классификаторами к многоуровневому роутингу, который увеличил покрытие в несколько раз, увеличил метрики счастья пользователя и сэкономил сотни GPU. Реальные грабли и готовые решения включены.

2️⃣ Заселение без фронт-деска или как построить бесконтактный сервис в сети отелей на основе RAG. Кирилл Кухарев (Raft)

Почти полная автоматизация фронт-деска отеля от бронирования до решения вопросов проживания при помощи LLM. Практический опыт. Решение в проде.

3️⃣ Строительные блоки LLM‑агентов: планировщик, память, RAG и рабочие цепочки. Алексей Барган (Компания «Тантор Лабс»)

В докладе — пояснение на понятной архитектору и разработчику структуре, из чего состоит агент. Алексей на практике покажет, в каких блоках какие проблемы могут возникнуть.

4️⃣ Агентный подход к матчингу товаров с помощью LLM. Виталий Кулиев (Wildberries & Russ)

Доклад будет интересен своим разбором от и до темы мэтчинга товаров, от небольших кейсов к комплексным сравнениям.

5️⃣ Как перевести разметку на генеративные модели, не уронив качество и стабильность. Дарья Шатько (Яндекс Крауд)

Описание поэтапного внедрения разметки в платформу. Будет интересно всем, кто хочет работать с этой темой и не ошибиться.

Узнайте реальные кейсы снижения latency в 10 раз, организации эффективного батчинга запросов, построения отказоустойчивой архитектуры для AI-сервисов — присоединяйтесь к нам на HighLoad++ 2025 🙌

🖐️ Посмотреть больше докладов секции «GenAI и большие языковые модели (LLM)» и успеть забронировать билет до повышения цены можно на сайте

Хранилище — один из базовых и важнейших элементов видеохостинга. Пользовательские фичи накладываются поверх библиотеки контента, которую нужно надёжно хранить и обеспечивать быстрый и бесперебойный к ней доступ.

➡️ В этой статье о том, как устроено файловое хранилище RUTUBE с точки зрения SRE, как пришли к именно такой конфигурации и как она работает на текущих объемах — сейчас это порядка 400 Пбайт или 2 млрд объектов.

Сейчас многие используют искусственный интеллект в работе — например, пишут код с помощью ИИ. Но как видит этот код закон? Программы приравнены к произведениям литературы, а авторские права на код охраняют так же, как и на книги.

Инженер из Сбера Арина Шахтарина рассказала в статье о критериях авторского права, юридические детали о правах на код, написанный ИИ и лично, и многое другое.

Platform Engineering — это создание внутренних платформ, которые позволяют разработчикам фокусироваться на бизнес-логике, а не на инфраструктуре.

На HighLoad++ 2025 мы обсудим, как строить self-service платформы для команд: от CI/CD и мониторинга до управления секретами и автоскейлинга. Спикеры поделятся опытом создания платформ, которыми пользуются сотни разработчиков и которые выдерживают тысячи деплоев в день. ⤵️

1️⃣ Виртуальные машины как полноправные жители Kubernetes. Павел Тишков (Флант)

В докладе представлен взгляд на Kubernetes как на базу для платформы виртуализации. Будут рассказаны подробности про принципы, производительность и архитектуру этого подхода.

2️⃣ Cloud from scratch: строим виртуальную сеть из подручных материалов. Александр Попов (VK Tech, VK Cloud)

Глубокое погружение в сетевые темы с акцентом на SDN и Kubernetes. Будет полезно всем, кто хочет знать, как это работает внутри.

3️⃣ Test environment as a Service: как приручить хаос тестовых окружений. Илья Соловьев (Lamoda Tech)

Илья покажет, как превратить хаотичные тестовые окружения в управляемую платформу. Изолированные стенды on-demand из «кубиков» сервисов, наследуемые от staging, умный service discovery на ArgoCD/Helm.

4️⃣ Высшая куберматика: почему пять бинарей — это действительно просто. Владимир Утратенко (Лаборатория Числитель)

Глубоко и на практике — про то, как устроена объектная модель Kubernetes. Интересно будет всем, кто хочет знать, как там внутри.

5️⃣ Billing Platform: внедрение Temporal и переход к доменно-ориентированной микросервисной архитектуре. Александр Тарасов (AvitoTech)

Доклад о трансформации биллинга Авито: переход к асинхронной архитектуре и Temporal workflows. Александр разберет отказ от конечных автоматов состояний, проектирование eventual consistency учета, ретеншен и масштабирование в S3/Ceph, тонкие нюансы эксплуатации Temporal, observability и отказоустойчивость.

Если вы ищете реальные кейсы, цифры и готовые к внедрению практики от лидеров индустрии, тогда HighLoad++ 2025 — именно то, что вам нужно! 😎

➡️ Пройдите на сайт, чтобы посмотреть все доклады секции «Platform Engineering» и забронировать свой билет

LLM — что это за зверь такой? Как эффективно обойти с его помощью встроенные ограничения даже у топовых ChatGPT и Claude?

В нашей новой статье, которая будет в двух частях, расскажем, как взломать большие языковые модели.

✅ Часть первая

Алексей Терентьев руководит службой разработки в отделе эффективности Яндекс Go, и чуть больше, чем через месяц он выступит с докладом на HighLoad++ 2025. В этом видео Алексей рассказывает, о чем будет его доклад и приглашает вас прийти послушать.

Разработчикам инфраструктуры, архитекторам и CTO рекомендуем особенно обратить внимание на доклад Алексея 😉

💬 Тезисы доклада можно почитать здесь

Друзья, у нас готово предварительное расписание конференции HighLoad++ 2025 🙌
⠀
Ознакомиться с ним можно на сайте
⠀
В расписании еще возможны корректировки, но ориентировочно уже можно запланировать свой день на конференции 😉

Хроники взлома LLM 2.0.

В первой части статьи мы разобрались, что такое состязательные суффиксы, и почему они так легко ломают модели. Но это еще не все!

Во второй части знакомимся с AutoDAN — наследником состязательных суффиксов и популярного jailbreak-метода DAN (Do Anything Now).

Чем он отличается от GCG-алгоритма, как защищаться и тестировать модели? А также вы увидите практические примеры атак.

Дано: несколько десятков моделей компьютерного зрения, тысячи камер на заводах по всей стране и меньше минуты на то, чтобы успеть оповестить оператора.

Как быть, если вы работаете не в IT-гиганте с дата-центрами, а в промкомпании с изолированными сетями и ограниченными ресурсами?

В этой статье эксперт из компании СИБУР Даниил Блинов рассказал об ограничениях, которые следует учесть, какие локальные оптимизации реально работают, как архитектурные изменения увеличили производительность в 28 раз и многое другое.

Мастер-класс по разработке стратегии, интерактивная игра и профессиональный разбор резюме — все это ждет вас на afterparty HighLoad++ 2025 ⚡

1️⃣ Личное стратегическое планирование: как строить карьерные и жизненные планы с учетом изменений. Валерия Орлова (Независимый эксперт)

Рекомендуется к посещению всем, кто хочет перейти от тактики к стратегии в планировании и структурировать свою систему ценностей.

2️⃣ Саботеры правят ТЗ. Татьяна Сущенко (Независимый эксперт)

Рекомендуется к участию всем, кто хочет проверить свои умозаключения, гипотезы и предложения на крепость. В интерактивном режиме планируется декомпозировать тему бизнеса и продукта на самые неожиданные проблемы.

3️⃣ Резюме глазами HR. Александра Романенко (Независимый эксперт)

Как сделать резюме заметным и понятным для HR? Разберем, как работают алгоритмы на платформах вроде hh.ru, какие ошибки мешают пройти отбор и как улучшить свое резюме. Вместе с HR-экспертом в реальном времени посмотрим реальные примеры и дадим конкретные рекомендации. Подойдет тем, кто хочет перейти на следующий карьерный уровень, сменить направление или просто повысить шансы на отклик.

Ждем вас 6 и 7 ноября на крупнейшей профессиональной конференции для разработчиков высоконагруженных систем HighLoad++ 2025 🙌

➡️ Полная программа конференции и билеты на сайте

В IT и науке в России полно крутых экспертов, которые делают масштабные tech проекты, но редко выходят в публичное пространство.

Мы, Tech Kitchen, делаем так, чтобы это менялось:

🙌 Помогаем экспертам делиться знаниями и получать обратную связь от сообщества

🚀 Создаем точку притяжения для тех, кто любит науку, технологии и хочет прокачивать экспертизу

🧠 Показываем технологии «под другим соусом», чтобы заглянуть на технологическую кухню и удивиться, что даже серьезные вещи могут быть увлекательными!

Подписывайся и залипай на тех, кто двигает tech!