Пользователям нужны данные в реальном времени, а не с задержкой в сутки, но законы физики против.

В этой серии статей с помощью Александра Токарева, CTO группы компаний Voxys, разберемся, почему на орбите до сих пор нет полноценных дата-центров, какие технологии приближают их появление, а что все еще остается фантастикой. Поговорим о лазерах и ретрансляторах, о проектах Китая, США и России, и реально ли охлаждать серверы в космосе.

➡️ Часть первая

Как справляться с высокими нагрузками, масштабировать инфраструктуру и построить архитектуру так, чтобы она эволюционировала подконтрольно и в нужную сторону? Реальные решения для реальных задач вы найдете на HighLoad++ 2025 🙌

Сегодня рассказываем о следующих докладах из секции «Архитектура и масштабируемость».

1️⃣ Как мы ускоряли поиск в модели EAV для 13500 атрибутов через ClickHouse. Александр Залеский (МТС Web Services (MWS))

Спикер с командой разрабатывают BPM-систему для всех строительных и эксплуатационных процессов мобильной сети МТС. Они прошли путь от классической EAV-модели к CQRS-архитектуре, сохранив EAV для мастер-данных и метаданных в Postgres, но вынеся чтение и поиск в ClickHouse по денормализованным JSON-объектам. В докладе Александр разберет плюсы и минусы такого подхода, расскажет, как боролись с неконсистентностью, ограничениями JOIN в ClickHouse, масштабируемостью и задержками. Конкретные практики и извлеченные уроки, которыми поделится Александр, помогут вам избежать дорогостоящих ошибок в своих проектах

2️⃣ Ревью архитектурных изменений без шума и пыли. Дмитрий Александров (Яндекс Еда)

Многие в индустрии сталкиваются с проблемой бесконтрольного разрастания системы. Вместо стройной микросервисной архитектуры со временем получается месиво из монолитов и наносервисов. Это приводит к различным проблемам, которые снижают эффективность работы и увеличивают риски сбоев. Дмитрий представит проверенный на практике подход к управлению эволюцией распределённых микросервисных систем. Вы узнаете о ключевых составляющих успешного архитектурного ревью. Также будут рассмотрены конкретные инструменты и методы, которые помогут оптимизировать процесс

3️⃣ Выжимаем облака досуха: как свое железо экономит 90% затрат на большие данные для стартапа. Андрей Ивахненко (Антиплагиат)

Андрей поделится опытом планомерного сокращения затрат на хранение данных в несколько раз за счет использования собственных серверов. Будут предложены практические идеи и расчеты по снижению совокупной стоимости владения (TCO). В результате получается масштабируемое решение на основе open-source компонентов (Proxmox, ceph, Deckhouse CE). Вы увидите, как это масштабируется в несколько раз на примере инфраструктуры Антиплагиата. Представленные подходы успешно применены в реальном проекте, но отдельные решения можно адаптировать под самые разные сервисы.

4️⃣ Эволюция архитектуры платежной системы: сохраняем SLA 99.99 при росте нагрузки в 30 раз. Иван Мареев (ЕДИНЫЙ ЦУПИС)

Иван расскажет, как они развивали архитектуру проекта, чтобы сохранить SLA 99.99 при активном росте проекта и нагрузки. Покажет ключевые изменения, а также то, что их к ним подтолкнуло, какие подводные камни обошли и с какими сложностями пришлось столкнуться. Вы получите: проверенные подходы к масштабированию платежной системы; практики предотвращения узких мест и рефакторинга системы на фоне интенсивного релизного цикла и постоянной доступности; ценные рекомендации для каждой стадии развития архитектуры; идеи по улучшению своих проектов, основанные на опыте спикера и лучших практиках.

🖐️ Ждем вас 6 и 7 ноября на HighLoad++ 2025. Присоединяйтесь к нам и забирайте готовые решения для реальных вызовов!

➡️ Программа конференции и билеты на сайте

Вчера мы разобрали базовые задачи спутников, энергообеспечение и охлаждение — все то, без чего невозможно построить орбитальный дата-центр. Но даже если с энергией и теплом удастся справиться, остаются не менее жесткие барьеры: радиация, обслуживание и связь. Именно они определяют, как долго прослужит «космическое железо» и сможет ли оно вообще обмениваться данными с Землей.

✅ Сегодня вторая часть статьи — с подробностями о главных ограничениях, мешающих запустить дата-центры в космосе.

Какая погода будет в Москве 6 и 7 ноября точно еще никто не знает, даже самые дальновидные синоптики. А вот какая атмосфера будет в эти дни в Технопарке «Сколково» — знаем мы и тот, у кого есть заветный билет 😉

Если вы хотите зарядиться технической, интеллектуальной и профессиональной энергией, и почувствовать себя как котик в лучах солнца, присоединяйтесь к нам на HighLoad++ 2025 😎

Не упускайте шанс обменяться знаниями о построении и масштабировании современных высоконагруженных систем. Возможностей для этого у вас будет много, ведь на площадке соберутся более 3000 специалистов, которые решают сложные технические задачи каждый день.

В залах, которых будет 10, вы получите только практический опыт и глубокую техническую программу. А в кулуарах — нетворкинг без формальностей.

Ждем вас 🙌

➡️ Пройдите на сайт, чтобы узнать программу конференции и успеть забронировать билет до повышения цены.

Чтобы принимать верные решения и создавать прорывные продукты, нужно постоянно быть в потоке: знать последние тренды, иметь доступ к лучшим практикам и уметь быстро применять их в работе.

Но как успевать за всем? Где брать время на поиск и фильтрацию тонн информации?

Представляем вам Поддерживающую базу знаний — ваш персональный пропуск в мир экспертизы для разработчиков, архитекторов и лидеров цифровой индустрии.

Что вы получите уже сегодня:
🚀 Мгновенный доступ к инсайдам. Записи всех конференций — уже через две недели после их проведения, а не через полгода, как для всех остальных. Вы будете первыми знать о ключевых обновлениях и трендах.
📚 Более 4000 единиц эксклюзивного контента с профессиональных конференций. Перестаньте тратить время на поиск — начните эффективно учиться и применять.
🔧 Практические руководства от экспертов. Мы не просто даем теорию. Мы собираем готовые алгоритмы действий из видео, статей и кейсов, которые ваша команда сможет использовать в проектах сразу же.
💡 Эксклюзив: встреча с экспертом. К каждому гайду мы организуем live-сессию с экспертом. Получайте ответы на свои вопросы и ценные инсайты из первых рук для ускорения развития и уверенности в каждом решении.

Переходите по ссылке https://clck.ru/3PNjzR, регистрируйтесь и получите полный доступ к библиотеке на 1 месяц в подарок.

У нас стартовал второй сезон Podcast++ 🎉 И открывает его выпуск на тему: Что такое асинхронность и почему ее нельзя путать с параллельным выполнением кода.

В этом эпизоде обсудили:
– модель конкурентности в Go,
– почему в языке нет корутин, но есть горутины,
– какие ошибки чаще всего допускают разработчики.

🎤 Ведущий подкаста: Кирилл Кузин, преподаватель и ментор, профессионал в распиливании монолитов, ведущий golang-разработчик в Ви.Tech.

🖐 В гостях: Дмитрий Буров, старший Go-разработчик и Community Lead Go-сообщества в Lamoda Tech.

🎧 Слушайте на удобной вам площадке:
ВКонтакте
mave

Когда система обрабатывает миллионы запросов, каждая уязвимость становится критической. В треке «Безопасность высоконагруженных систем» мы поговорим о security в масштабе. Особое внимание — балансу между безопасностью и производительностью: как не превратить защиту в bottleneck системы.

1️⃣ Правовая архитектура генеративного AI. София Чернавина (BETOBELEGAL)

Доклад полезен всем, кто занимается разработкой любого рода систем и хочет применять AI в структуре этих систем.

2️⃣ От хаоса к порядку: как приручить Admission Controller в Enterprise масштабах. Владислав Трофимов, Анастасия Макеева (Wildberries & Russ)

Во внедрении новых технологий в процесс важна не только сама технология, но и процессная составляющая. В докладе не только как обеспечить безопасность деплоев, но и как при это не сорвать ни одной поставки ПО и не замедлить TTM.

3️⃣ Серьёзный разговор про контроль целостности в Kubernetes. Максим Набоких (Флант)

В этом докладе Максим поделится тем, как они встраивали надежность на каждом уровне — от CI до рантайма, на какие компромиссы приходилось идти и как можно подойти к построению сквозной системы верификации без потери гибкости и совместимости. Этот опыт будет полезен командам, которым важно управлять безопасностью Kubernetes в условиях реальных угроз, а также тем, кто стремится к соответствию требованиям регуляторов и хочет внедрить практики доверенного исполнения в своих кластерах.

Если вы хотите усилить защиту своих высоконагруженных систем — присоединяйтесь к нам 😎

🖐️ Пройдите на сайт, чтобы узнать больше о том, что вас ждет на HighLoad++ 2025

С 2013 года в Яндексе использовали Kafka для потоковой передачи данных, но со временем она перестала справляться с растущими объемами. И в 2017 году в компании перешли на собственное решение. Брокер сообщений YDB Topics во многом вдохновлялся Kafka: в нем также есть топики, партиции и аналогичные способы работы с данными. Но есть и существенные отличия.

Под катом — статья по мотивам доклада Алексея Николаевского с HighLoad++ 2024 про архитектуру транзакций в системах и интересные для разработчиков детали и нюансы, которые обсуждались на конференции.

Почему в космосе (пока) нет дата-центров. Заключительная третья часть: какие вычисления уже работают.

Во второй части мы разобрались, что главные барьеры для космических ЦОДов — вовсе не процессоры, а энергия, охлаждение, радиация и отсутствие устойчивых сетей. Но пока проекты с «настоящими» дата-центрами остаются в рендерах, в космосе уже крутятся рабочие вычисления.

➡️ Давайте посмотрим, что из этого реально работает сегодня и какие горизонты впереди.

Данные — это сердце любой высоконагруженной системы. В треке «Базы данных и системы хранения» собран опыт работы с петабайтами информации: от классических РСУБД до современных распределенных хранилищ. Мы обсудим реальные проблемы и их решения: шардирование, репликация, консистентность, оптимизация запросов.

1️⃣ Перебалансировка без даунтайма в динтаблицах YTsaurus. Иван Смирнов (Яндекс, YTsaurus)

Спикер расскажет о том, как строить системы поверх множества автоматов, как правильно доставлять между ними сообщения, и какую пользу из этого можно извлечь. Расчет на то, что слушатели доклада базово знакомы с тем, что такое Raft (хотя бы на уровне, что это «отказоустойчивый кирпичик»).

2️⃣ Винил снова в моде или история дискового движка в Tarantool. Сергей Бронников (VK, VK Tech, Tarantool)

Этот доклад — история развития движка охлаждения данных для новой СУБД. Рассказ об архитектурных решениях, неочевидных багах, флакающих тестах, сложной отладке и непростом выборе: когда брать готовый код, а когда писать самому.

3️⃣ 2 DC 1 fail: как реализовать автоматический фейловер, когда данные в двух зонах доступности. Георгий Белянин (VK Tech, Tarantool)

Георгий покажет, как сделать авто-failover БД в двух ДЦ без split-brain: Active/Standby с внешним кворумом (etcd в 3-й зоне), per-node supervisor и кластерный координатор. Это не про RAFT в 3 ДЦ/«witness». Где выигрываем по RPO/RTO, риски, шаги внедрения.

4️⃣ Внедрение и развитие каталога данных в МТС BigData: практический опыт. Александр Полищук (МТС Web Services (MWS))

Александр расскажет историю сборки нового каталога данных из Open Source компонентов: архитектурные решения, неожиданные проблемы и сложности, о которых не подозреваешь, пока не начнешь писать код. В центре рассказа DataHub, полмиллиона таблиц и больше 400 источников данных.

➡️ Посмотреть все доклады трека и забронировать билет до повышения цены можно на сайте

24KiB of Flash Storage, 3KiB of Static RAM: энтузиаст собрал работающий веб-сервер на чипе от одноразового вейпа.

Через отладчик и протокол SLIP микроконтроллер получил IP-адрес в сети. После оптимизации буферизации скорость работы стала: пинг 20 мс, загрузка страницы — 160 мс. Сервер не только отдает статику, но и имеет API на C.

А у вас есть примеры использования сторонних девайсов в разработке? Поделитесь 🙌

Если вы интересуетесь микросервисной архитектурой или работаете в компаниях, где есть или планируются высокие нагрузки, тогда это видео для вас ✅. В нем Олег Табота приглашает вас на свой доклад, с которым он выступит на HighLoad++ 2025. Послушайте и узнаете главный момент, о котором расскажет Олег в докладе.

😎 Интересный факт о спикере: первый код написал в 6 классе.

➡️ Тезисы доклада на сайте

Ждем вас на крупнейшей профессиональной конференции для разработчиков высоконагруженных систем HighLoad++ 2025 🙌

Искусственный интеллект перешел от экспериментов к production-решениям, обрабатывающим миллионы запросов.

На докладах секции «GenAI и большие языковые модели (LLM)» вы сможете разобрать, как строить и масштабировать системы с LLM: от оптимизации инференса и управления GPU-кластерами до построения RAG-систем и fine-tuning моделей под высокие нагрузки. Здесь не о хайпе, а о практических решениях — от выбора фреймворков до экономики GPU-вычислений в масштабе. ⤵️


1️⃣ AI ответы в Яндекс.Поиске: как увеличить счастье пользователей и сэкономить GPU. Алексей Яндутов (Яндекс)

Алексей расскажет, как построили систему выбора LLM под каждый запрос. От простого фильтра с классификаторами к многоуровневому роутингу, который увеличил покрытие в несколько раз, увеличил метрики счастья пользователя и сэкономил сотни GPU. Реальные грабли и готовые решения включены.

2️⃣ Заселение без фронт-деска или как построить бесконтактный сервис в сети отелей на основе RAG. Кирилл Кухарев (Raft)

Почти полная автоматизация фронт-деска отеля от бронирования до решения вопросов проживания при помощи LLM. Практический опыт. Решение в проде.

3️⃣ Строительные блоки LLM‑агентов: планировщик, память, RAG и рабочие цепочки. Алексей Барган (Компания «Тантор Лабс»)

В докладе — пояснение на понятной архитектору и разработчику структуре, из чего состоит агент. Алексей на практике покажет, в каких блоках какие проблемы могут возникнуть.

4️⃣ Агентный подход к матчингу товаров с помощью LLM. Виталий Кулиев (Wildberries & Russ)

Доклад будет интересен своим разбором от и до темы мэтчинга товаров, от небольших кейсов к комплексным сравнениям.

5️⃣ Как перевести разметку на генеративные модели, не уронив качество и стабильность. Дарья Шатько (Яндекс Крауд)

Описание поэтапного внедрения разметки в платформу. Будет интересно всем, кто хочет работать с этой темой и не ошибиться.

Узнайте реальные кейсы снижения latency в 10 раз, организации эффективного батчинга запросов, построения отказоустойчивой архитектуры для AI-сервисов — присоединяйтесь к нам на HighLoad++ 2025 🙌

🖐️ Посмотреть больше докладов секции «GenAI и большие языковые модели (LLM)» и успеть забронировать билет до повышения цены можно на сайте

Хранилище — один из базовых и важнейших элементов видеохостинга. Пользовательские фичи накладываются поверх библиотеки контента, которую нужно надёжно хранить и обеспечивать быстрый и бесперебойный к ней доступ.

➡️ В этой статье о том, как устроено файловое хранилище RUTUBE с точки зрения SRE, как пришли к именно такой конфигурации и как она работает на текущих объемах — сейчас это порядка 400 Пбайт или 2 млрд объектов.

Сейчас многие используют искусственный интеллект в работе — например, пишут код с помощью ИИ. Но как видит этот код закон? Программы приравнены к произведениям литературы, а авторские права на код охраняют так же, как и на книги.

Инженер из Сбера Арина Шахтарина рассказала в статье о критериях авторского права, юридические детали о правах на код, написанный ИИ и лично, и многое другое.