💹 Сенат и народ Рима Stateless Postgres Query Router

В мире PostgreSQL всё ещё нет готового коробочного решения для горизонтального масштабирования. Когда один кластер перестаёт тянуть нагрузку, начинается самое интересное: чистка или охлаждение данных, распил одного кластера на несколько и, в конце концов, шардирование.

На практике всё упирается не в сами шарды, а в инфраструктуру вокруг них. Стоит ли реализовывать логику на стороне приложения? Как из одного шарда сделать 2, 4, 8, 32 и так далее? И как перенести туда данные и избежать downtime?

👩‍⚕️ Команда платформы данных в Yandex Cloud разработала опенсорс-решение этих проблем — SPQR. А также открыла доступ к тестированию управляемого облачного сервиса на его основе. В карточках показываем, как работает инструмент и какие подходы лежат у него под капотом.

🧰 А тут расскажем про фичи:

🟢 Горизонтальное масштабирование. В кластере SPQR могут быть сотни роутеров и шардов, потенциально их количество не ограничено

🟢 Умная маршрутизация запросов. Для интеграции с SPQR необязательно модифицировать SQL-запросы, всё просто будет работать как есть

🟢 Отказоустойчивость всех компонент SPQR и шардов. Для каждого можно указать несколько серверов

🟢 Интеграция без кастомных драйверов. Приложения подключаются к SPQR по стандартному PostgreSQL-протоколу, без дополнительных модов или библиотек. То есть подключиться можно обычным psql. Вы можете использовать любимый драйвер вашего любимого языка программирования

🦾 Когда SPQR особенно эффективен

Система заточена на OLTP‑нагрузки, где большинство транзакций можно уложить в один шард. Например:

🟢 Интернет-магазин, разделённый по customer_id или product_category

🟢 Блоги, новостные порталы и CMS-разработки, шардированные по author_id или типу контента (при этом комментарии и связанный контент остаются на одном шарде)

🟢 Хранилища микросервисов, в которых каждый микросервис получает свой логический шард, но физически всеми данными управляет единый роутер

🟢 Пользовательские сервисы, IoT, high‑traffic OLTP и любые сервисы с большим потоком коротких транзакций

🔶 В статье на Хабре ищите подробности и планы развития инструмента.

Подписывайтесь:
💬 @Yandex4Backend
📹 @YandexforBackend

🔶 5 тезисов про AI в сетях

Сеть помогает строить агентов, а агенты помогают строить сети!

👩‍⚕️ Об изменениях, которые приносит AI, тезисно рассказывает Александр Азимов, руководитель группы Yandex Network Design в Yandex Infrastructure. Собрали его наблюдения в карточках.

Подписывайтесь:
💬 @Yandex4Backend
📹 @YandexforBackend

😈 Как мы запустили 50 тысяч фейковых водителей в прод

На связи Андрей Матвеев, разработчик в команде платформы надёжности Яндекс Такси. А ещё я техлид проекта virtual-orders — нашей системы нагрузочных учений. С ней мы выявляем узкие места в архитектуре, определяем границы работоспособности и прогнозируем поведение сервиса в разных сценариях.

👩‍⚕️ В карточках я показываю, как мы проводим интеграционные нагрузочные тесты прямо в продакшене

📖 А в статье на Хабре рассказываю:

🟢 Как мы распределяли нагрузку во время учений с учётом географии и пиковых сценариев

🟢 Почему выбрали эмуляторы для тестирования

🟢 Как оценивали результаты тестов на дашбордах

Подписывайтесь:
💬 @Yandex4Backend
📹 @YandexforBackend