Виды моделирования данных. Полный гайд

"Спроси любого уважаемого аналитика или инженера данных о том, какие бывают способы моделирования данных, тебе ответят: звезда, 3NF и DataVault. Спроси ИИ, получишь примерно такой же ответ. Придешь на какой-нибудь проект в компанию, также скорее всего встретишь там кого-нибудь из этих друзей. В 90% материалах про методологии моделирования освещаются только эти трое. Как будто других методологий не существует.

Да, эта троица, наверное, самая популярная и подходящая под большую часть задач, но в мире есть еще уйма других не менее интересных способов как организовать свои данные. И сегодня мы постараемся целиком их рассмотреть. Если какие-то упустил, пишите в комментах, интересно будет почитать."

Читать статью

Почему SUM() OVER (ORDER BY ...) иногда считает «неправильно»: разбираем оконные фреймы в SQL

Читать статью

Ускоряем вставку данных в PostgreSQL

Это текстовая версия доклада с Java Rock Star Meetup, с которым выступал Дмитрий Фатов, руководитель разработки Газпромбанка:
"В докладе разберём, как ускорить вставку данных в PostgreSQL:

- От обычных insert до кастомных методов PostgreSQL и сколько профита они дают по производительности.
- Распараллеливание процесса вставки с сохранением атомарности всей операции.
- Как ускорить обновление данных в PostgreSQL и сделать эту вставку атомарной.
- Важное примечание. Все примеры в статье будут написаны без использования ORM. Только JDBC, только хардор)"

Читать статью

​​Почему VACUUM не спасает от раздувания индексов в PostgreSQL

"Есть одно распространённое заблуждение, которое мешает многим разработчикам, работающим с PostgreSQL: достаточно настроить VACUUM или просто запускать VACUUM, и база данных будет оставаться в хорошем состоянии. Мёртвые кортежи будут удаляться. Идентификаторы транзакций — переиспользоваться, а пространство — освобождаться. И база данных будет счастливо жить дальше.

Но здесь есть пара неприятных моментов, о которых многие не знают. Первый из них заключается в том, что VACUUM вводит вас в заблуждение, когда дело касается индексов."

Читать статью

​​Книга «PostgreSQL 16. Оптимизация запросов»: учимся читать мысли планировщика

"Планировщик запросов PostgreSQL — это интеллект, принимающий тысячи решений в секунду, и именно его понимание отличает хорошего разработчика от великолепного. Книга Павла Толмачёва «PostgreSQL 16. Оптимизация запросов» — компактный, но ёмкий путеводитель по внутренней кухне планировщика: как устроена его логика, как читать планы выполнения запросов и как исправить его, когда он ошибается."

Читать статью

Почему PostgreSQL не использует ваш индекс

"Вы создали индекс, но запрос по-прежнему делает Seq Scan? Стоимость в EXPLAIN — загадочное число, и непонятно, как его интерпретировать? Данные с индексом читаются медленнее, чем без него? Разберёмся, как PostgreSQL на самом деле работает с индексами — на живых примерах с 4 миллионами строк."

Читать статью

До сих пор разворачиваете PostgreSQL вручную?

Сэкономьте силы для задач разработки.

21 апреля в 16:00 (мск) пройдёт вебинар от MWS Cloud Platform, где эксперты компании расскажут, как получить готовую базу для бэкенда за несколько минут.

Что будет в эфире:

⚫️️️ облачный PostgreSQL: плюсы/минусы решения;
⚫️️️ как устроен управляемый сервис в новом облаке от MWS Cloud;
⚫️️️ машинерия под капотом бэкапов, автообновлений, switch и failover;
⚫️️️ создадим кластер за несколько минут и настроим подключение.

Вебинар будет интересен администраторам баз данных (DBA), бэкенд-разработчикам, DevOps- и SRE-инженерам, техническим лидам и архитекторам, владельцам продуктов и стартапам.

Зарегистрироваться

🆓 Ваши SQL-запросы работают, но через месяц их уже сложно прочитать и изменить?

С ростом логики запросы превращаются в набор вложенных подзапросов. Разобраться в них сложно, поддержка занимает время, а любые изменения несут риск сломать результат.

На открытом уроке разберём
как использовать обобщенные табличные выражения (CTE), чтобы писать сложные запросы по шагам.
Покажем, как упростить структуру, сделать код читаемым и работать с иерархиями через рекурсивные CTE.

🗓 Урок проходит в преддверии старта курса «PostgreSQL для администраторов баз данных и разработчиков». Если вы хотите писать SQL, который легко читать и поддерживать — подключайтесь 21 мая в 20:00 МСК.

🔗 Регистрация открыта:
https://clck.ru/3TddKX

Erid: 2W5zFJVTuKo
Реклама. ООО «Отус онлайн-образование», ОГРН 1177746618576

🦾 Децентрализованная революция в управлении данными: Data Mesh и его четыре принципа

Данные растут, а управлять ими становится сложнее: команды дублируют процессы, качество падает, масштабирование тормозит развитие продукта. Централизованные подходы перестают работать.

3 июня в 20:00 МСК приглашаем вас на открытый урок курса «Инженер данных». На занятии вы разберёте, как устроен подход Data Mesh: доменное владение данными, данные как продукт, самообслуживаемая инфраструктура и федеративное управление. Поговорим о реальных примерах внедрения и о том, как этот подход помогает справляться со сложностью и ростом данных в компаниях.
Вы познакомитесь с преподавателем, увидите формат обучения и сможете задать вопросы.

Зарегистрируйтесь, чтобы не пропустить: https://clck.ru/3Toq4o

Реклама. ООО «Отус онлайн-образование», ОГРН 1177746618576

PostgreSQL не тормозит. Почему мы перестали масштабировать базу данных и начали масштабировать архитектуру

"Каждый раз, когда в компании возникают проблемы с производительностью PostgreSQL, обсуждение обычно идет по одному и тому же сценарию.
Сначала DBA оптимизируют запросы. Потом появляются новые индексы. Потом увеличивается размер серверов. Затем появляются реплики. Потом еще реплики. И через некоторое время выясняется, что значительная часть бюджета на инфраструктуру уходит на обслуживание системы, которая изначально должна была просто хранить данные."

Читать статью