👍5
25 железных правил проектирования баз данных в PostgreSQL
В статье приведены 25 правил, которые Автор собрал из опыта работы с высоконагруженными системами. Это не теория из учебника — это грабли, на которые уже наступили до вас. Каждое правило сопровождается примером «как надо» и «как не надо», чтобы разница была наглядной.
Читать статью
В статье приведены 25 правил, которые Автор собрал из опыта работы с высоконагруженными системами. Это не теория из учебника — это грабли, на которые уже наступили до вас. Каждое правило сопровождается примером «как надо» и «как не надо», чтобы разница была наглядной.
Читать статью
👍5😢2
Forwarded from Заметки Аналитика | IT
SQL для ритейла: пример 5 задач, которые я решала как аналитик ассортимента
В статье на примере пяти реальных задач из ритейла показывается, как аналитик ассортимента использует SQL для работы. Автор делится опытом, как с нуля (без технического бэкграунда) освоила язык для решения практических вопросов: анализа товаров, категорий, продаж и поставок. Статья доказывает, что SQL — логичный и мощный инструмент для извлечения данных, а не просто абстрактный навык из требований вакансий.
Читать статью
В статье на примере пяти реальных задач из ритейла показывается, как аналитик ассортимента использует SQL для работы. Автор делится опытом, как с нуля (без технического бэкграунда) освоила язык для решения практических вопросов: анализа товаров, категорий, продаж и поставок. Статья доказывает, что SQL — логичный и мощный инструмент для извлечения данных, а не просто абстрактный навык из требований вакансий.
Читать статью
👍3❤1
Forwarded from Заметки Аналитика | IT
Виды моделирования данных. Полный гайд
"Спроси любого уважаемого аналитика или инженера данных о том, какие бывают способы моделирования данных, тебе ответят: звезда, 3NF и DataVault. Спроси ИИ, получишь примерно такой же ответ. Придешь на какой-нибудь проект в компанию, также скорее всего встретишь там кого-нибудь из этих друзей. В 90% материалах про методологии моделирования освещаются только эти трое. Как будто других методологий не существует.
Да, эта троица, наверное, самая популярная и подходящая под большую часть задач, но в мире есть еще уйма других не менее интересных способов как организовать свои данные. И сегодня мы постараемся целиком их рассмотреть. Если какие-то упустил, пишите в комментах, интересно будет почитать."
Читать статью
"Спроси любого уважаемого аналитика или инженера данных о том, какие бывают способы моделирования данных, тебе ответят: звезда, 3NF и DataVault. Спроси ИИ, получишь примерно такой же ответ. Придешь на какой-нибудь проект в компанию, также скорее всего встретишь там кого-нибудь из этих друзей. В 90% материалах про методологии моделирования освещаются только эти трое. Как будто других методологий не существует.
Да, эта троица, наверное, самая популярная и подходящая под большую часть задач, но в мире есть еще уйма других не менее интересных способов как организовать свои данные. И сегодня мы постараемся целиком их рассмотреть. Если какие-то упустил, пишите в комментах, интересно будет почитать."
Читать статью
Почему
Читать статью
SUM() OVER (ORDER BY ...) иногда считает «неправильно»: разбираем оконные фреймы в SQLЧитать статью
Хабр
Почему `SUM() OVER (ORDER BY ...)` иногда считает «неправильно»: разбираем оконные фреймы в SQL
Оконные функции в SQL полезны тем, что позволяют делать аналитику по строкам без GROUP BY : считать ранги, накопительные итоги, скользящие средние, доли, сравнения с соседними строками и агрегаты по...
🔥3
Ускоряем вставку данных в PostgreSQL
Это текстовая версия доклада с Java Rock Star Meetup, с которым выступал Дмитрий Фатов, руководитель разработки Газпромбанка:
"В докладе разберём, как ускорить вставку данных в PostgreSQL:
- От обычных insert до кастомных методов PostgreSQL и сколько профита они дают по производительности.
- Распараллеливание процесса вставки с сохранением атомарности всей операции.
- Как ускорить обновление данных в PostgreSQL и сделать эту вставку атомарной.
- Важное примечание. Все примеры в статье будут написаны без использования ORM. Только JDBC, только хардор)"
Читать статью
Это текстовая версия доклада с Java Rock Star Meetup, с которым выступал Дмитрий Фатов, руководитель разработки Газпромбанка:
"В докладе разберём, как ускорить вставку данных в PostgreSQL:
- От обычных insert до кастомных методов PostgreSQL и сколько профита они дают по производительности.
- Распараллеливание процесса вставки с сохранением атомарности всей операции.
- Как ускорить обновление данных в PostgreSQL и сделать эту вставку атомарной.
- Важное примечание. Все примеры в статье будут написаны без использования ORM. Только JDBC, только хардор)"
Читать статью
Почему VACUUM не спасает от раздувания индексов в PostgreSQL
"Есть одно распространённое заблуждение, которое мешает многим разработчикам, работающим с PostgreSQL: достаточно настроить VACUUM или просто запускать VACUUM, и база данных будет оставаться в хорошем состоянии. Мёртвые кортежи будут удаляться. Идентификаторы транзакций — переиспользоваться, а пространство — освобождаться. И база данных будет счастливо жить дальше.
Но здесь есть пара неприятных моментов, о которых многие не знают. Первый из них заключается в том, что VACUUM вводит вас в заблуждение, когда дело касается индексов."
Читать статью
"Есть одно распространённое заблуждение, которое мешает многим разработчикам, работающим с PostgreSQL: достаточно настроить VACUUM или просто запускать VACUUM, и база данных будет оставаться в хорошем состоянии. Мёртвые кортежи будут удаляться. Идентификаторы транзакций — переиспользоваться, а пространство — освобождаться. И база данных будет счастливо жить дальше.
Но здесь есть пара неприятных моментов, о которых многие не знают. Первый из них заключается в том, что VACUUM вводит вас в заблуждение, когда дело касается индексов."
Читать статью
👍3
Книга «PostgreSQL 16. Оптимизация запросов»: учимся читать мысли планировщика
"Планировщик запросов PostgreSQL — это интеллект, принимающий тысячи решений в секунду, и именно его понимание отличает хорошего разработчика от великолепного. Книга Павла Толмачёва «PostgreSQL 16. Оптимизация запросов» — компактный, но ёмкий путеводитель по внутренней кухне планировщика: как устроена его логика, как читать планы выполнения запросов и как исправить его, когда он ошибается."
Читать статью
"Планировщик запросов PostgreSQL — это интеллект, принимающий тысячи решений в секунду, и именно его понимание отличает хорошего разработчика от великолепного. Книга Павла Толмачёва «PostgreSQL 16. Оптимизация запросов» — компактный, но ёмкий путеводитель по внутренней кухне планировщика: как устроена его логика, как читать планы выполнения запросов и как исправить его, когда он ошибается."
Читать статью
👍4
Почему PostgreSQL не использует ваш индекс
"Вы создали индекс, но запрос по-прежнему делает Seq Scan? Стоимость в EXPLAIN — загадочное число, и непонятно, как его интерпретировать? Данные с индексом читаются медленнее, чем без него? Разберёмся, как PostgreSQL на самом деле работает с индексами — на живых примерах с 4 миллионами строк."
Читать статью
"Вы создали индекс, но запрос по-прежнему делает Seq Scan? Стоимость в EXPLAIN — загадочное число, и непонятно, как его интерпретировать? Данные с индексом читаются медленнее, чем без него? Разберёмся, как PostgreSQL на самом деле работает с индексами — на живых примерах с 4 миллионами строк."
Читать статью
👍2
До сих пор разворачиваете PostgreSQL вручную?
Сэкономьте силы для задач разработки.
21 апреля в 16:00 (мск) пройдёт вебинар от MWS Cloud Platform, где эксперты компании расскажут, как получить готовую базу для бэкенда за несколько минут.
Что будет в эфире:
⚫️️️ облачный PostgreSQL: плюсы/минусы решения;
⚫️️️ как устроен управляемый сервис в новом облаке от MWS Cloud;
⚫️️️ машинерия под капотом бэкапов, автообновлений, switch и failover;
⚫️️️ создадим кластер за несколько минут и настроим подключение.
Вебинар будет интересен администраторам баз данных (DBA), бэкенд-разработчикам, DevOps- и SRE-инженерам, техническим лидам и архитекторам, владельцам продуктов и стартапам.
Зарегистрироваться
Сэкономьте силы для задач разработки.
21 апреля в 16:00 (мск) пройдёт вебинар от MWS Cloud Platform, где эксперты компании расскажут, как получить готовую базу для бэкенда за несколько минут.
Что будет в эфире:
⚫️️️ облачный PostgreSQL: плюсы/минусы решения;
⚫️️️ как устроен управляемый сервис в новом облаке от MWS Cloud;
⚫️️️ машинерия под капотом бэкапов, автообновлений, switch и failover;
⚫️️️ создадим кластер за несколько минут и настроим подключение.
Вебинар будет интересен администраторам баз данных (DBA), бэкенд-разработчикам, DevOps- и SRE-инженерам, техническим лидам и архитекторам, владельцам продуктов и стартапам.
Зарегистрироваться
❤4👍2🥰1
🆓 Ваши SQL-запросы работают, но через месяц их уже сложно прочитать и изменить?
С ростом логики запросы превращаются в набор вложенных подзапросов. Разобраться в них сложно, поддержка занимает время, а любые изменения несут риск сломать результат.
На открытом уроке разберём
как использовать обобщенные табличные выражения (CTE), чтобы писать сложные запросы по шагам.
Покажем, как упростить структуру, сделать код читаемым и работать с иерархиями через рекурсивные CTE.
🗓 Урок проходит в преддверии старта курса «PostgreSQL для администраторов баз данных и разработчиков». Если вы хотите писать SQL, который легко читать и поддерживать — подключайтесь 21 мая в 20:00 МСК.
🔗 Регистрация открыта:
https://clck.ru/3TddKX
Erid: 2W5zFJVTuKo
Реклама. ООО «Отус онлайн-образование», ОГРН 1177746618576
С ростом логики запросы превращаются в набор вложенных подзапросов. Разобраться в них сложно, поддержка занимает время, а любые изменения несут риск сломать результат.
На открытом уроке разберём
как использовать обобщенные табличные выражения (CTE), чтобы писать сложные запросы по шагам.
Покажем, как упростить структуру, сделать код читаемым и работать с иерархиями через рекурсивные CTE.
🗓 Урок проходит в преддверии старта курса «PostgreSQL для администраторов баз данных и разработчиков». Если вы хотите писать SQL, который легко читать и поддерживать — подключайтесь 21 мая в 20:00 МСК.
🔗 Регистрация открыта:
https://clck.ru/3TddKX
Erid: 2W5zFJVTuKo
Реклама. ООО «Отус онлайн-образование», ОГРН 1177746618576
❤1👍1
Кэш результатов запросов в Postgres Pro: как ускорить часто выполняющиеся запросы и разгрузить базу
Читать статью
Читать статью
Хабр
Кэш результатов запросов в Postgres Pro: как ускорить часто выполняющиеся запросы и разгрузить базу
Расширение pgpro_result_cache предназначено для сохранения результатов выполнения запросов в общей памяти экземпляра кластера баз данных, которая называется «кэш результатов» (result...
👍2❤1🔥1