Forwarded from From Junior to CTO (Ivan Osipov)
Пользуетесь индексами в БД? Представляете как они работают? Нашел не плохой видос в котором ребята стараются рассказать о некоторых тонкостях настройки индексов в PosgteSQL. Довольно интересный материал. Кроме того, извлек для себя убойную страничку на wiki, на которой есть скрипты, которыми можно найти дубликаты индексов и неиспользуемые индексы.
Не поленился и прогнал скрипт из wiki раздела
Анализ индексов и куча полезных скриптов: https://wiki.postgresql.org/wiki/Index_Maintenance
Видео про работу с ними и некоторые специфики: https://www.youtube.com/watch?v=G9hWF0N5hkQ
#postgresql
Не поленился и прогнал скрипт из wiki раздела
Index size/usage statistics на базе со своего рабочего проекта и был очарован, как много там мусора. Еще рекомендую исключить из выборки в этом скрипте ваши primary keys и отсортировать по убыванию размера индекса. Статистика, реально, очень интересная :)Анализ индексов и куча полезных скриптов: https://wiki.postgresql.org/wiki/Index_Maintenance
Видео про работу с ними и некоторые специфики: https://www.youtube.com/watch?v=G9hWF0N5hkQ
#postgresql
YouTube
Вся правда об индексах в PostgreSQL, Олег Бартунов, Александр Коротков (PostgreSQL Consulting)
Forwarded from DevOps Deflope News
Очень интересный доклад от Gregory Stark на PGCONF EU 2018 про построение мониторинга PostgreSQL с помощью Prometheus и Grafana. С реальными примерами, графиками и теорией про USE, RED.
P.S. Видео к сожалению пока не нашлось ¯\_(ツ)_/¯
Блог: http://amp.gs/VpF6
Конференция: http://amp.gs/VpXj
Слайды: http://amp.gs/VpXI
#monitoring #prometheus #postgresql
P.S. Видео к сожалению пока не нашлось ¯\_(ツ)_/¯
Блог: http://amp.gs/VpF6
Конференция: http://amp.gs/VpXj
Слайды: http://amp.gs/VpXI
#monitoring #prometheus #postgresql
Blogspot
Monitoring Postgres with Prometheus
I'm glad people found my presentation at Lisbon on monitoring Postgres using Prometheus last October interesting. The slides are now uploade...
Не знаю как вы, а я вот только что узнал про то что у Яндекс есть свой пулер для PostgreSQL https://github.com/yandex/odyssey #yandex #postgresql
GitHub
GitHub - yandex/odyssey: Scalable PostgreSQL connection pooler
Scalable PostgreSQL connection pooler. Contribute to yandex/odyssey development by creating an account on GitHub.
Gitlab написал про PITR для postgresql https://about.gitlab.com/2019/02/13/delayed-replication-for-disaster-recovery-with-postgresql/ #postgresql #backup
GitLab
How we used delayed replication for disaster recovery with PostgreSQL
Replication is no backup. Or is it? Let's take a look at delayed replication and how we used it to recover from accidental label deletion.
Forwarded from Записки админа
🖱 Камрады подсказывают ещё один инструмент для работы со структурой БД. Подходит и для MySQL, и для PostgreSQL, судя по описанию: https://github.com/k0kubun/sqldef
#mysql #postgresql #фидбечат
#mysql #postgresql #фидбечат
Forwarded from Sysadmin Tools 🇺🇦
🐘 Да, 2 года видео, но таки не советы остаются полезны и применимы и сейчас
https://youtube.com/watch?feature=emb_title&v=IFIXpm73qtk
#postgresql #sql #optimization #postgres
https://youtube.com/watch?feature=emb_title&v=IFIXpm73qtk
#postgresql #sql #optimization #postgres
YouTube
PostgreSQL Configuration for Humans / Alvaro Hernandez (OnGres)
HighLoad++ 2017
Тезисы:
http://www.highload.ru/2017/abstracts/3096.html
PostgreSQL is the world’s most advanced open source database. Indeed! With around 270 configuration parameters in postgresql.conf, plus all the knobs in pg_hba.conf, it is definitely…
Тезисы:
http://www.highload.ru/2017/abstracts/3096.html
PostgreSQL is the world’s most advanced open source database. Indeed! With around 270 configuration parameters in postgresql.conf, plus all the knobs in pg_hba.conf, it is definitely…
👍1
Forwarded from Sysadmin Tools 🇺🇦
Воу-воу, что тут подкинул @oleg_log
Postgres Observability https://pgstats.dev/
Всё в анимациях, что бы наглядно и красиво🤘
#postgresql #observability #sql
Postgres Observability https://pgstats.dev/
Всё в анимациях, что бы наглядно и красиво🤘
#postgresql #observability #sql
Forwarded from SWE notes
Лонгрид на тему структуры Btree, которая используется для индексов во многих БД
#structure #btree #postgresql
https://erthalion.info/2020/11/28/evolution-of-btree-index-am/
#structure #btree #postgresql
https://erthalion.info/2020/11/28/evolution-of-btree-index-am/
Forwarded from SWE notes
Интересная статья про работу с древовидными структурами данных в PostgreSQL. Задача такая не редко встречается при работе с различными справочниками.
#postgresql #tree
https://hoverbear.org/blog/postgresql-hierarchical-structures/
#postgresql #tree
https://hoverbear.org/blog/postgresql-hierarchical-structures/
hoverbear.org
Hierarchical Structures in PostgreSQL
Modelling hierarchical/team/categorical/tag data with arbitrary depths.
Forwarded from SWE notes
Хорошая вводная статья о способах построения аналитических аггрегатах в БД и какие особенности MVCC при этом надо учитывать.
#postgresql #analitycs #db
https://m.habr.com/ru/company/tensor/blog/539016
#postgresql #analitycs #db
https://m.habr.com/ru/company/tensor/blog/539016
Хабр
Агрегаты в БД — зачем, как, а стоит ли?
С течением жизни приложения в его БД накапливается все больше данных. Десктопное оно, SaaS или даже мобильное - неважно, в современном мире почти каждый что-то хранит "у себя". Если это какая-то...
Forwarded from Sysadmin Tools 🇺🇦
PostgreSQL Replication with Docker
https://medium.com/swlh/postgresql-replication-with-docker-c6a904becf77
#postgresql #docker #replication #cluster
https://medium.com/swlh/postgresql-replication-with-docker-c6a904becf77
#postgresql #docker #replication #cluster
Medium
PostgreSQL Replication with Docker
There are so many ways to setup replication for a PostgreSQL master, but when it comes to docker, it could waste your time. In this…
Forwarded from Sysadmin Tools 🇺🇦
DBaaS on Kubernetes: Under the Hood
https://www.percona.com/blog/2021/02/08/dbaas-on-kubernetes-under-the-hood/
#k8s #kubernetes #percona #sql #mysql #postgresql #dbaas #docker
https://www.percona.com/blog/2021/02/08/dbaas-on-kubernetes-under-the-hood/
#k8s #kubernetes #percona #sql #mysql #postgresql #dbaas #docker
Forwarded from Записки админа
🖱 Datanymizer - интересная штука для ситуаций, когда нам нужно быстро сделать тестовый набор данных (для разработчиков, например), на основе того, с чем мы работаем в проде. Описываем в yml что и с какими данными нужно делать, и просто создаём дамп с помощью утилиты. На выходе получаем готовый дамп, в котором вся чувствительная информация (если мы описали её ранее), будет заменена.
Подробнее об инструменте, на русском: https://evrone.ru/datanymizer
#фидбечат #postgresql
Подробнее об инструменте, на русском: https://evrone.ru/datanymizer
#фидбечат #postgresql
Forwarded from SWE notes
Наткнулся на продолжение данной статьи, но как по мне то, что описано тут является анти-патерном и так делать не надо...
И для таких задач например в том же Clickhouse есть представления, которые автоматом обновляются при вставке в родительскую таблицу...
И да, как по мне, очень большое заблуждение полагать что вам при анализе данных всегда нужен ACID (практически всегда это не так)
#postgresql #analitycs #clickhouse
https://m.habr.com/ru/company/tensor/blog/539638/
И для таких задач например в том же Clickhouse есть представления, которые автоматом обновляются при вставке в родительскую таблицу...
И да, как по мне, очень большое заблуждение полагать что вам при анализе данных всегда нужен ACID (практически всегда это не так)
#postgresql #analitycs #clickhouse
https://m.habr.com/ru/company/tensor/blog/539638/
Хабр
Агрегаты в БД — эффективная обработка потока «фактов»
Предположим, вам надо обработать на PostgreSQL большое (не, не так... БОЛЬШОЕ) количество записей, чтобы посчитать какие-нибудь агрегаты. В предыдущей статье были разобраны различные варианты,...