pgBackRest - надежное решение для резервного копирования и восстановления данных для PostgreSQL, которое легко масштабируется до самых больших баз данных и рабочих нагрузок.

Возможности:
- параллельное резервное копирование и восстановление: Сжатие обычно является узким местом во время операций резервного копирования, поэтому pgBackRest решает эту проблему с помощью параллельной обработки и более эффективных алгоритмов сжатия, таких как lz4 и zstd.
- локальное или удаленное управление: Специальный протокол позволяет pgBackRest выполнять резервное копирование, восстановление и архивацию локально или удалённо по TLS/SSH с минимальной настройкой. Интерфейс для запросов к PostgreSQL также предоставляется на уровне протокола, поэтому удалённый доступ к PostgreSQL не требуется, что повышает безопасность.
- несколько репозиториев: Несколько репозиториев позволяют, например, использовать локальный репозиторий с минимальным сроком хранения для быстрого восстановления и удаленный репозиторий с более длительным сроком хранения для обеспечения избыточности и доступа в масштабах всего предприятия
- ротация резервных копий и истечение срока действия архива
- целостность резервного копирования: Контрольные суммы рассчитываются для каждого файла в резервной копии и перепроверяются во время восстановления или проверки. После завершения копирования файлов резервная копия ожидает, пока все сегменты WAL, необходимые для обеспечения согласованности резервной копии, не поступят в репозиторий.
- восстановление процесса бакапа: Прерванное резервное копирование можно возобновить с того места, где оно было остановлено
- параллельный, асинхронный WAL Push & Get
- поддержка табличных пространств и ссылок
- поддержка хранилищ объектов, совместимых с S3, Azure и GCS
- шифрование: PgBackRest может зашифровать репозиторий, чтобы обеспечить безопасность резервных копий, где бы они ни хранились.

https://github.com/pgbackrest/pgbackrest

опубликовано в @gitgate

#postgres #backup

Ivory- проект с открытым исходным кодом, призванный упростить и визуализировать работу с кластерами Postgres. Изначально этот инструмент был разработан для облегчения работы разработчиков, обслуживающих Postgres. Но он поможет как разработчикам, так и администраторам баз данных в управлении кластерами Postgres и устранении неполадок.

Ivory позволяет использовать его как локальный инструмент на персональном компьютере или как автономный инструмент на отдельной виртуальной машине для совместного использования.

Возможности:
- храните все свои кластеры в одном месте
- обеспечивает пользовательский интерфейс для всех основных функций Patroni
- просмотр и редактирование конфигурации кластера
- просто выполните и сохраните шаблоны запросов для устранения неполадок
- проверить и очистить от bloat

https://github.com/veegres/ivory

опубликовано в @gitgate

#postgres #patrony

pgexporter - экспортер Prometheus для PostgreSQL.

pgexporter подключится к одному или нескольким экземплярам PostgreSQL и позволит вам отслеживать их работу.

Возможности:
- поддержка bridge с функцией JSON
- удаленное управление
- поддержка протокола Transport Layer Security (TLS) v1.2+
- режим демона
- хранилище (vault) пользователя

https://github.com/pgexporter/pgexporter

Список метрик: https://pgexporter.github.io/docs/pgexporter/metrics.html

Опубликовано в @gitgate

#moni #postgres #exporter

pgadmin4

- переработанная версия популярного инструмента управления pgAdmin3 для базы данных PostgreSQL

pgAdmin 4 написан как веб-приложение с использованием Python (Flask) на стороне сервера и ReactJS, HTML5 с CSS для обработки на стороне клиента и пользовательского интерфейса.

Несмотря на то, что pgAdmin 4 разработан с использованием веб-технологий, его можно развернуть как на веб-сервере с помощью браузера, так и автономно на рабочей станции. Подкаталог runtime/ содержит приложение среды выполнения на базе Electron, предназначенное для этой цели. Оно создаст ответвление серверного процесса Python и отобразит пользовательский интерфейс.

https://github.com/pgadmin-org/pgadmin4

Опубликовано в @gitgate

#postgres #gui #webui #electron

Postgresus - self-hosted инструмент для резервного копирования и мониторинга PostgreSQL базы данных

Возможности:
- создание бекапов по расписанию для PostgreSQL 13-18;
- различные места хранения (local, S3, Google Drive, Dropbox. Nextcloud и другие)
- уведомления в Telegram, Slack, Discord, если бекап сломался или база недоступна;
- health check базы данных раз в минуту;
- Apache 2.0 лицензия (полностью открытый);
- поддержка PostreSQL с 12 до 18 версии

Запуск через Docker:

docker run -d 
  --name postgresus 
  -p 4005:4005 
  -v ./postgresus-data:/postgresus-data 
  --restart unless-stopped
  rostislavdugin/postgresus:latest 

https://github.com/RostislavDugin/postgresus

Web: https://postgresus.com/

Подсказала: Наталья - @Nataly_DevOps

Опубликовано в @gitgate

#backup #webui #postgres #docker

file.d - невероятно быстрый инструмент, альтернатива filebeat, fluentd и vector для сбора логов и построения конвейеров данных: событий чтения, обработки и вывода. Изначально разработан для чтения из файлов, но также поддерживает множество плагинов ввода/действия/вывода.

Возможности:
- быстро: более чем в 10 раз быстрее по сравнению с аналогичными инструментами
- предсказуемость: используется пул, поэтому потребление памяти ограничено.
- надежность: данные не теряются благодаря механизму фиксации
- контейнер / облако / нативный Kubernetes
- просто настраивается с помощью YAML
- совместимость с Prometheus: преобразуйте ваши события в метрики на любом этапе конвейера
- удобство использования в хранилище: храните конфиденциальную информацию и получайте ее для любого параметра конвейера
- тщательно протестировано и используется в производстве для сбора журналов из кластера Kubernetes с общим количеством ядер ЦП более 3000.

Список поддерживаемых плагинов для ввода, преобразования и вывода - смотрите в репозитории.

https://github.com/ozontech/file.d

Поделился: Александр - @khodzh97

Опубликовано в @gitgate

#moni #logs #clickhouse #elasticsearch #gelf #kafka #loki #postgres #s3 #splunk #filebeat #fluentd #vector

Dolphin - единая панель для аналитики в реальном времени в MySQL/MariaDB и ProxySQL. Поддержка Linux, Windows и MacOS

https://github.com/charles-001/dolphie

Опубликовано в @gitgate

#mysql #postgres #proxysql #tui

PostgREST - предоставляет полноценный RESTful API для любой существующей базы данных PostgreSQL. Он обеспечивает более чистый, соответствующий стандартам и более быстрый API, чем тот, который вы, вероятно, будете писать с нуля.

https://github.com/PostgREST/postgrest

Опубликовано в @gitgate

#postgres #api

ProxySQL - высокопроизводительный, высокодоступный, протокольно-ориентированный прокси-сервер для MySQL и его форков (таких как Percona Server и MariaDB), а также PostgreSQL. При этом он предоставляет неограниченную свободу, которую дает лицензия GPL.

Его разработка обусловлена ​​отсутствием высокопроизводительных прокси-серверов с открытым исходным кодом.

ProxySQL - это не просто ещё один инструмент в арсенале администраторов баз данных, это настоящий прорыв. Благодаря возможности интеллектуального маршрутизирования запросов, балансировки нагрузки и обеспечения отказоустойчивости, ProxySQL позволяет организациям в полной мере использовать потенциал своей инфраструктуры баз данных. Независимо от того, сталкиваетесь ли вы с проблемами масштабируемости, стремитесь к повышению производительности или хотите обеспечить высокую доступность, ProxySQL становится универсальным союзником, способным решать разнообразные задачи в различных средах баз данных.

https://github.com/sysown/proxysql

Web: https://www.proxysql.com

Опубликовано в @gitgate

#proxy #mysql #percona #mariadb #postgres

Databasus - инструмент резервного копирования для PostgreSQL, MySQL и MongoDB.

Предназначенный для резервного копирования баз данных (с упором на PostgreSQL). Он позволяет создавать резервные копии с использованием различных хранилищ (S3, Google Drive, FTP и т. д.) и получать уведомления о ходе процесса (Slack, Discord, Telegram и т. д.). Ранее был известен как Postgresus

Возможности:
- поддерживаемые базы данных
PostgreSQL: 12, 13, 14, 15, 16, 17 и 18
MySQL: 5.7, 8 и 9
MariaDB: 10 и 11
MongoDB: 4, 5, 6, 7 и 8
- резервное копирование по расписанию
- интеллектуальное сжатие: экономия места в 4-8 раз благодаря сбалансированному сжатию (примерно 20% дополнительных затрат).
- несколько мест хранения
- безопасность: все данные остаются под вашим контролем.
- умные уведомления. Множество каналов связи: электронная почта, Telegram, Slack, Discord, веб-хуки.
- Безопасность корпоративного уровня (документация). Шифрование AES-256-GCM
- журналы аудита: отслеживают все действия в системе и изменения, внесенные пользователями.
- роли пользователей: Назначайте роли «просмотрщик», «участник», «администратор» или «владелец» в рабочих пространствах.
- удобный для пользователя интерфейс
- поддержка облачных сервисов: AWS RDS, Google Cloud SQL, Azure Database for PostgreSQL.

https://github.com/databasus/databasus

Подсказал: @zaazll

опубликовано в  @gitgate

#backup #postgres #mariadb #mysql #mongodb7