VolSync - асинхронно реплицирует постоянные тома Kubernetes CSI между кластерами с помощью rsync или rclone. Он также поддерживает создание резервных копий постоянных томов через restic.

VolSync - оператор Kubernetes, который выполняет асинхронную репликацию постоянных томов внутри кластеров или между ними. Репликация, предоставляемая VolSync, не зависит от системы хранения. Это позволяет выполнять репликацию в и из типов хранилищ, которые обычно не поддерживают удаленную репликацию. Кроме того, он может выполнять репликацию между различными типами (и поставщиками) хранилищ.

https://github.com/backube/volsync

Документация: https://volsync.readthedocs.io/

опубликовано в @gitgate

#k8s #rsync #rclone #restic #backup

pgBackRest - надежное решение для резервного копирования и восстановления данных для PostgreSQL, которое легко масштабируется до самых больших баз данных и рабочих нагрузок.

Возможности:
- параллельное резервное копирование и восстановление: Сжатие обычно является узким местом во время операций резервного копирования, поэтому pgBackRest решает эту проблему с помощью параллельной обработки и более эффективных алгоритмов сжатия, таких как lz4 и zstd.
- локальное или удаленное управление: Специальный протокол позволяет pgBackRest выполнять резервное копирование, восстановление и архивацию локально или удалённо по TLS/SSH с минимальной настройкой. Интерфейс для запросов к PostgreSQL также предоставляется на уровне протокола, поэтому удалённый доступ к PostgreSQL не требуется, что повышает безопасность.
- несколько репозиториев: Несколько репозиториев позволяют, например, использовать локальный репозиторий с минимальным сроком хранения для быстрого восстановления и удаленный репозиторий с более длительным сроком хранения для обеспечения избыточности и доступа в масштабах всего предприятия
- ротация резервных копий и истечение срока действия архива
- целостность резервного копирования: Контрольные суммы рассчитываются для каждого файла в резервной копии и перепроверяются во время восстановления или проверки. После завершения копирования файлов резервная копия ожидает, пока все сегменты WAL, необходимые для обеспечения согласованности резервной копии, не поступят в репозиторий.
- восстановление процесса бакапа: Прерванное резервное копирование можно возобновить с того места, где оно было остановлено
- параллельный, асинхронный WAL Push & Get
- поддержка табличных пространств и ссылок
- поддержка хранилищ объектов, совместимых с S3, Azure и GCS
- шифрование: PgBackRest может зашифровать репозиторий, чтобы обеспечить безопасность резервных копий, где бы они ни хранились.

https://github.com/pgbackrest/pgbackrest

опубликовано в @gitgate

#postgres #backup

Lsyncd - демон синхронизации в реальном времени (зеркало)

Lsyncd отслеживает события локального дерева каталогов через интерфейс монитора (inotify или fsevents). Он агрегирует и объединяет события в течение нескольких секунд, а затем запускает один (или несколько) процессов для синхронизации изменений. По умолчанию это rsync. Таким образом, Lsyncd представляет собой легковесное решение для зеркалирования в режиме реального времени, которое сравнительно легко устанавливается, не требует создания новых файловых систем или блочных устройств и не снижает производительность локальной файловой системы.

Rsync+ssh - это расширенная конфигурация действий, которая использует SSH для выполнения перемещения файлов и каталогов непосредственно на целевом устройстве вместо повторной передачи пункта назначения перемещения по кабелю.

Тонкую настройку можно осуществить с помощью файла конфигурации. Пользовательские конфигурации действий можно даже написать с нуля, используя каскадные слои, от скриптов оболочки до кода на языке Lua. Таким образом, можно создать простые, мощные и гибкие конфигурации.

Lsyncd 2.2.1 требует rsync >= 3.1 на всех исходных и целевых машинах.

Лицензия: GPLv2 или любая более поздняя версия GPL.

https://github.com/lsyncd/lsyncd

опубликовано в @gitgate

#rsync #mirror #backup #ssh

Backrest - веб-решение для резервного копирования, разработанное на основе Restic.

Backrest предоставляет веб-интерфейс, который служит оболочкой для интерфейса командной строки Restic и упрощает создание репозиториев, просмотр снимков и восстановление файлов. Кроме того, Backrest может работать в фоновом режиме и использовать индивидуальный подход к планированию снимков и управлению операциями по поддержанию состояния репозиториев.

Созданный на основе restic, Backrest использует его продуманные, быстрые, надежные и безопасные возможности резервного копирования, добавляя при этом интуитивно понятный интерфейс.

Backrest, созданный на Go, распространяется как автономный, лёгкий двоичный файл, единственная зависимость которого - restic. Он позволяет безопасно создавать новые репозитории и управлять существующими. После настройки хранилища веб-интерфейс обрабатывает большинство операций, при этом обеспечивая прямой доступ к мощному командному интерфейсу restic для выполнения расширенных операций при необходимости.

Возможности:
- веб-интерфейс: локальный или удаленный доступ (идеально подходит для развертываний NAS)
- поддержка нескольких платформ: linux, macOS, Windows, FreeBSD, docker
- импорт существующих репозиториев Restic
- резервное копирование и обслуживание по расписанию Cron (например, удаление, проверка, забвение и т. д.)
- просмотр и восстановление файлов из снимков
- настраиваемые уведомления (Discord, Slack, Shoutrrr, Gotify, Healthchecks)
- перехваты команд до/после резервного копирования для выполнения сценариев оболочки

Варианты хранения:
- совместим с rclone
- поддерживает все серверные части хранилищ Restic (S3, B2, Azure, GCS, локальные, SFTP и все удаленные rclone)

https://github.com/garethgeorge/backrest

Подсказал: Владимир Вегнер - @Rid_lin

#backup #webui #restic #cli #snapshot #go

zbx-tmplt-pbs - шаблон Zabbix для мониторинга Proxmox Backup Server

Поддерживает автодискавери.

https://github.com/ismvru/zbx-tmplt-pbs

Опубликовано в @gitgate

#moni #zabbix @template #pbs #backup #proxmox

Postgresus - self-hosted инструмент для резервного копирования и мониторинга PostgreSQL базы данных

Возможности:
- создание бекапов по расписанию для PostgreSQL 13-18;
- различные места хранения (local, S3, Google Drive, Dropbox. Nextcloud и другие)
- уведомления в Telegram, Slack, Discord, если бекап сломался или база недоступна;
- health check базы данных раз в минуту;
- Apache 2.0 лицензия (полностью открытый);
- поддержка PostreSQL с 12 до 18 версии

Запуск через Docker:

docker run -d 
  --name postgresus 
  -p 4005:4005 
  -v ./postgresus-data:/postgresus-data 
  --restart unless-stopped
  rostislavdugin/postgresus:latest 

https://github.com/RostislavDugin/postgresus

Web: https://postgresus.com/

Подсказала: Наталья - @Nataly_DevOps

Опубликовано в @gitgate

#backup #webui #postgres #docker

S3Sync - действительно быстрый инструмент синхронизации для S3.

Ограничения - каждый объект загружается в оперативную память. Таким образом, вам потребуется объём оперативной памяти, равный <средний размер объекта> * <количество рабочих процессов>.

Умеет сихронизировать между как между локальным и удаленным инстансом S3, так и напрямуж между удаленными инстансами.

s3sync - неразрушающая односторонняя синхронизация: она не удаляет файлы в целевом или исходном пути, которые не синхронизированы.


Возможности:
- многопоточная загрузка/выгрузка файлов
- повторная попытка при ошибках
- текущая статистика
- ограничение скорости по объектам
- ограничение скорости по полосе пропускания
- гибкие фильтры по расширению, Content-Type, ETag и mtime объекта

https://github.com/larrabee/s3sync

Опубликовано в @gitgate

#s3 #sync #backup

Zerobyte - инструмент автоматизации резервного копирования, который помогает сохранять данные в нескольких хранилищах. Он создан на основе Restic и предоставляет современный веб-интерфейс для планирования, управления и мониторинга зашифрованного резервного копирования вашего удаленного хранилища.


Возможности:
- автоматизированное резервное копирование с политиками шифрования, сжатия и хранения на базе Restic
- гибкое планирование для автоматизированных заданий резервного копирования с детальными политиками хранения
- сквозное шифрование, гарантирующее постоянную защиту ваших данных
- поддержка нескольких протоколов: резервное копирование из NFS, SMB, WebDAV или локальных каталогов

https://github.com/nicotsx/zerobyte

Опубликовано в @gitgate

#restic #backup #nfs #smb #webdav

backrest - веб-решение для резервного копирования, построенное на основе Restic.

Backrest предоставляет веб-интерфейс, который служит оболочкой для интерфейса командной строки Restic и упрощает создание репозиториев, просмотр снимков и восстановление файлов. Кроме того, Backrest может работать в фоновом режиме и использовать индивидуальный подход к планированию снимков и управлению операциями по поддержанию состояния репозиториев.

Созданный на основе restic, Backrest использует его развитые, быстрые, надежные и безопасные возможности резервного копирования, добавляя при этом интуитивно понятный интерфейс.

Возможности:
- веб-интерфейс: локальный или удаленный доступ (идеально подходит для развертываний NAS)
- поддержка нескольких платформ: Linux, macOS, Windows, Docker, FreeBSD
- управление резервным копированием:
- импорт существующих репозиториев Restic
- резервное копирование и обслуживание по расписанию Cron (например, удаление, проверка, забвение и т. д.)
- просмотр и восстановление файлов из снимков
- настраиваемые уведомления (Discord, Slack, Shoutrrr, Gotify, Healthchecks)
- хуки до/после резервного копирования для выполнения сценариев оболочки

Варианты хранения:
- совместимо с rclone
- поддерживает все серверные части хранилищ Restic (S3, B2, Azure, GCS, локальные, SFTP и все удаленные rclone)

https://github.com/garethgeorge/backrest

Опубликовано в @gitgate

#restic #backup #webui

PBS Plus - проект, направленный на расширение функционала Proxmox Backup Server (PBS) для создания более конкурентоспособного решения для резервного копирования, призванного сделать PBS жизнеспособной альтернативой Veeam.

Среди этих улучшений - удаленное резервное копирование на уровне файлов, интегрированное непосредственно в веб-интерфейс PBS, что позволяет упростить настройку и управление резервным копированием физических рабочих станций без необходимости использования внешних заданий cron или дополнительных скриптов.

Возможности:
- удаленное резервное копирование непосредственно из веб-интерфейса PBS
- резервное копирование файлов с физических рабочих станций с помощью агента.
- исключения на уровне файлов для резервного копирования с помощью агента.
-поддержка агентов Windows для рабочих станций
- поддержка агентов Linux для рабочих станций
- поддержка резервного копирования/восстановления баз данных MySQL (используйте скрипты, запускающие предварительное резервное копирование, для создания дампов баз данных).
- поддержка резервного копирования/восстановления баз данных PostgreSQL (используйте скрипты, запускающие предварительное резервное копирование, для создания дампов баз данных).
- поддержка резервного копирования и восстановления Active Directory/LDAP (используйте скрипты, запускающие предварительное резервное копирование, для создания дампов баз данных).

https://github.com/pbs-plus/pbs-plus

Опубликовано в @gitgate

#backup #pbs #proxmox #baremetall