postgres-backup-s3 - периодического резервного копирования базы данных PostgreSQL на AWS S3 и восстановления из резервной копии по мере необходимости.

https://github.com/eeshugerman/postgres-backup-s3

опубликовано в @gitgate

#postgres #backup #s3

s3fs - позволяет Linux, macOS и FreeBSD монтировать S3 бакет через FUSE

s3fs позволяет вам работать с файлами и каталогами в S3 бакете как с локальной файловой системой. s3fs сохраняет нативный формат объектов для файлов, позволяя использовать другие инструменты, такие как AWS CLI .

https://github.com/s3fs-fuse/s3fs-fuse

опубликовано в @gitgate

#fuse #s3 #aws

GeeseFS - высокопроизводительная файловая система S3 ( Яндекс , Amazon ), соответствующая стандарту POSIX и написанная на языке Go

Обзор:

GeeseFS позволяет монтировать S3 бакет как файловую систему. Файловые системы FUSE на основе S3 обычно имеют проблемы с производительностью, особенно при работе с небольшими файлами и операциями с метаданными. GeeseFS пытается решить эти проблемы, используя агрессивный параллелизм и асинхронность.

https://github.com/yandex-cloud/geesefs

Подсказал: @gibzer

опубликовано в @gitgate

#s3 #fuse #yandex

CloudFusion - позволяет получить доступ к множеству облачных хранилищ из Linux, как к любому файлу на вашем рабочем столе. Работайте с файлами из хранилищ Dropbox, Sugarsync, Amazon S3, Google Storage, Google Drive и WebDAV, как с любыми другими файлами на вашем рабочем столе.

https://github.com/joe42/CloudFusion

опубликовано в @gitgate

#fuse #linux #dropbox #sugarsync #s3, #gdrive #webdav

STU - приложение TUI Explorer для Amazon S3 (AWS S3), написанное на Rust с использованием ratatui.

Возможности:

- рекурсивная загрузка объектов
- предварительный просмотр с подсветкой синтаксиса для рендеринга текста и изображений
- доступ к прошлым версиям объектов
- настраиваемые сочетания клавиш
- поддержка S3-совместимого хранилища

https://github.com/lusingander/stu

опубликовано в @gitgate

#s3 #tui #rust

RustFS - высокопроизводительное распределенное программное обеспечение для хранения объектов, созданное на Rust, одном из самых популярных языков программирования в мире.

Наряду с MinIO, оно обладает рядом преимуществ, таких как простота, совместимость с S3, открытый исходный код, поддержка data lakes, искусственного интеллекта и больших данных. Кроме того, RustFS имеет более удобную и дружелюбную лицензию с открытым исходным кодом по сравнению с другими системами хранения, так как разработана под лицензией Apache. Поскольку Rust является его основой, RustFS обеспечивает более высокую скорость и безопасные распределенные функции для высокопроизводительного хранения объектов.

Возможности:
- высокая производительность: Построен на Rust, что гарантирует скорость и эффективность.
- распределенная архитектура: Масштабируемый и отказоустойчивый дизайн для крупномасштабных развертываний.
- совместимость с S3: Легкая интеграция с существующими приложениями, совместимыми с S3.
- поддержка Data Lake: Оптимизирован для работы с большими данными и задачами ИИ.
- открытый исходный код: Лицензирован под Apache 2.0, что способствует вкладу сообщества и прозрачности.
- удобство использования: Разработан с учетом простоты, что упрощает развертывание и управление.

https://github.com/rustfs/rustfs

опубликовано в @gitgate

#s3 #minio #rust

Garage - распределенная служба хранения объектов, совместимая с S3, предназначенная для самостоятельного размещения в небольших и средних масштабах.

Garage разработан для кластеров хранения данных, состоящих из узлов, работающих в разных физических локациях, чтобы легко предоставлять сервис хранения, который реплицирует данные в этих локациях и остаётся доступным даже при отсутствии доступа к некоторым серверам. Garage также стремится к лёгкости, простоте эксплуатации и высокой устойчивости к сбоям оборудования.

Garage создан компанией Deuxfleurs, экспериментальным небольшим провайдером услуг самостоятельного размещения, который использует его в своей работе с момента его первого выпуска в 2020 году.

Требования:
- CPU: Любой процессор x86_64 за последние 10 лет, ARMv7 или ARMv8
- RAM: 1 ГБ
- место на диске: Не менее 16 ГБ
- сеть: 200 мс или меньше, 50 Мбит/с или больше
- оборудование: Создайте кластер из любых имеющихся бывших в употреблении машин даже разной архитектуры..

https://git.deuxfleurs.fr/Deuxfleurs/garage

опубликовано в @gitgate

#s3 #dfs #cloud #arm #x86 #minio

Garage Web UI - простой веб-интерфейс администратора для Garage - распределенной службы хранения объектов, размещаемой на собственном сервере и совместимой с S3.

https://github.com/khairul169/garage-webui

Подсказал: Александр - @dev_02

опубликовано в @gitgate

#webui #s3 #dfs #cloud #arm #x86 #minio

PetaSAN -масштабируемое программно-определяемое решение для хранения данных с открытым исходным кодом, лицензированное по лицензии AGPL 3.

PetaSAN использует движок хранения Ceph и платформу сервисной сетки Consul для предоставления масштабируемых, многоузловых, активно-активных и высокодоступных сервисов хранения данных с поддержкой таких отраслевых протоколов, как iSCSI, CIFS, SMB, NFS и S3. В настоящее время PetaSAN использует ядро, разработанное на основе SUSE Linux Enterprise 15 SP5 с несколькими исправлениями, Ceph Reef и Ubuntu 22.04 LTS для корневой файловой системы.

https://www.petasan.org

Source and Download: https://www.petasan.org/downloads
Documentation: https://www.petasan.org/documentation/

опубликовано в @gitgate

#iscsi #cifs #smb #s3 #fs #ceph #sds

S3Sync - действительно быстрый инструмент синхронизации для S3

Основная особенность: очень высокая скорость. Средняя скорость листинга составляет около 5 тыс. объектов/сек для S3. При 128 рабочих процессах средняя скорость синхронизации составляет около 2 тыс. объектов/сек (небольшие объекты 1–20 кб) (ограничено скоростью восходящего канала 1 Гбит).

Возможности:
- многопоточная загрузка/выгрузка файлов
- возможна синхронизация несколькими способами:
* S3 в локальную FS
* Локальная FS в S3
* из S3 в S3
- повторная попытка при ошибках
- текущая статистика
- ограничение скорости по объектам
- ограничение скорости по полосе пропускания
- гибкие фильтры по расширению, Content-Type, ETag и mtime объекта

https://github.com/larrabee/s3sync

Посвящается южнокорейским коллегам.

Опубликовано в @gitgate

#s3 #sync

OpenIntegrations - набор инструментов интеграции 1С с популярными API: консольное приложение (Windows/Linux) и библиотека (расширение) для 1C:Enterprise/OneScript, состоящие из общего набора готовых функций для работы с множеством известных облачных сервисов.

Все реализованные методы из набора выполняют отдельные прикладные задачи, вроде ОтправитьСообщение или СоздатьПост, что позволяет использовать их без углубления в реализацию. Но код, при этом, достаточно сильно декомпозирован: методы авторизации, получения данных и пр. по возможности вынесены в отдельные функции. Это позволяет легко добавлять новые методы на основе уже существующих, не разматывая клубок реализации до самого начала работы с API.

https://github.com/Bayselonarrend/OpenIntegrations

Поддерживаемые сервисы - https://github.com/Bayselonarrend/OpenIntegrations/blob/main/media/catalogs/Catalog.md

Документация - https://openintegrations.dev/

Опубликовано в @gitgate

#1c #integration #telegram #s3 #cdek #ftp #vk #yandex