S3Sync - действительно быстрый инструмент синхронизации для S3.

Ограничения - каждый объект загружается в оперативную память. Таким образом, вам потребуется объём оперативной памяти, равный <средний размер объекта> * <количество рабочих процессов>.

Умеет сихронизировать между как между локальным и удаленным инстансом S3, так и напрямуж между удаленными инстансами.

s3sync - неразрушающая односторонняя синхронизация: она не удаляет файлы в целевом или исходном пути, которые не синхронизированы.


Возможности:
- многопоточная загрузка/выгрузка файлов
- повторная попытка при ошибках
- текущая статистика
- ограничение скорости по объектам
- ограничение скорости по полосе пропускания
- гибкие фильтры по расширению, Content-Type, ETag и mtime объекта

https://github.com/larrabee/s3sync

Опубликовано в @gitgate

#s3 #sync #backup