S3Sync - действительно быстрый инструмент синхронизации для S3.

Ограничения - каждый объект загружается в оперативную память. Таким образом, вам потребуется объём оперативной памяти, равный <средний размер объекта> * <количество рабочих процессов>.

Умеет сихронизировать между как между локальным и удаленным инстансом S3, так и напрямуж между удаленными инстансами.

s3sync - неразрушающая односторонняя синхронизация: она не удаляет файлы в целевом или исходном пути, которые не синхронизированы.


Возможности:
- многопоточная загрузка/выгрузка файлов
- повторная попытка при ошибках
- текущая статистика
- ограничение скорости по объектам
- ограничение скорости по полосе пропускания
- гибкие фильтры по расширению, Content-Type, ETag и mtime объекта

https://github.com/larrabee/s3sync

Опубликовано в @gitgate

#s3 #sync #backup

LLM в инженерных задачах

Многие уже используют LLM в работе: генерируют конфиги и docker-файлы, разбирают логи, автоматически документируют и анализируют код и строят системы реагирования на инциденты.

А если вы ещё не делаете этого, но хотели бы, то для вас команда Deep Learning инженеров из DeepSchool создала курс «LLM Start» — обучение для devops-инженеров, разработчиков и других IT-специалистов без опыта в LLM. На курсе вы разберётесь в LLM и поймёте, как их применять для автоматизации своей работы и внедрения в процессы команды.

На курсе вы:
— разберётесь в принципах работы нейросетей и LLM
— освоите приёмы промпт-инжениринга
— научитесь собирать RAG для работы с базами знаний
— узнаете, как создавать агентов и мультиагентные системы
— разберётесь в многообразии моделей и провайдеров

Обучение длится 2 месяца и состоит из 6 тем и финального проекта.
Чтобы сосредоточиться на логике цепочек, а не на инфраструктуре, задания выполняются в no-code платформе n8n. Вы поймёте основные принципы работы с LLM и сможете потом собрать боевые версии цепочек на своём стэке.

🔥 До 10 декабря вы можете присоединиться со скидкой 25%!

Изучайте подробности на сайте и оставляйте заявку!

Реклама. ИП Фатыхов Тимур Маратович, ИНН 540132430312, Erid 2Vtzqw7zskD

Server Survival - интерактивная 3D-игра-симулятор, в которой вы играете роль архитектора облаков. Ваша задача - создать и масштабировать отказоустойчивую облачную инфраструктуру, способную справляться с растущими нагрузками, отражать DDoS-атаки и управлять своим бюджетом.

Цель:
- выживите как можно дольше!
- управляйте своим бюджетом ($) и репутацией (%).
- зарабатывайте деньги, успешно обрабатывая законный трафик (WEB и API).
- потеря репутации в случае отказа запросов или проникновения мошеннического трафика.
- игра окончена, если репутация упадет до 0% или вы обанкротитесь.

Типы трафика:
- 🟢 WEB-трафик (зеленый): необходимо хранить в S3.
- 🟠 API-трафик (оранжевый): необходимо обработать и сохранить в базе данных.
- 🟣 Fraud/DDoS (розовый): должно быть заблокировано WAF.

https://github.com/pshenok/server-survival

Подсказал: @Fenix917

Опубликовано в @gitgate

#game #network #architecture