Пятничный деплой
4.74K subscribers
1.51K photos
34 videos
167 files
7.94K links
Подборка ссылок, статей и постов из мира DevOps\SRE\разработки. Если вы хотите прислать фидбек, интересную статью или просто поболтать пишите @count0ru https://xn--r1a.website/s/count0_digest
Download Telegram
Forwarded from DevOps от первого лица (Виталий Бутурлин)
🚠 Fluentd как шина данных для HTTP сервисов

Уже второй год мы используем Fluentd для доставки событий из разных источников в Sentry, посредством HTTP. Все доставляется, схема рабочая. Теперь оформил в статью и репозиторий на Github для примера, чтобы можно было самостоятельно опробовать данное решение.

Детали в статье: https://byurrer.ru/fluentd-as-bus-for-http
Текст
GMonit приглашает на технический вебинар

🗓 Когда: 13 марта, 17:00 (Мск)
🔗 Регистрация по ссылке

О чем поговорим:

1️⃣ Как работают head-based и tail-based сэмплирование — плюсы и подводные камни.
2️⃣ Какие алгоритмы помогают снижать нагрузку на инфраструктуру.
3️⃣ Когда оптимизация данных экономит деньги, а когда — создает проблемы.

В финале — разбор реальных сценариев и демонстрация сэмплирования в GMonit + QA-сессия.

Если ваши системы генерируют тонны логов, метрик и трейсинга — этот вебинар поможет держать их под контролем. 😉
👎5👍2
Forwarded from DevOps FM
С весной приходит тепло, а со средой — новостной дайджест на DevOps FM.

🟡 OpenSSF выпустили сборник по безопасности и open source проектов.

Open Source Security Foundation опубликовали Security Baseline for Open Source Projects — документ с набором рекомендаций, направленных на повышение уровня безопасности проектов с открытым исходным кодом.

Что туда входит:
• Процессы для выявления, отслеживания и устранения уязвимостей в проектах;
• Практики по безопасному управлению зависимостями (OSA/SCA);
• Требования к созданию документации, а также рекомендации по управлению правами доступа к репозиториям и CI/CD.

Критерии безопасности и элементы управления, которым должны соответствовать проекты, организованы по уровню зрелости и категориям. Прочитать можно тут и на GitHub.

⚫️ HashiCorp — всё. IBM завершили сделку по приобретению компании.

Новости о покупке появились еще в апреле прошлого года. Не смотря на это, HashiCorp продолжит работать под своим названием и после поглощения, являясь подразделением IBM.

С этим приобретением IBM стремится продолжать инвестировать в возможности HashiCorp и расширять их, и вместе с ведущими технологиями HashiCorp и обширным сообществом разработчиков, наша цель — внедрить технологии HashiCorp в каждый дата центр.


О возможности возвращения продуктов HashiCorp (Terraform, Vagrant, Packer, Hermes, Nomad) на открытую лицензию все еще ничего не известно.

🟡 Cloudflare блокирует пользователей непопулярных браузеров, считая их подозрительными.

Пользователи браузеров Pale Moon, SeaMonkey, Falkon и других сталкиваются с блокировкой доступа к сайтам из-за системы защиты Cloudflare. Алгоритмы компании ошибочно принимают эти браузеры за ботов, что приводит к бесконечным циклам загрузки или полному отказу в доступе.

Жалобы на блокировки поступают с 2015 года, и несмотря на периодические исправления, проблема продолжает возникать снова и снова. Популярные браузеры также не гарантируют доступ — с ограничениями сталкиваются пользователи старых версий, например, Firefox 115 ESR.

Cloudflare ориентированы на корпоративных клиентов, и у обычных пользователей нет прямого способа сообщить о проблеме, кроме форума сообщества. Что иронично, доступ к нему также может быть ограничен для вышеперечисленных браузеров.

#devops #opensource #security
1
Forwarded from Опенград
Будем считать это промежуточным постом перед следующей статьей. Ранее я неоднократно что-то постил по таким темам, которые посвящены как Docker, так и контейнерам в целом. В частности, некоторые статьи были связаны и с безопасностью в том числе. Вообще при написании той или иной статьи я стараюсь использовать множество различных источников. И так уж сложилось, что пока возился с материалами в контексте вышеупомянутых тем, собралась пачка интересных и не очень, старых и новых, ссылок и статей. Я не любитель публиковать какой-то сторонний пост, скупо предлагая пойти посмотреть, а там ещё и какой-то треш без детального объяснения будет, как этим грешат некоторые. Но подборку в виде одного поста на канале держать удобнее, чем десяток постов в сохраненках за последние N-месяцев 🙂 + предоставленными ресурсами я пользовался (во время написания предыдущих статей) и они действительно хороши в массе своей. В общем пройдемся по пунктам.


Статьи:

1. How does Docker ACTUALLY work? – лонгрид по Docker. В целом +/- то же, что я обозревал в своем цикле статей, но в сжатом виде + больше ссылок на смежные / сторонние темы. Может для кого-то такой формат является более предпочтительным.

2. Docker Security Step-by-Step Hardening – ещё один лонгрид, но уже больше про безопасность и харденинг Docker. Думаю вы видели эту ссылку раньше, так как многие каналы постили её с момента появления. Там поверхностно, но объемно. Рекомендую.

3. Docker Escape – тоже лонгрид в формате тезисной подборки различных сценариев по повышению привилегий в контейнере для последующего побега. Есть ряд доп. ссылок на различные тулы. Некоторые способы уже неактуальны или не так эффективны, но это если вы Docker обновляли регулярно🙃


Сайты:

1. CloudSecDocs – всем (наверное) известный клаудсекдок. Там тезисно, но тоже много всякого понаписано было. И не только по контейнерам. Сейчас вроде как автор подзабил, но полезным от этого ресурс быть не перестаёт.

2. HackTricks Docker Security – огромнейшая Wiki по безопасности в целом, но ссылка ведет конкретно на тему Docker Security. Там очень много информации по Socket, Capabilities, Escape from Containers и вот эти все крутые штучки. Для некоторых статей брал материал непосредственно отсюда.

3. Container Security Site – ещё один очень крутой ресурс, который целиком и полностью посвящен безопасности контейнеров. Как со стороны защиты, так и со стороны атаки + пачка всяких общих моментов. Крайне рекомендую.


Практика:

1. https://github.com/aleksey0xffd/docker-escape – проект на Github с лабами по атакам на контейнеры в контексте использования Capabilities. Под этот репозиторий есть также вебинар от Алексея Федулаева, где он подробно всё рассказывает.

2. https://gitlab.com/invuls/pentest-projects/dockerescapelabs
– ещё один репозиторий по атакам, но за него ничего конкретного сказать не могу, так как не довелось ещё опробовать. Однако README для каждой лабы достаточно вменяемо описано.

3. https://github.com/vulhub/vulhub – тут можно найти различные ПО уязвимых версий, запускаемые в Docker. Смежно с вышеперечисленным, но приемлемо, если вы хотите проэксплуатировать в разрезе контейнерной темы.

4. https://labs.play-with-docker.com – всем известный (во всяком случае не раз видел в смежных каналах) ресурс по практическому изучению Docker. Бонусом идет и ссылка на теорию, где также всё неплохо расписано.

5. https://containerlab.dev/ – это вообще к теме мало относится, но интересный сайт, посвященный запуску сетевых лаб с использованием контейнерных сред. Позволяет определять и запускать виртуальные сети с помощью контейнеров, что упрощает процесс тестирования и разработки сетевых решений. Естественно, что потом это также можно туда-сюда в контексте безопасности.


Есть ещё пачка другая ресурсов по кубам, но его я пока на канале не обозревал в рамках своей шизохронологии, так что повременим с этим 😶🌫. Ну и делитесь в коментах, если ещё есть чего на примете у кого.
Forwarded from Мониторим ИТ
VictoriaLogs Source Reading

В этой статье рассматривается архитектура VictoriaLogs, основные компоненты и функции, включая механизмы хранения, индексирование, запросы и визуализацию данных, а также сравнивается с другими решениями по управлению логами. Читать статью.
👍4
Forwarded from DevOpsConf Channel
Kyverno — потрясающий инструмент, обладающий весьма обширным функционалом по анализу манифестов Kubernetes и образов контейнеров.

🟣Почему Kyverno?
🟣Какие бывают типы политик?
🟣Что анализировать в первую очередь?
🟣Как работать с результатами?
🟣Как выстроить процесс по устранению найденных несоответствий?

➡️ Ответы на эти вопросы вы найдёте в докладе Антона Гаврилова «Kyverno: старт без грабель», запись которого мы опубликовали в VK Видео

Особенно интересно будет для тех, кто начинает разбираться в безопасности Kubernetes или еще не знаком с механизмом Admission Webhook — что это и зачем это нужно.

Продуктивного просмотра 🙌


#записьдокладаDevOpsConf
@DevOpsConfChannel
Please open Telegram to view this post
VIEW IN TELEGRAM
1👍1👎1
Forwarded from DevOps&SRE Library
terraform-module-releaser

Simplify the management of Terraform modules in your monorepo with this GitHub Action, designed to automate module-specific versioning and releases. By streamlining the Terraform module release process, this action allows you to manage multiple modules in a single repository while still maintaining independence and flexibility. Additionally, it generates a beautifully crafted wiki for each module, complete with readme information, usage examples, Terraform-docs details, and a full changelog.


https://github.com/techpivot/terraform-module-releaser
👍1
Forwarded from DevOps&SRE Library
httptap

View the HTTP and HTTPS requests made by any linux program by running httptap -- <command>.


https://github.com/monasticacademy/httptap
🔥1
Forwarded from /usr/bin
Пишем модули для Nginx

Nginx — это не просто веб‑сервер, а платформа, возможности которой можно расширять своими модулями. Если вам не хватает стандартного функционала и хочется больше контроля над обработкой запросов, кастомные модули могут позволить внедрять свою логику, оптимизировать маршрутизацию, фильтровать контент и реализовывать нестандартные механизмы аутентификации. Читать дальше.
Forwarded from Python Academy
FastAPI Template — лучший темплейт со всем что надо для старта на FastAPI!

Одной из самых замечательных особенностей является то, что этот проект очень легко настраивается. Вы можете выбирать между различными базами данных и даже ORM, а можете даже сгенерировать проект без базы данных! В настоящее время поддерживаются SQLAlchemy 2.0, TortoiseORM, Piccolo и Ormar.

Фичи темплейта:
- Pydantic V2 (где это возможно, некоторые либы не поддерживают)
- Вы можете выбрать между GraphQL и REST API
- uvicorn и gunicorn
- Поддержка различных баз данных и ORM
- Опциональные миграции для каждого ORM (кроме сырых драйверов)
- Различные CI\CD
- Дополнительные демонстрационные роуты и модели (это поможет вам увидеть, как устроен проект)
- Сгенерированные тесты с почти 90% покрытием
- Дополнительная поддержка Redis, RabbitMQ, Kafka и taskiq
- Опциональная интеграция с Prometheus, Sentry и Opentelemetry
- Опциональный логгер Loguru

Ссылку оставляю тут.

#python #fastapi #template
🔥2
Forwarded from DevOps&SRE Library
pgwatch

PGWATCH: PostgreSQL metrics monitor/dashboard


https://github.com/cybertec-postgresql/pgwatch
Forwarded from DevOps FM
Всем DevOps! Мы уже рассказывали вам про зомби-ресурсы в облачных инфраструктурах. Вот только облака — не единственное место их обитания.

🧟 Зомби-memcg — остаточные memory cgroups в Linux, которые продолжают существовать, даже если все связанные с ними процессы завершены. Они могут нести за собой высокие нагрузки, нехватку производительности системы и памяти.

Почему это происходит?

• Баги в старых версиях ядра Linux, где очистка невозможна из-за ссылок на memcg;
• Некоторые структуры данных продолжают "удерживать" memcg, даже если сам он уже не используется (например pagecache, kernel stack, shared memory и др.).

О том, как найти и победить зомби-memcg рассказали в статье Oracle. Читаем и проверяем, не спряталась ли у вас парочка зомби!

#DevOps #Linux
👍6
Forwarded from Кубернетичек
https://github.com/confidential-containers/operator

Прикольный оператор, и даже работает. Регистрирует через плагин кубелета контейнер рантайм. Тестировали на kata контейнерах. Может кому пригодится)
🔧 Быстрый способ конвертации JSON в Go-структуры

Нашли для вас удобный проект, который конвертирует JSON в структуры Go.

Как это выглядит

1️⃣ Вставляем свой JSON в форму на странице
{
"name": "Prog Lib",
"age": 30,
"email": "coolproger@example.com",
"is_active": true,
"tags": ["golang", "developer"],
"profile": {
"github": "https://github.com/proglib"
}
}


2️⃣ На выходе получаем готовую структуру
type AutoGenerated struct {
Name string `json:"name"`
Age int `json:"age"`
Email string `json:"email"`
IsActive bool `json:"is_active"`
Tags []string `json:"tags"`
Profile struct {
Github string `json:"github"`
} `json:"profile"`
}


Инструмент не без ошибок, но отлично работает в 99% случаев.

➡️ Попробовать JSON-to-Go

🐸Библиотека Go разработчика #буст
Please open Telegram to view this post
VIEW IN TELEGRAM
👍41
Forwarded from IT Friday (Sabbath)
Свеженькое издание System Design - The Big Archive от Alex Xu - автора книг по System Design и блога ByteByteGo. Любителям лаконичной и наглядной инфографики по архитектуре, ДевоПсу в целом по айтишечке 😃
Прикольно позалипать, да и в целом можно использовать для обучений.
Please open Telegram to view this post
VIEW IN TELEGRAM
Forwarded from Мониторим ИТ
tailpipe

Утилита для селекта из логов. Есть готовые пресеты для обнаружения результатов, соответствующих MITRE ATT&CK. Работает локально, использует аналитику в памяти DuckDB и оптимизированное хранилище Parquet.

Репыч на Гитхабе
Не часто советую учебные курсы, но тут нашел интересную возможность пройти бесплатно вводный курс по DevOps. Классно, что есть расширенный чек-лист, который поможет сориентироваться в мире DevOps и понять куда двигаться. И, похоже, на собесах может помочь.

А у самой платформы не сотни менторов, а один, он же основатель. Еще увидел у него классную программу наставничества, формат действительно эффективный.
Ну и можете заглянуть в телеграм-канал, там много, на мой взгляд, полезных публикаций.

Наслаждайтесь 😄

#реклама
👎9👍2