Forwarded from DevOps от первого лица (Виталий Бутурлин)
🚠 Fluentd как шина данных для HTTP сервисов
Уже второй год мы используем Fluentd для доставки событий из разных источников в Sentry, посредством
Детали в статье: https://byurrer.ru/fluentd-as-bus-for-http
Уже второй год мы используем Fluentd для доставки событий из разных источников в Sentry, посредством
HTTP. Все доставляется, схема рабочая. Теперь оформил в статью и репозиторий на Github для примера, чтобы можно было самостоятельно опробовать данное решение.Детали в статье: https://byurrer.ru/fluentd-as-bus-for-http
byurrer.ru
Fluentd как шина данных для HTTP сервисов
Настраиваем Fluentd на приём событий и пересылку по HTTP с буферизацией, тюним до гарантированной доставки сообщения конечным HTTP сервисом. Для примера есть тестовый репозиторий с быстрой демонстрацией результата.
Текст
GMonit приглашает на технический вебинар
🗓 Когда: 13 марта, 17:00 (Мск)
🔗 Регистрация по ссылке
О чем поговорим:
1️⃣ Как работают head-based и tail-based сэмплирование — плюсы и подводные камни.
2️⃣ Какие алгоритмы помогают снижать нагрузку на инфраструктуру.
3️⃣ Когда оптимизация данных экономит деньги, а когда — создает проблемы.
В финале — разбор реальных сценариев и демонстрация сэмплирования в GMonit + QA-сессия.
Если ваши системы генерируют тонны логов, метрик и трейсинга — этот вебинар поможет держать их под контролем. 😉
GMonit приглашает на технический вебинар
🗓 Когда: 13 марта, 17:00 (Мск)
🔗 Регистрация по ссылке
О чем поговорим:
1️⃣ Как работают head-based и tail-based сэмплирование — плюсы и подводные камни.
2️⃣ Какие алгоритмы помогают снижать нагрузку на инфраструктуру.
3️⃣ Когда оптимизация данных экономит деньги, а когда — создает проблемы.
В финале — разбор реальных сценариев и демонстрация сэмплирования в GMonit + QA-сессия.
Если ваши системы генерируют тонны логов, метрик и трейсинга — этот вебинар поможет держать их под контролем. 😉
👎5👍2
Forwarded from DevOps FM
С весной приходит тепло, а со средой — новостной дайджест на DevOps FM.
🟡 OpenSSF выпустили сборник по безопасности и open source проектов.
Open Source Security Foundation опубликовали Security Baseline for Open Source Projects — документ с набором рекомендаций, направленных на повышение уровня безопасности проектов с открытым исходным кодом.
Что туда входит:
• Процессы для выявления, отслеживания и устранения уязвимостей в проектах;
• Практики по безопасному управлению зависимостями (OSA/SCA);
• Требования к созданию документации, а также рекомендации по управлению правами доступа к репозиториям и CI/CD.
Критерии безопасности и элементы управления, которым должны соответствовать проекты, организованы по уровню зрелости и категориям. Прочитать можно тут и на GitHub.
⚫️ HashiCorp — всё. IBM завершили сделку по приобретению компании.
Новости о покупке появились еще в апреле прошлого года. Не смотря на это, HashiCorp продолжит работать под своим названием и после поглощения, являясь подразделением IBM.
О возможности возвращения продуктов HashiCorp (Terraform, Vagrant, Packer, Hermes, Nomad) на открытую лицензию все еще ничего не известно.
🟡 Cloudflare блокирует пользователей непопулярных браузеров, считая их подозрительными.
Пользователи браузеров Pale Moon, SeaMonkey, Falkon и других сталкиваются с блокировкой доступа к сайтам из-за системы защиты Cloudflare. Алгоритмы компании ошибочно принимают эти браузеры за ботов, что приводит к бесконечным циклам загрузки или полному отказу в доступе.
Жалобы на блокировки поступают с 2015 года, и несмотря на периодические исправления, проблема продолжает возникать снова и снова. Популярные браузеры также не гарантируют доступ — с ограничениями сталкиваются пользователи старых версий, например, Firefox 115 ESR.
Cloudflare ориентированы на корпоративных клиентов, и у обычных пользователей нет прямого способа сообщить о проблеме, кроме форума сообщества. Что иронично, доступ к нему также может быть ограничен для вышеперечисленных браузеров.
#devops #opensource #security
🟡 OpenSSF выпустили сборник по безопасности и open source проектов.
Open Source Security Foundation опубликовали Security Baseline for Open Source Projects — документ с набором рекомендаций, направленных на повышение уровня безопасности проектов с открытым исходным кодом.
Что туда входит:
• Процессы для выявления, отслеживания и устранения уязвимостей в проектах;
• Практики по безопасному управлению зависимостями (OSA/SCA);
• Требования к созданию документации, а также рекомендации по управлению правами доступа к репозиториям и CI/CD.
Критерии безопасности и элементы управления, которым должны соответствовать проекты, организованы по уровню зрелости и категориям. Прочитать можно тут и на GitHub.
⚫️ HashiCorp — всё. IBM завершили сделку по приобретению компании.
Новости о покупке появились еще в апреле прошлого года. Не смотря на это, HashiCorp продолжит работать под своим названием и после поглощения, являясь подразделением IBM.
С этим приобретением IBM стремится продолжать инвестировать в возможности HashiCorp и расширять их, и вместе с ведущими технологиями HashiCorp и обширным сообществом разработчиков, наша цель — внедрить технологии HashiCorp в каждый дата центр.
О возможности возвращения продуктов HashiCorp (Terraform, Vagrant, Packer, Hermes, Nomad) на открытую лицензию все еще ничего не известно.
🟡 Cloudflare блокирует пользователей непопулярных браузеров, считая их подозрительными.
Пользователи браузеров Pale Moon, SeaMonkey, Falkon и других сталкиваются с блокировкой доступа к сайтам из-за системы защиты Cloudflare. Алгоритмы компании ошибочно принимают эти браузеры за ботов, что приводит к бесконечным циклам загрузки или полному отказу в доступе.
Жалобы на блокировки поступают с 2015 года, и несмотря на периодические исправления, проблема продолжает возникать снова и снова. Популярные браузеры также не гарантируют доступ — с ограничениями сталкиваются пользователи старых версий, например, Firefox 115 ESR.
Cloudflare ориентированы на корпоративных клиентов, и у обычных пользователей нет прямого способа сообщить о проблеме, кроме форума сообщества. Что иронично, доступ к нему также может быть ограничен для вышеперечисленных браузеров.
#devops #opensource #security
❤1
Forwarded from Полезняшки от "Разбора Полетов"
How CouchDB Prevents Data Corruption: fsync
https://neighbourhood.ie/blog/2025/02/26/how-couchdb-prevents-data-corruption-fsync
https://neighbourhood.ie/blog/2025/02/26/how-couchdb-prevents-data-corruption-fsync
neighbourhood.ie
Neighbourhoodie - How CouchDB Prevents Data Corruption: fsync
Neighbourhoodie Software is a software development company based in Berlin, Germany. We are experts in CouchDB, PouchDB, and Offline First.
Forwarded from Опенград
Будем считать это промежуточным постом перед следующей статьей. Ранее я неоднократно что-то постил по таким темам, которые посвящены как Docker, так и контейнерам в целом. В частности, некоторые статьи были связаны и с безопасностью в том числе. Вообще при написании той или иной статьи я стараюсь использовать множество различных источников. И так уж сложилось, что пока возился с материалами в контексте вышеупомянутых тем, собралась пачка интересных и не очень, старых и новых, ссылок и статей. Я не любитель публиковать какой-то сторонний пост, скупо предлагая пойти посмотреть, а там ещё и какой-то треш без детального объяснения будет, как этим грешат некоторые. Но подборку в виде одного поста на канале держать удобнее, чем десяток постов в сохраненках за последние N-месяцев 🙂 + предоставленными ресурсами я пользовался (во время написания предыдущих статей) и они действительно хороши в массе своей. В общем пройдемся по пунктам.
Статьи:
1. How does Docker ACTUALLY work? – лонгрид по Docker. В целом +/- то же, что я обозревал в своем цикле статей, но в сжатом виде + больше ссылок на смежные / сторонние темы. Может для кого-то такой формат является более предпочтительным.
2. Docker Security Step-by-Step Hardening – ещё один лонгрид, но уже больше про безопасность и харденинг Docker. Думаю вы видели эту ссылку раньше, так как многие каналы постили её с момента появления. Там поверхностно, но объемно. Рекомендую.
3. Docker Escape – тоже лонгрид в формате тезисной подборки различных сценариев по повышению привилегий в контейнере для последующего побега. Есть ряд доп. ссылок на различные тулы. Некоторые способы уже неактуальны или не так эффективны, но это если вы Docker обновляли регулярно🙃
Сайты:
1. CloudSecDocs – всем (наверное) известный клаудсекдок. Там тезисно, но тоже много всякого понаписано было. И не только по контейнерам. Сейчас вроде как автор подзабил, но полезным от этого ресурс быть не перестаёт.
2. HackTricks Docker Security – огромнейшая Wiki по безопасности в целом, но ссылка ведет конкретно на тему Docker Security. Там очень много информации по Socket, Capabilities, Escape from Containers и вот эти все крутые штучки. Для некоторых статей брал материал непосредственно отсюда.
3. Container Security Site – ещё один очень крутой ресурс, который целиком и полностью посвящен безопасности контейнеров. Как со стороны защиты, так и со стороны атаки + пачка всяких общих моментов. Крайне рекомендую.
Практика:
1. https://github.com/aleksey0xffd/docker-escape – проект на Github с лабами по атакам на контейнеры в контексте использования Capabilities. Под этот репозиторий есть также вебинар от Алексея Федулаева, где он подробно всё рассказывает.
2. https://gitlab.com/invuls/pentest-projects/dockerescapelabs
– ещё один репозиторий по атакам, но за него ничего конкретного сказать не могу, так как не довелось ещё опробовать. Однако README для каждой лабы достаточно вменяемо описано.
3. https://github.com/vulhub/vulhub – тут можно найти различные ПО уязвимых версий, запускаемые в Docker. Смежно с вышеперечисленным, но приемлемо, если вы хотите проэксплуатировать в разрезе контейнерной темы.
4. https://labs.play-with-docker.com – всем известный (во всяком случае не раз видел в смежных каналах) ресурс по практическому изучению Docker. Бонусом идет и ссылка на теорию, где также всё неплохо расписано.
5. https://containerlab.dev/ – это вообще к теме мало относится, но интересный сайт, посвященный запуску сетевых лаб с использованием контейнерных сред. Позволяет определять и запускать виртуальные сети с помощью контейнеров, что упрощает процесс тестирования и разработки сетевых решений. Естественно, что потом это также можно туда-сюда в контексте безопасности.
Есть ещё пачка другая ресурсов по кубам, но его я пока на канале не обозревал в рамках своей шизохронологии, так что повременим с этим 😶🌫. Ну и делитесь в коментах, если ещё есть чего на примете у кого.
Статьи:
1. How does Docker ACTUALLY work? – лонгрид по Docker. В целом +/- то же, что я обозревал в своем цикле статей, но в сжатом виде + больше ссылок на смежные / сторонние темы. Может для кого-то такой формат является более предпочтительным.
2. Docker Security Step-by-Step Hardening – ещё один лонгрид, но уже больше про безопасность и харденинг Docker. Думаю вы видели эту ссылку раньше, так как многие каналы постили её с момента появления. Там поверхностно, но объемно. Рекомендую.
3. Docker Escape – тоже лонгрид в формате тезисной подборки различных сценариев по повышению привилегий в контейнере для последующего побега. Есть ряд доп. ссылок на различные тулы. Некоторые способы уже неактуальны или не так эффективны, но это если вы Docker обновляли регулярно🙃
Сайты:
1. CloudSecDocs – всем (наверное) известный клаудсекдок. Там тезисно, но тоже много всякого понаписано было. И не только по контейнерам. Сейчас вроде как автор подзабил, но полезным от этого ресурс быть не перестаёт.
2. HackTricks Docker Security – огромнейшая Wiki по безопасности в целом, но ссылка ведет конкретно на тему Docker Security. Там очень много информации по Socket, Capabilities, Escape from Containers и вот эти все крутые штучки. Для некоторых статей брал материал непосредственно отсюда.
3. Container Security Site – ещё один очень крутой ресурс, который целиком и полностью посвящен безопасности контейнеров. Как со стороны защиты, так и со стороны атаки + пачка всяких общих моментов. Крайне рекомендую.
Практика:
1. https://github.com/aleksey0xffd/docker-escape – проект на Github с лабами по атакам на контейнеры в контексте использования Capabilities. Под этот репозиторий есть также вебинар от Алексея Федулаева, где он подробно всё рассказывает.
2. https://gitlab.com/invuls/pentest-projects/dockerescapelabs
– ещё один репозиторий по атакам, но за него ничего конкретного сказать не могу, так как не довелось ещё опробовать. Однако README для каждой лабы достаточно вменяемо описано.
3. https://github.com/vulhub/vulhub – тут можно найти различные ПО уязвимых версий, запускаемые в Docker. Смежно с вышеперечисленным, но приемлемо, если вы хотите проэксплуатировать в разрезе контейнерной темы.
4. https://labs.play-with-docker.com – всем известный (во всяком случае не раз видел в смежных каналах) ресурс по практическому изучению Docker. Бонусом идет и ссылка на теорию, где также всё неплохо расписано.
5. https://containerlab.dev/ – это вообще к теме мало относится, но интересный сайт, посвященный запуску сетевых лаб с использованием контейнерных сред. Позволяет определять и запускать виртуальные сети с помощью контейнеров, что упрощает процесс тестирования и разработки сетевых решений. Естественно, что потом это также можно туда-сюда в контексте безопасности.
Есть ещё пачка другая ресурсов по кубам, но его я пока на канале не обозревал в рамках своей шизохронологии, так что повременим с этим 😶🌫. Ну и делитесь в коментах, если ещё есть чего на примете у кого.
Medium
How does Docker ACTUALLY work? The Hard Way: A Comprehensive Technical Deep Diving
Unveiling the power of Docker: What is Docker? How does Docker work? Explore the world of containerization in this zero to hero guide.
Forwarded from Мониторим ИТ
VictoriaLogs Source Reading
В этой статье рассматривается архитектура VictoriaLogs, основные компоненты и функции, включая механизмы хранения, индексирование, запросы и визуализацию данных, а также сравнивается с другими решениями по управлению логами. Читать статью.
В этой статье рассматривается архитектура VictoriaLogs, основные компоненты и функции, включая механизмы хранения, индексирование, запросы и визуализацию данных, а также сравнивается с другими решениями по управлению логами. Читать статью.
👍4
Forwarded from DevOpsConf Channel
Kyverno — потрясающий инструмент, обладающий весьма обширным функционалом по анализу манифестов Kubernetes и образов контейнеров.
🟣 Почему Kyverno?
🟣 Какие бывают типы политик?
🟣 Что анализировать в первую очередь?
🟣 Как работать с результатами?
🟣 Как выстроить процесс по устранению найденных несоответствий?
➡️ Ответы на эти вопросы вы найдёте в докладе Антона Гаврилова «Kyverno: старт без грабель», запись которого мы опубликовали в VK Видео
Особенно интересно будет для тех, кто начинает разбираться в безопасности Kubernetes или еще не знаком с механизмом Admission Webhook — что это и зачем это нужно.
Продуктивного просмотра 🙌
#записьдокладаDevOpsConf
@DevOpsConfChannel
➡️ Ответы на эти вопросы вы найдёте в докладе Антона Гаврилова «Kyverno: старт без грабель», запись которого мы опубликовали в VK Видео
Особенно интересно будет для тех, кто начинает разбираться в безопасности Kubernetes или еще не знаком с механизмом Admission Webhook — что это и зачем это нужно.
Продуктивного просмотра 🙌
#записьдокладаDevOpsConf
@DevOpsConfChannel
Please open Telegram to view this post
VIEW IN TELEGRAM
❤1👍1👎1
Forwarded from DevOps&SRE Library
terraform-module-releaser
https://github.com/techpivot/terraform-module-releaser
Simplify the management of Terraform modules in your monorepo with this GitHub Action, designed to automate module-specific versioning and releases. By streamlining the Terraform module release process, this action allows you to manage multiple modules in a single repository while still maintaining independence and flexibility. Additionally, it generates a beautifully crafted wiki for each module, complete with readme information, usage examples, Terraform-docs details, and a full changelog.
https://github.com/techpivot/terraform-module-releaser
👍1
Forwarded from DevOps&SRE Library
httptap
https://github.com/monasticacademy/httptap
View the HTTP and HTTPS requests made by any linux program by running httptap -- <command>.
https://github.com/monasticacademy/httptap
🔥1
Forwarded from /usr/bin
Пишем модули для Nginx
Nginx — это не просто веб‑сервер, а платформа, возможности которой можно расширять своими модулями. Если вам не хватает стандартного функционала и хочется больше контроля над обработкой запросов, кастомные модули могут позволить внедрять свою логику, оптимизировать маршрутизацию, фильтровать контент и реализовывать нестандартные механизмы аутентификации. Читать дальше.
Nginx — это не просто веб‑сервер, а платформа, возможности которой можно расширять своими модулями. Если вам не хватает стандартного функционала и хочется больше контроля над обработкой запросов, кастомные модули могут позволить внедрять свою логику, оптимизировать маршрутизацию, фильтровать контент и реализовывать нестандартные механизмы аутентификации. Читать дальше.
Forwarded from Python Academy
FastAPI Template — лучший темплейт со всем что надо для старта на FastAPI!
Одной из самых замечательных особенностей является то, что этот проект очень легко настраивается. Вы можете выбирать между различными базами данных и даже ORM, а можете даже сгенерировать проект без базы данных! В настоящее время поддерживаются
Фичи темплейта:
-
- Вы можете выбрать между
-
- Поддержка различных баз данных и ORM
- Опциональные миграции для каждого ORM (кроме сырых драйверов)
- Различные
- Дополнительные демонстрационные роуты и модели (это поможет вам увидеть, как устроен проект)
- Сгенерированные тесты с почти 90% покрытием
- Дополнительная поддержка
- Опциональная интеграция с
- Опциональный логгер
Ссылку оставляю тут.
#python #fastapi #template
Одной из самых замечательных особенностей является то, что этот проект очень легко настраивается. Вы можете выбирать между различными базами данных и даже ORM, а можете даже сгенерировать проект без базы данных! В настоящее время поддерживаются
SQLAlchemy 2.0, TortoiseORM, Piccolo и Ormar.Фичи темплейта:
-
Pydantic V2 (где это возможно, некоторые либы не поддерживают)- Вы можете выбрать между
GraphQL и REST API-
uvicorn и gunicorn- Поддержка различных баз данных и ORM
- Опциональные миграции для каждого ORM (кроме сырых драйверов)
- Различные
CI\CD- Дополнительные демонстрационные роуты и модели (это поможет вам увидеть, как устроен проект)
- Сгенерированные тесты с почти 90% покрытием
- Дополнительная поддержка
Redis, RabbitMQ, Kafka и taskiq- Опциональная интеграция с
Prometheus, Sentry и Opentelemetry- Опциональный логгер
LoguruСсылку оставляю тут.
#python #fastapi #template
🔥2
Forwarded from DevOps&SRE Library
Forwarded from DevOps FM
Всем DevOps! Мы уже рассказывали вам про зомби-ресурсы в облачных инфраструктурах. Вот только облака — не единственное место их обитания.
🧟 Зомби-memcg — остаточные memory cgroups в Linux, которые продолжают существовать, даже если все связанные с ними процессы завершены. Они могут нести за собой высокие нагрузки, нехватку производительности системы и памяти.
Почему это происходит?
• Баги в старых версиях ядра Linux, где очистка невозможна из-за ссылок на memcg;
• Некоторые структуры данных продолжают "удерживать" memcg, даже если сам он уже не используется (например pagecache, kernel stack, shared memory и др.).
О том, как найти и победить зомби-memcg рассказали в статье Oracle. Читаем и проверяем, не спряталась ли у вас парочка зомби!
#DevOps #Linux
🧟 Зомби-memcg — остаточные memory cgroups в Linux, которые продолжают существовать, даже если все связанные с ними процессы завершены. Они могут нести за собой высокие нагрузки, нехватку производительности системы и памяти.
Почему это происходит?
• Баги в старых версиях ядра Linux, где очистка невозможна из-за ссылок на memcg;
• Некоторые структуры данных продолжают "удерживать" memcg, даже если сам он уже не используется (например pagecache, kernel stack, shared memory и др.).
О том, как найти и победить зомби-memcg рассказали в статье Oracle. Читаем и проверяем, не спряталась ли у вас парочка зомби!
#DevOps #Linux
👍6
Forwarded from Кубернетичек
https://github.com/confidential-containers/operator
Прикольный оператор, и даже работает. Регистрирует через плагин кубелета контейнер рантайм. Тестировали на kata контейнерах. Может кому пригодится)
Прикольный оператор, и даже работает. Регистрирует через плагин кубелета контейнер рантайм. Тестировали на kata контейнерах. Может кому пригодится)
GitHub
GitHub - confidential-containers/operator: Operator to deploy confidential containers runtime
Operator to deploy confidential containers runtime - confidential-containers/operator
Forwarded from Библиотека Go-разработчика | Golang
🔧 Быстрый способ конвертации JSON в Go-структуры
Нашли для вас удобный проект, который конвертирует JSON в структуры Go.
Как это выглядит
1️⃣ Вставляем свой JSON в форму на странице
2️⃣ На выходе получаем готовую структуру
Инструмент не без ошибок, но отлично работает в 99% случаев.
➡️ Попробовать JSON-to-Go
🐸 Библиотека Go разработчика #буст
Нашли для вас удобный проект, который конвертирует JSON в структуры Go.
Как это выглядит
{
"name": "Prog Lib",
"age": 30,
"email": "coolproger@example.com",
"is_active": true,
"tags": ["golang", "developer"],
"profile": {
"github": "https://github.com/proglib"
}
}type AutoGenerated struct {
Name string `json:"name"`
Age int `json:"age"`
Email string `json:"email"`
IsActive bool `json:"is_active"`
Tags []string `json:"tags"`
Profile struct {
Github string `json:"github"`
} `json:"profile"`
}Инструмент не без ошибок, но отлично работает в 99% случаев.
Please open Telegram to view this post
VIEW IN TELEGRAM
👍4❤1
Forwarded from IT Friday (Sabbath)
Свеженькое издание System Design - The Big Archive от Alex Xu - автора книг по System Design и блога ByteByteGo. Любителям лаконичной и наглядной инфографики по архитектуре, ДевоПсу в целом по айтишечке 😃
Прикольно позалипать, да и в целом можно использовать для обучений.
Прикольно позалипать, да и в целом можно использовать для обучений.
Please open Telegram to view this post
VIEW IN TELEGRAM
Forwarded from Мониторим ИТ
tailpipe
Утилита для селекта из логов. Есть готовые пресеты для обнаружения результатов, соответствующих MITRE ATT&CK. Работает локально, использует аналитику в памяти DuckDB и оптимизированное хранилище Parquet.
Репыч на Гитхабе
Утилита для селекта из логов. Есть готовые пресеты для обнаружения результатов, соответствующих MITRE ATT&CK. Работает локально, использует аналитику в памяти DuckDB и оптимизированное хранилище Parquet.
Репыч на Гитхабе
Forwarded from Sysadmin Tools 🇺🇦
Why VictoriaLogs is a better alternative to Grafana Loki?
https://itnext.io/why-victorialogs-is-a-better-alternative-to-grafana-loki-7e941567c4d5
#logs #loki #victorialogs
https://itnext.io/why-victorialogs-is-a-better-alternative-to-grafana-loki-7e941567c4d5
#logs #loki #victorialogs
👎4👍1
Не часто советую учебные курсы, но тут нашел интересную возможность пройти бесплатно вводный курс по DevOps. Классно, что есть расширенный чек-лист, который поможет сориентироваться в мире DevOps и понять куда двигаться. И, похоже, на собесах может помочь.
А у самой платформы не сотни менторов, а один, он же основатель. Еще увидел у него классную программу наставничества, формат действительно эффективный.
Ну и можете заглянуть в телеграм-канал, там много, на мой взгляд, полезных публикаций.
Наслаждайтесь 😄
#реклама
А у самой платформы не сотни менторов, а один, он же основатель. Еще увидел у него классную программу наставничества, формат действительно эффективный.
Ну и можете заглянуть в телеграм-канал, там много, на мой взгляд, полезных публикаций.
Наслаждайтесь 😄
#реклама
👎9👍2