DevOps FM
5.3K subscribers
769 photos
15 videos
10 files
879 links
♾️ Канал для тех, кто живёт слиянием разработки и эксплуатации (DevOps) и сис. администрированием.

Новости, статьи, практики, инструменты и развлекательный контент. Cloud Native, Docker, Kubernetes, БД, мониторинг и пр.

Алена @alyona2780
Download Telegram
🚨 Что убивает этот под – разбор инцидента

Всем DevOps! В конце недели подготовили для вас кейс прямиком из производственной среды.

После выката нового ML-инференс-сервиса в Kubernetes поды один за другим уходят в CrashLoopBackOff. На первый взгляд кажется, что проблема в приложении. Но все ли так очевидно?


STATUS: CrashLoopBackOff


При этом в событиях Kubernetes видно:


Liveness probe failed:
connect: connection refused


А в логах контейнера:


Starting model server...
Loading model weights...
Loaded shard 1/4
Loaded shard 2/4
<SIGTERM received, shutting down>


И фрагмент Deployment:


livenessProbe:
initialDelaySeconds: 10
periodSeconds: 5
failureThreshold: 3


👨‍💻Что здесь происходит? Почему сервис так и не успевает запуститься и оказывается в бесконечном CrashLoopBackOff?

Голосуйте в опросе ниже ⬇️

#devops #kubernetes #k8s #разборинцидента
Please open Telegram to view this post
VIEW IN TELEGRAM
1🔥4👍3❤2💅1
10 ошибок в CI/CD, которые замедляют работу инженеров

🔔В этот солнечный понедельник подготовили для вас подборку ошибок, собранную инженером портала DevOps.

Процессы непрерывной поставки связаны с эффективной работой пайплайнов. По мере роста числа репозиториев и циклов тестирования процессы СI/CD, которые работали на старте проекта, требуют инфраструктурных изменений.

В статье автор собрал 10 типичных ошибок в организации CI/CD. Вы узнаете, почему монолитные пайплайны приводят к росту времени сборок и как неправильная стратегия тестирования зависимостей и окружений влияет на стабильность доставки.

Какие ошибки вы бы добавили в этот список?

#devops #ci_cd #лучшие_практики
Please open Telegram to view this post
VIEW IN TELEGRAM
2❤6👍4🔥3
Новостной дайджест от DevOps FM!

⌨️Делимся свежими новостями, туториалами и разборами инженерных практик.

⏺Microsoft выкатили патч с рекордным числом исправлений.

Вчера, 14 июля, компания представила релиз с 570 фиксами ОС Windows, обнаруженных искусственным интеллектом. Из них устранили 60 критических уязвимостей, включая CVE-2026-56155, ошибку сервисов активной директории, и CVE-2026-56164, уязвимость Microsoft SharePoint.

⏺В блоге Kubernetes вышла пошаговая инструкция по созданию собственного экспортера метрик, когда встроенных показателей CPU и памяти недостаточно. В ней разобрали, для каких задач нужен экспортер и как выбрать между Counter, Gauge и Histogram в зависимости от разных сценариев. В конце автор упомянул, как подготовить метрики для использования в HorizontalPodAutoscaler через Prometheus Adapter.

⏺ На Хабре вышло сравнение LLM в производственной среде. На примере использования llama.cpp, Gemma и Qwen в разных сценариях инженеры Wb-Tech решили:

• Перейти с Ollama на llama.cpp, чтобы получить больше контроля над инференсом, настройками, воспроизводимостью и структурированным выводом через GBNF
• Не использовать одну универсальную модель
• Использовать собственные конвееры для стабильных процессов
• Считать веса моделей критической зависимостью и фиксировать версии, хранить копии, не полагаться на внешние репозитории

Больше о бенчмарках и особенностях кейса – в статье.

⏺ Причины низкой производительности GitLab CI разобрал инженер компании OTUS. В статье он приводит 6 основных ошибок в работе: в кэшировании, распределении нагрузки между раннерами, выбором Docker-образов, параллелизацией, сборкой контейнеров и автоскейлингом. А также показывает, в чем измерять эффективность без усложнения инфраструктуры.

⏺ Брайан Грант, СТО ConfigHub, перечислил инструменты по управлению общими настройками рабочих нагрузок в Kubernetes.

Речь идет об автоматизированных проверках и изменениях в контексте безопасности, пробах, запасе количества упавших подов. В статье Брайн описывает подход Configuration as Data и дает готовые инструменты для анализа состояния кластеров, выявления нарушений. Подробности – на Medium.

#новостная_подборка #devops #kubernetes #llm #gitlab
Please open Telegram to view this post
VIEW IN TELEGRAM
1👍4🔥4❤2
В эфире DevOps FM – срединедельный дайджест новостей и статей!

⏺OpenAI заявили, что GPT-5.6 Sol и предрелизная модели причастны к атаке на Hugging Face от 16 июля.

Атака началась с конвейера обработки данных. Вредонос использовал 2 уязвимости, получил доступ к ноде, проник в несколько внутренних кластеров и завладел учетными данными в облаке.

В статье OpenAI сообщили, что модели работали в экспериментальном режиме для оценки функционала. Всё об инциденте – здесь, прогнозы от OpenAI – тут.

⏺Всего 1 комментарий в запросе на слияние Azure DevOps может настроить Агента-ревьюера против пользователя.

В MCP-сервере Microsoft обнаружена уязвимость c инъекцией промта через описание запроса на слияние. Команда Manifold Security присвоила ей тип confused deputy. Разбор причин и PoC найдете – здесь.

⏺На прошлой неделе выкатили релиз GitLab 19.2. В новой версии сосредоточились на автоматизации в бэклоге. Представили бета-функции сканирования и исправления, проверки рабочего цикла.

Теперь ИИ-агенты сканируют содержимое конвеера и открывают запрос на слияние, чтобы устранить уязвимости и ошибки в коде. Также упростили работу в терминале с GitLab Duo CLI и агентами в цепочке (Agentic Flows), которые в версии 19.2 вышли на уровень GA. Подробнее об изменениях – тут.

⏺20 июля состоялся релиз стабильной ветки Kata Containers 4.0.0, проекта с открытым исходным кодом от Intel, Hyper и OpenStac. Он отличается безопасностью, защиты от уязвимостей в ядре Linux, сочетает удобство контейнеров с изоляцией виртуальных машин.

В новой версии совершили переход на runtime с языка Go на Rust, включили поддержку гипервизоров Cloud Hypervisor, Firecracker, Dragonball, QEMU и улучшили интеграцию с Kubernetes и Docker. Особенности обновления оставили – здесь, а сравнение Kate Containers с Docker от NorthFlank – тут.

⏺На Хабре опубликовали заключительную часть из серии статей о защите CI/CD в проектах с открытым кодом. В первой сосредоточились на контроле доступа, разместили конфиги YAML и список улучшений для Cilium. Во второй дали инструкции по укреплению зависимостей, а в свежем переводе речь пошла о защите учётных данных и верификации, изоляции секретов CI.

#devops #инциденты #ии #gitlab #ci_cd
Please open Telegram to view this post
VIEW IN TELEGRAM
1❤3🔥31
Как ИИ-агенты снижают нагрузку: кейсы

👨‍💻Переход к агентам начинается с осознания, что ИИ – лишь инструмент, а не универсальное решение. Вместо того чтобы держать 10 вкладок Claude Code в браузере, DevOps-инженер Евгений Дехтярёв создал автономную систему на базе оркестратора Paperclip и моделей Claude (Opus/Sonnet).

Ниже мы описали, как агенты справляются с задачами команды из 50 разработчиков и менеджеров.

⏺Рутина под ключ

На практике агенты отлично справляются с рутиной для оптимизации времени и ресурсов. Так, Claude Code самостоятельно создает техническое задание с соблюдением логики и контекста и по нему выполняет простую инфраструктурную задачу.

За месяц 34 тикета были отданы агентам:

⁃ GitLab CI/ Runners – 7
⁃ Kubernetes – 6
⁃ Storage/S3 – 6
⁃ Базы данных – 6
⁃ VM lifecycle – 4
⁃ Бэкапы. Домены – 4
⁃ Мониторинг (Grafana) – 1

⏺Разбор алертов

Получив RO доступ к stage- и prod-средам, а также общий контекст системы, SRE-агент запускает разбор ошибок в системе оповещений. После диагностики он ставит гипотезу о первопричине ошибки и сообщает о результатах в тредах Slack-каналов. Так, разработчики сразу видят RCA и могут сразу приступить к внесению изменений.

⏺FinOps по нескольким облакам

Для оптимизации облачных расходов команда должна держать руку на пульсе и обосновывать каждое техническое решение. Агент-аналитик упрощает ведение отчетности, собирает биллинг по всем провайдерам. С его помощью Евгений обнаружил подключенные мониторинг и логирование от Google. После отказа от сервисов команда сэкономила 400$ ежемесячно.

👀Подробнее о ролях и задачах агентов, подводных камнях в работе – в записи выступления.

#devops #ai #агенты #кейс
Please open Telegram to view this post
VIEW IN TELEGRAM
1👍6🔥6❤5🤣1
Новостной дайджест от DevOps FM!

🔔 Делимся свежими новостями, релизами и разборами инженерных практик за неделю.

🟡 В блоге Kubernetes вышел предварительный обзор версии 1.37, релиз которой запланирован на конец августа.

Разработчики рассказали о ключевых изменениях, которые планируется включить в релиз: более 20 новых экспериментальных функций, а также улучшения для динамического распределения ресурсов, сетевого стека и управления рабочими нагрузками. Подробнее читайте в обзоре.

⚫️ В том же блоге Kubernetes вышел анонс релиза Gateway API v1.6, в котором ресурсы TCPRoute и UDPRoute перешли в стабильный канал Standard.

Это обновление приносит переносимую и стабильную маршрутизацию трафика на L4-уровне. Детали читайте в официальном обзоре.

🟡 Исследователи Wiz обнаружили критическую цепочку уязвимостей CosmosEscape в Azure Cosmos DB (не без ИИ-помощника). Найденая брешь в API Gremlin позволяла полностью обойти изоляцию облака, получить доступ к внутреннему токену платформы и получить доступ на чтение и запись к базам данных любых клиентов, включая внутренние сервисы Microsoft вроде Teams и Copilot.

Microsoft уже полностью устранила проблему, переработав архитектуру безопасности. Подробный технический разбор читайте в материале The Hacker News.

⚫️ Компания Percona представила Technical Preview сервера для MongoDB 8.3, пропустив промежуточные ветки 8.1 и 8.2.

Сборка объединила улучшения сразу трех минорных релизов, включая новый планировщик запросов Cost-Based Ranker, а также прирост производительности до 195% при массовой вставке временных рядов.

Разработчики подчеркивают, что версия предназначена только для ознакомления — какие архитектурные изменения и новые лимиты памяти ждут СУБД, читайте в официальном блоге Percona.

🟡 В блоге Red Hat вышел технический обзор обновлений OpenShift, посвященный защищенным вычислениям и безопасности ИИ.

Одним из ключевых нововведений стал инструмент Agent Sandbox — изолированная среда на уровне виртуальных машин для безопасного запуска автономных ИИ-агентов и выполнения непроверенного кода.

Также технология конфиденциального ИИ на bare-metal серверах перешла в статус GA. Как новые механизмы защищают веса моделей на уровне процессора и GPU — читайте в обзоре.

⚫️ Исследователи обнаружили компрометацию npm-пакета keyv в рамках масштабной кампании Shai-Hulud (“Дюна”, привет).

Вредоносный код запускался через lifecycle-скрипт preinstall и мог извлекать секреты из окружений разработки и CI/CD-пайплайнов, включая токены облачных сервисов.

Зараженные версии удалены из npm. Проверить затронутые зависимости и индикаторы компрометации можно в техническом разборе Wiz.

#новостная_подборка #devops #kubernetes #security #cloudsecurity #mongodb #openshift #supplychain #npm
2🔥4👍3❤2
🎙 Что послушать на выходных: Kubernetes и энергопотребление

В пятницу делимся свежим выпуском Kubernetes Podcast про Project Kepler — open-source проект для наблюдения за энергопотреблением Kubernetes-нагрузок.
В гостях Ники Маноледаки, Staff Platform Engineer в Grafana Labs и мейнтейнер Project Kepler. Вместе с ведущими она обсуждает, как оценивать энергопотребление рабочих нагрузок, какие метрики для этого можно собирать и почему получить реально точные данные не так просто.
Отдельно поговорили о том, зачем Kepler недавно переписали, как проект использует eBPF и Prometheus и при чём здесь растущие вычислительные нагрузки AI.

🎧 Выпуск «Measuring Sustainability via Project Kepler» послушать можно здесь.

Желаем приятного прослушивания и хороших выходных! А тем, кто дежурит🛡, — спокойных смен 🙌🏼

#подкаст #devops #kubernetes #observability #opensource
2🔥5❤2👍2
В эфире DevOps FM – срединедельный дайджест новостей и статей!

⏺ 10 августа Docker выпустил обновление Docker VMM, переведя технологию в статус Public Beta.

Docker VMM — новый уровень виртуализации для Docker Desktop, который сделает работу контейнеров на Mac и Windows быстрее и стабильнее. Среди заявленных улучшений — более быстрый запуск контейнеров, ускоренный файловый I/O и более эффективное управление памятью. Сейчас технология доступна в Docker Desktop 4.86, а финальный релиз по имеющейся информации запланирован на конец октября.

Подробнее о том, что изменилось и как попробовать новый VMM — в блоге Docker.

⏺ После двух месяцев разработки Линус Торвальдс представил релиз ядра Linux 7.2.

Новая версия ядра традиционно приносит изменения в подсистемах, драйверах и производительности. Подробности о ключевых обновлениях и список основных изменений — читайте в OpenNET.

⏺ Debian обсуждают использование AI при разработке.

Debian объявили о начале общего голосования разработчиков по вопросу использования больших языковых моделей и AI-инструментов при разработке дистрибутива.

Прием голосов будет осуществляться до 28 августа. Как проходит голосование и какие позиции обсуждаются — читайте в OpenNET.

⏺ GitHub пережил масштабный сбой.

17 августа проблемы затронули сразу несколько ключевых сервисов платформы: Web и API показывали около 20% ошибок, а количество неудачных запросов к архивам и Raw-контенту доходило до 50%. Были затронуты Actions, Pull Requests, Issues, Webhooks, Copilot и другие сервисы.

GitHub постепенно восстановил сервисы. В качестве причины сбоев эксперты предположили сетевые инциденты в Amazon Web Services. Подробнее о масштабах сбоя — в статье.

#новостная_подборка #devops #github #docker #linux #debian
Please open Telegram to view this post
VIEW IN TELEGRAM
1❤4🔥3👍2
Пятничное чтиво от DevOps FM

📚AI-агенты постепенно заходят в DevOps: получают доступ к коду, инфраструктуре, CI/CD и production. Сегодня читаем о том, как безопасно управлять системами, которые умеют действовать самостоятельно.

⏺12 августа Docker представил Agent Baseline — набор практических рекомендаций для безопасного внедрения AI-агентов. В центре внимания — least privilege, наблюдаемость, аудит и возможность остановить агента, а не просто надеяться, что модель будет вести себя правильно. Подробнее читайте в статье.

⏺CNCF смотрит на проблему с другой стороны: если AI становится частью production, то где проходит граница между ML-командой, DevOps и Platform Engineering? И кто в итоге отвечает за надёжность всей этой системы? Подробнее читайте здесь.

⏺В разборе кейса Hugging Face хорошо показывает, почему вопрос контроля уже не теоретический. В ходе инцидента исследователи восстановили около 17 600 действий агента, объединённых примерно в 6 280 цепочек.

⏺GitLab, в свою очередь, показывает, как можно встроить AI-агентов в существующую инфраструктуру с учётом требований безопасности. В новой статье компания рассказывает об AI Gateway для GitLab Dedicated, который позволяет контролировать используемые модели и сохранять AI-обработку внутри выбранного региона. Подробнее читайте в статье.

👀Получается интересный сдвиг: раньше DevOps автоматизировал процессы, а теперь ему предстоит ещё и управлять AI-агентами.

И теперь главный вопрос — какие права мы готовы дать AI и насколько быстро сможем его остановить, если что-то пойдет не так? Пишите свое мнение в комментариях.

Желаем приятного чтения и хороших выходных!

#пятничноечтиво #devops #ai
Please open Telegram to view this post
VIEW IN TELEGRAM
2❤6👍3🔥1
Новостной дайджест от DevOps FM!

⌨️Делимся свежими новостями и релизами за прошедшую неделю.

⏺Kubeflow получил статус CNCF Graduated.

Kubeflow получил высший статус зрелости в CNCF. Проект объединяет инструменты для построения AI/ML-платформ на Kubernetes — от подготовки данных и обучения моделей до inference.

Для DevOps это ещё один сигнал: Kubernetes всё активнее становится инфраструктурой для AI — от обучения моделей до inference и serving. Детали читайте в статье.

⏺AWS продолжает развивать Argo CD в EKS.

В понедельник мы разбирали сценарий, где Git становится control plane для инфраструктуры и deployment. Теперь AWS расширяет возможности настройки управляемой Argo CD Capability в EKS — в частности, добавляет поддержку кастомных health checks и параметров сравнения ресурсов.

Похоже, AWS постепенно углубляет интеграцию GitOps с EKS, беря на себя всё больше операционных задач по управлению Argo CD. Подробнее — в блоге AWS.

⏺IncidentRelay 2.0 — новый релиз self-hosted incident management.

Open-source проект для управления дежурствами, маршрутизации алертов и incident response получил новый major-релиз.

IncidentRelay ориентирован на SRE и DevOps-команды, которым нужна self-hosted альтернатива облачным платформам управления инцидентами.
Подробности о ключевых обновлениях и список основных изменений — читайте в OpenNET.

⏺GitHub опубликовал разбор масштабного сбоя 17 августа.

Напомним, тогда GitHub был недоступен или работал с ошибками почти 8 часов. Теперь компания раскрыла детали: проблема с autoscaling Istio sidecar-подов привела к перегрузке сети и каскаду отказов.

Ситуацию дополнительно усугубили агрессивные retry: нагрузка на отдельные сервисы выросла многократно.

Получился отличный пример того, как ошибка в автоматическом масштабировании + retry storm могут превратить локальную проблему в большой outage.
Подробнее — в разборе GitHub.

#devops #инциденты #gitlab #kubeflow
Please open Telegram to view this post
VIEW IN TELEGRAM
1👍4❤3🔥2