DevOps FM
5.29K subscribers
742 photos
15 videos
10 files
851 links
♾️ Канал для тех, кто живёт слиянием разработки и эксплуатации (DevOps) и сис. администрированием.

Новости, статьи, практики, инструменты и развлекательный контент. Cloud Native, Docker, Kubernetes, БД, мониторинг и пр.

Анастасия @cryptographyinu
Download Telegram
3 проблемы при запуске приватной LLM в Kubernetes

🖖Бодрый DevOps! Заметили, сколько компаний разворачивают приватные LLM в 2026? Ростелеком, корпорации ITG и прочие крупные игроки уже перешли от запуска пилотов к работе в проде.

Но как только модель оказывается в Kubernetes, появляются сложности. В карточки выше вынесли основные проблемы, с которыми вы столкнетесь при настройке контура приватной LLM.

А пример рабочей архитектуры разберем на камерной встрече DevOps Lab: ML in Production, 26 июня в Новосибирске. Инженер Никсис Пётр Рукин расскажет о KServe, инструменте для ML-инференса, Modelcar для упаковки модели в OCI-образ и загрузок через стандартные механизмы контейнерных рантаймов.

Разберём:

• Как ускорить старт инференса
• Как один OCI-артефакт модели обслуживает 10 деплойментов без копирования
• Как настроить autoscaling моделей, чтобы не платить за простой

Ждём вас на DevOps Lab – покажем, как правильно :)

📍 26 июня, Новосибирск
📍 Регистрация: по ссылке

#никсис #devopslab #ml
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
2👍63🔥3
Заменят ли ИИ-агенты DevOps-а?

В прошлый понедельник мы уже рассказали, как настроить контур приватной LLM в Kubernetes. Сегодня обсудим, что делать с ML-инфраструктурой дальше и при чем здесь ИИ-агенты.

👀Представьте, вы один DevOps-инженер с командой из 50-ти разработчиков. Бесконечные алерты, тикеты, отчёты и менеджеры, которым просто посмотреть, куда ушли деньги в облаках – это лишь малая часть проблем за день. Нанять второго DevOps-а нельзя, но проблемы решать нужно.

На этой неделе, 26 июня на DevOps Lab: ML in Production инженер Евгений Дехтярёв поделится принципами работы open-source платформы Paperclip. С её помощью вы соберете свою команду ИИ-агентов и делегируете им часть работы.

В докладе Евгений расскажет:

• Как агент работает с задачей в тикет-системе
• Почему агенты собирают отчёт в субботу
• Что нужно агентам для просмотра алертов в Slack, проведения базовой диагностики

👨‍💻Если ресурсов команды не хватает, а делать надо много – приходите на DevOps Lab. Покажем, как сформировать свой штат из ИИ-агентов.

📍 26 июня, Новосибирск
📍 Регистрация: по ссылке

#никсис #devopslab #ml
Please open Telegram to view this post
VIEW IN TELEGRAM
2🔥5👍3🤔3🤣32
🚨 Что убивает этот под разбор инцидента

Разрешение инцидентов в производственной среде с участием агентов — задача со звёздочкой даже для опытных инженеров. На DevOps Lab мы подробно разобрали сценарии работы ML-сервисов. Показываем, как исправить конфигурацию ⬇️

Добавьте startupProbe с запасом на время загрузки модели:


startupProbe:
httpGet: { path: /health, port: 8080 }
periodSeconds: 5
failureThreshold: 30 # 30 × 5 = 150 секунд на загрузку модели


👀Если хотите глубже разобраться в теме, оставили записи всех выступлений DevOps Lab:

«Запуск приватных LLM в Kubernetes» — Пётр Рукин
😉 Youtube
🥰 Rutube
😄 VK

«AI-агенты как второй DevOps» — Евгений Дехтярёв
😉 Youtube
🥰 Rutube
😄 VK

Желаем хороших выходных, а дежурным – спокойных смен!

#devopslab #ИИ #агенты
Please open Telegram to view this post
VIEW IN TELEGRAM
👍43🔥3