3 проблемы при запуске приватной LLM в Kubernetes
🖖 Бодрый DevOps! Заметили, сколько компаний разворачивают приватные LLM в 2026? Ростелеком, корпорации ITG и прочие крупные игроки уже перешли от запуска пилотов к работе в проде.
Но как только модель оказывается в Kubernetes, появляются сложности. В карточки выше вынесли основные проблемы, с которыми вы столкнетесь при настройке контура приватной LLM.
А пример рабочей архитектуры разберем на камерной встрече DevOps Lab: ML in Production, 26 июня в Новосибирске. Инженер Никсис Пётр Рукин расскажет о KServe, инструменте для ML-инференса, Modelcar для упаковки модели в OCI-образ и загрузок через стандартные механизмы контейнерных рантаймов.
Разберём:
• Как ускорить старт инференса
• Как один OCI-артефакт модели обслуживает 10 деплойментов без копирования
• Как настроить autoscaling моделей, чтобы не платить за простой
Ждём вас на DevOps Lab – покажем, как правильно :)
📍 26 июня, Новосибирск
📍 Регистрация: по ссылке
#никсис #devopslab #ml
Но как только модель оказывается в Kubernetes, появляются сложности. В карточки выше вынесли основные проблемы, с которыми вы столкнетесь при настройке контура приватной LLM.
А пример рабочей архитектуры разберем на камерной встрече DevOps Lab: ML in Production, 26 июня в Новосибирске. Инженер Никсис Пётр Рукин расскажет о KServe, инструменте для ML-инференса, Modelcar для упаковки модели в OCI-образ и загрузок через стандартные механизмы контейнерных рантаймов.
Разберём:
• Как ускорить старт инференса
• Как один OCI-артефакт модели обслуживает 10 деплойментов без копирования
• Как настроить autoscaling моделей, чтобы не платить за простой
Ждём вас на DevOps Lab – покажем, как правильно :)
📍 26 июня, Новосибирск
📍 Регистрация: по ссылке
#никсис #devopslab #ml
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
2👍6❤3🔥3
Заменят ли ИИ-агенты DevOps-а?
В прошлый понедельник мы уже рассказали, как настроить контур приватной LLM в Kubernetes. Сегодня обсудим, что делать с ML-инфраструктурой дальше и при чем здесь ИИ-агенты.
👀 Представьте, вы один DevOps-инженер с командой из 50-ти разработчиков. Бесконечные алерты, тикеты, отчёты и менеджеры, которым просто посмотреть, куда ушли деньги в облаках – это лишь малая часть проблем за день. Нанять второго DevOps-а нельзя, но проблемы решать нужно.
На этой неделе, 26 июня на DevOps Lab: ML in Production инженер Евгений Дехтярёв поделится принципами работы open-source платформы Paperclip. С её помощью вы соберете свою команду ИИ-агентов и делегируете им часть работы.
В докладе Евгений расскажет:
• Как агент работает с задачей в тикет-системе
• Почему агенты собирают отчёт в субботу
• Что нужно агентам для просмотра алертов в Slack, проведения базовой диагностики
👨💻 Если ресурсов команды не хватает, а делать надо много – приходите на DevOps Lab. Покажем, как сформировать свой штат из ИИ-агентов.
📍 26 июня, Новосибирск
📍 Регистрация: по ссылке
#никсис #devopslab #ml
В прошлый понедельник мы уже рассказали, как настроить контур приватной LLM в Kubernetes. Сегодня обсудим, что делать с ML-инфраструктурой дальше и при чем здесь ИИ-агенты.
На этой неделе, 26 июня на DevOps Lab: ML in Production инженер Евгений Дехтярёв поделится принципами работы open-source платформы Paperclip. С её помощью вы соберете свою команду ИИ-агентов и делегируете им часть работы.
В докладе Евгений расскажет:
• Как агент работает с задачей в тикет-системе
• Почему агенты собирают отчёт в субботу
• Что нужно агентам для просмотра алертов в Slack, проведения базовой диагностики
📍 26 июня, Новосибирск
📍 Регистрация: по ссылке
#никсис #devopslab #ml
Please open Telegram to view this post
VIEW IN TELEGRAM
2🔥5👍3🤔3🤣3❤1