🌟 Тяжелый день в мире DevOps 😓

☝️ Сперва на кластер NiFi при миграции с публичного GitHub прокатилась какая-то старая Ansible роль и поломались конфигурационные файлы 😮

Затем кластер никак не хотел собираться, якобы не может достучаться до соседних нод, хотя с виду все работает.
Затем я все таки подумал на ядро и посмотрел логи:
RPC: fragment too large 😐

Не знаю, откуда это взялось, вроде никаких NFS у меня нет. Семь бед один резет 🚁

🧶Потом пришлось разбираться в Jenkins пайплайне, который запускает с параметрами Ansible playbook, который шаблонинизирует Kubernetes манифест через Jinja2, который потом применяется через kubectl apply. Вопросов больше, чем ответов. 😡

📝Ну и успел поразбираться с OOM на одном из Jupyter server в Kubeflow, что тоже прошло не спокойно.

План был такой:
☝️ Увелечение memory limits
👩‍💻Оптимизация дата сета (возможно удастся его уменьшить)
🆚Использование альтернативных моделей, которые более оптимизированы по работе с памятью

Откровенно говоря, тачки в кластере у нас были не шибко жирные в целях экономии денег, потому было принято решение заскейлить группы узлов по памяти.

И тут началось: увидел на Kubeflow no healthy upstream.. а в событиях собственно и причину 🔫
429 Too Many Requests - Server message: toomanyrequests: You have reached your pull rate limit. You may increase the limit by authenticating and upgrading

The rate limits of 100 container image requests per six hours for anonymous usage

Беспощадный капитализм 🤑

📄Завел задачу себе на синк образов для Kubeflow в локальный Artifactory, а также добавить аутентификацию для увеличения лимита до 200. Различных образов у меня в Kubeflow чуть более, чем 100.
Но так как времени уже много, а контейнеров стартануло в целом достаточно, кроме парочки, среди которых был UI, я принял решение подождать шесть часов в качестве быстрого решения 😂

#историядня #kubeflow #oom #nifi

🎉Kubeflow присоединяется к CNCF - Отличные новости! 🎉

Kubeflow официально присоединился к CNCF в качестве проекта на стадии инкубации! Это означает, что проект стал частью нейтральной структуры управления, поддерживаемой Linux Foundation🐧

Теперь у нас открываются новые возможности для развития и роста. Следим за новостями о том, что это значит для сообщества 🔍

Kubeflow Mailing List 📦
Kubeflow Community Call 🍷

👩‍💻 #Kubeflow #MachineLearning #Kubernetes

Ну так что, а кто как запускает контейнеры на MacOS? Docker? Или еще что?

Я ранее использовал Podman на Linux.

Ну, собственно, на MacOS я также остановился на Podman 🔫

Я так понимаю, тут виртуалочка нужна будет под ногами для запуска контейнеров..

📊Управление метриками через Pushgateway: проблемы и стратегии 📈

Привет, друзья! 👋 Давайте рассмотрим тему, которая очень важна для поддержания точных метрик в нашем царстве Kubernetes - управление обновлениями и истечением срока действия метрик с помощью Prometheus Pushgateway.

🚀 Отправка метрик в Prometheus Pushgateway

Мы старательно отправляли метрики в Prometheus Pushgateway, который затем делал их доступными для сканирования Prometheus. Однако есть одна загвоздка - Prometheus собирает эти метрики с фиксированным интервалом в 30 секунд. Хотя такой подход имеет свои достоинства, он не всегда дает точную картину нашей динамичной системы.

⏰ Временные метки (timestamps): Добавлять или не добавлять?

Одним из решений, находящихся в поле нашего зрения, является добавление временных меток (timestamps) в наши метрики. Этот, казалось бы, простой шаг позволяет получить много информации о времени последнего обновления каждой метрики. Такая наглядность может стать спасением при отладке.

Но подождите, есть один нюанс - нужно ли использовать временные метки? Ответ может вас удивить. 🤔
https://prometheus.io/docs/practices/pushing/

💡 Удаление метрик вручную: Тактический ход

Еще одним направлением, которое мы изучаем, является ручное удаление метрик. Поскольку в Pushgateway отсутствует встроенный механизм истечения срока действия метрики (TTL), мы рассматриваем возможность стратегического использования PUT-запросов с пустым телом. Это позволяет эффективно удалять метрики, но с другой стороны. Как мы можем гарантировать, что не потеряем метрики до того, как Prometheus получит возможность их собрать?

🎟 Обогащение метрик метаданными

Лейблы, лейблы, больше лейблов! Еще одна хитрость в наших рукавах - обогащение метрик метаданными. С помощью меток мы можем эффективно классифицировать и фильтровать метрики. Это все равно что добавить нотку организованности в хаос метрик.

😎 Поделитесь своими идеями и мыслями!

Буду рад услышать ваши мнения и рекомендации по поводу этих подходов. Открыли ли вы для себя другие методы, которые творят чудеса в области управления метриками Pushgateway? Особенно в тех случаях, когда речь идет о частых обновлениях или истечении срока действия?