🔓Раскрыли секреты Google: API ключи и требования к безопасности

Сегодня поговорим о рисках. Годами Google убеждал разработчиков в том, что API-ключи формата AIza вполне допустимы для публичного использования — особенно в сценариях вроде Firebase и Maps. Но с Gemini риски такой практики выросли. В статье от Truffle Security. Джо Леон объяснил, с чем связано расширение привилегий и какие у него последствия.

➡️Если в проекте Google Cloud Platform (GCP) включён Generative Language API, а ключ не ограничен по сервисам, он может начать работать и с Gemini endpoint’ами. Быстро, без уведомлений и подтверждений. В качестве примера – ключ, который три года использовался только для карты на сайте и стал credential для работы с LLM.

Авторы просканировали Common Crawl и нашли 2 863 действующих публичных ключа, способных обращаться к Gemini. Среди них – ключи крупных компаний и даже собственные ключи Google.

Что это означает на практике:
• возможный доступ к /files и /cachedContents;
• риск утечки данных;
• потребление LLM-ресурсов и расходы;
• исчерпание квот и потенциальные отказы сервисов.
Основная проблема не в утечке секрета, а в расширении привилегий: ключи по умолчанию создаются как unrestricted и начинают работать со всеми включёнными API.
Если вы используете GCP – проверьте, включён ли Generative Language API, ограничены ли ключи по сервисам и не размещены ли они публично.

Подробнее – тут.

🔎 Всё тайное становится явным, и лучше узнать обо всех секретах до того, как придёт счёт за LLM.

#девопс #безопасность #пятничное_чтиво

LLM-агенты в SQL: проверено на базе терабайтов данных

🖖Всем DevOps! Начинаем понедельник с оптимизации данных. В блоге Mendral Андреа Луцарди разбирает работу LLM-агента в цикле непрерывной интеграции (CI) с доступом ко всей истории логов. Подводные камни — ниже.

Каждую неделю система сохраняет около 1,5 млрд строк в ClickHouse. В «сыром» виде — до 5 TB данных, за счёт метода хранения и сжатия на диске – порядка 154 GB. В работе агент получает прямой доступ к базе через SQL и сам формирует запросы. В процессе он анализирует метаданные джобов и при необходимости «проваливается» в строки. Как именно агент справляется с обработкой миллионов запросов?

Из ключевых архитектурных решений в статье приводят денормализацию. Суть проста – в каждой строке лога хранится весь контекст, который позволяет настроить фильтр без JOIN’ов и снизить вес.

👀Ещё одна задача под звездочкой – работа с лимитами GitHub API. При загрузке логов команда настроила ограничение до 3-х запросов в секунду. Если лимит достигнут, срабатывает механизм durable execution через Inngest.

Подробности кейса – читайте тут.

Ключевой вывод: если хранить логи в правильно спроектированном хранилище и дать LLM доступ к данным, работа с инцидентами в CI сокращается с часов до секунд.

💻Поделитесь опытом внедрения агентов в работу с БД в комментариях!

#девопс #ИИ #БД

🎉 Поздравляем победителей!

Результаты розыгрыша:

🏆 Победители:
1. дум (@gomich)
2. Iskander
3. Artem (@artlers)

✔️Проверить результаты

Дайджест в DevOps FM!

☀️Солнечная среда и свежие релизы. Что может быть лучше в середине рабочей недели?

⏺Весеннее обострение или атака в цепочке поставок.
На этот раз в PyPI нашли вредонос библиотеки LiteLLM. Были украдены API-ключи для подключения к OpenAI, Anthropic и другим провайдерам. Проблема коснулась SSH-ключей, конфигураций Kubernetes, Docker, токенов AWS, GCP, Azure, секретов непрерывной интеграции и доставки (CI/CD). Безопасная версия доступна с 22 марта. Атака – одна из серии от команды PCP. Если у вас были установлены версии LiteLLM 1.82.7 или 1.82.8, рекомендуем заменить API-ключи и проверить пайплайны в CI/CD.

Подробнее – на GitHub, а разбор мартовских атак от команды PCP – в блоге Wiz.

⏺Вы в зоне риска, если работали с aquasec/trivy, применяли теги версий 0.69.4, 0.69.5, or 0.69.6 или последней версии с 19 по 23 марта. В блоге Docker дали рекомендации для проверки окружения: найдите скомпрометированный образ Trivy по его digest’ам, удалите все затронутые образы, обновитесь до aquasec/trivy:0.69.3, а затем проведите полную ротацию секретов на всех системах, где этот образ мог работать.

Пошаговая инструкция – здесь.

⏺CNCF опубликовали отчёт за Q1: что нового?
Сообщество значительно приросло – с 15.6 до 19.9 миллионов, что составляет 28% за 6 месяцев. Облачный гибрид – самый популярный формат, 34% разработчиков включили его в рабочий цикл. Тенденция связана с новыми политиками регуляторов. Практики платформенной инженерии, инженерии хаоса и работы со множеством управляемых кластеров внедрили 88% разработчиков. В сфере ИИ до 7.3 миллионов специалистов работают в рамках подхода Cloud Native. Подробности – в отчёте.

⏺Выкатили релиз KubeVirt v1.8 с поддержкой Kubernetes v1.35. В нём улучшили политики конфиденциальности для работы с ВМ, представили прослойку Hypervisor Abstraction для работы со множественными уровнями системы виртуализации (бэкенды гипервизора) за пределами KVM, а так же включили ворклоады ИИ и HPC. Теперь KubeVirt лучше понимает, как устроены CPU, память и PCIe-устройства на хосте. Все обновления в SIG – в заметках о релизе и обзоре от CNCF.

⏺Дождались – Ingress2Gateway 1.0, ассистент при миграции. Основное изменение – поддержка более 30 аннотаций вместо 3 (CORS, TLS между балансировщиком, сопоставление с регулярным выражением (regex matching)). В Ingress2Gateway 1.0 улучшили форматирование и систему уведомлений. Теперь не нужно тратить время на поиск подводных камней и устранение ошибок в конфигах. Пошаговый туториал оставили – здесь.

⏺Kyverno, инструмент политики как кода, прошел все уровни ревью на GitHub. В честь "выпуска" Брайан Грант, СТО CofigHub-а, выкатил статью с описанием основных функций: ограничение ресурсов Kubernetes на примере запрета использования :latest тега, проверку политик и работу триггеров.
Всё интересное – здесь.

⏺DataDog описали архитектуру Karpenter, автоскейлера кластеров Kubernetes. Логика сервиса учитывает пропускную способность, оптимизирует потребление ресурсов и улучшает работу приложений. Речь идет о поддержке оптимизации NodePool-ум, агностическим провайдером, и учёте особенностей инфрастуктуры облачных окружений провайдером NodeClass.
Подробнее об инструменте наблюдаемости – тут.

#devops #инциденты #kubernetes #cncf #новостная_подборка

🎙️На волне DevOps FM!

Отличные новости – сегодня пятница. А мы подготовили для вас подборку подкастов для лёгкого завершения рабочей недели: от проектов Docker до будущего Cloud Native инфраструктур.

⏺ GPU Containers as a Service от KubeFM. Лэндон Клипп пошагово рассказал, как создать платформу контейнеров как сервис на базе GPU с нуля. С её помощью можно решить проблемы на всех уровнях изоляции: от разделения ядра (kernel) с контейнерами Kata и QEMU до разделения связанных GPU (NVLink) и сетевых политик на базе Cilium/eBPF. Особое внимание Лэндон уделил тому, с какими сложностями команда столкнулась на каждом этапе.

⏺ Бэкапы S3, Google Drive, iCloud от DevOps and Docker. Берт Фишер изучил внутреннюю кухню backup инженерии в компании Plakar. Основатели Джулиен Манджерд и Гилз Чехейд рассказали, как они работают с собственными форматами файлов, криптографическими слоями и шифрованием для безопасности каждого ключика.

⏺ Современные подходы Docker Networking от Software Engineering. Билл Муллиган, мейнтенер экосистимы Cilium, вместе с СТО Грегором Вандом разобрали, почему платформа стала одним из самых успешных проектов Kubernetes, как eBPF работает под капотом и какое будущее ожидает cloud-native инфраструктуру.

✅Желаем всем хороших выходных, а дежурным – спокойных смен!

#пятничная_подборка #подкаст

Хорошие новости в начале недели... На канале уже больше 5000 подписчиков!
Ура, мы говорим спасибо каждому DevOps-у, системному администратору и ИТ-специалисту за реакции, репосты и рекомендации для успешных багфиксов :)

В честь праздника подготовили для вас 3 подарка:

🎁 Билеты на XV ИТ-конференцию «Стачка» со скидкой 10%. Переходите на сайт и выбирайте удобный тариф на 10-11 апреля.
🎁 Подборки лучших практик и ошибок при внедрении платформенной инженерии в проект с Bell Integrator.
🎁 Розыгрыш фирменных футболок 🎙DevOps FM.

Бонус: приглашение на закрытый вебинар о трендах ИИ, DevOps и безопасности. Подключайтесь 31 марта, 11:00 Мск

Проверьте, что вы подписаны на @DevOps_FM, и нажмите «Участвую!». Итоги розыгрыша подведем случайным образом, а победителей объявим 10 апреля.

🤝 Продолжаем делиться пользой и развиваться вместе!

А у вас спина белая! Шутки шутками, а новостную среду никто не отменял.

⏺ В конце марта службы Kubernetes напомнили о выходе версии 1.36. Уже в следующем обновлении уберут поддержку параметра externalIPs, плагина gitRepo, улучшат работу с метками для снижения задержек запуска подов в SELinux-системах, улучшат передачу ServiceAccount токенов внешним системам. В конце апреля мы также получим поддержку меток taints и tolerations при динамическом распределении ресурсов по дефолту и работу с разделами устройств с делением на юниты.

⏺ Tekton достиг второй ступени зрелости CNCF. Проект Kubernetes – набор готовых инструментов открытого исходного кода для систем с комбинацией непрерывной интеграции и доставки (CI/CD). Tekton используется для построения, тестирования и развертывания в облаках или on-premise. Он работает внутри кластеров Kubernetes и в отличие от Jenkins, например, K8S от Tekton не нуждается в физическом сервере. Обо всех компонентах – читайте здесь.

⏺ Вышла первая часть о LLM в Kubernetes. CNCF рассказали об ограничениях: контейнеризатор просто следит за планированием и изоляцией рабочих процессов. При развертывании через Olama Kubernetes настроит все рабочие процессы, но не сможет определить тип информации, корректность промта или ограничить доступ к инструментам. В блоге привели целый фреймворк для понимания рисков настройки LLM.

⏺ В блоге AWS перечислили, какие ресурсы использовать для построения высокофункционирующих приложений. LMI предоставляет выбор типов инстансов и снижает операционную перегрузку. Всего представили три шага при билде: создание поставщика (с требованиями и конфигурацией для EC2), функции (с привязкой к поставщику) и публикация версии (развертывание на инстансах EC2). Больше советов и лучших практик от AWS – тут.

⏺ От ZAP (Chrome/Firefox/Edge) вышел туториал по установке дополнений к OWASP PTK 9.8.0. В улучшенной версии все находки отображаются как нативные оповещения, а сам сервис определяет риски. В PTK SAST фокус на работе внутренних и внешних скриптов страницы (eval, Function, небезопасное использование innerHTML, атак на DOM и пр). Подробнее о версии ZAP 0.3.0 читайте здесь.

#kubernetes #cncf #aws #новостная_подборка

Пятничное чтиво от DevOps FM

💬 Неделя подходит к концу, а смельчаки-инженеры вовсю готовятся к развертыванию (ни пуха!). Сегодня обсудим вечную дилемму – железо или облако? Внизу вынесли популярные мнения пользователей Reddit, а весь тред оставили – здесь.

BuffaloJealous2958
Многие из тех, кто вырос на железе, скучают по ощущениям от настройки. Раньше ты мог встроить серверы, затюнить Linux руками, знать как и где протекают рабочие процессы. В облаке ощущение, что предоставляешь управляемые услуги и пытаешься не сжечь весь бюджет компании за месяц.
Облако никуда не денется, но и on-prem решения тоже. Всё меняется, от действий регуляторов до развития гибридных решений.

CaptainPonahawai

Ещё важно смотреть на масштаб и текущие цели компании. По личному опыту, на работе всё в облаке, тк нет ни ресурсов, ни времени для поддержания железа.

AlterTableUsernames

Да вы, сэр, зрите в корень. В Европе сейчас растущий спрос на личные облака, железо и в принципе уход с аренды.

rvm1975

Глобально нет никакой разницы между EC2 и VMware/Proxmox VM. Практически те же компоненты, типа хранилищ и тд. Разница лишь в цене за ошибку и ведению FinOps.

red_00

Облако дает доступ к управляемым услугам. Так, в работе я сосредотачиваюсь на архитектуре, безопасности и не думаю о поддержке.

👀Вопрос остается открытым: что выбрать? Если хотите узнать чуть больше – смотрите запись выступления тех. руководителя НИКСИС | NIXYS Петра Рукина.

Хороших выходных и спокойных смен!

#devops #облако #железо #reddit