Тут Майк выпустил фреймворк ИИ-ответственности, призванный прояснить, кто за что отвечает в обеспечении безопасности ИИ-систем, по аналогии с моделью "shared responsibility" в облаках. В нём даётся карта ответственности (responsibility matrix) между провайдером и заказчиком (или разработчиком), охватывающая разные модели развёртывания AI и разные домены безопасности. Проект охватывает 8 моделей развёртывания AI и 16 доменов безопасности (традиционные + специфичные для AI).

8 моделей развертывания ИИ:
6️⃣ Публичная LLM-платформа → ChatGPT, Gemini, Claude
2️⃣ Публичная LLM-платформа с API-интеграцией → API-доступ к GPT, Anthropic, Cohere
3️⃣ SaaS-продукт с AI-функциями → Notion AI, GitHub Copilot
4️⃣ Вендорская модель, размещённая в облаке клиента (Managed AI) → Azure OpenAI, Bedrock, Vertex AI
5️⃣ Самостоятельно развёрнутая LLM (on-prem / частное облако) → Llama 3, Mistral, Falcon на своих серверах
6️⃣ Встроенный AI-модуль в программный продукт → ERP с ML-анализом или рекомендациями
7️⃣ Специализированное AI-решение под конкретный домен → AI для SOC, антифрод, медицинская диагностика
8️⃣ Разработка собственной модели с нуля / fine-tuning → внутренние R&D-команды

16 доменов ИБ:
6️⃣ Управление идентификацией и доступом (IAM)
2️⃣ Управление данными и приватностью
3️⃣ Шифрование данных "на лету" и "на хранении"
4️⃣ Регистрация событий/промптов и аудит обращений к модели
5️⃣ Управление уязвимостями и патчами
6️⃣ Безопасность кода и зависимостей
7️⃣ Управление жизненным циклом модели (ModelOps)
8️⃣ Управление обучающими данными
9️⃣ Мониторинг дрейфа модели и метрик
6️⃣1️⃣ Обнаружение атак на модель (poisoning, inversion, extraction)
6️⃣6️⃣ Безопасность API и оконечных устройств
6️⃣2️⃣ Соответствие нормативным требованиям (compliance, GDPR, ИИ-акты и т.п.)
6️⃣3️⃣ Этические и репутационные риски
6️⃣4️⃣ Непрерывность бизнеса и отказоустойчивость ИИ-сервисов
6️⃣5️⃣ Реагирование на инциденты и реагирование на утечки / атаки
6️⃣6️⃣ Поверхность атаки и тестирование безопасности (red teaming / оценка защищенности).

Очень хороший фреймворк...

#ии #mlsecops #framework

Ребята из Wiz опубликовали простой, но удобный и наглядный фреймворк SITF (SDLC Infrastructure Threat Framework), разработанный для анализа и защиты от атак, нацеленных на инфраструктуру жизненного цикла разработки программного обеспечения.

Фреймворк SITF позволяет визуализировать этапы атаки на компоненты цикла разработки, идентифицировать риски, сопоставлять с ними меры защиты и позволяет анализировать цепочку атаки.

SITF включает в себя:
🟠Flow Builder — интерактивный инструмент для моделирования и визуализации атак.
🟠Explore Techniques Visually — интерактивная MITRE-подобная база знаний о техниках злоумышленников, содержащая в т.ч. описание рисков и мер защиты в разрезе компонентов SDLC.
🟠Руководство по фреймворку c примерами использования и инструкциями, а также с разбором известных атак (CircleCI, Shai-Hulud-2 и Codecov).

Как и писал в начале, инструменты очень простые в использовании и визуально удобные👍
В репозитории есть ссылки на онлайн-версии, но ссылки там битые🤷 Однако, для локального запуска достаточно скачать два html-файла и открыть их в любом веб-браузере.

#sdlc #framework #technique #risks #controls #modeling