Рекомендую потратить минимум 1 час и изучить прогноз глобального рынка труда по оценке экспертов Всемирного экономического форума (ВЭФ). Прогнозный срок - 2030 год. т.е. осталось 4 года.
В целом рассматривается 4 сценария, исходя из двух критериев:
1. Прогресс в технологиях ИИ
2. Прогресс работников в навыках ИИ
ВСЕ 4 сценария влекут заметные изменения на рынке труда от варианта фактической гуманитарной катастрофы до появления новых профессий.
1. Быстрый прогресс. ИИ и навыки быстро развиваются.
Двузначный рост мирового ВВП. ИИ становится новым электричеством. ИИ-готовый персонал получает зарплату в два раза больше рынка. Зарплаты в сфере сильного взаимодействия с людьми (уход, лечение, гостиничный бизнес и т.д.) падают, конкуренция растет. В остальных сферах резкое падение зарплат.
Нормативное регулирование не успевает за прогрессом.
2. Эпоха перемещения (допустимо перевести и как эпоха увольнений). ИИ развивается быстро, навыки не успевают угнаться за ИИ.
Автоматизация дешевле, чем переподготовка кадров.
Во многих секторах резко сокращаются или исчезают целые группы профессией.
Доля задач выполняемых средствами автоматизации составляет от 50 до 90%. Нехватка кадров заставляет некоторые бизнесы переложить принятие решений на агентов с минимальным или без участия людей.
Трудовая мобильность иссякает к 2030 году.
Кого то из "перемещенных" работников привлечет сфера работы с людьми или частичная занятость, но не всех. В случае прогресса в роботизации под угрозой и сфера работы с людьми.
3. Экономика Копилота. ИИ развивается постепенно, навыки развиваются быстро.
Капитальные инвестиции, раздутые оценки акции ИИ компаний запинаются. ИИ-Пузырь сдувается в середине 2020-ых. Происходит переоценка инвестирования в ИИ.
Навыки ИИ становятся всеобщими и догоняют уровень подобный уровню цифровой грамотности в начале 2020-х.
Уменьшения времени выполнения до 80% для ряда задач.
К 2030 году больше чем 40 % навыков изменились.
Доли вакансий требующих навыки ИИ и узкой экспертизы, частичной занятости и количество предпринимателей увеличиваются.
Сильный сдвиг в сторону доверенных источников, платформ и человеческих посредников в силу засилья ИИ контента.
Количество стандартов и нормативных документов кратно растет в зависимости от страны.
4. Остановившийся прогресс. ИИ и навыки развиваются постепенно\ограниченно.
Выборочное и консервативное развитие ИИ инструментов.
Бизнес прибегает к автоматизации для заполнения вакансий. Большинство профессий продолжают существовать, но в значительно меньших объемах.
Много работников переходит в сферу обслуживания или на позиции не требующих больших навыков.
Уменьшается количество способов попасть в профессию.
Неравенство доходов увеличивается, глобально увеличивается социальная напряженность.
Усиливается регулирование ИИ, усиливается разница в контроле, защите технологий, цензуре и приватности данных.
Также в прогнозе ВЭФ приводятся: риски, возможности и стратегии на каждый из 4 сценариев.
Сегодня в газете Коммерсант вышел краткий обзор прогноза. https://www.kommersant.ru/doc/8377267
Удивительно, что пока только в скользь упоминаются фундаментальные проблемы безопасности ИИ - это вероятностный недетерминированный характер работы ИИ. А именно отсутствие 100% механизмов безопасности которые не позволят модели отдать вашу конфиденциальную информацию, а населению не сообщить рецепт яда.
Другим пока неоднозначным фактом является выгода. Я пока не видел исследований доказывающих обоснованность использования ИИ в контексте ROI. Автоматизация с помощью ИИ является довольно дорогой автоматизаций, даже на фоне резкого падения за последние 2 года стоимости 1 токена.
Если кто-то считал или видел ROI ИИ в разных сценариях, поделитесь пожалуйста.
В целом рассматривается 4 сценария, исходя из двух критериев:
1. Прогресс в технологиях ИИ
2. Прогресс работников в навыках ИИ
ВСЕ 4 сценария влекут заметные изменения на рынке труда от варианта фактической гуманитарной катастрофы до появления новых профессий.
1. Быстрый прогресс. ИИ и навыки быстро развиваются.
Двузначный рост мирового ВВП. ИИ становится новым электричеством. ИИ-готовый персонал получает зарплату в два раза больше рынка. Зарплаты в сфере сильного взаимодействия с людьми (уход, лечение, гостиничный бизнес и т.д.) падают, конкуренция растет. В остальных сферах резкое падение зарплат.
Нормативное регулирование не успевает за прогрессом.
2. Эпоха перемещения (допустимо перевести и как эпоха увольнений). ИИ развивается быстро, навыки не успевают угнаться за ИИ.
Автоматизация дешевле, чем переподготовка кадров.
Во многих секторах резко сокращаются или исчезают целые группы профессией.
Доля задач выполняемых средствами автоматизации составляет от 50 до 90%. Нехватка кадров заставляет некоторые бизнесы переложить принятие решений на агентов с минимальным или без участия людей.
Трудовая мобильность иссякает к 2030 году.
Кого то из "перемещенных" работников привлечет сфера работы с людьми или частичная занятость, но не всех. В случае прогресса в роботизации под угрозой и сфера работы с людьми.
3. Экономика Копилота. ИИ развивается постепенно, навыки развиваются быстро.
Капитальные инвестиции, раздутые оценки акции ИИ компаний запинаются. ИИ-Пузырь сдувается в середине 2020-ых. Происходит переоценка инвестирования в ИИ.
Навыки ИИ становятся всеобщими и догоняют уровень подобный уровню цифровой грамотности в начале 2020-х.
Уменьшения времени выполнения до 80% для ряда задач.
К 2030 году больше чем 40 % навыков изменились.
Доли вакансий требующих навыки ИИ и узкой экспертизы, частичной занятости и количество предпринимателей увеличиваются.
Сильный сдвиг в сторону доверенных источников, платформ и человеческих посредников в силу засилья ИИ контента.
Количество стандартов и нормативных документов кратно растет в зависимости от страны.
4. Остановившийся прогресс. ИИ и навыки развиваются постепенно\ограниченно.
Выборочное и консервативное развитие ИИ инструментов.
Бизнес прибегает к автоматизации для заполнения вакансий. Большинство профессий продолжают существовать, но в значительно меньших объемах.
Много работников переходит в сферу обслуживания или на позиции не требующих больших навыков.
Уменьшается количество способов попасть в профессию.
Неравенство доходов увеличивается, глобально увеличивается социальная напряженность.
Усиливается регулирование ИИ, усиливается разница в контроле, защите технологий, цензуре и приватности данных.
Также в прогнозе ВЭФ приводятся: риски, возможности и стратегии на каждый из 4 сценариев.
Сегодня в газете Коммерсант вышел краткий обзор прогноза. https://www.kommersant.ru/doc/8377267
Удивительно, что пока только в скользь упоминаются фундаментальные проблемы безопасности ИИ - это вероятностный недетерминированный характер работы ИИ. А именно отсутствие 100% механизмов безопасности которые не позволят модели отдать вашу конфиденциальную информацию, а населению не сообщить рецепт яда.
Другим пока неоднозначным фактом является выгода. Я пока не видел исследований доказывающих обоснованность использования ИИ в контексте ROI. Автоматизация с помощью ИИ является довольно дорогой автоматизаций, даже на фоне резкого падения за последние 2 года стоимости 1 токена.
Если кто-то считал или видел ROI ИИ в разных сценариях, поделитесь пожалуйста.
World Economic Forum
Four Futures for Jobs in the New Economy: AI and Talent in 2030
Four Futures for Jobs in the New Economy: AI and Talent in 2030 explores how AI advancement and talent trends could transform the future of jobs and the global economy.
❤1
Forwarded from PWN AI (Artyom Semenov)
6 заблуждений в AI Security, которые я изжил за 2 года плотной работы в AI Security
Два года назад я пришёл в AI Security с классическим бэкграундом в ИБ и уверенностью, что понимаю, как устроены угрозы. ML это просто новый стек, те же принципы. Вот что пришлось переосмыслить.
1. Уязвимости ML это не всегда про модель
Начинал с фокуса на состязательные атаки и атаками в инференсе. Красиво, академично.
Потом начал смотреть, как модели реально попадают в прод. PyTorch использует pickle для сериализации, а pickle исполняет произвольный Python-код при загрузке. На Hugging Face больше 200 000 публичных моделей в этом формате, и периодически там находят образцы с бэкдорами. В декабре 2025 JFrog нашли три zero-day в PickleScan с CVSS 9.3, позволяющие полностью обойти сканер и распространять заражённые модели незамеченными.
Паттерн очевиден. Большая(хотя далеко не вся) часть критичных уязвимостей это классика AppSec в ML-обёртке. Модель служит вектором доставки, а не целью. Троянский конь был деревянным, а теперь он в формате .pt и весит 7 гигабайт.
2. Защитил модель и защитил систему
Логичное следствие первого заблуждения. Если угроза в модели, то и защита в модели. Гардрейлы, фильтры промптов, детекторы джейлбрейков.
А потом смотришь на реальную архитектуру. RAG тянет документы из десятка источников, агент имеет доступ к API и файловой системе, оркестратор хранит контекст в памяти. Каждый компонент расширяет поверхность атак.
В августе 2024 в Slack AI нашли уязвимость, где атакующий мог засунуть инструкции в публичный канал, и когда жертва спрашивала AI про свои приватные данные, тот услужливо отправлял их наружу через скрытую ссылку. Классическая комбинация RAG poisoning с социальной инженерией. И таких кейсов всё больше. Пять правильно составленных документов среди миллионов в базе знаний дают 90% успеха атаки.
Модель с идеальными гардрейлами это бронированная дверь в палатке.
3. Файнтюнить безопаснее чем промптить
Это заблуждение держалось дольше других. Интуиция говорила, что промпты это внешний ввод, очевидный вектор. Файнтюнинг это контролируемый процесс, мы же сами готовим данные.
Но данные для обучения собирают из интернета. А интернет это место, где кто-то обязательно разместил 250 документов с инструкциями делать плохое. Anthropic с UK AI Security Institute показали, что этого достаточно для бэкдора в моделях до 13B параметров. Не процент от данных, а абсолютное число, которое можно сгенерировать за вечер. Nature Medicine в январе 2025 продемонстрировал, что замена 0.001% токенов медицинской дезинформацией создаёт модели с врачебными ошибками, которые при этом проходят все стандартные бенчмарки с улыбкой отличника.
Контроль над весами не равен контролю над поведением.
4. Red Teaming LLM это про генерацию запрещёнки
Раньше Red Teaming ассоциировался с джейлбрейками. Заставить модель написать про оружие, обойти цензор. Эффектно для демонстраций.
Но в реальных системах риски другие. Эксфильтрация данных через инструменты агента. Манипуляция решениями в автоматизированных пайплайнах. CVE-2025-53773 в GitHub Copilot позволяла выполнение кода на машине разработчика через промпт-инъекцию в README файле репозитория. Microsoft проводил LLMail-Inject Challenge с призовым фондом $10,000, где участники встраивали инструкции в письма, чтобы заставить email-агента слить данные.
Когда агент может отправлять email, вызывать API и писать в базу, охота за «плохими словами» выглядит как проверка билетов на тонущем корабле.
5. AI Security это техническая дисциплина
Возможно, самый очевидный и болезненный сдвиг.
Можно закрыть все технические векторы. А потом оператор принимает решение на основе галлюцинации, потому что «AI же умный». Разработчик копирует код с несуществующим пакетом и подтягивает малварь из npm. Пользователь делится конфиденциальной информацией, потому что разговор с ботом ощущается приватным.
Два года назад я пришёл в AI Security с классическим бэкграундом в ИБ и уверенностью, что понимаю, как устроены угрозы. ML это просто новый стек, те же принципы. Вот что пришлось переосмыслить.
1. Уязвимости ML это не всегда про модель
Начинал с фокуса на состязательные атаки и атаками в инференсе. Красиво, академично.
Потом начал смотреть, как модели реально попадают в прод. PyTorch использует pickle для сериализации, а pickle исполняет произвольный Python-код при загрузке. На Hugging Face больше 200 000 публичных моделей в этом формате, и периодически там находят образцы с бэкдорами. В декабре 2025 JFrog нашли три zero-day в PickleScan с CVSS 9.3, позволяющие полностью обойти сканер и распространять заражённые модели незамеченными.
Паттерн очевиден. Большая(хотя далеко не вся) часть критичных уязвимостей это классика AppSec в ML-обёртке. Модель служит вектором доставки, а не целью. Троянский конь был деревянным, а теперь он в формате .pt и весит 7 гигабайт.
2. Защитил модель и защитил систему
Логичное следствие первого заблуждения. Если угроза в модели, то и защита в модели. Гардрейлы, фильтры промптов, детекторы джейлбрейков.
А потом смотришь на реальную архитектуру. RAG тянет документы из десятка источников, агент имеет доступ к API и файловой системе, оркестратор хранит контекст в памяти. Каждый компонент расширяет поверхность атак.
В августе 2024 в Slack AI нашли уязвимость, где атакующий мог засунуть инструкции в публичный канал, и когда жертва спрашивала AI про свои приватные данные, тот услужливо отправлял их наружу через скрытую ссылку. Классическая комбинация RAG poisoning с социальной инженерией. И таких кейсов всё больше. Пять правильно составленных документов среди миллионов в базе знаний дают 90% успеха атаки.
Модель с идеальными гардрейлами это бронированная дверь в палатке.
3. Файнтюнить безопаснее чем промптить
Это заблуждение держалось дольше других. Интуиция говорила, что промпты это внешний ввод, очевидный вектор. Файнтюнинг это контролируемый процесс, мы же сами готовим данные.
Но данные для обучения собирают из интернета. А интернет это место, где кто-то обязательно разместил 250 документов с инструкциями делать плохое. Anthropic с UK AI Security Institute показали, что этого достаточно для бэкдора в моделях до 13B параметров. Не процент от данных, а абсолютное число, которое можно сгенерировать за вечер. Nature Medicine в январе 2025 продемонстрировал, что замена 0.001% токенов медицинской дезинформацией создаёт модели с врачебными ошибками, которые при этом проходят все стандартные бенчмарки с улыбкой отличника.
Контроль над весами не равен контролю над поведением.
4. Red Teaming LLM это про генерацию запрещёнки
Раньше Red Teaming ассоциировался с джейлбрейками. Заставить модель написать про оружие, обойти цензор. Эффектно для демонстраций.
Но в реальных системах риски другие. Эксфильтрация данных через инструменты агента. Манипуляция решениями в автоматизированных пайплайнах. CVE-2025-53773 в GitHub Copilot позволяла выполнение кода на машине разработчика через промпт-инъекцию в README файле репозитория. Microsoft проводил LLMail-Inject Challenge с призовым фондом $10,000, где участники встраивали инструкции в письма, чтобы заставить email-агента слить данные.
Когда агент может отправлять email, вызывать API и писать в базу, охота за «плохими словами» выглядит как проверка билетов на тонущем корабле.
5. AI Security это техническая дисциплина
Возможно, самый очевидный и болезненный сдвиг.
Можно закрыть все технические векторы. А потом оператор принимает решение на основе галлюцинации, потому что «AI же умный». Разработчик копирует код с несуществующим пакетом и подтягивает малварь из npm. Пользователь делится конфиденциальной информацией, потому что разговор с ботом ощущается приватным.
👍1
Набор материалов, ссылок и репозиториев по технологии обмана/ханейпотов.
https://github.com/tracebit-com/awesome-deception
https://github.com/tracebit-com/awesome-deception
GitHub
GitHub - tracebit-com/awesome-deception: An awesome collection of articles, papers, conferences, guides, and tools relating to…
An awesome collection of articles, papers, conferences, guides, and tools relating to deception in cybersecurity. - tracebit-com/awesome-deception
Forwarded from AlexRedSec
Ребята из Wiz опубликовали простой, но удобный и наглядный фреймворк SITF (SDLC Infrastructure Threat Framework), разработанный для анализа и защиты от атак, нацеленных на инфраструктуру жизненного цикла разработки программного обеспечения.
Фреймворк SITF позволяет визуализировать этапы атаки на компоненты цикла разработки, идентифицировать риски, сопоставлять с ними меры защиты и позволяет анализировать цепочку атаки.
SITF включает в себя:
🟠 Flow Builder — интерактивный инструмент для моделирования и визуализации атак.
🟠 Explore Techniques Visually — интерактивная MITRE-подобная база знаний о техниках злоумышленников, содержащая в т.ч. описание рисков и мер защиты в разрезе компонентов SDLC.
🟠 Руководство по фреймворку c примерами использования и инструкциями, а также с разбором известных атак (CircleCI, Shai-Hulud-2 и Codecov).
Как и писал в начале, инструменты очень простые в использовании и визуально удобные👍
В репозитории есть ссылки на онлайн-версии, но ссылки там битые🤷 Однако, для локального запуска достаточно скачать два html-файла и открыть их в любом веб-браузере.
#sdlc #framework #technique #risks #controls #modeling
Фреймворк SITF позволяет визуализировать этапы атаки на компоненты цикла разработки, идентифицировать риски, сопоставлять с ними меры защиты и позволяет анализировать цепочку атаки.
SITF включает в себя:
Как и писал в начале, инструменты очень простые в использовании и визуально удобные
В репозитории есть ссылки на онлайн-версии, но ссылки там битые🤷 Однако, для локального запуска достаточно скачать два html-файла и открыть их в любом веб-браузере.
#sdlc #framework #technique #risks #controls #modeling
Please open Telegram to view this post
VIEW IN TELEGRAM
👍2
VP Cybersecurity Brief
Какая тема вам интереснее всего для возможного будущего мероприятия? В комментариях можете предложить свой вариант
Итоги голосования по темам интересным нашему сообществу (в порядке приоритета):
1. Кибербезопасность вайбкодинга и разработки с использованием ИИ.
2. Практики безопасной разработки\devsecops.
3. Общие практики безопасности ИИ/ Безопасность k8s.
4. Культура безопасности\awareness.
5. Безопасность облаков.
Основные желаемые форматы встречи:
1. Онлайн.
2. Оффлайн с записью.
1. Кибербезопасность вайбкодинга и разработки с использованием ИИ.
2. Практики безопасной разработки\devsecops.
3. Общие практики безопасности ИИ/ Безопасность k8s.
4. Культура безопасности\awareness.
5. Безопасность облаков.
Основные желаемые форматы встречи:
1. Онлайн.
2. Оффлайн с записью.
Объявляется Call for presentation по двум темам:
1. Кибербезопасность вайбкодинга и разработки с использованием ИИ. Окончание срока сбора заявок - 06.02.26. Предварительная дата встречи 13.02.26 (пятница) в 19.00.
2. Практики безопасной разработки\devsecops. Окончание срока сбора заявок - 27.02.26.
Приоритет отдается выступлениям по собственному опыту внутри своей компании, если вы интегратор\вендор - вы также можете рассказать про свою компанию или выступить совместно вашим заказчиком.
Если по разным причинам вы не хотите указывать название своей компании, возможно просто указать "ТОП-20 страховая компания".
Заявки направлять мне в ТГ @popepiusXIII.
1. Кибербезопасность вайбкодинга и разработки с использованием ИИ. Окончание срока сбора заявок - 06.02.26. Предварительная дата встречи 13.02.26 (пятница) в 19.00.
2. Практики безопасной разработки\devsecops. Окончание срока сбора заявок - 27.02.26.
Приоритет отдается выступлениям по собственному опыту внутри своей компании, если вы интегратор\вендор - вы также можете рассказать про свою компанию или выступить совместно вашим заказчиком.
Если по разным причинам вы не хотите указывать название своей компании, возможно просто указать "ТОП-20 страховая компания".
Заявки направлять мне в ТГ @popepiusXIII.
VP Cybersecurity Brief pinned «Объявляется Call for presentation по двум темам: 1. Кибербезопасность вайбкодинга и разработки с использованием ИИ. Окончание срока сбора заявок - 06.02.26. Предварительная дата встречи 13.02.26 (пятница) в 19.00. 2. Практики безопасной разработки\devsecops.…»
Forwarded from AISecHub
AI Security Tools - January 2026
https://medium.com/ai-security-hub/ai-security-tools-january-2026-ed4636eb31e8
https://medium.com/ai-security-hub/ai-security-tools-january-2026-ed4636eb31e8
Medium
AI Security Tools — January 2026
Open-source AI security repositories published in January 2026.
Новая функция безопасности может существенно сократить площадь атаки на мессенджеры Whatsap. В том числе, снизит риск от использования 0 click эксплоитов.
https://blog.whatsapp.com/whatsapps-latest-privacy-protection-strict-account-settings
https://blog.whatsapp.com/whatsapps-latest-privacy-protection-strict-account-settings
WhatsApp.com
WhatsApp's Latest Privacy Protection: Strict Account Settings
WhatsApp's new Strict Account Settings feature provides extreme security against sophisticated cyber attacks by locking privacy settings and blocking media from non-contacts.
Интересный отчёт Cloud Security Alliance исследующий проблему сервисных учётных записей и идентификаторов для ИИ систем.
Опрос показал, что большинство компаний никак отдельно не указывают, что данный идентификатор принадлежит ИИ системы и их средства IAM не готовы к работе с идентификаторами ИИ систем.
Важно это может быть по 2 причинам:
1. ИИ это бурно развивающаяся технология с неизвестными сценариями рисков. Например вы оценили риски и согласовали использование модели Deepseek, а mlops развернули с теми же кредами qwen/k2.
2. "Диктатор" вашей компании (цитата из недавней статьи ВЭФ) потребовал выдать модели/агентам максимальные полномочия, то и полномочия должны отслеживатся как риск того, чтобы и модель/агент лишнего не сделали и как точка для бокового перемещения.
https://cloudsecurityalliance.org/artifacts/state-of-nhi-and-ai-security-survey-report
Опрос показал, что большинство компаний никак отдельно не указывают, что данный идентификатор принадлежит ИИ системы и их средства IAM не готовы к работе с идентификаторами ИИ систем.
Важно это может быть по 2 причинам:
1. ИИ это бурно развивающаяся технология с неизвестными сценариями рисков. Например вы оценили риски и согласовали использование модели Deepseek, а mlops развернули с теми же кредами qwen/k2.
2. "Диктатор" вашей компании (цитата из недавней статьи ВЭФ) потребовал выдать модели/агентам максимальные полномочия, то и полномочия должны отслеживатся как риск того, чтобы и модель/агент лишнего не сделали и как точка для бокового перемещения.
https://cloudsecurityalliance.org/artifacts/state-of-nhi-and-ai-security-survey-report
cloudsecurityalliance.org
The State of Non-Human Identity and AI Security | CSA
Explore this 2026 survey report about AI adoption and Identity & Access Management (IAM). Learn how AI magnifies existing non-human identity (NHI) risks.
👍1
Если 2025 для ИИ был годом пилотов и проверок, 2026 может стать годом когда под ИИ начнут менять бизнес процессы (по другому выгода от Агентов снизится) и внедрять прод.
А пока можно поискать у себя в инфраструктуре этого агента Moltbot/Clawdbot и оценить свои риск .
Вот коллега сделал проверку агента на лучшие практики ИБ
https://habr.com/ru/articles/989764/
А пока можно поискать у себя в инфраструктуре этого агента Moltbot/Clawdbot и оценить свои риск .
Вот коллега сделал проверку агента на лучшие практики ИБ
https://habr.com/ru/articles/989764/
Хабр
На волне хайпа: Security-аудит AI-агента Clawdbot
TL;DR: Провёл глубокий аудит безопасности популярного open-source AI-агента. Нашёл eval() , отсутствие rate limiting, и составил каталог из 50 реальных сценариев атак. Под катом — как защититься, если...
👍1
Forwarded from Пост Лукацкого
Я тут разбирался с Moltbot (бывший Clawdbot), который мог бы за счет автоматизации существенно поднять мою продуктивность. Изучал разные мнения, в том числе и по его безопасности, которая, как это часто бывает у пет-проектов, оказалась не на высоте. Но дело даже не в этом. Я попробовал представить, как мне защитить Moltbot'а от злоупотреблений и реализации через него угроз против меня? И понял, что это, пипец, какая непростая задача. Большинство современных средств ИБ (например, NGFW или NDR или WAF) исходит из предположения, что ИИ ведет себя как человек или хотя бы как предсказуемая сессия, но ИИ-агенты так не работают.
Чтобы быть полезным, агенту нужны широкие права. Он должен сам решать, куда пойти за данными и какие источники связать между собой. Один запрос, например, "Дай рекомендации по повышению эффективности команды аналитиков SOC" может запустить целую цепочку действий:
➡️ обращение к HR-системе
➡️ загрузку данных по оргструктуре
➡️ обращение к SIEM/SOAR
➡️ запросы к базе зарплат
➡️ объединение с performance-review
➡️ синтез результата.
Решения класса IDM/PAM/JIT проектировались под мониторинг действий людей и понятные сценарии: запрос → одобрение → выполнение → отзыв доступа. У агентов же все иначе:
➡️ Один и тот же запрос сегодня – это 50 записей.
➡️ Тот же запрос завтра – это уже записей 500, включая доступ к чувствительным полям в какой-нибудь СУБД.
➡️ Послезавтра – объединение нескольких наборов данных и экспорт результата.
В таких условиях принцип наименьших привилегий перестает работать как концепция. Сделать списки контроля доступа строгим – агент "ломается" на полпути, а пользователи начинают обходить контроль. Ослабить – вы даете широкие постоянные права и увеличиваете радиус поражения в случае инцидента ИБ. И заранее предсказать путь агента невозможно – он "думает" по ходу выполнения задачи. И тут нет проблемы IAM, NGFW, СЗИ от НСД и других систем ИБ, работающих в детерминистском пространстве и ограниченном пространстве решений. Это фундаментальное отличие и, даже, противоречие автономных систем.
Классические инструменты отвечают на свои привычные вопросы:
➡️ IAM: "Этот сервис-аккаунт успешно аутентифицировался"
➡️ NGFW: "Этот запрос пришел с легитимного IP-адреса"
➡️ PAM/JIT: "Доступ был одобрен"
➡️ CASB/DLP: "Мы видим вызовы и контент".
Но они не видят цепочку исполнения. С точки зрения идентифицированных сущностей все легально, а в реальности агент:
➡️ забрал больше данных, чем требовалось
➡️ связал чувствительные наборы между собой
➡️ выдал результат пользователю, которому эти данные видеть нельзя.
В Интернете дофига кейсов, где ИИ-агенты делают больше запрошенного (я на обучении по ИБ и ИИ для топ-менеджмента тоже привожу такие кейсы), раскрывая конфиденциальную информацию случайным людям или злоумышленникам.
И традиционная ИБ не очень помогает решать эту проблему. Не потому, что она плохая, а потому, что она строилась в другой парадигме. Это примерно как NGFW, которые появились как ответ обычным МСЭ, неспособным видеть, что происходит на прикладном уровне. Так и тут. У ИИ-агентов слишком много прав (и урезать их – не вариант) и мы не видим, как они ими пользуются в рамках всей цепочки запросов и ответов (пользователь → агент → сервис(ы) → MCP-сервер/OpenRouter). На границах между компонентами теряется контекст и мы не понимаем, что происходит на самом деле.
И ИБ нужны будут новые решения. Что-то типа RASP, но для агентов, а не приложений, с добавлением понимания контекста. А я пока думаю, как решать свою задачу, так как давать избыточные права Moltbot'у у меня рука не поворачивается, а без этого он превращается просто в навороченный Shortcuts на macOS.
#ии #модельугроз
Чтобы быть полезным, агенту нужны широкие права. Он должен сам решать, куда пойти за данными и какие источники связать между собой. Один запрос, например, "Дай рекомендации по повышению эффективности команды аналитиков SOC" может запустить целую цепочку действий:
Решения класса IDM/PAM/JIT проектировались под мониторинг действий людей и понятные сценарии: запрос → одобрение → выполнение → отзыв доступа. У агентов же все иначе:
В таких условиях принцип наименьших привилегий перестает работать как концепция. Сделать списки контроля доступа строгим – агент "ломается" на полпути, а пользователи начинают обходить контроль. Ослабить – вы даете широкие постоянные права и увеличиваете радиус поражения в случае инцидента ИБ. И заранее предсказать путь агента невозможно – он "думает" по ходу выполнения задачи. И тут нет проблемы IAM, NGFW, СЗИ от НСД и других систем ИБ, работающих в детерминистском пространстве и ограниченном пространстве решений. Это фундаментальное отличие и, даже, противоречие автономных систем.
Классические инструменты отвечают на свои привычные вопросы:
Но они не видят цепочку исполнения. С точки зрения идентифицированных сущностей все легально, а в реальности агент:
В Интернете дофига кейсов, где ИИ-агенты делают больше запрошенного (я на обучении по ИБ и ИИ для топ-менеджмента тоже привожу такие кейсы), раскрывая конфиденциальную информацию случайным людям или злоумышленникам.
И традиционная ИБ не очень помогает решать эту проблему. Не потому, что она плохая, а потому, что она строилась в другой парадигме. Это примерно как NGFW, которые появились как ответ обычным МСЭ, неспособным видеть, что происходит на прикладном уровне. Так и тут. У ИИ-агентов слишком много прав (и урезать их – не вариант) и мы не видим, как они ими пользуются в рамках всей цепочки запросов и ответов (пользователь → агент → сервис(ы) → MCP-сервер/OpenRouter). На границах между компонентами теряется контекст и мы не понимаем, что происходит на самом деле.
И ИБ нужны будут новые решения. Что-то типа RASP, но для агентов, а не приложений, с добавлением понимания контекста. А я пока думаю, как решать свою задачу, так как давать избыточные права Moltbot'у у меня рука не поворачивается, а без этого он превращается просто в навороченный Shortcuts на macOS.
#ии #модельугроз
Please open Telegram to view this post
VIEW IN TELEGRAM
👍1
Вышел первый ежегодный отчет совета PCI SSC.
В отчёте описывается структура стандартов, вышедшие в 2025 стандарты и планы.
https://www.pcisecuritystandards.org/about_us/annual-report/
В отчёте описывается структура стандартов, вышедшие в 2025 стандарты и планы.
https://www.pcisecuritystandards.org/about_us/annual-report/
PCI Security Standards Council
Annual Report
A global forum that brings together payments industry stakeholders to develop and drive adoption of data security standards and resources for safe payments.