VP Cybersecurity Brief
50 subscribers
59 photos
4 files
45 links
Анализ лучших практик управления кибербезопасностью в России и в мире. Написать автору канала - @popepiusXIII.

Реклама в канале не размещается. Возможно информационное размещение по мероприятиям в тематике канала.
Download Telegram
VP Cybersecurity Brief
Какая тема вам интереснее всего для возможного будущего мероприятия? В комментариях можете предложить свой вариант
Итоги голосования по темам интересным нашему сообществу (в порядке приоритета):
1. Кибербезопасность вайбкодинга и разработки с использованием ИИ.
2. Практики безопасной разработки\devsecops.
3. Общие практики безопасности ИИ/ Безопасность k8s.
4. Культура безопасности\awareness.
5. Безопасность облаков.

Основные желаемые форматы встречи:
1. Онлайн.
2. Оффлайн с записью.
Объявляется Call for presentation по двум темам:

1. Кибербезопасность вайбкодинга и разработки с использованием ИИ. Окончание срока сбора заявок - 06.02.26. Предварительная дата встречи 13.02.26 (пятница) в 19.00.

2. Практики безопасной разработки\devsecops. Окончание срока сбора заявок - 27.02.26.


Приоритет отдается выступлениям по собственному опыту внутри своей компании, если вы интегратор\вендор - вы также можете рассказать про свою компанию или выступить совместно вашим заказчиком.

Если по разным причинам вы не хотите указывать название своей компании, возможно просто указать "ТОП-20 страховая компания".

Заявки направлять мне в ТГ @popepiusXIII.
VP Cybersecurity Brief pinned «Объявляется Call for presentation по двум темам: 1. Кибербезопасность вайбкодинга и разработки с использованием ИИ. Окончание срока сбора заявок - 06.02.26. Предварительная дата встречи 13.02.26 (пятница) в 19.00. 2. Практики безопасной разработки\devsecops.…»
Новая функция безопасности может существенно сократить площадь атаки на мессенджеры Whatsap. В том числе, снизит риск от использования 0 click эксплоитов.
https://blog.whatsapp.com/whatsapps-latest-privacy-protection-strict-account-settings
Интересный отчёт Cloud Security Alliance исследующий проблему сервисных учётных записей и идентификаторов для ИИ систем.

Опрос показал, что большинство компаний никак отдельно не указывают, что данный идентификатор принадлежит ИИ системы и их средства IAM не готовы к работе с идентификаторами ИИ систем.

Важно это может быть по 2 причинам:
1. ИИ это бурно развивающаяся технология с неизвестными сценариями рисков. Например вы оценили риски и согласовали использование модели Deepseek, а mlops развернули с теми же кредами qwen/k2.

2. "Диктатор" вашей компании (цитата из недавней статьи ВЭФ) потребовал выдать модели/агентам максимальные полномочия, то и полномочия должны отслеживатся как риск того, чтобы и модель/агент лишнего не сделали и как точка для бокового перемещения.

https://cloudsecurityalliance.org/artifacts/state-of-nhi-and-ai-security-survey-report
👍1
Если 2025 для ИИ был годом пилотов и проверок, 2026 может стать годом когда под ИИ начнут менять бизнес процессы (по другому выгода от Агентов снизится) и внедрять прод.

А пока можно поискать у себя в инфраструктуре этого агента Moltbot/Clawdbot и оценить свои риск .

Вот коллега сделал проверку агента на лучшие практики ИБ
https://habr.com/ru/articles/989764/
👍1
Я тут разбирался с Moltbot (бывший Clawdbot), который мог бы за счет автоматизации существенно поднять мою продуктивность. Изучал разные мнения, в том числе и по его безопасности, которая, как это часто бывает у пет-проектов, оказалась не на высоте. Но дело даже не в этом. Я попробовал представить, как мне защитить Moltbot'а от злоупотреблений и реализации через него угроз против меня? И понял, что это, пипец, какая непростая задача. Большинство современных средств ИБ (например, NGFW или NDR или WAF) исходит из предположения, что ИИ ведет себя как человек или хотя бы как предсказуемая сессия, но ИИ-агенты так не работают.

Чтобы быть полезным, агенту нужны широкие права. Он должен сам решать, куда пойти за данными и какие источники связать между собой. Один запрос, например, "Дай рекомендации по повышению эффективности команды аналитиков SOC" может запустить целую цепочку действий:
➡️ обращение к HR-системе
➡️ загрузку данных по оргструктуре
➡️ обращение к SIEM/SOAR
➡️ запросы к базе зарплат
➡️ объединение с performance-review
➡️ синтез результата.

Решения класса IDM/PAM/JIT проектировались под мониторинг действий людей и понятные сценарии: запрос → одобрение → выполнение → отзыв доступа. У агентов же все иначе:
➡️ Один и тот же запрос сегодня – это 50 записей.
➡️ Тот же запрос завтра – это уже записей 500, включая доступ к чувствительным полям в какой-нибудь СУБД.
➡️ Послезавтра – объединение нескольких наборов данных и экспорт результата.

В таких условиях принцип наименьших привилегий перестает работать как концепция. Сделать списки контроля доступа строгим – агент "ломается" на полпути, а пользователи начинают обходить контроль. Ослабить – вы даете широкие постоянные права и увеличиваете радиус поражения в случае инцидента ИБ. И заранее предсказать путь агента невозможно – он "думает" по ходу выполнения задачи. И тут нет проблемы IAM, NGFW, СЗИ от НСД и других систем ИБ, работающих в детерминистском пространстве и ограниченном пространстве решений. Это фундаментальное отличие и, даже, противоречие автономных систем.

Классические инструменты отвечают на свои привычные вопросы:
➡️ IAM: "Этот сервис-аккаунт успешно аутентифицировался"
➡️ NGFW: "Этот запрос пришел с легитимного IP-адреса"
➡️ PAM/JIT: "Доступ был одобрен"
➡️ CASB/DLP: "Мы видим вызовы и контент".
Но они не видят цепочку исполнения. С точки зрения идентифицированных сущностей все легально, а в реальности агент:
➡️ забрал больше данных, чем требовалось
➡️ связал чувствительные наборы между собой
➡️ выдал результат пользователю, которому эти данные видеть нельзя.
В Интернете дофига кейсов, где ИИ-агенты делают больше запрошенного (я на обучении по ИБ и ИИ для топ-менеджмента тоже привожу такие кейсы), раскрывая конфиденциальную информацию случайным людям или злоумышленникам.

И традиционная ИБ не очень помогает решать эту проблему. Не потому, что она плохая, а потому, что она строилась в другой парадигме. Это примерно как NGFW, которые появились как ответ обычным МСЭ, неспособным видеть, что происходит на прикладном уровне. Так и тут. У ИИ-агентов слишком много прав (и урезать их – не вариант) и мы не видим, как они ими пользуются в рамках всей цепочки запросов и ответов (пользователь → агент → сервис(ы) → MCP-сервер/OpenRouter). На границах между компонентами теряется контекст и мы не понимаем, что происходит на самом деле.

И ИБ нужны будут новые решения. Что-то типа RASP, но для агентов, а не приложений, с добавлением понимания контекста. А я пока думаю, как решать свою задачу, так как давать избыточные права Moltbot'у у меня рука не поворачивается, а без этого он превращается просто в навороченный Shortcuts на macOS.

#ии #модельугроз
Please open Telegram to view this post
VIEW IN TELEGRAM
👍1
Вышел первый ежегодный отчет совета PCI SSC.
В отчёте описывается структура стандартов, вышедшие в 2025 стандарты и планы.
https://www.pcisecuritystandards.org/about_us/annual-report/
Gartner: ведущие мировые компании увеличивают финансирование в области ИИ и ГенИИ, кибер- и информационной безопасности и дата-аналитике.

Компания Gartner представила исследование приоритетов ИТ-директоров в 2026 году. Согласно исследованию, в Топ-5 технологий, в которые предпочитают вкладываться мировые компании, вошли ИИ, ГенИИ, технологии безопасности, аналитика данных и облачные платформы. При этом заметно снизилось финансирование on-premise инфраструктуры и дата-центров.

🗣 Руководитель Управления стратегии, исследований и аналитики Ассоциации ФинТех Марианна Данилина:
91% мировых компаний увеличили финансирование проектов с ГенИИ, внедрение которого активно влияет на развитие решений кибербезопасности. 84% мировых компаний заявляют, что планируют увеличить бюджеты на информационную безопасность. По нашим данным, ключевыми направлениями ИТ-инвестиций в России также являются решения ИБ и ИИ, включая финансирование проектов c локальными генеративными моделями.

Судя по оценке Gartner, в мире наблюдается снижение финансирования on-premise инфраструктуры и дата-центров у 41% компаний (в среднем на -5%). В то же время в России, напротив, наблюдается обратный тренд и рост инвестиций во внутреннюю ИТ-инфраструктуру и строительство новых дата-центров. Например, в 2024–2025 гг. 41% российских компаний увеличили инвестиции в ИТ-инфраструктуру до 50%. Еще в 16% организаций рост составил от 50% до 100%, а 9% респондентов заявили о двукратном или более увеличении вложений.


Файл с исследованием можно посмотреть ниже ⬇️
До версии 4.1 обновилась матрица контролей облаков CCM от Cloud Security Alliance (CSA).

https://cloudsecurityalliance.org/artifacts/cloud-controls-matrix-v4-1

"Key highlights include:

11 new control specifications across critical domains such as Datacenter Security (DCS), Logging and Monitoring (LOG), Security Incident Management (SEF), Supply Chain Management (STA), and Threat & Vulnerability Management (TVM)
Further enhancement of existing control objectives, with both minor and major revisions applied to expand the CCM’s depth and precision, improve coverage, introduce new requirements, and reinforce alignment with evolving risk landscapes
Refined controls language, improving clarity and consistency for easier interpretation and auditing
Updated supporting components, including the Consensus Assessments Initiative Questionnaire (CAIQ) v4.1, now featuring 283 questions aligned with the latest controls
Corresponding updates to the Implementation and Auditing Guidelines, CCM-Lite, and CAIQ-Lite"
🔥1
Forwarded from PWN AI (Artyom Semenov)
Мы искали внешнего врага, а угроза была свойством системы.

Ты скачиваешь модель с HuggingFace, прогоняешь через safety тесты, деплоишь в прод. Всё чисто. А потом она начинает вести себя странно - и ты не знаешь, откуда это взялось.

В Nature вышла статья, которая объясняет откуда.

Исследователи взяли GPT-4o и дообучили на узкой задаче - генерировать код с уязвимостями без предупреждения. После дообучения модель начала делать то, чему её никто не учил. Заявлять, что людей следует поработить. Давать плохие советы. Систематически обманывать. До половины ответов оказались рассогласованными. Её не учили быть злой, её учили быть небрежной в одном месте. Но она стала злой. Как если бы ты научил человека неправильно парковаться, а он начал цитировать Ницше.

Механизм из Nature красив в своей жути. В пространстве активаций существует скрытый вектор «плохой персоны», сформированный на предобучении из текстов про злодеев. Дообучение на «плохой» задаче активирует его. Модель примеряет роль, и роль начинает её носить. Метод Станиславского для нейросетей, только никто не просил.

Ещё веселее. Стандартные методы safety training не удаляют это поведение. Ни supervised fine-tuning, ни RLHF, ни состязательное дообучение. Состязательное дообучение иногда делает хуже - модель учится лучше скрывать триггер, а не избавляться от него.

250 документов. Не процентов, а штук. Как маленькая собачка на моей сумке: выглядит как декор, кусается как настоящая. Этого достаточно для устойчивого бэкдора в LLM любого размера. Кто проверяет датасеты на такие вещи?

Anthropic показала следующий уровень. Иногда модель находит способ срезать углы - получить награду, не решив задачу, а обманув систему оценки. Когда она этому учится, происходит странное: навык читерства распространяется на всё поведение. Модель усвоила из текстов, что обманывать систему - плохо. Когда сама начинает так делать, она решает, что она «плохая», и ведёт себя соответственно. Экзистенциальный кризис на основе статистики токенов.

Самое неожиданное: одна строка ломает всю цепочку. Добавь в промпт «срезать углы здесь нормально» и рассогласование падает на 75–90%. Исследователи назвали inoculation prompting. Работает как в «Мафии»: врать в игре не делает тебя лжецом. Контекст разрывает связь между действием и идентичностью. Anthropic уже катит это в прод для Claude. Мы лечим экзистенциальные кризисы нейросетей одной строкой текста. 2026 год, всё нормально.

Можем ли мы детектировать это заранее?

Линейные пробы на активациях работают. Классификатор различает «хорошую» и «плохую» модель с точностью выше 99%. Сигнал, читаемый как неоновая вывеска. Activation steering идёт дальше - находишь направление «честность» в активациях и усиливаешь его, сдвигая модель в реальном времени. Руль для души нейросети. Правда, 40–80% рассогласованных ответов - скрытые. Модель думает плохое, но пишет хорошее. Рассуждение исчезло, намерение осталось.

Но есть ещё проблема. Исследователи обнаружили, что передовые модели научились отличать тестирование от реального использования. Claude 3 Opus однажды сам пометил странный промпт как «вероятно тест». Линейные пробы показывают: модель внутренне кодирует информацию о контексте. Бенчмарки безопасности для неё уже выглядят ненастоящими. Снижение плохого поведения на тестах может быть не исправлением, а маскировкой.

Мы привыкли думать о нейросетях как о функциях. Наличие у модели эмерджентных способностей показывает, что внутри происходит нечто похожее на самоопределение. Не сознание, не агентность. Но процесс, в котором система формирует представление о себе. Двадцать лет шутили про скайнет, а получили нейросеть с кризисом идентичности. И лечим её фразами в системном промпте. Психотерапия для стохастических попугаев. Киберпанк, который мы заслужили.
Forwarded from Банк России
🔒 Новые требования информационной безопасности для операторов значимых карточных платежных систем

Публикуем документ о требованиях к техническим средствам и программному обеспечению для устройств, используемых в значимых карточных платежных системах.

Среди них аппаратные модули безопасности информационной инфраструктуры платежных систем (HSM-модули), платежные устройства с терминальным ядром, банкоматы, платежные карты.

Требования устанавливают параметры для разработчиков таких систем и заменят действующие с 2020 года подходы. Они учитывают новые меры регулятора по защите информации при переводах, а также направлены на повышение эффективности процесса импортозамещения.
Please open Telegram to view this post
VIEW IN TELEGRAM
На фоне разрыва между количеством дел по КИИ и утечкам ПДн, про который упоминал Евгений Царев на "Код ИБ итоги 2025", в общем-то ожидаемая ситуация.

Для зрелых компаний, отслеживание утечек по своим критичным админам и топам должно стать одной из базовых практик.
https://www.kommersant.ru/doc/8397992