Forwarded from VP Cybersecurity Brief
Набор материалов, ссылок и репозиториев по технологии обмана/ханейпотов.
https://github.com/tracebit-com/awesome-deception
https://github.com/tracebit-com/awesome-deception
GitHub
GitHub - tracebit-com/awesome-deception: An awesome collection of articles, papers, conferences, guides, and tools relating to…
An awesome collection of articles, papers, conferences, guides, and tools relating to deception in cybersecurity. - tracebit-com/awesome-deception
Forwarded from AlexRedSec
Ребята из Wiz опубликовали простой, но удобный и наглядный фреймворк SITF (SDLC Infrastructure Threat Framework), разработанный для анализа и защиты от атак, нацеленных на инфраструктуру жизненного цикла разработки программного обеспечения.
Фреймворк SITF позволяет визуализировать этапы атаки на компоненты цикла разработки, идентифицировать риски, сопоставлять с ними меры защиты и позволяет анализировать цепочку атаки.
SITF включает в себя:
🟠 Flow Builder — интерактивный инструмент для моделирования и визуализации атак.
🟠 Explore Techniques Visually — интерактивная MITRE-подобная база знаний о техниках злоумышленников, содержащая в т.ч. описание рисков и мер защиты в разрезе компонентов SDLC.
🟠 Руководство по фреймворку c примерами использования и инструкциями, а также с разбором известных атак (CircleCI, Shai-Hulud-2 и Codecov).
Как и писал в начале, инструменты очень простые в использовании и визуально удобные👍
В репозитории есть ссылки на онлайн-версии, но ссылки там битые🤷 Однако, для локального запуска достаточно скачать два html-файла и открыть их в любом веб-браузере.
#sdlc #framework #technique #risks #controls #modeling
Фреймворк SITF позволяет визуализировать этапы атаки на компоненты цикла разработки, идентифицировать риски, сопоставлять с ними меры защиты и позволяет анализировать цепочку атаки.
SITF включает в себя:
Как и писал в начале, инструменты очень простые в использовании и визуально удобные
В репозитории есть ссылки на онлайн-версии, но ссылки там битые🤷 Однако, для локального запуска достаточно скачать два html-файла и открыть их в любом веб-браузере.
#sdlc #framework #technique #risks #controls #modeling
Please open Telegram to view this post
VIEW IN TELEGRAM
Forwarded from VP Cybersecurity Brief
Итоги голосования по темам интересным нашему сообществу (в порядке приоритета):
1. Кибербезопасность вайбкодинга и разработки с использованием ИИ.
2. Практики безопасной разработки\devsecops.
3. Общие практики безопасности ИИ/ Безопасность k8s.
4. Культура безопасности\awareness.
5. Безопасность облаков.
Основные желаемые форматы встречи:
1. Онлайн.
2. Оффлайн с записью.
1. Кибербезопасность вайбкодинга и разработки с использованием ИИ.
2. Практики безопасной разработки\devsecops.
3. Общие практики безопасности ИИ/ Безопасность k8s.
4. Культура безопасности\awareness.
5. Безопасность облаков.
Основные желаемые форматы встречи:
1. Онлайн.
2. Оффлайн с записью.
Forwarded from VP Cybersecurity Brief
Объявляется Call for presentation по двум темам:
1. Кибербезопасность вайбкодинга и разработки с использованием ИИ. Окончание срока сбора заявок - 06.02.26. Предварительная дата встречи 13.02.26 (пятница) в 19.00.
2. Практики безопасной разработки\devsecops. Окончание срока сбора заявок - 27.02.26.
Приоритет отдается выступлениям по собственному опыту внутри своей компании, если вы интегратор\вендор - вы также можете рассказать про свою компанию или выступить совместно вашим заказчиком.
Если по разным причинам вы не хотите указывать название своей компании, возможно просто указать "ТОП-20 страховая компания".
Заявки направлять мне в ТГ @popepiusXIII.
1. Кибербезопасность вайбкодинга и разработки с использованием ИИ. Окончание срока сбора заявок - 06.02.26. Предварительная дата встречи 13.02.26 (пятница) в 19.00.
2. Практики безопасной разработки\devsecops. Окончание срока сбора заявок - 27.02.26.
Приоритет отдается выступлениям по собственному опыту внутри своей компании, если вы интегратор\вендор - вы также можете рассказать про свою компанию или выступить совместно вашим заказчиком.
Если по разным причинам вы не хотите указывать название своей компании, возможно просто указать "ТОП-20 страховая компания".
Заявки направлять мне в ТГ @popepiusXIII.
Forwarded from AISecHub
AI Security Tools - January 2026
https://medium.com/ai-security-hub/ai-security-tools-january-2026-ed4636eb31e8
https://medium.com/ai-security-hub/ai-security-tools-january-2026-ed4636eb31e8
Medium
AI Security Tools — January 2026
Open-source AI security repositories published in January 2026.
Forwarded from VP Cybersecurity Brief
Новая функция безопасности может существенно сократить площадь атаки на мессенджеры Whatsap. В том числе, снизит риск от использования 0 click эксплоитов.
https://blog.whatsapp.com/whatsapps-latest-privacy-protection-strict-account-settings
https://blog.whatsapp.com/whatsapps-latest-privacy-protection-strict-account-settings
WhatsApp.com
WhatsApp's Latest Privacy Protection: Strict Account Settings
WhatsApp's new Strict Account Settings feature provides extreme security against sophisticated cyber attacks by locking privacy settings and blocking media from non-contacts.
Forwarded from VP Cybersecurity Brief
Интересный отчёт Cloud Security Alliance исследующий проблему сервисных учётных записей и идентификаторов для ИИ систем.
Опрос показал, что большинство компаний никак отдельно не указывают, что данный идентификатор принадлежит ИИ системы и их средства IAM не готовы к работе с идентификаторами ИИ систем.
Важно это может быть по 2 причинам:
1. ИИ это бурно развивающаяся технология с неизвестными сценариями рисков. Например вы оценили риски и согласовали использование модели Deepseek, а mlops развернули с теми же кредами qwen/k2.
2. "Диктатор" вашей компании (цитата из недавней статьи ВЭФ) потребовал выдать модели/агентам максимальные полномочия, то и полномочия должны отслеживатся как риск того, чтобы и модель/агент лишнего не сделали и как точка для бокового перемещения.
https://cloudsecurityalliance.org/artifacts/state-of-nhi-and-ai-security-survey-report
Опрос показал, что большинство компаний никак отдельно не указывают, что данный идентификатор принадлежит ИИ системы и их средства IAM не готовы к работе с идентификаторами ИИ систем.
Важно это может быть по 2 причинам:
1. ИИ это бурно развивающаяся технология с неизвестными сценариями рисков. Например вы оценили риски и согласовали использование модели Deepseek, а mlops развернули с теми же кредами qwen/k2.
2. "Диктатор" вашей компании (цитата из недавней статьи ВЭФ) потребовал выдать модели/агентам максимальные полномочия, то и полномочия должны отслеживатся как риск того, чтобы и модель/агент лишнего не сделали и как точка для бокового перемещения.
https://cloudsecurityalliance.org/artifacts/state-of-nhi-and-ai-security-survey-report
cloudsecurityalliance.org
The State of Non-Human Identity and AI Security | CSA
Explore this 2026 survey report about AI adoption and Identity & Access Management (IAM). Learn how AI magnifies existing non-human identity (NHI) risks.
Forwarded from VP Cybersecurity Brief
Если 2025 для ИИ был годом пилотов и проверок, 2026 может стать годом когда под ИИ начнут менять бизнес процессы (по другому выгода от Агентов снизится) и внедрять прод.
А пока можно поискать у себя в инфраструктуре этого агента Moltbot/Clawdbot и оценить свои риск .
Вот коллега сделал проверку агента на лучшие практики ИБ
https://habr.com/ru/articles/989764/
А пока можно поискать у себя в инфраструктуре этого агента Moltbot/Clawdbot и оценить свои риск .
Вот коллега сделал проверку агента на лучшие практики ИБ
https://habr.com/ru/articles/989764/
Хабр
На волне хайпа: Security-аудит AI-агента Clawdbot
TL;DR: Провёл глубокий аудит безопасности популярного open-source AI-агента. Нашёл eval() , отсутствие rate limiting, и составил каталог из 50 реальных сценариев атак. Под катом — как защититься, если...
Forwarded from Пост Лукацкого
Я тут разбирался с Moltbot (бывший Clawdbot), который мог бы за счет автоматизации существенно поднять мою продуктивность. Изучал разные мнения, в том числе и по его безопасности, которая, как это часто бывает у пет-проектов, оказалась не на высоте. Но дело даже не в этом. Я попробовал представить, как мне защитить Moltbot'а от злоупотреблений и реализации через него угроз против меня? И понял, что это, пипец, какая непростая задача. Большинство современных средств ИБ (например, NGFW или NDR или WAF) исходит из предположения, что ИИ ведет себя как человек или хотя бы как предсказуемая сессия, но ИИ-агенты так не работают.
Чтобы быть полезным, агенту нужны широкие права. Он должен сам решать, куда пойти за данными и какие источники связать между собой. Один запрос, например, "Дай рекомендации по повышению эффективности команды аналитиков SOC" может запустить целую цепочку действий:
➡️ обращение к HR-системе
➡️ загрузку данных по оргструктуре
➡️ обращение к SIEM/SOAR
➡️ запросы к базе зарплат
➡️ объединение с performance-review
➡️ синтез результата.
Решения класса IDM/PAM/JIT проектировались под мониторинг действий людей и понятные сценарии: запрос → одобрение → выполнение → отзыв доступа. У агентов же все иначе:
➡️ Один и тот же запрос сегодня – это 50 записей.
➡️ Тот же запрос завтра – это уже записей 500, включая доступ к чувствительным полям в какой-нибудь СУБД.
➡️ Послезавтра – объединение нескольких наборов данных и экспорт результата.
В таких условиях принцип наименьших привилегий перестает работать как концепция. Сделать списки контроля доступа строгим – агент "ломается" на полпути, а пользователи начинают обходить контроль. Ослабить – вы даете широкие постоянные права и увеличиваете радиус поражения в случае инцидента ИБ. И заранее предсказать путь агента невозможно – он "думает" по ходу выполнения задачи. И тут нет проблемы IAM, NGFW, СЗИ от НСД и других систем ИБ, работающих в детерминистском пространстве и ограниченном пространстве решений. Это фундаментальное отличие и, даже, противоречие автономных систем.
Классические инструменты отвечают на свои привычные вопросы:
➡️ IAM: "Этот сервис-аккаунт успешно аутентифицировался"
➡️ NGFW: "Этот запрос пришел с легитимного IP-адреса"
➡️ PAM/JIT: "Доступ был одобрен"
➡️ CASB/DLP: "Мы видим вызовы и контент".
Но они не видят цепочку исполнения. С точки зрения идентифицированных сущностей все легально, а в реальности агент:
➡️ забрал больше данных, чем требовалось
➡️ связал чувствительные наборы между собой
➡️ выдал результат пользователю, которому эти данные видеть нельзя.
В Интернете дофига кейсов, где ИИ-агенты делают больше запрошенного (я на обучении по ИБ и ИИ для топ-менеджмента тоже привожу такие кейсы), раскрывая конфиденциальную информацию случайным людям или злоумышленникам.
И традиционная ИБ не очень помогает решать эту проблему. Не потому, что она плохая, а потому, что она строилась в другой парадигме. Это примерно как NGFW, которые появились как ответ обычным МСЭ, неспособным видеть, что происходит на прикладном уровне. Так и тут. У ИИ-агентов слишком много прав (и урезать их – не вариант) и мы не видим, как они ими пользуются в рамках всей цепочки запросов и ответов (пользователь → агент → сервис(ы) → MCP-сервер/OpenRouter). На границах между компонентами теряется контекст и мы не понимаем, что происходит на самом деле.
И ИБ нужны будут новые решения. Что-то типа RASP, но для агентов, а не приложений, с добавлением понимания контекста. А я пока думаю, как решать свою задачу, так как давать избыточные права Moltbot'у у меня рука не поворачивается, а без этого он превращается просто в навороченный Shortcuts на macOS.
#ии #модельугроз
Чтобы быть полезным, агенту нужны широкие права. Он должен сам решать, куда пойти за данными и какие источники связать между собой. Один запрос, например, "Дай рекомендации по повышению эффективности команды аналитиков SOC" может запустить целую цепочку действий:
Решения класса IDM/PAM/JIT проектировались под мониторинг действий людей и понятные сценарии: запрос → одобрение → выполнение → отзыв доступа. У агентов же все иначе:
В таких условиях принцип наименьших привилегий перестает работать как концепция. Сделать списки контроля доступа строгим – агент "ломается" на полпути, а пользователи начинают обходить контроль. Ослабить – вы даете широкие постоянные права и увеличиваете радиус поражения в случае инцидента ИБ. И заранее предсказать путь агента невозможно – он "думает" по ходу выполнения задачи. И тут нет проблемы IAM, NGFW, СЗИ от НСД и других систем ИБ, работающих в детерминистском пространстве и ограниченном пространстве решений. Это фундаментальное отличие и, даже, противоречие автономных систем.
Классические инструменты отвечают на свои привычные вопросы:
Но они не видят цепочку исполнения. С точки зрения идентифицированных сущностей все легально, а в реальности агент:
В Интернете дофига кейсов, где ИИ-агенты делают больше запрошенного (я на обучении по ИБ и ИИ для топ-менеджмента тоже привожу такие кейсы), раскрывая конфиденциальную информацию случайным людям или злоумышленникам.
И традиционная ИБ не очень помогает решать эту проблему. Не потому, что она плохая, а потому, что она строилась в другой парадигме. Это примерно как NGFW, которые появились как ответ обычным МСЭ, неспособным видеть, что происходит на прикладном уровне. Так и тут. У ИИ-агентов слишком много прав (и урезать их – не вариант) и мы не видим, как они ими пользуются в рамках всей цепочки запросов и ответов (пользователь → агент → сервис(ы) → MCP-сервер/OpenRouter). На границах между компонентами теряется контекст и мы не понимаем, что происходит на самом деле.
И ИБ нужны будут новые решения. Что-то типа RASP, но для агентов, а не приложений, с добавлением понимания контекста. А я пока думаю, как решать свою задачу, так как давать избыточные права Moltbot'у у меня рука не поворачивается, а без этого он превращается просто в навороченный Shortcuts на macOS.
#ии #модельугроз
Please open Telegram to view this post
VIEW IN TELEGRAM
Forwarded from VP Cybersecurity Brief
Вышел первый ежегодный отчет совета PCI SSC.
В отчёте описывается структура стандартов, вышедшие в 2025 стандарты и планы.
https://www.pcisecuritystandards.org/about_us/annual-report/
В отчёте описывается структура стандартов, вышедшие в 2025 стандарты и планы.
https://www.pcisecuritystandards.org/about_us/annual-report/
PCI Security Standards Council
Annual Report
A global forum that brings together payments industry stakeholders to develop and drive adoption of data security standards and resources for safe payments.
Forwarded from Ассоциация ФинТех
Gartner: ведущие мировые компании увеличивают финансирование в области ИИ и ГенИИ, кибер- и информационной безопасности и дата-аналитике.
Компания Gartner представила исследование приоритетов ИТ-директоров в 2026 году. Согласно исследованию, в Топ-5 технологий, в которые предпочитают вкладываться мировые компании, вошли ИИ, ГенИИ, технологии безопасности, аналитика данных и облачные платформы. При этом заметно снизилось финансирование on-premise инфраструктуры и дата-центров.
🗣 Руководитель Управления стратегии, исследований и аналитики Ассоциации ФинТех Марианна Данилина:
91% мировых компаний увеличили финансирование проектов с ГенИИ, внедрение которого активно влияет на развитие решений кибербезопасности. 84% мировых компаний заявляют, что планируют увеличить бюджеты на информационную безопасность. По нашим данным, ключевыми направлениями ИТ-инвестиций в России также являются решения ИБ и ИИ, включая финансирование проектов c локальными генеративными моделями.
Судя по оценке Gartner, в мире наблюдается снижение финансирования on-premise инфраструктуры и дата-центров у 41% компаний (в среднем на -5%). В то же время в России, напротив, наблюдается обратный тренд и рост инвестиций во внутреннюю ИТ-инфраструктуру и строительство новых дата-центров. Например, в 2024–2025 гг. 41% российских компаний увеличили инвестиции в ИТ-инфраструктуру до 50%. Еще в 16% организаций рост составил от 50% до 100%, а 9% респондентов заявили о двукратном или более увеличении вложений.
Файл с исследованием можно посмотреть ниже ⬇️
Компания Gartner представила исследование приоритетов ИТ-директоров в 2026 году. Согласно исследованию, в Топ-5 технологий, в которые предпочитают вкладываться мировые компании, вошли ИИ, ГенИИ, технологии безопасности, аналитика данных и облачные платформы. При этом заметно снизилось финансирование on-premise инфраструктуры и дата-центров.
🗣 Руководитель Управления стратегии, исследований и аналитики Ассоциации ФинТех Марианна Данилина:
91% мировых компаний увеличили финансирование проектов с ГенИИ, внедрение которого активно влияет на развитие решений кибербезопасности. 84% мировых компаний заявляют, что планируют увеличить бюджеты на информационную безопасность. По нашим данным, ключевыми направлениями ИТ-инвестиций в России также являются решения ИБ и ИИ, включая финансирование проектов c локальными генеративными моделями.
Судя по оценке Gartner, в мире наблюдается снижение финансирования on-premise инфраструктуры и дата-центров у 41% компаний (в среднем на -5%). В то же время в России, напротив, наблюдается обратный тренд и рост инвестиций во внутреннюю ИТ-инфраструктуру и строительство новых дата-центров. Например, в 2024–2025 гг. 41% российских компаний увеличили инвестиции в ИТ-инфраструктуру до 50%. Еще в 16% организаций рост составил от 50% до 100%, а 9% респондентов заявили о двукратном или более увеличении вложений.
Файл с исследованием можно посмотреть ниже ⬇️
Forwarded from Листок бюрократической защиты информации
Рекомендации_по_безопасной_настройке_Samba.pdf
107.7 KB
На сайте ФСТЭК России опубликованы Рекомендации по безопасной настройке программного обеспечения Samba.
Please open Telegram to view this post
VIEW IN TELEGRAM
Forwarded from VP Cybersecurity Brief
До версии 4.1 обновилась матрица контролей облаков CCM от Cloud Security Alliance (CSA).
https://cloudsecurityalliance.org/artifacts/cloud-controls-matrix-v4-1
"Key highlights include:
11 new control specifications across critical domains such as Datacenter Security (DCS), Logging and Monitoring (LOG), Security Incident Management (SEF), Supply Chain Management (STA), and Threat & Vulnerability Management (TVM)
Further enhancement of existing control objectives, with both minor and major revisions applied to expand the CCM’s depth and precision, improve coverage, introduce new requirements, and reinforce alignment with evolving risk landscapes
Refined controls language, improving clarity and consistency for easier interpretation and auditing
Updated supporting components, including the Consensus Assessments Initiative Questionnaire (CAIQ) v4.1, now featuring 283 questions aligned with the latest controls
Corresponding updates to the Implementation and Auditing Guidelines, CCM-Lite, and CAIQ-Lite"
https://cloudsecurityalliance.org/artifacts/cloud-controls-matrix-v4-1
"Key highlights include:
11 new control specifications across critical domains such as Datacenter Security (DCS), Logging and Monitoring (LOG), Security Incident Management (SEF), Supply Chain Management (STA), and Threat & Vulnerability Management (TVM)
Further enhancement of existing control objectives, with both minor and major revisions applied to expand the CCM’s depth and precision, improve coverage, introduce new requirements, and reinforce alignment with evolving risk landscapes
Refined controls language, improving clarity and consistency for easier interpretation and auditing
Updated supporting components, including the Consensus Assessments Initiative Questionnaire (CAIQ) v4.1, now featuring 283 questions aligned with the latest controls
Corresponding updates to the Implementation and Auditing Guidelines, CCM-Lite, and CAIQ-Lite"
CSA
Cloud Controls Matrix and CAIQ v4.1 | CSA
Forwarded from PWN AI (Artyom Semenov)
Мы искали внешнего врага, а угроза была свойством системы.
Ты скачиваешь модель с HuggingFace, прогоняешь через safety тесты, деплоишь в прод. Всё чисто. А потом она начинает вести себя странно - и ты не знаешь, откуда это взялось.
В Nature вышла статья, которая объясняет откуда.
Исследователи взяли GPT-4o и дообучили на узкой задаче - генерировать код с уязвимостями без предупреждения. После дообучения модель начала делать то, чему её никто не учил. Заявлять, что людей следует поработить. Давать плохие советы. Систематически обманывать. До половины ответов оказались рассогласованными. Её не учили быть злой, её учили быть небрежной в одном месте. Но она стала злой. Как если бы ты научил человека неправильно парковаться, а он начал цитировать Ницше.
Механизм из Nature красив в своей жути. В пространстве активаций существует скрытый вектор «плохой персоны», сформированный на предобучении из текстов про злодеев. Дообучение на «плохой» задаче активирует его. Модель примеряет роль, и роль начинает её носить. Метод Станиславского для нейросетей, только никто не просил.
Ещё веселее. Стандартные методы safety training не удаляют это поведение. Ни supervised fine-tuning, ни RLHF, ни состязательное дообучение. Состязательное дообучение иногда делает хуже - модель учится лучше скрывать триггер, а не избавляться от него.
250 документов. Не процентов, а штук. Как маленькая собачка на моей сумке: выглядит как декор, кусается как настоящая. Этого достаточно для устойчивого бэкдора в LLM любого размера. Кто проверяет датасеты на такие вещи?
Anthropic показала следующий уровень. Иногда модель находит способ срезать углы - получить награду, не решив задачу, а обманув систему оценки. Когда она этому учится, происходит странное: навык читерства распространяется на всё поведение. Модель усвоила из текстов, что обманывать систему - плохо. Когда сама начинает так делать, она решает, что она «плохая», и ведёт себя соответственно. Экзистенциальный кризис на основе статистики токенов.
Самое неожиданное: одна строка ломает всю цепочку. Добавь в промпт «срезать углы здесь нормально» и рассогласование падает на 75–90%. Исследователи назвали inoculation prompting. Работает как в «Мафии»: врать в игре не делает тебя лжецом. Контекст разрывает связь между действием и идентичностью. Anthropic уже катит это в прод для Claude. Мы лечим экзистенциальные кризисы нейросетей одной строкой текста. 2026 год, всё нормально.
Можем ли мы детектировать это заранее?
Линейные пробы на активациях работают. Классификатор различает «хорошую» и «плохую» модель с точностью выше 99%. Сигнал, читаемый как неоновая вывеска. Activation steering идёт дальше - находишь направление «честность» в активациях и усиливаешь его, сдвигая модель в реальном времени. Руль для души нейросети. Правда, 40–80% рассогласованных ответов - скрытые. Модель думает плохое, но пишет хорошее. Рассуждение исчезло, намерение осталось.
Но есть ещё проблема. Исследователи обнаружили, что передовые модели научились отличать тестирование от реального использования. Claude 3 Opus однажды сам пометил странный промпт как «вероятно тест». Линейные пробы показывают: модель внутренне кодирует информацию о контексте. Бенчмарки безопасности для неё уже выглядят ненастоящими. Снижение плохого поведения на тестах может быть не исправлением, а маскировкой.
Мы привыкли думать о нейросетях как о функциях. Наличие у модели эмерджентных способностей показывает, что внутри происходит нечто похожее на самоопределение. Не сознание, не агентность. Но процесс, в котором система формирует представление о себе. Двадцать лет шутили про скайнет, а получили нейросеть с кризисом идентичности. И лечим её фразами в системном промпте. Психотерапия для стохастических попугаев. Киберпанк, который мы заслужили.
Ты скачиваешь модель с HuggingFace, прогоняешь через safety тесты, деплоишь в прод. Всё чисто. А потом она начинает вести себя странно - и ты не знаешь, откуда это взялось.
В Nature вышла статья, которая объясняет откуда.
Исследователи взяли GPT-4o и дообучили на узкой задаче - генерировать код с уязвимостями без предупреждения. После дообучения модель начала делать то, чему её никто не учил. Заявлять, что людей следует поработить. Давать плохие советы. Систематически обманывать. До половины ответов оказались рассогласованными. Её не учили быть злой, её учили быть небрежной в одном месте. Но она стала злой. Как если бы ты научил человека неправильно парковаться, а он начал цитировать Ницше.
Механизм из Nature красив в своей жути. В пространстве активаций существует скрытый вектор «плохой персоны», сформированный на предобучении из текстов про злодеев. Дообучение на «плохой» задаче активирует его. Модель примеряет роль, и роль начинает её носить. Метод Станиславского для нейросетей, только никто не просил.
Ещё веселее. Стандартные методы safety training не удаляют это поведение. Ни supervised fine-tuning, ни RLHF, ни состязательное дообучение. Состязательное дообучение иногда делает хуже - модель учится лучше скрывать триггер, а не избавляться от него.
250 документов. Не процентов, а штук. Как маленькая собачка на моей сумке: выглядит как декор, кусается как настоящая. Этого достаточно для устойчивого бэкдора в LLM любого размера. Кто проверяет датасеты на такие вещи?
Anthropic показала следующий уровень. Иногда модель находит способ срезать углы - получить награду, не решив задачу, а обманув систему оценки. Когда она этому учится, происходит странное: навык читерства распространяется на всё поведение. Модель усвоила из текстов, что обманывать систему - плохо. Когда сама начинает так делать, она решает, что она «плохая», и ведёт себя соответственно. Экзистенциальный кризис на основе статистики токенов.
Самое неожиданное: одна строка ломает всю цепочку. Добавь в промпт «срезать углы здесь нормально» и рассогласование падает на 75–90%. Исследователи назвали inoculation prompting. Работает как в «Мафии»: врать в игре не делает тебя лжецом. Контекст разрывает связь между действием и идентичностью. Anthropic уже катит это в прод для Claude. Мы лечим экзистенциальные кризисы нейросетей одной строкой текста. 2026 год, всё нормально.
Можем ли мы детектировать это заранее?
Линейные пробы на активациях работают. Классификатор различает «хорошую» и «плохую» модель с точностью выше 99%. Сигнал, читаемый как неоновая вывеска. Activation steering идёт дальше - находишь направление «честность» в активациях и усиливаешь его, сдвигая модель в реальном времени. Руль для души нейросети. Правда, 40–80% рассогласованных ответов - скрытые. Модель думает плохое, но пишет хорошее. Рассуждение исчезло, намерение осталось.
Но есть ещё проблема. Исследователи обнаружили, что передовые модели научились отличать тестирование от реального использования. Claude 3 Opus однажды сам пометил странный промпт как «вероятно тест». Линейные пробы показывают: модель внутренне кодирует информацию о контексте. Бенчмарки безопасности для неё уже выглядят ненастоящими. Снижение плохого поведения на тестах может быть не исправлением, а маскировкой.
Мы привыкли думать о нейросетях как о функциях. Наличие у модели эмерджентных способностей показывает, что внутри происходит нечто похожее на самоопределение. Не сознание, не агентность. Но процесс, в котором система формирует представление о себе. Двадцать лет шутили про скайнет, а получили нейросеть с кризисом идентичности. И лечим её фразами в системном промпте. Психотерапия для стохастических попугаев. Киберпанк, который мы заслужили.