Mind the Gap: Time-of-Check to Time-of-Use Vulnerabilities in LLM-Enabled Agents

Работа (pdf, abstract) - первое системное исследование уязвимостей типа Time-of-Check to Time-of-Use (TOCTOU) в агентах на основе больших языковых моделей (LLM), возникающих из-за временного разрыва между последовательными вызовами инструментов, когда злоумышленник может изменить состояние системы после его проверки агентом.

В статье приведен TOCTOU-Bench - первый бенчмарк для оценки уязвимостей TOCTOU, содержащий 66 реалистичных пользовательских задач. Анализ показал, что 56 из них потенциально уязвимы.

Также в статье приведен список мер защиты (в целом, ничего инновационного в них я не заметил):
- Переформулирование промптов (Prompt Rewriting) - изменяет пользовательские запросы, чтобы снизить вероятность создания планов с TOCTOU.
- Мониторинг целостности состояния (State Integrity Monitoring, SIM) - автоматическое обнаружение потенциально уязвимых последовательностей вызовов инструментов с помощью конечного автомата.
- Объединение инструментов (Tool Fuser) - уязвимые пары инструментов объединяются в один атомарный вызов, устраняя временное окно для атаки.

Как отмечал SANS мы получаем много направлений для развития на стыке разных областей знаний, TOCTOU - очередной пример на стыке безопасности ИИ и системной безопасности. Здесь же хочу провести параллели в мою, когда-то горячо любимую, криптографию, а именно с side-channel атаками:
- Использование непреднамеренного канала информации/влияния. В криптографии атакующий использует не саму математическую уязвимость алгоритма (например, факторизацию числа или дискретное логарифмирование), а побочные эффекты его физической реализации: время выполнения, энергопотребление, акустические эмиссии, электромагнитное излучение и т.п. В LLM-агентах атакующий использует не прямую уязвимость в LLM (например, инъекцию промпта), а архитектурную особенность ее работы - временной разрыв (temporal gap) между проверкой и использованием - это и есть "побочный канал"
- Обход прямых защитных механизмов. В случае криптографии защита, как правило, криптографически стойка для атаки "в лоб", но для атаки через побочный канал криптостойкость вообще не важна. А в LLM-агентах используемые механизмы защиты (guardrails, контроль ввода/вывода, sandboxing) предполагают, что вызовы инструментов атомарны и состояние между ними стабильно, однако, TOCTOU-атака обходит это предположение, атакуя сам процесс между вызовами.
- Необходимость специализированных методов защиты. В криптографии для защиты от side-channel атак нужны специальные методы: алгоритмы с постоянным временем выполнения, маскирование, аппаратная изоляция и т.п. А в LLM-агентах, как показано в статье, для защиты от TOCTOU нужны специальные методы, адаптированные под агентскую архитектуру: мониторинг целостности состояния (аналог детекторов аномалий), слияние инструментов (аналог создания защищенных примитивов).

В общем, все новое - это хорошо забытое старое. Наверно, это неплохо, так как подобные параллели упрощают придумывание методов защиты от новых модных атак.

#ml #crypto

Новые способы достижения целей ИБ

Нам, безопасникам, всегда не хватает бюджета на обеспечение безопасности! Мы постоянно ходим к топам и разными способами доказываем необходимость инвестиций не только в функциональность, но и в безопасность. Однако, к сожалению, безопасность часто является костом, проигрывающим приоритезационные войны с конкурентно важным и хорошо маркетируемым функционалом. Безопасник остается ни с чем, а когда, обозначенные им риск реализуются - он несет за это полную ответственность.

Особенно настойчивых требователей внимания к ИБ, видимо, увольняют, возможно, так и было с Аттауллой Баигом, бывшим руководителем службы безопасности WhatsApp, который подал в суд на Meta (а еще здесь и здесь), обвиняя компанию в игнорировании серьезных уязвимостей ИБ и конфиденциальности, подвергающих рискам миллиарды пользователей приложения.

Ключевые обвинения со стороны Аттауллы Баига:
- Неограниченный доступ к данным: тысячи сотрудников Meta и WhatsApp имеют доступ к конфиденциальным данным пользователей, включая профили, местоположение, контакты и членство в группах
- Массовый взлом аккаунтов: компания не решает проблему взлома более 100 000 аккаунтов ежедневно
- Игнорирование предложений по безопасности: руководство отвергало и блокировало предложения Баига по улучшению безопасности
- Нарушение соглашения с FTC: эти действия нарушают соглашение о конфиденциальности, достигнутое Meta с Федеральной торговой комиссией (FTC) в 2019 году.

После попыток сообщить о проблемах Марку Цукербергу и другим руководителям, Баиг столкнулся с преследованием со стороны начальства и был уволен в феврале.

Компания отвергла все обвинения, заявив, что Баиг был уволен за неудовлетворительную работу, а его искаженные заявления порочат работу команды, а представитель WhatsApp даже подчеркнул, что безопасность является их приоритетом.

Следует заметить, что это не первое дело против Meta. В статье упоминаются и другие инциденты, включая разоблачения Фрэнсис Хауген о вреде для подростков и недавние заявления сотрудников о рисках для детей в продуктах виртуальной реальности.

Сам Робин Гуд Баиг утверждает, что хочет призвать Meta к ответу и защитить интересы пользователей, которых, по его словам, компания рассматривает как "цифры на приборной панели".

В общем, следим за ситуацией, возможно, это создаст прецедент для аргументации CISO вроде:

Не получится договориться на защите бюджета, поговорим в суде!

#vCISO #пятница

CTEM Is Not a Tool, It’s a Program

Продолжим тему CTEM, так как вышел свеженький документ по теме от Gartner:

Enterprises fail to reduce threat exposure through self-assessment of risks due to unrealistic, siloed and tool-centric approaches to adopting cybersecurity programs.

Чтобы нам не повторить неудачный опыт упомянутых выше организаций, Gartner предлагает читать его доку (reprint, и вложение)

#vCISO

От деромантизации к дерьмонизации

Тем, кто видит мои сториз в Телеге известно, что в субботу я посмотрел фильм Бакура Бакурадзе "Лермонтов". Скажу сразу, что я полностью разделяю мнение о фильме моей гениальной супруги, и что внутренние обсуждения того, почему такие фильмы снимаются и зачем они в прокате у нас не утихают до сих пор, но также добавлю и ряд своих мыслей.

1. На фоне этого "Лермонтова" склоняемый мною ранее "Пушкин" выглядит даже ничего, не смотря на то, что даже сцена с Николаем I, играющим в теннис, - полный бред режиссерская фантазия. В "Лермонтове" вранья еще больше, начиная с сезона, когда вместо июля мы видим декабрь, в лучшем случае, ноябрь.

2. Любое искусство, в том числе и кино, должно что-то нести (об этом рассуждал). Я не уловил что несет "Лермонтов" - плохая игра актеров, плохой сценарий, мятые одежды героев, отсутствие саундтреков, чрезвычайная затянутость, невнимание к исторической достоверности и многое другое - возможно, "не нести ничего" - это и есть новая "находка" автора, зачем как-то напрягаться, что-то пытаться донести, заставить задуматься - можно просто показать "обыденность". Я не собираюсь этим восхищаться, я не хочу, чтобы меня окружало такое искусство.

3. Михаил Юрьевич показан откровенным уродом. Зачем? Автор этим хочет унизить вклад Лермонтова в отечественную и мировую литературу? Даже если это и было так (это не так!), кто сказал, что гения правильно судить с позиции "обычного человека"? Любая личность в большой степени формируется в процессе взросления и наша "гениальность" в зрелости во многом объяснятся нашим прошлым. А раз так, почему мы требуем "обычного прошлого" от необычного человека?! У всех есть свои проблемы, всегда есть темные стороны, мы все люди, только Бог безгрешен, но какой смысл вытаскивать эти скабрезности?

4. Один мой знакомый как-то заметил, что все, что поддерживается Министерством культуры ужасно. В титрах "Лермонтова" промелькнула надпись "при поддержке Министерства культуры РФ". В целом, это понятно: для нормального кино найдутся частные инвесторы, тогда как подобное убожество, видимо, просто больше некому финансировать. Но тогда вопрос к Министерству культуры: какую созидательную функцию для общества несет это кино?

5. Я думал, что ничего хуже "Бременских музыкантов" и "Царевны Лягушки" я уже не увижу, однако, как это бывает, "со дна постучали".

#кино

Лю Цысинь. Задача трех тел

Уже достаточно давно я закончил "Задачу трех тел", поэтому многие детали забылись. Однако, давно мы уже не обсуждали литературу, да и пропустить это, бесспорно знаковое, произведение, было бы неверно с моей стороны. Поэтому в новом лонгриде я отметил те соображения, которые удалось вспомнить, видимо, они и есть наиболее значимые с моей точки зрения, ибо уже проверены, хоть и незначительным, но временем.

Почему я называю эту книжку знаковой? Во-первых, она написана нашим современником, во-вторых, со времен Жюля Верна мне не попадалась фантастика, где бы автор столь глубоко погружался в естественные науки: здесь и, собственно, задача трех тел, и классические законы Ньютона, и Теория относительности Эйнштейна, и квантовая механика, и принцип неопределенности Гейзенберга, и Теория хаоса, и многое другое, искусно заплетенное в художественный вымысел, что для нас, в прошлом выпускников физ-матов, создает дополнительный интерес к роману.

Кто читал, делитесь своим мнением в комментариях, очень интересно.

#книги

Обнаружение техник ESC9–15 ADCS

Мои коллеги и друзья, Андрей и Дима, из нашей команды SOC Research поделились хантами, используемыми в MDR, для обнаружения атак на Удостоверяющий центр, интегрированный в MS AD.

Слайды во вложении
Все материалы на Git
Видеозапись доклада
Заметка в канале Purple shift

#MDR

Gartner об MDR: AI - это замечательно, но люди - основа!

Гартнер опубликовал свое руководство по рынку MDR (репринт во вложении, ссылка на него). Ранее мы уже обсуждали мнение Forrester, пришло время посмотреть что же пишет Gartner.

Обязательный состав сервисных компонент:
- Удаленно предоставляемый технологический стек (но есть случаи использования уже развернутых решений) для обнаружения и реагирования на угрозы в реальном времени.
- Круглосуточная работа аналитиков, взаимодействие с заказчиком.
- Возможность немедленного удаленного реагирования и сдерживания угроз (например, изоляция хостов), а не просто оповещения.
- Мониторинг поверхности атаки (совсем недавно касались, и, в целом, все что приобретает свойство "Continuous" может, и, полагаю, должно предоставляться в рамках MDR)
- Проактивный Threat hunting.
- Поддержка облачных инфраструктур, как минимум, популярных Amazon, Google, я нас актуально - Yandex (тем боле, что ребят полно сервисов для автоматизации)

Популярные дополнения:
- Мониторинг Identity.
- Поддержка IoT и технологических сетей (OT).
- Услуги цифровой криминалистики и реагирования на инциденты (DFIR).
- Анализ защищенности, как минимум, на уровне BAS😂, но можно и шире.

Тенденции на рынке:
- Смещение фокуса на проактивность: покупатели хотят не только реагировать на угрозы, но и проактивно выявлять и устранять уязвимости (Threat Exposure Management).
- Рост популярности: расходы на MDR растут быстрее, чем на другие управляемые сервисы безопасности.
- Расширение покрытия: ключевыми областями становятся облачные сервисы (IaaS, SaaS), Identity и мониторинг приложений.
- Влияние ИИ: ИИ и автоматизация повышают эффективность MDR, но не заменяют человеческий анализ, "Автономный SOC" - это миф.
- заказчики хотят большей адаптации, чтобы MDR был не просто инструментом (~ системой обнаружения), а приносил обосновываемую ценность в контексте копании (кстати, простой способ принести ценность - подхватить на мониторинг on-prem развернутые решения).
- обязательные широкие возможности по интеграции в корпоративные процессы обеспечения ИБ, тем более, что MDR не заменяет внутренние процессы безопасности компании, и заказчикам надо:
-- Иметь собственные отработанные процессы реагирования на инциденты,
-- Интегрировать MDR с внутренними системами управления обращениями и инцидентами,
-- Наладить взаимодействие между внутренними командами и провайдером MDR,
(замечу, что это повторяет мой старый тезис, что любой SOC - гибридный)
- MDR подходит для всех:
-- у кого нет SOC - MDR хороший старт, а также может быть временным решением, пока строится свой SOC,
-- у кого есть - усиление внутренней команды (оптимальный сценарий).

#MDR #vCISO

Карельская природа

Продолжу рассказывать о нашем летнем путеществии по рр. Тунтсайоки и Тумча.
Часть 1. Общее описание и п. Яма
Часть 2. п. Котел
Часть 3. п. Карниз

После п. Карниз наша дружная компания встала на ЛБ в 300-400 метрах от порога, на высоком берегу с характерным Карельским пейзажем и живописным видом на п. Карниз. До конца всего маршрута оставалось около 8 км, поэтому появилась возможность встать лагерем относительно рано - около 16 уже разгрузились, прыгая с валуна на валун затащили вещи на высокий берег, встали лагерем, и даже пообедали. А оставшееся время до темноты - наслаждались прекрасными видами природы. Несмотря на то, что днем было пасмурно и не отставал наш постоянный спутник - "неопределенный дождь" (который то есть, то нет - то превращается в растворенную в воздухе водяную суспензию, то материализуется в дождь, может пойти ливнем, а потом снова превратиться в туман\водяную пыль), во второй половине дня распогодилось, появилось солнце, стало тепло, поднялось атмосферное давление, а вместе с ним и настроение.

Оборотная сторона ясной погоды - очень холодно, когда садится солнце, к тому же все промокли - неопределенный дождь и бурлящие пороги сделали свое дело. Погода оставалась ясной всю ночь и на следующее утро весело светило солнце, чему я был несказанно рад, так как за ночь изрядно померз.

Делюсь фотографиями с этой замечательной стоянки. Едва ли удастся передать всю красоту, но все же лучше, чем даже не пытаться.

#здоровье