Forwarded from Пост Лукацкого
Я тут разбирался с Moltbot (бывший Clawdbot), который мог бы за счет автоматизации существенно поднять мою продуктивность. Изучал разные мнения, в том числе и по его безопасности, которая, как это часто бывает у пет-проектов, оказалась не на высоте. Но дело даже не в этом. Я попробовал представить, как мне защитить Moltbot'а от злоупотреблений и реализации через него угроз против меня? И понял, что это, пипец, какая непростая задача. Большинство современных средств ИБ (например, NGFW или NDR или WAF) исходит из предположения, что ИИ ведет себя как человек или хотя бы как предсказуемая сессия, но ИИ-агенты так не работают.
Чтобы быть полезным, агенту нужны широкие права. Он должен сам решать, куда пойти за данными и какие источники связать между собой. Один запрос, например, "Дай рекомендации по повышению эффективности команды аналитиков SOC" может запустить целую цепочку действий:
➡️ обращение к HR-системе
➡️ загрузку данных по оргструктуре
➡️ обращение к SIEM/SOAR
➡️ запросы к базе зарплат
➡️ объединение с performance-review
➡️ синтез результата.
Решения класса IDM/PAM/JIT проектировались под мониторинг действий людей и понятные сценарии: запрос → одобрение → выполнение → отзыв доступа. У агентов же все иначе:
➡️ Один и тот же запрос сегодня – это 50 записей.
➡️ Тот же запрос завтра – это уже записей 500, включая доступ к чувствительным полям в какой-нибудь СУБД.
➡️ Послезавтра – объединение нескольких наборов данных и экспорт результата.
В таких условиях принцип наименьших привилегий перестает работать как концепция. Сделать списки контроля доступа строгим – агент "ломается" на полпути, а пользователи начинают обходить контроль. Ослабить – вы даете широкие постоянные права и увеличиваете радиус поражения в случае инцидента ИБ. И заранее предсказать путь агента невозможно – он "думает" по ходу выполнения задачи. И тут нет проблемы IAM, NGFW, СЗИ от НСД и других систем ИБ, работающих в детерминистском пространстве и ограниченном пространстве решений. Это фундаментальное отличие и, даже, противоречие автономных систем.
Классические инструменты отвечают на свои привычные вопросы:
➡️ IAM: "Этот сервис-аккаунт успешно аутентифицировался"
➡️ NGFW: "Этот запрос пришел с легитимного IP-адреса"
➡️ PAM/JIT: "Доступ был одобрен"
➡️ CASB/DLP: "Мы видим вызовы и контент".
Но они не видят цепочку исполнения. С точки зрения идентифицированных сущностей все легально, а в реальности агент:
➡️ забрал больше данных, чем требовалось
➡️ связал чувствительные наборы между собой
➡️ выдал результат пользователю, которому эти данные видеть нельзя.
В Интернете дофига кейсов, где ИИ-агенты делают больше запрошенного (я на обучении по ИБ и ИИ для топ-менеджмента тоже привожу такие кейсы), раскрывая конфиденциальную информацию случайным людям или злоумышленникам.
И традиционная ИБ не очень помогает решать эту проблему. Не потому, что она плохая, а потому, что она строилась в другой парадигме. Это примерно как NGFW, которые появились как ответ обычным МСЭ, неспособным видеть, что происходит на прикладном уровне. Так и тут. У ИИ-агентов слишком много прав (и урезать их – не вариант) и мы не видим, как они ими пользуются в рамках всей цепочки запросов и ответов (пользователь → агент → сервис(ы) → MCP-сервер/OpenRouter). На границах между компонентами теряется контекст и мы не понимаем, что происходит на самом деле.
И ИБ нужны будут новые решения. Что-то типа RASP, но для агентов, а не приложений, с добавлением понимания контекста. А я пока думаю, как решать свою задачу, так как давать избыточные права Moltbot'у у меня рука не поворачивается, а без этого он превращается просто в навороченный Shortcuts на macOS.
#ии #модельугроз
Чтобы быть полезным, агенту нужны широкие права. Он должен сам решать, куда пойти за данными и какие источники связать между собой. Один запрос, например, "Дай рекомендации по повышению эффективности команды аналитиков SOC" может запустить целую цепочку действий:
Решения класса IDM/PAM/JIT проектировались под мониторинг действий людей и понятные сценарии: запрос → одобрение → выполнение → отзыв доступа. У агентов же все иначе:
В таких условиях принцип наименьших привилегий перестает работать как концепция. Сделать списки контроля доступа строгим – агент "ломается" на полпути, а пользователи начинают обходить контроль. Ослабить – вы даете широкие постоянные права и увеличиваете радиус поражения в случае инцидента ИБ. И заранее предсказать путь агента невозможно – он "думает" по ходу выполнения задачи. И тут нет проблемы IAM, NGFW, СЗИ от НСД и других систем ИБ, работающих в детерминистском пространстве и ограниченном пространстве решений. Это фундаментальное отличие и, даже, противоречие автономных систем.
Классические инструменты отвечают на свои привычные вопросы:
Но они не видят цепочку исполнения. С точки зрения идентифицированных сущностей все легально, а в реальности агент:
В Интернете дофига кейсов, где ИИ-агенты делают больше запрошенного (я на обучении по ИБ и ИИ для топ-менеджмента тоже привожу такие кейсы), раскрывая конфиденциальную информацию случайным людям или злоумышленникам.
И традиционная ИБ не очень помогает решать эту проблему. Не потому, что она плохая, а потому, что она строилась в другой парадигме. Это примерно как NGFW, которые появились как ответ обычным МСЭ, неспособным видеть, что происходит на прикладном уровне. Так и тут. У ИИ-агентов слишком много прав (и урезать их – не вариант) и мы не видим, как они ими пользуются в рамках всей цепочки запросов и ответов (пользователь → агент → сервис(ы) → MCP-сервер/OpenRouter). На границах между компонентами теряется контекст и мы не понимаем, что происходит на самом деле.
И ИБ нужны будут новые решения. Что-то типа RASP, но для агентов, а не приложений, с добавлением понимания контекста. А я пока думаю, как решать свою задачу, так как давать избыточные права Moltbot'у у меня рука не поворачивается, а без этого он превращается просто в навороченный Shortcuts на macOS.
#ии #модельугроз
Please open Telegram to view this post
VIEW IN TELEGRAM
Forwarded from VP Cybersecurity Brief
Вышел первый ежегодный отчет совета PCI SSC.
В отчёте описывается структура стандартов, вышедшие в 2025 стандарты и планы.
https://www.pcisecuritystandards.org/about_us/annual-report/
В отчёте описывается структура стандартов, вышедшие в 2025 стандарты и планы.
https://www.pcisecuritystandards.org/about_us/annual-report/
PCI Security Standards Council
Annual Report
A global forum that brings together payments industry stakeholders to develop and drive adoption of data security standards and resources for safe payments.
Forwarded from Ассоциация ФинТех
Gartner: ведущие мировые компании увеличивают финансирование в области ИИ и ГенИИ, кибер- и информационной безопасности и дата-аналитике.
Компания Gartner представила исследование приоритетов ИТ-директоров в 2026 году. Согласно исследованию, в Топ-5 технологий, в которые предпочитают вкладываться мировые компании, вошли ИИ, ГенИИ, технологии безопасности, аналитика данных и облачные платформы. При этом заметно снизилось финансирование on-premise инфраструктуры и дата-центров.
🗣 Руководитель Управления стратегии, исследований и аналитики Ассоциации ФинТех Марианна Данилина:
91% мировых компаний увеличили финансирование проектов с ГенИИ, внедрение которого активно влияет на развитие решений кибербезопасности. 84% мировых компаний заявляют, что планируют увеличить бюджеты на информационную безопасность. По нашим данным, ключевыми направлениями ИТ-инвестиций в России также являются решения ИБ и ИИ, включая финансирование проектов c локальными генеративными моделями.
Судя по оценке Gartner, в мире наблюдается снижение финансирования on-premise инфраструктуры и дата-центров у 41% компаний (в среднем на -5%). В то же время в России, напротив, наблюдается обратный тренд и рост инвестиций во внутреннюю ИТ-инфраструктуру и строительство новых дата-центров. Например, в 2024–2025 гг. 41% российских компаний увеличили инвестиции в ИТ-инфраструктуру до 50%. Еще в 16% организаций рост составил от 50% до 100%, а 9% респондентов заявили о двукратном или более увеличении вложений.
Файл с исследованием можно посмотреть ниже ⬇️
Компания Gartner представила исследование приоритетов ИТ-директоров в 2026 году. Согласно исследованию, в Топ-5 технологий, в которые предпочитают вкладываться мировые компании, вошли ИИ, ГенИИ, технологии безопасности, аналитика данных и облачные платформы. При этом заметно снизилось финансирование on-premise инфраструктуры и дата-центров.
🗣 Руководитель Управления стратегии, исследований и аналитики Ассоциации ФинТех Марианна Данилина:
91% мировых компаний увеличили финансирование проектов с ГенИИ, внедрение которого активно влияет на развитие решений кибербезопасности. 84% мировых компаний заявляют, что планируют увеличить бюджеты на информационную безопасность. По нашим данным, ключевыми направлениями ИТ-инвестиций в России также являются решения ИБ и ИИ, включая финансирование проектов c локальными генеративными моделями.
Судя по оценке Gartner, в мире наблюдается снижение финансирования on-premise инфраструктуры и дата-центров у 41% компаний (в среднем на -5%). В то же время в России, напротив, наблюдается обратный тренд и рост инвестиций во внутреннюю ИТ-инфраструктуру и строительство новых дата-центров. Например, в 2024–2025 гг. 41% российских компаний увеличили инвестиции в ИТ-инфраструктуру до 50%. Еще в 16% организаций рост составил от 50% до 100%, а 9% респондентов заявили о двукратном или более увеличении вложений.
Файл с исследованием можно посмотреть ниже ⬇️
Forwarded from Листок бюрократической защиты информации
Рекомендации_по_безопасной_настройке_Samba.pdf
107.7 KB
На сайте ФСТЭК России опубликованы Рекомендации по безопасной настройке программного обеспечения Samba.
Please open Telegram to view this post
VIEW IN TELEGRAM
Forwarded from VP Cybersecurity Brief
До версии 4.1 обновилась матрица контролей облаков CCM от Cloud Security Alliance (CSA).
https://cloudsecurityalliance.org/artifacts/cloud-controls-matrix-v4-1
"Key highlights include:
11 new control specifications across critical domains such as Datacenter Security (DCS), Logging and Monitoring (LOG), Security Incident Management (SEF), Supply Chain Management (STA), and Threat & Vulnerability Management (TVM)
Further enhancement of existing control objectives, with both minor and major revisions applied to expand the CCM’s depth and precision, improve coverage, introduce new requirements, and reinforce alignment with evolving risk landscapes
Refined controls language, improving clarity and consistency for easier interpretation and auditing
Updated supporting components, including the Consensus Assessments Initiative Questionnaire (CAIQ) v4.1, now featuring 283 questions aligned with the latest controls
Corresponding updates to the Implementation and Auditing Guidelines, CCM-Lite, and CAIQ-Lite"
https://cloudsecurityalliance.org/artifacts/cloud-controls-matrix-v4-1
"Key highlights include:
11 new control specifications across critical domains such as Datacenter Security (DCS), Logging and Monitoring (LOG), Security Incident Management (SEF), Supply Chain Management (STA), and Threat & Vulnerability Management (TVM)
Further enhancement of existing control objectives, with both minor and major revisions applied to expand the CCM’s depth and precision, improve coverage, introduce new requirements, and reinforce alignment with evolving risk landscapes
Refined controls language, improving clarity and consistency for easier interpretation and auditing
Updated supporting components, including the Consensus Assessments Initiative Questionnaire (CAIQ) v4.1, now featuring 283 questions aligned with the latest controls
Corresponding updates to the Implementation and Auditing Guidelines, CCM-Lite, and CAIQ-Lite"
CSA
Cloud Controls Matrix and CAIQ v4.1 | CSA
Forwarded from PWN AI (Artyom Semenov)
Мы искали внешнего врага, а угроза была свойством системы.
Ты скачиваешь модель с HuggingFace, прогоняешь через safety тесты, деплоишь в прод. Всё чисто. А потом она начинает вести себя странно - и ты не знаешь, откуда это взялось.
В Nature вышла статья, которая объясняет откуда.
Исследователи взяли GPT-4o и дообучили на узкой задаче - генерировать код с уязвимостями без предупреждения. После дообучения модель начала делать то, чему её никто не учил. Заявлять, что людей следует поработить. Давать плохие советы. Систематически обманывать. До половины ответов оказались рассогласованными. Её не учили быть злой, её учили быть небрежной в одном месте. Но она стала злой. Как если бы ты научил человека неправильно парковаться, а он начал цитировать Ницше.
Механизм из Nature красив в своей жути. В пространстве активаций существует скрытый вектор «плохой персоны», сформированный на предобучении из текстов про злодеев. Дообучение на «плохой» задаче активирует его. Модель примеряет роль, и роль начинает её носить. Метод Станиславского для нейросетей, только никто не просил.
Ещё веселее. Стандартные методы safety training не удаляют это поведение. Ни supervised fine-tuning, ни RLHF, ни состязательное дообучение. Состязательное дообучение иногда делает хуже - модель учится лучше скрывать триггер, а не избавляться от него.
250 документов. Не процентов, а штук. Как маленькая собачка на моей сумке: выглядит как декор, кусается как настоящая. Этого достаточно для устойчивого бэкдора в LLM любого размера. Кто проверяет датасеты на такие вещи?
Anthropic показала следующий уровень. Иногда модель находит способ срезать углы - получить награду, не решив задачу, а обманув систему оценки. Когда она этому учится, происходит странное: навык читерства распространяется на всё поведение. Модель усвоила из текстов, что обманывать систему - плохо. Когда сама начинает так делать, она решает, что она «плохая», и ведёт себя соответственно. Экзистенциальный кризис на основе статистики токенов.
Самое неожиданное: одна строка ломает всю цепочку. Добавь в промпт «срезать углы здесь нормально» и рассогласование падает на 75–90%. Исследователи назвали inoculation prompting. Работает как в «Мафии»: врать в игре не делает тебя лжецом. Контекст разрывает связь между действием и идентичностью. Anthropic уже катит это в прод для Claude. Мы лечим экзистенциальные кризисы нейросетей одной строкой текста. 2026 год, всё нормально.
Можем ли мы детектировать это заранее?
Линейные пробы на активациях работают. Классификатор различает «хорошую» и «плохую» модель с точностью выше 99%. Сигнал, читаемый как неоновая вывеска. Activation steering идёт дальше - находишь направление «честность» в активациях и усиливаешь его, сдвигая модель в реальном времени. Руль для души нейросети. Правда, 40–80% рассогласованных ответов - скрытые. Модель думает плохое, но пишет хорошее. Рассуждение исчезло, намерение осталось.
Но есть ещё проблема. Исследователи обнаружили, что передовые модели научились отличать тестирование от реального использования. Claude 3 Opus однажды сам пометил странный промпт как «вероятно тест». Линейные пробы показывают: модель внутренне кодирует информацию о контексте. Бенчмарки безопасности для неё уже выглядят ненастоящими. Снижение плохого поведения на тестах может быть не исправлением, а маскировкой.
Мы привыкли думать о нейросетях как о функциях. Наличие у модели эмерджентных способностей показывает, что внутри происходит нечто похожее на самоопределение. Не сознание, не агентность. Но процесс, в котором система формирует представление о себе. Двадцать лет шутили про скайнет, а получили нейросеть с кризисом идентичности. И лечим её фразами в системном промпте. Психотерапия для стохастических попугаев. Киберпанк, который мы заслужили.
Ты скачиваешь модель с HuggingFace, прогоняешь через safety тесты, деплоишь в прод. Всё чисто. А потом она начинает вести себя странно - и ты не знаешь, откуда это взялось.
В Nature вышла статья, которая объясняет откуда.
Исследователи взяли GPT-4o и дообучили на узкой задаче - генерировать код с уязвимостями без предупреждения. После дообучения модель начала делать то, чему её никто не учил. Заявлять, что людей следует поработить. Давать плохие советы. Систематически обманывать. До половины ответов оказались рассогласованными. Её не учили быть злой, её учили быть небрежной в одном месте. Но она стала злой. Как если бы ты научил человека неправильно парковаться, а он начал цитировать Ницше.
Механизм из Nature красив в своей жути. В пространстве активаций существует скрытый вектор «плохой персоны», сформированный на предобучении из текстов про злодеев. Дообучение на «плохой» задаче активирует его. Модель примеряет роль, и роль начинает её носить. Метод Станиславского для нейросетей, только никто не просил.
Ещё веселее. Стандартные методы safety training не удаляют это поведение. Ни supervised fine-tuning, ни RLHF, ни состязательное дообучение. Состязательное дообучение иногда делает хуже - модель учится лучше скрывать триггер, а не избавляться от него.
250 документов. Не процентов, а штук. Как маленькая собачка на моей сумке: выглядит как декор, кусается как настоящая. Этого достаточно для устойчивого бэкдора в LLM любого размера. Кто проверяет датасеты на такие вещи?
Anthropic показала следующий уровень. Иногда модель находит способ срезать углы - получить награду, не решив задачу, а обманув систему оценки. Когда она этому учится, происходит странное: навык читерства распространяется на всё поведение. Модель усвоила из текстов, что обманывать систему - плохо. Когда сама начинает так делать, она решает, что она «плохая», и ведёт себя соответственно. Экзистенциальный кризис на основе статистики токенов.
Самое неожиданное: одна строка ломает всю цепочку. Добавь в промпт «срезать углы здесь нормально» и рассогласование падает на 75–90%. Исследователи назвали inoculation prompting. Работает как в «Мафии»: врать в игре не делает тебя лжецом. Контекст разрывает связь между действием и идентичностью. Anthropic уже катит это в прод для Claude. Мы лечим экзистенциальные кризисы нейросетей одной строкой текста. 2026 год, всё нормально.
Можем ли мы детектировать это заранее?
Линейные пробы на активациях работают. Классификатор различает «хорошую» и «плохую» модель с точностью выше 99%. Сигнал, читаемый как неоновая вывеска. Activation steering идёт дальше - находишь направление «честность» в активациях и усиливаешь его, сдвигая модель в реальном времени. Руль для души нейросети. Правда, 40–80% рассогласованных ответов - скрытые. Модель думает плохое, но пишет хорошее. Рассуждение исчезло, намерение осталось.
Но есть ещё проблема. Исследователи обнаружили, что передовые модели научились отличать тестирование от реального использования. Claude 3 Opus однажды сам пометил странный промпт как «вероятно тест». Линейные пробы показывают: модель внутренне кодирует информацию о контексте. Бенчмарки безопасности для неё уже выглядят ненастоящими. Снижение плохого поведения на тестах может быть не исправлением, а маскировкой.
Мы привыкли думать о нейросетях как о функциях. Наличие у модели эмерджентных способностей показывает, что внутри происходит нечто похожее на самоопределение. Не сознание, не агентность. Но процесс, в котором система формирует представление о себе. Двадцать лет шутили про скайнет, а получили нейросеть с кризисом идентичности. И лечим её фразами в системном промпте. Психотерапия для стохастических попугаев. Киберпанк, который мы заслужили.
Forwarded from VP Cybersecurity Brief
На фоне разрыва между количеством дел по КИИ и утечкам ПДн, про который упоминал Евгений Царев на "Код ИБ итоги 2025", в общем-то ожидаемая ситуация.
Для зрелых компаний, отслеживание утечек по своим критичным админам и топам должно стать одной из базовых практик.
https://www.kommersant.ru/doc/8397992
Для зрелых компаний, отслеживание утечек по своим критичным админам и топам должно стать одной из базовых практик.
https://www.kommersant.ru/doc/8397992
Коммерсантъ
Родная течь
Объем утечек данных из российских сервисов за год увеличился в полтора раза
Forwarded from Ассоциация ФинТех
Опубликован технологический прогноз на 2026 год: ИИ повлияет на все отрасли.
📌 Экспертная группа из специалистов IEEE Computer Society опубликовала прогнозы на 2026 год. Все 26 выделенных технологий так или иначе связаны с искусственным интеллектом — он остаётся главным драйвером трансформации.
Кибербезопасность вошла в топ-технологий с оценкой B+. Акцент смещается на устойчивость критической инфраструктуры: неизменяемые резервные копии, быстрое восстановление и регулярные учения по реагированию на инциденты. Также отмечается развитие квантово-устойчивой криптографии для защиты от новых киберугроз.
Другие ключевые направления:
• Генеративный ИИ достигает коммерческой зрелости
• Носимые устройства с ИИ для мониторинга здоровья — усиливаются вопросы приватности
• «Вайб-кодинг»: создание ПО без глубоких технических навыков
• Адаптивные био-ИИ интерфейсы для персонализированной медицины
При этом эксперты отмечают дисбаланс: многие прогнозы имеют высокий потенциал воздействия, но низкую вероятность реализации в 2026 году. Это требует целевых государственных инвестиций, особенно в медицину, энергетику и безопасность.
IEEE Computer Society (IEEE CS) — международное сообщество профессионалов в области компьютерного оборудования, ПО и технологий, а также междисциплинарных исследований.
Подробности в приложенном файле.
📌 Экспертная группа из специалистов IEEE Computer Society опубликовала прогнозы на 2026 год. Все 26 выделенных технологий так или иначе связаны с искусственным интеллектом — он остаётся главным драйвером трансформации.
Кибербезопасность вошла в топ-технологий с оценкой B+. Акцент смещается на устойчивость критической инфраструктуры: неизменяемые резервные копии, быстрое восстановление и регулярные учения по реагированию на инциденты. Также отмечается развитие квантово-устойчивой криптографии для защиты от новых киберугроз.
Другие ключевые направления:
• Генеративный ИИ достигает коммерческой зрелости
• Носимые устройства с ИИ для мониторинга здоровья — усиливаются вопросы приватности
• «Вайб-кодинг»: создание ПО без глубоких технических навыков
• Адаптивные био-ИИ интерфейсы для персонализированной медицины
При этом эксперты отмечают дисбаланс: многие прогнозы имеют высокий потенциал воздействия, но низкую вероятность реализации в 2026 году. Это требует целевых государственных инвестиций, особенно в медицину, энергетику и безопасность.
IEEE Computer Society (IEEE CS) — международное сообщество профессионалов в области компьютерного оборудования, ПО и технологий, а также междисциплинарных исследований.
Подробности в приложенном файле.
Forwarded from DevSecOps Talks
IDE SHEPHERD: анализ IDE-расширений в режиме реального времени
Всем привет!
Представить современную разработку без использования IDE можно, но уже достаточно сложно.
Согласно отчету от Stack Overflow 75,9% разработчиков используют VS Code, при этом Cursor стремительными шагами набирает популярность.
У этих IDE есть нечто общее – возможность получения дополнительного функционала через использование расширений (extensions). И если некоторые из них весьма безобидны и упрощают жизнь, то другие могут нанести вред.
Иногда даже через использование расширений от производителей средств по информационной безопасности.
Чтобы повысить уровень защищенности при работе с IDE команда DataDog выпустила IDE-SHEPHERD. Да-да, расширение, которое используется для анализа расширений.
С её помощью можно:
🍭 Отслеживать запуск процессов
🍭 Отслеживать установку сетевых соединений
🍭 Контролировать запускаемые задачи
🍭 Идентифицировать аномалии в установленных расширениях с использованием методов эвристического анализа
Больше про возможности IDE-SHEPHERD, про то, как она «выглядит» и про то, как работает «внутри» можно прочесть в статье.
Дополнительно, в статье есть пара примеров того, как ее использование помогло найти вредоносные расширения.
Всем привет!
Представить современную разработку без использования IDE можно, но уже достаточно сложно.
Согласно отчету от Stack Overflow 75,9% разработчиков используют VS Code, при этом Cursor стремительными шагами набирает популярность.
У этих IDE есть нечто общее – возможность получения дополнительного функционала через использование расширений (extensions). И если некоторые из них весьма безобидны и упрощают жизнь, то другие могут нанести вред.
Иногда даже через использование расширений от производителей средств по информационной безопасности.
Чтобы повысить уровень защищенности при работе с IDE команда DataDog выпустила IDE-SHEPHERD. Да-да, расширение, которое используется для анализа расширений.
С её помощью можно:
🍭 Отслеживать запуск процессов
🍭 Отслеживать установку сетевых соединений
🍭 Контролировать запускаемые задачи
🍭 Идентифицировать аномалии в установленных расширениях с использованием методов эвристического анализа
Больше про возможности IDE-SHEPHERD, про то, как она «выглядит» и про то, как работает «внутри» можно прочесть в статье.
Дополнительно, в статье есть пара примеров того, как ее использование помогло найти вредоносные расширения.
Datadoghq
Introducing IDE-SHEPHERD: Your shield against threat actors lurking in your IDE
IDE-SHEPHERD is an open-source IDE security extension that provides real-time monitoring and protection for VS Code and Cursor. It intercepts malicious process executions, monitors network activity, and blocks dangerous workspace tasks before they can compromise…
Forwarded from SecAtor
Подкатило еще одно совместное исследование от SentinelOne, SentinelLABS и Censys, демонстрирующее масштаб угроз, связанных с внедрением ИИ с открытым исходным кодом.
Согласно результатам, «обширный неуправляемый и общедоступный уровень вычислительной инфраструктуры ИИ» охватывает 175 000 уникальных хостов Ollama в 130 странах.
Исследователи подчеркивают, что эти системы, как облачные, так и частные сети по всему миру, работают вне рамок защитных механизмов и систем мониторинга, которые поставщики платформ внедряют по умолчанию.
Подавляющее большинство уязвимостей сосредоточено в КНР, на его долю приходится чуть более 30%. К странам с наибольшей инфраструктурой относятся США, Германия, Франция, Южная Корея, Индия, Россия, Сингапур, Бразилия и Великобритания.
Почти половина наблюдаемых хостов настроена с возможностями вызова инструментов, позволяющими им выполнять код, получать доступ к API и взаимодействовать с внешними системами, что демонстрирует растущее внедрение LLM в более крупные системные процессы.
Ollama представляет собо фреймворк с открытым исходным кодом, позволяющий пользователям легко загружать, запускать и управлять большими языковыми моделями (LLM) локально в Windows, macOS и Linux.
По умолчанию сервис привязывается к адресу localhost 127.0.0[.]1:11434, но он может оказаться доступным из интернета с помощью простого изменения: настройки на привязку к 0.0.0[.]0 или публичному интерфейсу.
Ollama, как и недавно обозреваемый нами Moltbot (Clawdbot), размещается локально и работает за пределами периметра корпоративной безопасности, создавая таким образом новые вызовы по части безопасности, что, в свою очередь, требует новых подходов для защиты вычислительных ресурсов ИИ.
Среди наблюдаемых хостов более 48% рекламируют возможности вызова инструментов через свои API-интерфейсы, которые при запросе возвращают метаданные, описывающие поддерживаемые ими функции.
Вызов инструментов (или вызов функций) позволяет LLM взаимодействовать с внешними системами, API и базами данных, расширяя их возможности или получая данные в режиме реального времени.
Однако возможности вызова инструментов коренным образом меняют модель угроз. Конечная точка генерации текста может создавать вредоносный контент, а конечная точка с поддержкой инструментов - выполнять привилегированные операции.
В сочетании с недостаточной аутентификацией и уязвимостью сети - это создает, по оценке исследователей, самый высокий уровень риска в экосистеме.
Анализ также выявил хосты, поддерживающие различные режимы работы, выходящие за рамки текста, включая возможности логического мышления и визуального анализа, при этом 201 хост использовал шаблоны подсказок без цензуры и без защитных ограничений.
Открытость подвергает такие системы LLMjacking, когда ресурсы инфраструктуры LLM жертвы используются злоумышленниками в своих интересах, а жертва оплачивает все расходы.
Причем обозначенные риски теперь имею вполне практическую реализацию, если верить результатам упомянутого выше отчета Pillar Security в отношении Operation Bizarre Bazaar.
Согласно результатам, «обширный неуправляемый и общедоступный уровень вычислительной инфраструктуры ИИ» охватывает 175 000 уникальных хостов Ollama в 130 странах.
Исследователи подчеркивают, что эти системы, как облачные, так и частные сети по всему миру, работают вне рамок защитных механизмов и систем мониторинга, которые поставщики платформ внедряют по умолчанию.
Подавляющее большинство уязвимостей сосредоточено в КНР, на его долю приходится чуть более 30%. К странам с наибольшей инфраструктурой относятся США, Германия, Франция, Южная Корея, Индия, Россия, Сингапур, Бразилия и Великобритания.
Почти половина наблюдаемых хостов настроена с возможностями вызова инструментов, позволяющими им выполнять код, получать доступ к API и взаимодействовать с внешними системами, что демонстрирует растущее внедрение LLM в более крупные системные процессы.
Ollama представляет собо фреймворк с открытым исходным кодом, позволяющий пользователям легко загружать, запускать и управлять большими языковыми моделями (LLM) локально в Windows, macOS и Linux.
По умолчанию сервис привязывается к адресу localhost 127.0.0[.]1:11434, но он может оказаться доступным из интернета с помощью простого изменения: настройки на привязку к 0.0.0[.]0 или публичному интерфейсу.
Ollama, как и недавно обозреваемый нами Moltbot (Clawdbot), размещается локально и работает за пределами периметра корпоративной безопасности, создавая таким образом новые вызовы по части безопасности, что, в свою очередь, требует новых подходов для защиты вычислительных ресурсов ИИ.
Среди наблюдаемых хостов более 48% рекламируют возможности вызова инструментов через свои API-интерфейсы, которые при запросе возвращают метаданные, описывающие поддерживаемые ими функции.
Вызов инструментов (или вызов функций) позволяет LLM взаимодействовать с внешними системами, API и базами данных, расширяя их возможности или получая данные в режиме реального времени.
Однако возможности вызова инструментов коренным образом меняют модель угроз. Конечная точка генерации текста может создавать вредоносный контент, а конечная точка с поддержкой инструментов - выполнять привилегированные операции.
В сочетании с недостаточной аутентификацией и уязвимостью сети - это создает, по оценке исследователей, самый высокий уровень риска в экосистеме.
Анализ также выявил хосты, поддерживающие различные режимы работы, выходящие за рамки текста, включая возможности логического мышления и визуального анализа, при этом 201 хост использовал шаблоны подсказок без цензуры и без защитных ограничений.
Открытость подвергает такие системы LLMjacking, когда ресурсы инфраструктуры LLM жертвы используются злоумышленниками в своих интересах, а жертва оплачивает все расходы.
Причем обозначенные риски теперь имею вполне практическую реализацию, если верить результатам упомянутого выше отчета Pillar Security в отношении Operation Bizarre Bazaar.
SentinelOne
Silent Brothers | Ollama Hosts Form Anonymous AI Network Beyond Platform Guardrails
Analysis of 175,000 open-source AI hosts across 130 countries reveals a vast compute layer susceptible to resource hijacking and code execution attacks.
Forwarded from VP Cybersecurity Brief
https://www.kommersant.ru/doc/8398851 Рост рынка на уровне немного выше (на 4,5 %) выше официальной инфляции за 2025 год.
Коммерсантъ
Кибербезопасность закупили оптом
Рынок закупок ИБ-решений достиг 191,7 млрд рублей
Forwarded from Порвали два трояна
OpenClaw (он же Clawdbot, он же Moltbot) — это локально устанавливаемый AI-ассистент, автоматизирующий задачи за счёт интеграции с электронной почтой, Slack, WhatsApp, календарями и файловой системой. Он умеет читать файлы, отправлять сообщения, выполнять системные команды и сохранять информацию между сессиями. Бот завирусился в соцмедийном смысле этого слова — по данным опросов, во многих компаниях сотрудники уже установили Moltbot , зачастую без одобрения ИТ.
Эксперты законно называют Moltbot «кошмаром для ИБ»: всего за несколько недель было зафиксировано множество атак и инцидентов.
⚠️ Часть сотрудников почти наверняка попробуют установить Moltbot, несмотря на политику ИБ. Даже если они сделают это только на личных устройствах, это создаёт риски для корпоративных данных. Для снижения рисков сконцентрируйтесь на детектировании и управлении правами доступа:
OpenClaw — это новое измерение внутренних угроз. Автоматизированная система с широкими правами доступа к конфиденциальной информации, возможностью действовать и одновременно получать данные из внешних недоверенных источников. Что может пойти не так? 🤪
#советы #угрозы @П2Т
Please open Telegram to view this post
VIEW IN TELEGRAM
👍1
Forwarded from VP Cybersecurity Brief
Microsoft запланировало поэтапное отключение NTLM по умолчанию.
https://techcommunity.microsoft.com/blog/windows-itpro-blog/advancing-windows-security-disabling-ntlm-by-default/4489526
https://techcommunity.microsoft.com/blog/windows-itpro-blog/advancing-windows-security-disabling-ntlm-by-default/4489526
TECHCOMMUNITY.MICROSOFT.COM
Advancing Windows security: Disabling NTLM by default - Windows IT Pro Blog
Learn how Windows is moving toward an NTLM-independent future with enhanced auditing, Kerberos enhancements, and a phased roadmap.