Где проходит граница между «удобно» и «утечка»

Залить рабочие файлы в чат-бот — самый быстрый способ получить проблему. В 2023 инженеры Samsung загрузили фрагменты закрытого кода в публичный чат и вынудили компанию запретить внешние LLM на рабочих устройствах. Утечки случаются не потому, что кто-то хотел «слить» данные, а потому, что границы между публичным чатом, корпоративным аккаунтом и локальной моделью никто заранее не прочертил.

Написали разбор о том, как выстроить безопасную работу с нейросетями в команде: чем отличаются режимы обработки данных у разных провайдеров, какие данные требуют особого обращения (от логов с e-mail до артефактов пентеста), как устроена матрица допустимости по каналам доступа и почему фильтрация ввода без фильтрации вывода — это половина защиты. Отдельно — про агентские системы, prompt injection через документы, утечки через общий RAG-индекс и принцип минимальных привилегий для агентов.

Кстати, по смежной теме — уже завтра в 19:00 МСК пройдёт открытый вебинар «Как собрать своих AI-агентов для пентеста и bug bounty». Эксперты разберут рабочую схему: где AI реально ускоряет recon, triage и отчётность, а где приводит к галлюцинациям, false positive и пропущенным уязвимостям.

#кибербезопасность #LLM #пентест
@SecLabNews

SEO мертв, да здравствует промывка мозгов нейронкам

Американские пиарщики провернули гениальную схему отравления языковых моделей. Некая компания Piro взяла солидный бюджет у госструктур Израиля и создала фейковый аналитический центр Hanover Institute. Всего за неделю институт-призрак нагенерировал больше сотни огромных отчетов про конфликт на Ближнем Востоке. Никаких живых авторов там нет, зато прослеживается четкая задача внедрить нужные тезисы прямо в мозги современных чат-ботов.

Организаторы даже не скрывают механику работы. Они открыто предлагают услугу AI Story Optimization и адаптируют страницы специально для машинного чтения. Расчет строится на жадности разработчиков ИИ до новых текстовых массивов. Если залить в сеть горы хорошо структурированного текста со ссылками на ООН и Всемирный банк, алгоритмы рано или поздно подцепят наживку. Похожая сетка сайтов недавно залетела в базу Common Crawl почти тысячу раз за полгода.

Тренд пугает масштабами. Боты в комментариях скоро покажутся безобидной шуткой, если сравнить их с тем, как пиарщики целенаправленно заливают нужный контент в обучающие базы. Политтехнологи больше не накручивают лайки, а напрямую покупают факты внутри нейросетей. В ходе недавних тестов Perplexity, Copilot и Gemini уже начали ссылаться на подобные сгенерированные сайты как на достоверные источники. Если разработчики не начнут жестко фильтровать парсинг, чат-боты станут рупором пропаганды, причем спрятать впитанные нарративы фильтрами можно, а вот полностью вычистить из памяти обученной модели без астрономических трат на переобучение практически нереально.

#ИИ #Кибербез #LLM
@SecLabNews