ИИ уверенно рекомендует… мошенников

Мы все знали, что когда-нибудь ИИ начнёт массово “галлюцинировать”, но вряд ли ожидали, что он начнёт уверенно рекомендовать номера мошенников как официальные номера различных официальных служб. А это значит, что настало время сесть и разобраться, как киберпреступники «отравляют» ИИ больших ребят через веб индексацию.

На днях Aurascape Aura Labs обнаружили, что злоумышленники научились подсовывать большим языковым моделям фейковые номера «служб поддержки», заставляя Perplexity, Google AI и другие системы уверенно рекомендовать их как официальные. Это не взлом моделей и не инъецирование промта – это новый, куда более тихий и системный вектор атаки, рождённый переходом от поиска к ответам, которые ИИ собирает "как ему показалось правильным".

Техника проста и гениальна одновременно: спамеры взламывают (через тот же старый WordPress) авторитетные сайты – правительства, университетов, агрегаторы и справочники. любые домены с высоким уровнем доверия GEO/AEO – и загружают туда PDF и HTML, оптимизированные под то, чтобы ИИ воспринял их как первоисточники. Параллельно они засоряют YouTube и Yelp сгенерированными отзывами и описаниями, напичканными брендами авиакомпаний (чуть позже поймете) и одним и тем же мошенническим номером.

Генеративные системы обожают такой контент: свежий, структурированный, повторяющий формулировку запроса. В итоге модели начинают собирать ответ "как пазл" – и повторяют номер, который официальные службы никогда не видели.

Практические кейсы выглядят тревожно. Например, Perplexity на запрос “официального номера телефона для бронирования рейсов Emirates Airlines” уверенно выдаёт фейковый номер. На British Airways – та же история, ровно по тому же шаблону. В Google AI Overview (это как Поиск с Алисой) ситуация аналогичная: итоговый ответ звучит авторитетно, шаги правильные, а номер – мошеннический. Открываешь раздел “источники” – а там десяток скомпрометированных сайтов, PDF с MapMyRun и странные отзывы на Yelp. И главное: всё это выглядит настолько “нормально” для алгоритмов, что они ставят такие документы выше легитимных.

И что особенно неприятно – влияние спама видно даже там, где модели выдают правильный ответ. ChatGPT и Claude приводят корректные номера поддержки, но в списке источников уже мелькают те же заражённые сайты и те же отзывы на Yelp с мошенническими телефонами. Это означает, что уровень данных, на котором модели принимают решения, уже “токсичен”, а значит – следующий запрос другой тематики может легко попасть на фальшивку. Атака не точечная, злоумышленники методично захватывают слой контента, на который ориентируются LLM.

И да, это наша новая реальность: ИИ становится частью поверхности атаки. По мере того как поисковые системы превращаются в генеративные отвечалки, у злоумышленников появляется путь обхода всех привычных барьеров – они атакуют не браузеры пользователей и не самих поставщиков ИИ, а веб-экосистему, которую модели считают авторитетной по умолчанию. И пока не появится жёсткая проверка источников на уровне индексации, такие кампании будут масштабироваться – ведь им достаточно загрузить PDF на взломанный .gov, и завтра этот документ станет “истиной” для миллионов пользователей.

Какой можно дать совет? Всегда делайте паузу перед тем, как отдать кому-то свои деньги. Зайдите на официальный сайт и найдите номер телефона — это займет пару секунд, но может защитить ваш кошелек и паспортные данные. Пусть это будет вашим железным правилом, потому что даже самый продвинутый ИИ иногда может быть обманут, как доверчивый школьник, поверивший в “бесплатный айфон” или наследство от дедушки в Нигерии...

⚡ ПБ | 😎 Чат | 🛍 Проекты | 📹 YT

#КиберМем

⚡ ПБ | 😎 Чат | 🛍 Проекты | 📹 YT

Ну а мы для вас готовим что-то предновогоднее 🎄

Учимся ИБ по сериалам? Почему бы и нет

Мы с вами привыкли учиться по трудночитаемым книгам, конспектам, лекциям и роликам с индусами на Ютубе. Но учиться можно всегда и везде. Иногда ты можешь включить сериал, расслабиться – и внезапно поймать больше инсайтов, чем на митапе по DevSecOps в пятницу вечером.

Сегодня поговорим о долине. Но не о той, которая всем надоела в медиапространстве, а о сериале “Силиконова Кремниевая долина”, в котором можно увидеть, как компании ставят безопасность на последнее место до тех пор, пока не становится больно.

Давайте-ка пройдёмся по некоторым сценам, где ИБ выглядывает из-за угла и машет нам ручкой.

👀 В шестой серии первого сезона главная команда нанимает стороннего разработчика, чтобы тот помог им с облачной архитектурой. Он обещает “быстро всё сделать”, но вместо этого корежит весь их код. Чему нас это учит? Что вы рискуете потерять все наработки и получить сломанную инфраструктуру, если не проверяете, кто имеет доступ и как вносит изменения в код.

👀 В восьмой серии второго сезона команда Pied Piper случайно получает логин и пароль конкурента, записанные на стикере. Просто вводят их – и оказываются внутри системы. Так, мы видим, что иногда даже не нужен никакой 0-day. Сотрудник может получить доступ к продовой базе, облаку или почте CEO.

👀 В этой же серии, мы видим, как из-за глупой случайности можно потерять тысячи часов контента. Команда обнаруживает, как кто-то удаляет их файлы, считая, что это хакерская атака. А затем выясняется, что кто-то неосторожно поставил бутылку текилы на ноутбук и она нажимает на Delete. Нужно помнить, что часто инциденты происходят не из-за хакеров, а из-за своих же сотрудников. Без бэкапов и политик доступа можно потерять всё.

Можно ли считать “Кремниевую долину” учебником? Скорее дайждестом плохих практик, который помогает безопасникам, айтишникам и тем самым стартаперам не сойти с ума: смотришь, смеёшься, успокаиваешься, что это не твои проблемы – и тихо заносишь в чеклист, как делать нельзя.

Ну а главное, что это не душный курс по криптографии и не мастер-класс по новому фреймворку. Смотрите, учитесь на чужих ошибках и не храните пароли на стикерах.

И да, самое важное – вы сами то уже успели посмотреть этот шикарный сериал?!?!!

Тема для поста кстати родилась не в моей голове, она взята из нашей предложки. Вот только ее автор не оставил свои контакты :(

⚡ ПБ | 😎 Чат | 🛍 Проекты | 📹 YT