Как обмануть нейронную сеть

В статье One pixel attack for fooling deep neural networks изложен метод атаки на нейросеть, когда в результате замены всего одного пикселя на изображении распознавание становится некорректным. Чёрным подписано исходное изображение, в скобках "уверенность" нейросети, синим — распознавание после замены пикселя. И чашка становится супницей, детская люлька — бумажным полотенцем, чайник — джойстиком, а хомяк — соской.

Что это значит на практике? Дорожный знак из-за небольшой наклейки может превратиться в "кирпич" для беспилотного автомобиля, заставив машину остановиться. В современном машинном обучении многие непозволительно мало внимания уделяют злонамеренным атакам.
#skills #datascience

ИИ на службе мошенников

Технология deepfake уже лет 5 известна широкой публике. Замена лиц на видеозаписях получается всё качественнее, а артефактов на изображении всё меньше. Изменять таким образом можно не только видео, но и аудио, причём в режиме реального времени.

В 2019 состоялся один из самых первых известных случаев применения искусственного интеллекта мошенниками. В новостной статье Fraudsters Used AI to Mimic CEO’s Voice in Unusual Cybercrime Case (русскоязычная статья по мотивам) рассказывается об этом случае. Мошенник позвонил исполнительному директору компании, представился генеральным директором и велел срочно перевести 220 тысяч евро поставщику. Из-за использования программы коррекции голоса мошенник звучал в точности как гендир, с учётом акцента и других особенностей голоса.

Скомпрометированный пароль можно сменить, утраченный токен отозвать. Проблема биометрии в том, что после компрометации сделать ничего нельзя.

С высокой вероятностью, злоумышленник также знал внутренние особенности компании, например, наличие срочных переводов по звонку. Тогда можно этот случай ещё и пример социальной инженерии, о которой мы писали ранее.
#skills #datascience

Генеративно-состязательная сеть (GAN)

В машинном обучении наибольшую популярность приобрели нейронные сети. Существуют различные архитектуры нейронок. Потихоньку появляются новые. Более того, комбинация различных нейронных сетей может привести к неожиданным результатам. Так, в 2014 году Ian Goodfellow придумал GAN — комбинацию из пары нейронных сетей. Рассмотрим её идею на примере генерации фотореалистичного изображения.

Первая сеть, называемая Generator генерирует фотографии. Вторая сеть, называемая Discriminator отбраковывает фотографии, которые не похожи на реалистичные. Обе сети учатся в процессе, Generator пытается сформировать реалистичную фотографию, которая обманет Discriminator, который в свою очередь пытается научиться лучше отбраковывать сгенерированные изображения. В результате конкуренции этих нейронных сетей Generator оказывается способен выдавать изображения, которые с точки зрения человека совершенно реалистичны.

Больше деталей о GAN, включая примеры кода, можно найти в статье Generative Adversarial Networks: Build Your First Models (перевод). Различные презентации от Ian Goodfellow можно найти на его личном сайте.

В прошлый раз мы писали, что deepfake уже применяется для мошенничества в виде замены голоса.
#devfm #skills #datascience