Robocounsel
1.92K subscribers
257 photos
18 videos
79 files
645 links
О регулировании и социальных аспектах применения ИИ и данных, преимущественно в ЕС. Публикации отражают сугубо личное мнение автора.

Контакт, вопросы: используйте кнопку 💬 в левом нижнем углу.

Шрифт в логотипе - Alex Murphy Solid от Goatmeal
Download Telegram
"Move fast and break things"

Двигаться быстро и с грацией слона в посудной лавке — девиз компании Марка Цукерберга в начале их пути — по-видимому, был с самого начала и осознанно взят на вооружение многими нынешними лидерами рынка генеративного ИИ.

Вот избранные места из переписки Дэвида Хольца, одного из основателей Миджорни, на их публичном дискорд-сервере.

Команда проекта осознавала, что обучение нейросети на чужих работах без лицензии будет представлять собой нарушение исключительных прав. Но — см. лозунг.
6🤔3
Каждое четвертое предложение в ответах систем "генеративного поиска" — галлюцинация

К такому выводу пришли исследователи по результатам оценки качества работы новых продуктов, часто позиционирующихся в качестве замены традиционных поисковых систем.

Идея в том, что новые системы основаны на методе RAG (retrieval augmented generation):
1) поисковая подсистема по запросу пользователя ищет релевантные результаты в поисковом индексе (как обычный поисковик),
2) генеративная подсистема резюмирует найденное, стараясь дать внешне стройный и полезный ответ.

Но, как показывает исследование, несмотря на преимущества подобного подхода, полноценной заменой традиционных поисковиков такие системы пока быть не могут: уровень галлюцинаций в них ещё слишком высок. В среднем только 51,5% ответов поддерживается какими-либо ссылками, при этом только 74,5% приводимых ссылок релевантны (подтверждают сгенерированные ответы).

По собственному опыту отмечу: результаты исследования не означают, что эти новые системы бесполезны. В ряде случаев они помогают в работе, в частности, на начальных стадиях исследования по какому-либо вопросу.

Но все ответы этих систем, как и в принципе любые результаты работы систем генеративного ИИ, необходимо обязательно перепроверять перед тем, как использовать их в любых мало-мальски ответственных задачах.
👍91
Для борьбы с дипфейками японские фотокамеры оснастят ЭЦП

Никон, Сони и Кэнон (совместно контролируют около 90% мирового рынка цифровых фотоаппаратов) объявили о том, что с этого года их новые камеры будут подписывать фотографии электронной цифровой подписью (ЭЦП), содержащей данные об авторе, геолокации, дате и времени съёмки.

Также эта функция станет доступна и для ряда ранее выпущенных моделей — после обновления встроенного программного обеспечения.

Все камеры будут использовать ЭЦП единого стандарта, а пользователи смогут проверить происхождение фотографий в интернете бесплатно при помощи веб-приложения Verify.

Первой камерой с подобным функционалом в октябре прошлого года стала Leica M11-P.
🔥7😱5👍3🤬1😢1
Из электроэнцефалограммы в текст: читаем мысли?

На недавно прошедшей конференции NeurIPS исследователи из Сиднея представили исследование, касающееся прототипа созданной ими системы, позволяющей декодировать мозговую активность в текст на естественном языке неинвазивным методом.

По утверждению авторов, их метод (DeWave) предполагает дискретное кодирование для представления сигналов электроэнцефалограммы (ЭЭГ) в виде последовательности символов, что позволяет затем использовать языковую модель для установления связи между сигналами мозга и словами в тексте.

Как признают авторы, качество перевода мыслей в текст пока еще далеко от необходимого для какого-либо практического применения: требуется значительная дополнительная работа. Кроме того, в экспериментах использовались данные, полученные при чтении текста испытуемыми, а не при простом размышлении. Для реализации концепции непосредственного декодирования мыслей в текст из мозговой активности также нужны дополнительные исследования.

Статья авторов пока не была опубликована в каких-либо рецензируемых научных журналах, а исследование пока не было никем независимо воспроизведено, поэтому всё высказанное авторами следует воспринимать с необходимой долей скепсиса. Тем не менее, если предложенный в статье подход с использованием дискретного кодирования будет в будущем валидирован, в будущем предлагаемый метод может привести к прорыву в построении нейрокомпьютерных интерфейсов.
👍2🤔2
Атаки на системы машинного обучения: классификация и определения для видов угроз и методов защиты

Национальный институт стандартов и технологий США (NIST) выпустил новый отчёт по данной теме, охватывающий оба основных класса систем машинного обучения — предсказательные (predictive) и генеративные (generative).

Документ даёт классификацию атак и вводит терминологию в этой области (adversarial machine learning — AML).

Классификация построена на основе обзора литературы по AML и концептуальной иерархии, включающей основные типы методов машинного обучения и этапы жизненного цикла атаки, цели и задачи злоумышленников, а также их возможности и знания о процессе машинного обучения.

В отчете также представлены соответствующие методы противодействия и преодоления последствий атак и указаны актуальные проблемы, которые необходимо учитывать на всех стадиях жизненного цикла ИИ-систем.
👍91
Robocounsel
Комитет по ИИ Совета Европы опубликовал обновлённый проект Конвенции Конвенция призвана установить основные общие стандарты разработки и внедрения искусственного интеллекта в Европе и за ее пределами. В число участников переговоров и потенциальных участников…
ЕС и США спорят о том, распространять ли Конвенцию Совета Европы по ИИ на частный сектор

По сообщению Еврактив, на переговорах по проекту Конвенции по ИИ Совета Европы представители ЕС получили мандат жёстко отстаивать позицию, согласно которой присоединяющееся государство не будет вправе исключать из сферы её применения собственный частный сектор.

На включении в проект документа подобной (по сути протекционистской) оговорки настаивают США.

Прогнозирую, что если на переговорах возобладает позиция ЕС, США выйдут из переговоров и не подпишут Конвенцию.

О содержании Конвенции см. мой декабрьский пост.
👍51
Хотите быть ближе к реальной проблематике ИИ?

Напомню, что у нас есть сообщество для совместного изучения фреймворков по ИИ: как встраивать в бизнес-процессы, как управлять рисками, как проводить аудит.

Если вам в перспективе интересно попробовать силы в риск-менеджменте, работе в этических комитетах или внешнем аудите ИИ-компаний — присоединяйтесь к нам. Подписка стоит 5 евро в месяц, подписаться можно в том числе с российскими картами с оплатой в рублях, нажав на кнопку ниже.

Нас уже 25!
5
AIAct_final_four-column21012024.pdf
5.8 MB
Регламент ЕС по ИИ: версия для утверждения

Журналист Еврактив Лука Бертуцци опубликовал у себя в Линкдине финальную версию, которая будет вынесена на голосование в Совете ЕС 2 февраля.

Также в ближайшие дни планируется её рассмотрение на ответственных комитетах в Европарламенте:
1) Комитет по гражданским свободам (LIBE): сегодня, 22 января;
2) Комитет по внутреннему рынку (IMCO): в среду, 24 января.

Согласованный текст в крайней правой колонке.
👍9
Линкдин включил меня в программу Top Voice

Спасибо всем, кто читает мои посты и подписан на мою англоязычную рассылку в Линкдине.
👏37🥰109👍2🔥1
Руководство по использованию ИИ в государственных ИТ

Управление информационных технологий штата Нью-Йорк опубликовало политику по "Приемлемому использованию технологий искусственного интеллекта".

Политика устанавливает требования к использованию таких технологий государственными заказчиками, а также их подрядчиками и иными лицами на информационно-технологических ресурсах, поднадзорных Управлению.

1 - Подотчетность: В отношении каждой системы искусственного интеллекта, запланированной к применению, должно быть получено одобрение руководства госзаказчика (включая лидера по этике) и назначен ответственный ("Information Owner").

2 - Человеческий контроль: Решения, оказывающие влияние на граждан, должны приниматься под человеческим контролем. Полностью автоматическое принятие решений запрещается.

3 - Справедливость и объяснимость: Системы искусственного интеллекта должны использоваться с учётом требований справедливости и соразмерности, принцип работы системы должен быть объясним в максимально возможной степени.

4 - Гласность: Граждане, взаимодействующие с системами искусственного интеллекта, должны быть поставлены об этом в известность.

5 - Управление рисками: Для каждой ИИ-системы должна быть выполнена оценка рисков, учитывающая безопасность, приватность, правовые, репутационные риски, наличие компетентного персонала и иных аспектов. Госзаказчикам рекомендуется внедрить систему управления рисками по NIST AI 100-1 (AI RMF).

6 - Реестр ИИ-систем: Каждый госзаказчик обязан вести и публиковать реестр используемых им ИИ-систем.

7 - Приватность: Госзаказчикам следует разработать политики и внедрить элементы контроля за надлежащей эксплуатацией ИИ-систем, в особенности при обработке персональных и иных чувствительных данных, включая проведение оценки воздействия (PIA) при необходимости.

8 - Безопасность: Все системы должны отвечать установленным требованиям ИТ-безопасности при разработке и в эксплуатации.

9 - Актуальность: Госзаказчикам следует регулярно проверять, продолжают ли эксплуатируемые ИИ-системы отвечать их ожиданиям с учётом постоянного технического прогресса, внедрения открытых стандартов, жизненного цикла моделей и их переобучения.

10 - Интеллектуальная собственность:
Госзаказчикам следует следить за изменениями в практике применения норм о защите интеллектуальной собственности в контексте ИИ-систем, их обучения и содержания генерируемых ими результатов.
4👍3🤔1
Классификация ИИ-систем в Регламенте ЕС

Опубликовал наглядную классификацию ИИ-систем и моделей по последней редакции Регламента ЕС по ИИ в виде диаграммы.

Основная ценность в том, что видны все пересечения категорий и, соответственно, правовых режимов.
👍84🔥4
st05662.en24[1].pdf
1.3 MB
Регламент ЕС по ИИ: накануне заседания КОРЕПЕР 2 февраля

Бельгия, председательствующая ныне в Совете ЕС, представила пояснительную записку к грядущему заседанию их Комитета постоянных представителей (КОРЕПЕР), грядущему 2 февраля. На заседании решится, поддержит ли Совет ЕС выработанный по итогам трилога проект Регламента ЕС по искусственному интеллекту.

Документ был доведён до делегаций под грифом для служебного пользования, но только что был опубликован журналистом Еврактив Лукой Бертуцци в Линкдине.

Текст комментариев сопровождается предложением поддержать проект, и, собственно, самим проектом в приложении.

Напомню, что на прошлой неделе неофициально проект Регламента был опубликован тем же журналистом.

Комментарии председательствующего подтверждают ранее высказанный мной в Линкдине тезис о том, что последние изменения в понятие системы ИИ в проекте Регламента выводят из области его действия системы, основанные на правилах и не адаптирующиеся на данных в процессе эксплуатации (rules-based systems).
👍82🔥1
ЧатГПТ: Итальянский Гаранте уведомил Оупен-Эй-Ай о нарушениях

Итальянский орган по надзору за обработкой персональных данных (Garante per la protezione dei dati personali, Гаранте) сегодня уведомил Оупен-Эй-Ай о том, в действиях компании усматривается нарушение законодательства ЕС о персональных данных.

Компании предложено направить свои возражения в течение 30 дней.

При вынесении окончательного решения по данному делу Гаранте примет во внимание работу, проводимую специальной рабочей группой по ЧатГПТ, созданной Европейским советом по защите данных (EDPB).

Сегодняшнее уведомление сделано по результатам проведенной проверки, начатой Гаранте в марте прошлого года, и следует за наложенным на компанию временным ограничением на обработку персональных данных в Италии.

Поводом к ограничению послужили предварительные выводы Гаранте о том, что при разработке и эксплуатации системы ЧатГПТ компания могла нарушить требования статей 5, 6, 8, 13 и 25 Регламента ЕС о защите данных:
— отсутствие законной основы для обработки персональных данных,
— необеспечение точности обработки,
— ненадлежащее информирование субъектов персональных данных,
— необеспечение защиты интересов несовершеннолетних при их доступе к сервису,
— несоблюдение принципов конструктивной защиты данных и защиты данных по умолчанию.
👍8
Robocounsel
st05662.en24[1].pdf
Германия сняла возражения по Регламенту ЕС по ИИ

Об этом сообщило Министерство экономики Германии.

Шансы на положительные итоги голосования по тексту акта в КОРЕПЕР в эту пятницу соответственно выросли.

Ранее представители Франции, а также Германии и Италии рассматривались в качестве блока, который мог бы задержать согласование текста Регламента.

Мотивом был якобы возможный ущерб для отечественных разработчиков систем и моделей ИИ общего назначения (немецкий Aleph Alpha и французский Mistral напрямую конкурируют с OpenAI).

Без поддержки Германии и Италии блокирующий процент голосов (ввиду доли от общего населения ЕС на их территориях) на заседании КОРЕПЕР собрать будет проблематично.
👍7
Консультации

Напомню, что я консультирую по ответственной разработке и безопасному внедрению и применению ИИ-систем в бизнесе:
- с чего начать,
- в чём риски,
- какие политики принять в вашей организации и какие контроли внедрить,
- на что обращать внимание при выборе поставщика, какие положения включать в договоры с поставщиками и клиентами,
- как начать подготовку к приведению в соответствие с проектируемым Регламентом ЕС по ИИ уже сейчас (чтобы потом не пришлось переобучать все ваши системы заново).

Также, исходя из моего собственного карьерного опыта, я даю карьерные консультации и предлагаю менторство. По этому виду консультаций при оплате до конца этого месяца (то есть сегодня или завтра) есть возможность получить скидку и забронировать удобные дату и время в феврале. Студентам — дополнительная скидка.

По всем вопросам пишите сюда.
6🔥3
В Сенате США проходит "прожарка" топ-менеджеров технологических компаний

На проходящих в данный момент слушаниях сенатского комитета по вопросам юстиции опрашиваются руководители пяти крупнейших технологических компаний, включая генерального директора Меты* Марка Цукерберга, относительно потенциального вреда от их продуктов для подростков.

Республиканский сенатор Тед Круз резко раскритиковал Цукерберга за недостаточные меры по защите детей от неподобающего контента в Инстаграме.

Цукерберг встал, чтобы извиниться перед присутствующими семьями, сказав, что сожалеет о том, что им пришлось пережить, и что компания прикладывает много усилий для того, чтобы обсуждаемые на слушаниях случаи более не повторялись.

Эфир

* Деятельность Meta Platforms Inc. по реализации продуктов — социальных сетей Facebook и Instagram запрещена в РФ
👍32🔥2😁1
Robocounsel
Хотите быть ближе к реальной проблематике ИИ? Напомню, что у нас есть сообщество для совместного изучения фреймворков по ИИ: как встраивать в бизнес-процессы, как управлять рисками, как проводить аудит. Если вам в перспективе интересно попробовать силы в…
AI Governance сообщество

В связи с изменением системы платных подписок в Телеграме публикую новую ссылку, по которой вы можете вступить в наше сообщество AI Governance.

О сути сообщества писал выше.

Существующим подписчикам ничего делать не нужно — при необходимости напишу адресно, в личные сообщения.
👍53