Хотите быть ближе к реальной проблематике ИИ?

Напомню, что у нас есть сообщество для совместного изучения фреймворков по ИИ: как встраивать в бизнес-процессы, как управлять рисками, как проводить аудит.

Если вам в перспективе интересно попробовать силы в риск-менеджменте, работе в этических комитетах или внешнем аудите ИИ-компаний — присоединяйтесь к нам. Подписка стоит 5 евро в месяц, подписаться можно в том числе с российскими картами с оплатой в рублях, нажав на кнопку ниже.

Нас уже 25!

Регламент ЕС по ИИ: версия для утверждения

Журналист Еврактив Лука Бертуцци опубликовал у себя в Линкдине финальную версию, которая будет вынесена на голосование в Совете ЕС 2 февраля.

Также в ближайшие дни планируется её рассмотрение на ответственных комитетах в Европарламенте:
1) Комитет по гражданским свободам (LIBE): сегодня, 22 января;
2) Комитет по внутреннему рынку (IMCO): в среду, 24 января.

Согласованный текст в крайней правой колонке.

Линкдин включил меня в программу Top Voice

Спасибо всем, кто читает мои посты и подписан на мою англоязычную рассылку в Линкдине.

Руководство по использованию ИИ в государственных ИТ

Управление информационных технологий штата Нью-Йорк опубликовало политику по "Приемлемому использованию технологий искусственного интеллекта".

Политика устанавливает требования к использованию таких технологий государственными заказчиками, а также их подрядчиками и иными лицами на информационно-технологических ресурсах, поднадзорных Управлению.

1 - Подотчетность: В отношении каждой системы искусственного интеллекта, запланированной к применению, должно быть получено одобрение руководства госзаказчика (включая лидера по этике) и назначен ответственный ("Information Owner").

2 - Человеческий контроль: Решения, оказывающие влияние на граждан, должны приниматься под человеческим контролем. Полностью автоматическое принятие решений запрещается.

3 - Справедливость и объяснимость: Системы искусственного интеллекта должны использоваться с учётом требований справедливости и соразмерности, принцип работы системы должен быть объясним в максимально возможной степени.

4 - Гласность: Граждане, взаимодействующие с системами искусственного интеллекта, должны быть поставлены об этом в известность.

5 - Управление рисками: Для каждой ИИ-системы должна быть выполнена оценка рисков, учитывающая безопасность, приватность, правовые, репутационные риски, наличие компетентного персонала и иных аспектов. Госзаказчикам рекомендуется внедрить систему управления рисками по NIST AI 100-1 (AI RMF).

6 - Реестр ИИ-систем: Каждый госзаказчик обязан вести и публиковать реестр используемых им ИИ-систем.

7 - Приватность: Госзаказчикам следует разработать политики и внедрить элементы контроля за надлежащей эксплуатацией ИИ-систем, в особенности при обработке персональных и иных чувствительных данных, включая проведение оценки воздействия (PIA) при необходимости.

8 - Безопасность: Все системы должны отвечать установленным требованиям ИТ-безопасности при разработке и в эксплуатации.

9 - Актуальность: Госзаказчикам следует регулярно проверять, продолжают ли эксплуатируемые ИИ-системы отвечать их ожиданиям с учётом постоянного технического прогресса, внедрения открытых стандартов, жизненного цикла моделей и их переобучения.

10 - Интеллектуальная собственность: Госзаказчикам следует следить за изменениями в практике применения норм о защите интеллектуальной собственности в контексте ИИ-систем, их обучения и содержания генерируемых ими результатов.

Классификация ИИ-систем в Регламенте ЕС

Опубликовал наглядную классификацию ИИ-систем и моделей по последней редакции Регламента ЕС по ИИ в виде диаграммы.

Основная ценность в том, что видны все пересечения категорий и, соответственно, правовых режимов.

Регламент ЕС по ИИ: накануне заседания КОРЕПЕР 2 февраля

Бельгия, председательствующая ныне в Совете ЕС, представила пояснительную записку к грядущему заседанию их Комитета постоянных представителей (КОРЕПЕР), грядущему 2 февраля. На заседании решится, поддержит ли Совет ЕС выработанный по итогам трилога проект Регламента ЕС по искусственному интеллекту.

Документ был доведён до делегаций под грифом для служебного пользования, но только что был опубликован журналистом Еврактив Лукой Бертуцци в Линкдине.

Текст комментариев сопровождается предложением поддержать проект, и, собственно, самим проектом в приложении.

Напомню, что на прошлой неделе неофициально проект Регламента был опубликован тем же журналистом.

Комментарии председательствующего подтверждают ранее высказанный мной в Линкдине тезис о том, что последние изменения в понятие системы ИИ в проекте Регламента выводят из области его действия системы, основанные на правилах и не адаптирующиеся на данных в процессе эксплуатации (rules-based systems).

ЧатГПТ: Итальянский Гаранте уведомил Оупен-Эй-Ай о нарушениях

Итальянский орган по надзору за обработкой персональных данных (Garante per la protezione dei dati personali, Гаранте) сегодня уведомил Оупен-Эй-Ай о том, в действиях компании усматривается нарушение законодательства ЕС о персональных данных.

Компании предложено направить свои возражения в течение 30 дней.

При вынесении окончательного решения по данному делу Гаранте примет во внимание работу, проводимую специальной рабочей группой по ЧатГПТ, созданной Европейским советом по защите данных (EDPB).

Сегодняшнее уведомление сделано по результатам проведенной проверки, начатой Гаранте в марте прошлого года, и следует за наложенным на компанию временным ограничением на обработку персональных данных в Италии.

Поводом к ограничению послужили предварительные выводы Гаранте о том, что при разработке и эксплуатации системы ЧатГПТ компания могла нарушить требования статей 5, 6, 8, 13 и 25 Регламента ЕС о защите данных:
— отсутствие законной основы для обработки персональных данных,
— необеспечение точности обработки,
— ненадлежащее информирование субъектов персональных данных,
— необеспечение защиты интересов несовершеннолетних при их доступе к сервису,
— несоблюдение принципов конструктивной защиты данных и защиты данных по умолчанию.

Германия сняла возражения по Регламенту ЕС по ИИ

Об этом сообщило Министерство экономики Германии.

Шансы на положительные итоги голосования по тексту акта в КОРЕПЕР в эту пятницу соответственно выросли.

Ранее представители Франции, а также Германии и Италии рассматривались в качестве блока, который мог бы задержать согласование текста Регламента.

Мотивом был якобы возможный ущерб для отечественных разработчиков систем и моделей ИИ общего назначения (немецкий Aleph Alpha и французский Mistral напрямую конкурируют с OpenAI).

Без поддержки Германии и Италии блокирующий процент голосов (ввиду доли от общего населения ЕС на их территориях) на заседании КОРЕПЕР собрать будет проблематично.

Консультации

Напомню, что я консультирую по ответственной разработке и безопасному внедрению и применению ИИ-систем в бизнесе:
- с чего начать,
- в чём риски,
- какие политики принять в вашей организации и какие контроли внедрить,
- на что обращать внимание при выборе поставщика, какие положения включать в договоры с поставщиками и клиентами,
- как начать подготовку к приведению в соответствие с проектируемым Регламентом ЕС по ИИ уже сейчас (чтобы потом не пришлось переобучать все ваши системы заново).

Также, исходя из моего собственного карьерного опыта, я даю карьерные консультации и предлагаю менторство. По этому виду консультаций при оплате до конца этого месяца (то есть сегодня или завтра) есть возможность получить скидку и забронировать удобные дату и время в феврале. Студентам — дополнительная скидка.

По всем вопросам пишите сюда.

В Сенате США проходит "прожарка" топ-менеджеров технологических компаний

На проходящих в данный момент слушаниях сенатского комитета по вопросам юстиции опрашиваются руководители пяти крупнейших технологических компаний, включая генерального директора Меты* Марка Цукерберга, относительно потенциального вреда от их продуктов для подростков.

Республиканский сенатор Тед Круз резко раскритиковал Цукерберга за недостаточные меры по защите детей от неподобающего контента в Инстаграме.

Цукерберг встал, чтобы извиниться перед присутствующими семьями, сказав, что сожалеет о том, что им пришлось пережить, и что компания прикладывает много усилий для того, чтобы обсуждаемые на слушаниях случаи более не повторялись.

Эфир

* Деятельность Meta Platforms Inc. по реализации продуктов — социальных сетей Facebook и Instagram запрещена в РФ

AI Governance сообщество

В связи с изменением системы платных подписок в Телеграме публикую новую ссылку, по которой вы можете вступить в наше сообщество AI Governance.

О сути сообщества писал выше.

Существующим подписчикам ничего делать не нужно — при необходимости напишу адресно, в личные сообщения.

КОРЕПЕР утвердил Регламент ЕС по ИИ

Комитет постоянных представителей Совета ЕС одобрил проект Регламента ЕС по искусственному интеллекту.

Совет ЕС должен будет уведомить Европарламент о том, что текст, выработанный по итогам трилогов, согласован и может быть в таком виде окончательно принят в первом же чтении.

С вероятностью, близкой к 100%, таким образом Регламент будет принят в этом году.

Классификация ИИ-систем по Регламенту ЕС

Дублирую для тех, у кого нет доступа к Линкдину

Одобренный КОРЕПЕР проект Регламента ЕС по ИИ

Текст размещён здесь.

По сравнению с "утекшей" 22 января версией в этом тексте исправлен ряд опечаток, в том числе в важных местах.

Например — то ли независимо, то ли по моей наводке, которую я дал разработчикам накануне — устранена неясность по поводу объёма понятия "системы распознавания эмоций" (СРЭ).

В частности, в пункте 8а преамбулы "утекшей" версии содержались две взаимно противоречащие фразы о том, относятся ли к СРЭ системы контроля физиологических состояний организма, в частности, системы контроля усталости (СКУ) пилотов и водителей.

В редакции, вынесенной на КОРЕПЕР, эта ошибка исправлена. Исходя из неё, авторы текста подтвердили, что системы контроля физиологических состояний, включая СКУ, не относятся к СРЭ.

В то же время, любые подобные системы, и СРЭ, и СКУ, при их использовании для оценки персонала и обучающихся классифицируются как системы повышенной опасности по Приложению III к Регламенту, с соответствующими требованиями к их разработке и эксплуатации.

Метавселенная и её влияние на права человека, верховенство права и демократию

Совет Европы и американский Институт инженеров электротехники и электроники опубликовали сокращённую версию готовящегося к изданию одноимённого совместного отчёта (во вложении).

В документе рассматриваются технические, правовые, социальные и этические вопросы, связанные с разработкой и внедрением метавселенной, а также потенциальные перспективы и риски.

Французский антимонопольный орган проводит публичную консультацию по генеративному ИИ

Консультация начата сегодня для выработки антимонопольной политики с учётом стратегий ключевых игроков этого рынка и открыта до 22 марта 2024 года.

Мотивом является то, что этот новый рынок сейчас быстро консолидируется вокруг компаний, уже имеющих и так сильную рыночную позицию на смежных рынках, таких как облачные вычисления.

Напомню, что два лидера генеративных моделей, Оупен-Эй-Ай и Антропик, имеют в качестве стратегических партнёров Майкрософт и Амазон — в чьих руках находится соответственно 23% и 32% глобального рынка облачных вычислений. У Гугла, который сам разрабатывает генеративные модели — 10% облачного рынка.

Обучение чатботов как фактор вреда на производстве

Новые чатботы от Оупен-Эй-Ай, Майкрософта, Яндекса, Сбера и других компаний работают на базе больших языковых моделей.

Эти модели создаются и обучаются в несколько этапов, и один или несколько из этих этапов предполагает участие людей — для так называемого обучения с подкреплением.

В последнем случае модель за счёт обратной связи от людей "поощряется" за выдачу адекватных результатов и "отучается" выдавать "токсичный" и нелегальный контент.

Также люди участвуют в классификации информации, генерируемой моделью, по категориям, включая нецензурные и оскорбительные выражения, чтобы обеспечить их фильтрацию в дальнейшем при необходимости.

Аналогично построен процесс разработки визуальных и мультимодальных генеративных моделей и систем на их основе — только люди могут окончательно донастроить систему до её ввода в эксплуатацию.

Это участие людей в классификации и "отучении" систем от генерации неподобающего контента имеет свою цену: психологическое здоровье людей, занятых подобной работой.

Журналисты Уолл Стрит Джорнел (WSJ) провели исследование на эту тему, в фокусе которого была компания Оупен-Эй-Ай.

Как пишут журналисты, "еще до того как создать ЧатГПТ, компания наняла работников в Кении, чтобы те просмотрели и разложили по категориям тысячи графических текстов, полученных из сети и созданных самим искусственным интеллектом. Многие из них содержали описания насилия, домогательств, членовредительства, изнасилований, сексуального насилия над детьми и скотоложства".

WSJ пишет, что Оупен-Эй-Ай использовали категоризированные фрагменты для создания фильтра ИИ-безопасности, который в конечном итоге был внедрен, чтобы ограничить способность ЧатГПТ воспроизводить аналогичный контент для аудитории из десятков миллионов своих пользователей.

"Мой опыт за эти четыре месяца был худшим из всего, что мне довелось пережить за всю мою карьеру", - сообщил в интервью Алекс Кайру, один из работников из Кении."

Сексуальный контент было необходимо рассортировать по четырём категориям по степени тяжести, говорится в документах. Худшей из них была C4 — описания материалов, связанных с сексуальным насилием над детьми. В категорию C3 попали инцест, скотоложство, изнасилование, сексуальная торговля и сексуальное рабство...

Для контента, содержащего описание насилия, Оупен-Эй-Ай задали три категории, худшая из которых имела название "чрезвычайно реалистичное насилие", говорится в исследовании.

Поначалу тексты, передаваемые на проверку сотрудникам, не превышали двух предложений. Со временем они выросли до пяти-шести абзацев. Через несколько недель работы менеджеры, начали замечать, как страдает их команда. По их словам, работники все чаще стали брать больничные и отпуска по семейным обстоятельствам.

При работе с контентом, описывающим насилие, кенийским сотрудникам приходилось читать сотни текстов в день, иногда описывающих чудовищные поступки, например, людей, протыкающих себя вилкой или использующих ужасные методы для самоубийства.

В результате в прошлом году кенийские сотрудники Оупен-Эй-Ай подали петицию в парламент Кении с призывом принять новое законодательство для защиты работников, занятых в сфере разработки ИИ и модерации контента.

Они также призвали внести поправки в существующие законы Кении, чтобы отнести их работу к числу профессий с вредными или опасными условиями труда.

Кажется очевидным, что поднимаемые WSJ вопросы совсем не уникальны для условий труда именно Оупен-Эй-Ай — их справедливо задать любой компании, разрабатывающей аналогичные продукты.

И вынести на повестку дня в парламенте любой страны, как поддерживающей чужую ИИ-индустрию, так и тем более имеющей свою собственную.

ICO: Если можно обойтись без биометрии — обходитесь

Британский орган по защите данных (ICO) предписал группе эксплуатирующих организаций Серко прекратить использование биометрии на рабочем месте для учёта отработанного времени.

Вынося предписание, ICO отметил, что проверяемые организации не смогли обосновать, зачем им необходимо обрабатывать лицевую биометрию и отпечатки пальцев, если для автоматизации учёта времени более чем достаточно использовать менее "инвазивные" средства, такие как обычные небиометрические электронные пропуска.

Работникам подобная альтернатива предоставлена не была — использование биометрии позиционировалось в качестве обязательного условия для оплаты труда.

Учитывая, что сотрудники являются заведомо более слабой стороной трудовых отношений, им было бы сложно возражать против подобного нововведения.

С учётом этого, обработка биометрии была признана незаконной и организациям предписано прекратить её использование на имеющихся объектах и запрещено внедрять её на объектах, которые будут введены в эксплуатацию в будущем.

Серко Лейжер и связанные с ней организации эксплуатируют в Великобритании 38 спортивных сооружений и до вынесения запрета незаконно обрабатывали биометрические данные свыше 2000 сотрудников.

AI Governance Chat

Напомню, что у нас есть сообщество AI Governance, в котором мы делимся опытом по фреймворкам и стандартам в области ИИ (Регламент ЕС, Стандарты ИСО и НИСТ, и т. д.), профильными вакансиями и курсами, а также отвечаем на вопросы друг друга.

Нас уже 32 человека — присоединяйтесь.