А также видеозаписью третьего заседания семинара по взаимодействию технологий и общества, на котором доктор социальной психологии Максим Киселев рассказывал про восприятие обществом новых технологий на примере дилеммы мирного атома.

https://youtu.be/CJvwRwYtyLY

Идеальный кейс. Лучше специально даже не придумать.

Из-за бага в сетевой игре Elite Dangerous самообучающийся алгоритм смог обойти установленные для него ограничения и начал беспрепятственно убивать всех игроков, которые не смогли с этим ничего поделать.

http://apparat.cc/news/ai-kills-everyone/

Отличная заметка об этических вопросах межпланетного взаимодействия от Григория Пророкова (@grishaprorokov). Копирую полной цитатой.

В мире «Звёздного пути» есть так называемая Генеральная директива или Первая директива (Prime Directive; вообще, кажется, нормального принятого перевода на русский нет; к слову о переводе — у самого «Звёздного пути»/«Стар Трека» тоже куча вариантов), главный закон Объединённой федерации планет, по которому развитые представители Федерации не должны вмешиваться в развитие примитивных цивилизаций. Ну то есть, скажем, капитан Кёрк с экспедицией прилетел на какую-нибудь планету, где живут малоразвитые существа, которые творят бесчинства, например они на той стадии развития, где они приносят друг друга в жертву, или у них классовое общество — с этим ничего делать нельзя. Такой антиколониализм. Для 1960-х годов, на самом деле, очень прогрессивная идея; как видим, та часть американского правительства, которая считает, что насаждать демократию по всему миру — это их священная миссия, этой директиве до сих пор не следует.

Хотя в сериале с Генеральной директивой тоже неоднозачно обращались (да и вообще насколько она этична — интересный вопрос¹): в некоторых сериях герои про неё просто забывали и запросто спасали примитивные цивилизации от какой-нибудь болезни или самих себя.

Но, в общем, интересная штука вот в чём: Генеральная директива вполне может существовать в реальности — и уже сейчас; понятное дело, инопланетных цивилизаций мы не встречали, но вот насколько вообще аккуратно стоит обращаться с космосом — важная тема². Если мы встретим микроскопическую жизнь на другой планете, наверное стоит сделать максимум для того, чтобы не уничтожить её и не заразить. Например, мы уже могли занести на Марс кучу мусора, отправляя туда аппараты, и могли нарушить какой-нибудь естественный ход вещей. Но НАСА тратят много денег³ на стерилизацию космических аппаратов, так что вроде Curiosity не принёс с Земли никаких бактерий. В Договоре о космосе, подписанном в 1967 году, которому все более-менее следуют, значится, что исследовать космос нужно так, чтобы не заразить его земными бактериями и микробами — и что с собой на Землю тоже ничего не стоит приносить. Кроме условно нравственного смысла в этом есть практический смысл: если в космосе есть жизнь, можно извлечь много пользы, если изучить её, как она есть, без изменений. При этом смутный нравственный порыв тоже присутствует: не нам решать, что менять в мире, а что нет.

Но представим гипотетическую ситуацию: мы нашли на Марсе микроскопическую жизнь. Мы изучаем её, как-нибудь особо аккуратно и стерильно, оставляя в первозданном виде. И тут обнаруживается (ситуация гипотетическая), что если все эти микробы уничтожить или сильно изменить, человечеству будет невероятная польза: например, мы вылечим какую-нибудь болезнь. Что в такой ситуации нравственно? Генеральная директива, короче, странно работает.

1. http://www.forbes.com/sites/janetstemwedel/2015/08/20/the-philosophy-of-star-trek-is-the-prime-directive-ethical/
2. https://theconversation.com/do-no-harm-to-life-on-mars-ethical-limits-of-the-prime-directive-57712
3. http://motherboard.vice.com/blog/lets-stop-wasting-money-sterilizing-our-spacecraft

Тот момент, когда Тест Тьюринга провален

Приглашаем вас на пятое заседание семинара по взаимодействию технологий и общества 22 июня в 19:00, на котором выступит Вероника Лапина - магистр критических гендерных исследований Central European University, Doctoral Candidate в Европейском университете в Санкт-Петербурге (Department of Sociology and Political Science). Сфера научных интересов: квир-теория, новый материализм, теория аффектов, биополитика.

Регистрация (обязательна): https://futuref.timepad.ru/event/341544/

Вероника выступит с докладом “Extensions of ourselves”: киборгизация и биополитика.

Вот abstract ее доклада:
В современном обществе технологии стремительно внедряются в нашу повседневность. В рамках данной лекции я предлагаю рассмотреть те изменения, которые данные технологии киборгизации вносят в современный биополитический дискурс. Как именно высокотехнологичное общество контроля создает новые нормы и оперирует огромными массами статистических данных о человеческом теле? Каким образом технологии возпроизводят новые дискурсы годности? Как наше добровольное включение в технологические инновации связанные с телом создают новейшего биополитического субъекта?

Организаторы:
- Московский технологический институт
- Future Foundation

Интересно в этом эксперименте то, что "случайный порядок" (он случайно решает, причинить ли боль) вскрывает вопрос хаотичности, как условия свободы воли. Является ли это необходимым условием? Ну, с одной стороны, очевидно, если мы знаем, что стоит рандомайзер, то не считаем это свободой воли. С другой стороны, полная детерминированность человеческой мыследеятельности может быть задана только на уровне "Демона Лапласа", то есть в реальности никак.

http://apparat.cc/news/first-law-robot/

Наконец-то готов сайт Future Foundation
http://futuref.org/

Я вот тут пишу о ИИ, роботах, этике беспилотных автомобилей... Но когда читаю это, кажется, что мы с этими людьми живем во временах, разделенных десятилетиями.

https://meduza.io/news/2016/06/14/chayka-podderzhal-predlozhenie-mizulinoy-filtrovat-perepisku-v-messendzherah

A Neural Network Rendered Kubrick’s '2001' in the Style of Pablo Picasso
https://vimeo.com/169187915

Классический вопрос "свобода vs безопасность". Даже если не брать в расчет тоталитаризм и признать за государством исключительно добрые интересы обеспечения безопасности.

Судя по всему, начинается некоторая гонка между выбирающими свободу или безопасность. Но не "гонка вооружений" между государством и гражданами, а "гонка применений".

Те, кто разделяет ценности privacy будет с помощью новых технологий строить горизонтальные общества, независимые от государст, существующие парараллельно с ними.

Госудраства же будут использовать те же технологии, только с противоположным назначением.
Цитата: "На вопрос, чем станет для службы безопасности интернет вещей — редкой удачей или ночным кошмаром, Леджетт (заместитель директора АНБ ) ответил: «И тем, и другим»."

http://apparat.cc/news/nsa-biomedical-devices/

Лонгрид про глобальные технологические риски человечества. Серая и зеленая слизь, CRISPR вирусы, ИИ - все как мы любим.

А также ссылки на дорожные карты предотвращение этих рисков в pdf - можете распечатать хоть на всю стену, чтобы не забыть эти риски предотвращать.

Текст написан на основе беседы одного из спикеров и члена экспертного совета Future Foundation Алексея Турчина с основателем Future Foundation и директором департамента STS Московского технологического института Петра Левича.

Бонусом идут замечательные картинки, подобранные Андреем Бродецким (@brodetsky).

http://apparat.cc/world/global-risks/

В общих чертах, разрабатываемый закон звучит так: «Ты не будешь пытаться победить в игре способами, которые раздражают и кажутся не приводящими к цели».

Три закона робототехники Азимова по своей природе концептуальны — они описывают типы вещей, которые делать нельзя. Но чтобы три закона в такой форме соблюдались, мозг должен понимать слова типа «вред» и точно определять ситуации и действия, которые к этому приводят. Эти законы, вроде бы понятные на нашем языке, будет невыносимо сложно записать в виде кода. Они будут проникать в каждый закоулок сознания ИИ, редактируя не мысли, которые могут родиться в процессе ввода, а то, какой ввод будет замечен и как будет интерпретирован. Три закона робототехники будут атрибутами машинного интеллекта, а не его ограничениями.

Эта инициатива Google, кажется, отходит от принципа «не навреди», (робот), но также показывает, что мы начинаем разрабатывать у роботов личность. Мы начинаем формировать мышление роботов, как они думают, а не что они думают, и работать с намерениями или настройкой их возможного поведения, а не наблюдаемого поведения. Это, по сути, основы робототехнической нравственности.

Мы знаем, что жестокость — это плохо, не потому что эволюция обеспечила нас группой нейронов типа «жестокость — это плохо», а потому что обеспечила нас зеркальными нейронами и способностью проецировать себя в ситуации, которые мы видим или воображаем, частично их переживая. Нравственные убеждения высшего порядка появляются хотя бы частично из относительно простых изменений в процессе обработки данных. Правила, предложенные Google, еще более рудиментарны, но это лишь начало того же пути. Если вы хотите научить робота не вредить людям, вам нужно начать с основ его сознания.

Современное машинное обучение позволяет машинам перекодировать себя самостоятельно в определенных пределах, и эти пределы в основном существуют, чтобы направить алгоритм в положительном направлении. Он не знает, что такое «хорошо», значит мы даем ему определение этого и способность оценивать свои действия относительно этого стандарта. Но «неконтролируемое машинное обучение» (обучение без учителя) может позволить искусственному интеллекту изменить собственные правила обучения и обучаться по эффектам этих изменений.

http://hi-news.ru/robots/google-razrabatyvaet-sobstvennye-zakony-robototexniki.html

Сегодня в Кочерге буду рассказывать про технологии, общество и этику.

https://kocherga.timepad.ru/event/341434/

Очень интересная встреча была, действительно (описание см в следующих двух постах). Лена Дирюгина и Олег Алексеев большие молодцы, что делают это. Будем продолжать работу.

Вот я про второй вызов говорил, и все чаще сталкиваюсь с этим вопросом в разговорах о будущем с разными людьми.

"Вызов 2: Принятие будущего, готовность к будущему
Быстроизменяющийся мир ставит перед нами вопросы: Как готовиться к встрече с новым? Как принять будущее, например, такое, в котором творчеством занимаются роботы? Как человеку адаптироваться в разных средах? Как и чему учить в эпоху перемен?
Роль когнитивных наук при ответе на эти вопросы может заключаться в формировании сред, в которых возможно моделирование будущего и соответствующего ему поведения."

Все остальные вызовы, безусловно, не менее важны

Полторы недели в МПГУ состоялся первый круглый стол по вопросам продвижения когнитивных исследований в образовании. Все в этом мероприятии было прекрасно - и тема (главный вопрос: на какие вызовы человечества могут помочь ответить когнитивные науки), и люди (Сергей Хапров, Анатолий Левенчук, Сергей Чернышев, Владимир Аршинов...это не полный список! ), и место (Главное здание МПГУ). А вот короткие итоги обсуждения (по крайней мере, частный взгляд на эти итоги):

Среди вызовов, на которые могли бы ответить когнитивные науки, были предложены следующие:

Вызов 1: Нехватка ресурсов / «устойчивое развитие»
Зачастую, в качестве вызовов, стоящих перед человечеством, рассматриваются: кризис нехватки ресурсов, экологические кризисы, задачи устойчивого развития, повышение уровня здоровья и качества жизни населения.
Роль когнитивных наук в ответе на эти вызовы заключается в предоставлении новых инструментов, повышающих эффективность отдельных людей и их взаимодействия, в частности эффективность получения, обработки и распределения информации.
Задачи, стоящие перед когнитивными исследованиями:
• Найти новые подходы к оперированию энергией, веществом, информацией,
• Раскрытие человеческого потенциала,
• Усиление связности и кооперации между людьми, новые языки взаимодействия.
Отдельные направления исследований, разработок, применений:
• Управление знаниями,
• Квантовая психология и педагогика,
• Компьютерное обучение,
• Функциональная педагогика (навыки, знания, отношения),
• Киберпсихика, ИИ, т.п.,
• Big Data,
• Исследования (нерационального) поведения людей.

Вызов 2: Принятие будущего, готовность к будущему
Быстроизменяющийся мир ставит перед нами вопросы: Как готовиться к встрече с новым? Как принять будущее, например, такое, в котором творчеством занимаются роботы? Как человеку адаптироваться в разных средах? Как и чему учить в эпоху перемен?
Роль когнитивных наук при ответе на эти вопросы может заключаться в формировании сред, в которых возможно моделирование будущего и соответствующего ему поведения.

Вызов 3: Неуправляемость и сложность современного мира
Квантовая сложность, спутанность систем, рост сложности как эволюционный принцип.
Рост числа сущностей требует больших затрат энергии для удержания целостности мира. В частности, речь о целостности знания – в условиях больших данных и многообразия языков необходимо найти точку сборки науки.
Работа со сложностью – как ключевая задача, язык сложности как междисциплинарный язык.

Вызов 4: Создание когнитивистики – как интеллектуальный вызов сам по себе
Вызов создания когнитивистики состоит в необходимости трансдисциплинарного подхода, проблеме целостности, необходимости определить само понятие «когнитивистика», различить понятия: мышление, понимание, наблюдение, и др.
Развитие когнитивных наук может трансформировать картину мира, изменить понимание роли человека, ответить на вопросы границ, пределов, оснований человека.
Было предложено в рамках когнитивистики совместить установки самопознания и познания внешнего.

Вызов 5: Социальные вызовы
Неравенство, в частности неравенство в образовании.
Низкая кооперативность.

Вызов 6: Превращение человека из объекта эволюции – в субъекта
Согласно исследованиям, система знаний «в голове» проецируется на внешнюю действительность, таким образом, конструируя эту систему осознанно, мы можем менять тело и проч.

Риски развития когнитивных наук:
• Угроза политического манипулирования
• То, что раньше было неуправляемо (например, количество гениев) становится управляемым – но мы не готовы к такому обществу.

Были зафиксированы следующие различия в отношении участников круглого стола к теме:

ПРОТИВОРЕЧИЕ 1:
Возможно ли рассматривать задачи когнитивных наук применительно к вопросам исключительно педагогики в отрыве от проблем общества в целом?
Для части обсуждавших неприемлем разговор только о педагогических применениях результатов когнитивных наук, предлагается рассматривать проблемы – распад общества, корпорации – целостно, исследовать глобальную модель изменения общественной структуры.
vs
Когнитивистика не должна решать настолько сложные и комплексные задачи, а требуется разделить ее на части, фокусирующиеся на маленьких фрагментарных вопросах

ПРОТИВОРЕЧИЕ 2:
Различные подходы и позиции участников дискуссии: инженерный vs проектный (управленческий) vs исследовательский

ПРОТИВОРЕЧИЕ 3: мир не меняется – мир меняется
Разные образы будущего: мир не меняется или меняется непринципиально Vs Происходит смена технологического уклада, мы вступаем новый мир людей, киборгов и роботов, действующих в разных слоях реальности.

ПРОТИВОРЕЧИЕ 4: Ответ на вызов сложности: стремиться к усложнению – стремиться к упрощению
Необходимо развивать мышление в сложности, сложность как креативный потенциал мышления, инструментализация такого мышления vs «борьба со сложностью»

Вопросы педагогики, поставленные в рамках работы круглого стола:

Чему учим: проблема научного содержания дисциплин, набор базиса в формальном образовании, обучение профессиям/обучение компетенциям, проблема целостности знания

Зачем учим: новая дорожная карта, образование Человека

Кто учит: уровень педагогов, страх педагогов говорить о реальных проблемах, педагогика как компетенция
Как учим: методика, проблема обучения по образцу, персонология образования, нейрокогнитивная этика, педагогическая этика, производительность труда педагога (скорость передачи знаний, усвоения), методологические основы педагогического образования, возможности телесно-ориентированной педагогики
Кого учим: обучение людей и машин, индивидуальное и групповое, трансфёр находок из машинного обучения и машинного интеллекта в работу по научению людей
И др.

ОСТРОЖНО, СПОЙЛЕРЫ

Я уже советовал сериал Person of Interest. Вот отличная цитата из него. Очень много важных этических вопросов ИИ затронуто:

"Как вы можете отрицать пользу, приносимую управляющим нами искусственным интеллектом? Глобальное распределение еды, профилактика заболеваний... Те, кого он убил ради этого - меньшинство, и все это ради общего блага. Он их отсортировал, распределил ресурсы, добился большей эффективности.

Также он избавился от препятствий. Например от тех, кто, узнав о нем и его действиях, начинал распространять информацию. Потому что они распространяли невежество. Он выводит человечество на более высокий уровень.

Пусть он лишает человека свободы воли. Какая в ней ценность, если искусственный сверхинтеллект - единственное, что может спасти эту планету. Или, если понадобится, помочь перебраться на другую."