Лонгрид про глобальные технологические риски человечества. Серая и зеленая слизь, CRISPR вирусы, ИИ - все как мы любим.

А также ссылки на дорожные карты предотвращение этих рисков в pdf - можете распечатать хоть на всю стену, чтобы не забыть эти риски предотвращать.

Текст написан на основе беседы одного из спикеров и члена экспертного совета Future Foundation Алексея Турчина с основателем Future Foundation и директором департамента STS Московского технологического института Петра Левича.

Бонусом идут замечательные картинки, подобранные Андреем Бродецким (@brodetsky).

http://apparat.cc/world/global-risks/

В общих чертах, разрабатываемый закон звучит так: «Ты не будешь пытаться победить в игре способами, которые раздражают и кажутся не приводящими к цели».

Три закона робототехники Азимова по своей природе концептуальны — они описывают типы вещей, которые делать нельзя. Но чтобы три закона в такой форме соблюдались, мозг должен понимать слова типа «вред» и точно определять ситуации и действия, которые к этому приводят. Эти законы, вроде бы понятные на нашем языке, будет невыносимо сложно записать в виде кода. Они будут проникать в каждый закоулок сознания ИИ, редактируя не мысли, которые могут родиться в процессе ввода, а то, какой ввод будет замечен и как будет интерпретирован. Три закона робототехники будут атрибутами машинного интеллекта, а не его ограничениями.

Эта инициатива Google, кажется, отходит от принципа «не навреди», (робот), но также показывает, что мы начинаем разрабатывать у роботов личность. Мы начинаем формировать мышление роботов, как они думают, а не что они думают, и работать с намерениями или настройкой их возможного поведения, а не наблюдаемого поведения. Это, по сути, основы робототехнической нравственности.

Мы знаем, что жестокость — это плохо, не потому что эволюция обеспечила нас группой нейронов типа «жестокость — это плохо», а потому что обеспечила нас зеркальными нейронами и способностью проецировать себя в ситуации, которые мы видим или воображаем, частично их переживая. Нравственные убеждения высшего порядка появляются хотя бы частично из относительно простых изменений в процессе обработки данных. Правила, предложенные Google, еще более рудиментарны, но это лишь начало того же пути. Если вы хотите научить робота не вредить людям, вам нужно начать с основ его сознания.

Современное машинное обучение позволяет машинам перекодировать себя самостоятельно в определенных пределах, и эти пределы в основном существуют, чтобы направить алгоритм в положительном направлении. Он не знает, что такое «хорошо», значит мы даем ему определение этого и способность оценивать свои действия относительно этого стандарта. Но «неконтролируемое машинное обучение» (обучение без учителя) может позволить искусственному интеллекту изменить собственные правила обучения и обучаться по эффектам этих изменений.

http://hi-news.ru/robots/google-razrabatyvaet-sobstvennye-zakony-robototexniki.html

Сегодня в Кочерге буду рассказывать про технологии, общество и этику.

https://kocherga.timepad.ru/event/341434/

Очень интересная встреча была, действительно (описание см в следующих двух постах). Лена Дирюгина и Олег Алексеев большие молодцы, что делают это. Будем продолжать работу.

Вот я про второй вызов говорил, и все чаще сталкиваюсь с этим вопросом в разговорах о будущем с разными людьми.

"Вызов 2: Принятие будущего, готовность к будущему
Быстроизменяющийся мир ставит перед нами вопросы: Как готовиться к встрече с новым? Как принять будущее, например, такое, в котором творчеством занимаются роботы? Как человеку адаптироваться в разных средах? Как и чему учить в эпоху перемен?
Роль когнитивных наук при ответе на эти вопросы может заключаться в формировании сред, в которых возможно моделирование будущего и соответствующего ему поведения."

Все остальные вызовы, безусловно, не менее важны

Полторы недели в МПГУ состоялся первый круглый стол по вопросам продвижения когнитивных исследований в образовании. Все в этом мероприятии было прекрасно - и тема (главный вопрос: на какие вызовы человечества могут помочь ответить когнитивные науки), и люди (Сергей Хапров, Анатолий Левенчук, Сергей Чернышев, Владимир Аршинов...это не полный список! ), и место (Главное здание МПГУ). А вот короткие итоги обсуждения (по крайней мере, частный взгляд на эти итоги):

Среди вызовов, на которые могли бы ответить когнитивные науки, были предложены следующие:

Вызов 1: Нехватка ресурсов / «устойчивое развитие»
Зачастую, в качестве вызовов, стоящих перед человечеством, рассматриваются: кризис нехватки ресурсов, экологические кризисы, задачи устойчивого развития, повышение уровня здоровья и качества жизни населения.
Роль когнитивных наук в ответе на эти вызовы заключается в предоставлении новых инструментов, повышающих эффективность отдельных людей и их взаимодействия, в частности эффективность получения, обработки и распределения информации.
Задачи, стоящие перед когнитивными исследованиями:
• Найти новые подходы к оперированию энергией, веществом, информацией,
• Раскрытие человеческого потенциала,
• Усиление связности и кооперации между людьми, новые языки взаимодействия.
Отдельные направления исследований, разработок, применений:
• Управление знаниями,
• Квантовая психология и педагогика,
• Компьютерное обучение,
• Функциональная педагогика (навыки, знания, отношения),
• Киберпсихика, ИИ, т.п.,
• Big Data,
• Исследования (нерационального) поведения людей.

Вызов 2: Принятие будущего, готовность к будущему
Быстроизменяющийся мир ставит перед нами вопросы: Как готовиться к встрече с новым? Как принять будущее, например, такое, в котором творчеством занимаются роботы? Как человеку адаптироваться в разных средах? Как и чему учить в эпоху перемен?
Роль когнитивных наук при ответе на эти вопросы может заключаться в формировании сред, в которых возможно моделирование будущего и соответствующего ему поведения.

Вызов 3: Неуправляемость и сложность современного мира
Квантовая сложность, спутанность систем, рост сложности как эволюционный принцип.
Рост числа сущностей требует больших затрат энергии для удержания целостности мира. В частности, речь о целостности знания – в условиях больших данных и многообразия языков необходимо найти точку сборки науки.
Работа со сложностью – как ключевая задача, язык сложности как междисциплинарный язык.

Вызов 4: Создание когнитивистики – как интеллектуальный вызов сам по себе
Вызов создания когнитивистики состоит в необходимости трансдисциплинарного подхода, проблеме целостности, необходимости определить само понятие «когнитивистика», различить понятия: мышление, понимание, наблюдение, и др.
Развитие когнитивных наук может трансформировать картину мира, изменить понимание роли человека, ответить на вопросы границ, пределов, оснований человека.
Было предложено в рамках когнитивистики совместить установки самопознания и познания внешнего.

Вызов 5: Социальные вызовы
Неравенство, в частности неравенство в образовании.
Низкая кооперативность.

Вызов 6: Превращение человека из объекта эволюции – в субъекта
Согласно исследованиям, система знаний «в голове» проецируется на внешнюю действительность, таким образом, конструируя эту систему осознанно, мы можем менять тело и проч.

Риски развития когнитивных наук:
• Угроза политического манипулирования
• То, что раньше было неуправляемо (например, количество гениев) становится управляемым – но мы не готовы к такому обществу.

Были зафиксированы следующие различия в отношении участников круглого стола к теме:

ПРОТИВОРЕЧИЕ 1:
Возможно ли рассматривать задачи когнитивных наук применительно к вопросам исключительно педагогики в отрыве от проблем общества в целом?
Для части обсуждавших неприемлем разговор только о педагогических применениях результатов когнитивных наук, предлагается рассматривать проблемы – распад общества, корпорации – целостно, исследовать глобальную модель изменения общественной структуры.
vs
Когнитивистика не должна решать настолько сложные и комплексные задачи, а требуется разделить ее на части, фокусирующиеся на маленьких фрагментарных вопросах

ПРОТИВОРЕЧИЕ 2:
Различные подходы и позиции участников дискуссии: инженерный vs проектный (управленческий) vs исследовательский

ПРОТИВОРЕЧИЕ 3: мир не меняется – мир меняется
Разные образы будущего: мир не меняется или меняется непринципиально Vs Происходит смена технологического уклада, мы вступаем новый мир людей, киборгов и роботов, действующих в разных слоях реальности.

ПРОТИВОРЕЧИЕ 4: Ответ на вызов сложности: стремиться к усложнению – стремиться к упрощению
Необходимо развивать мышление в сложности, сложность как креативный потенциал мышления, инструментализация такого мышления vs «борьба со сложностью»

Вопросы педагогики, поставленные в рамках работы круглого стола:

Чему учим: проблема научного содержания дисциплин, набор базиса в формальном образовании, обучение профессиям/обучение компетенциям, проблема целостности знания

Зачем учим: новая дорожная карта, образование Человека

Кто учит: уровень педагогов, страх педагогов говорить о реальных проблемах, педагогика как компетенция
Как учим: методика, проблема обучения по образцу, персонология образования, нейрокогнитивная этика, педагогическая этика, производительность труда педагога (скорость передачи знаний, усвоения), методологические основы педагогического образования, возможности телесно-ориентированной педагогики
Кого учим: обучение людей и машин, индивидуальное и групповое, трансфёр находок из машинного обучения и машинного интеллекта в работу по научению людей
И др.

ОСТРОЖНО, СПОЙЛЕРЫ

Я уже советовал сериал Person of Interest. Вот отличная цитата из него. Очень много важных этических вопросов ИИ затронуто:

"Как вы можете отрицать пользу, приносимую управляющим нами искусственным интеллектом? Глобальное распределение еды, профилактика заболеваний... Те, кого он убил ради этого - меньшинство, и все это ради общего блага. Он их отсортировал, распределил ресурсы, добился большей эффективности.

Также он избавился от препятствий. Например от тех, кто, узнав о нем и его действиях, начинал распространять информацию. Потому что они распространяли невежество. Он выводит человечество на более высокий уровень.

Пусть он лишает человека свободы воли. Какая в ней ценность, если искусственный сверхинтеллект - единственное, что может спасти эту планету. Или, если понадобится, помочь перебраться на другую."

Что уничтожит человечество — «серая слизь» из нанороботов, биологический вирус или искусственный интеллект?

Большое интервью Петра Левича (@peterlevichchannel) о глобальных рисках человечества с футурологом Алексеем Турчиным

http://apparat.cc/world/global-risks/

- Ведет ли технический прогресс к большей свободе или наоборот усиливает тоталитаризм, давая ему новые инструменты?
- Почему сбор биоданных с носимой электроники может быть не так хорош, как нам кажется?
- Фитнесс-трекер, который говорит вам, с кем заниматься сексом - уже скоро. И как нам с этим жить?

Об этом рассказала спикер Future Foundation аспирантка факультета политических наук и социологии Европейского университета в Санкт-Петербурге Вероника Лапина в беседе с Петром Левичем.

А в среду 22 июня Вероника продолжит говорить на эти же темы на семинаре, регистрация (обязательна) - по ссылке в конце статьи.

http://apparat.cc/human/tech-and-biopolitics/

Евродепутаты предложили признать роботов «электронными лицами» — Apparat
http://apparat.cc/news/robots-electronic-persons/

В эту пятницу в Биоключе буду рассказывать про кодификацию этики для беспилотной машины, генетический детерминизм (привет, Гаттака), юрисдикцию VR-миров и прочее технологически-этическое.

https://futurebiotech.timepad.ru/event/341727/

Нашел в домашней библиотеке

Про финал сезона Игры Престолов. Мои ночные размышления. Как ни странно, по теме этой страницы)

Самое сильное впечатление на меня произвела библиотека. Она величественна, огромна и крута. Но я подумал, что очень опрометчиво строить одну централизованную библиотеку на несколько континентов в эпоху, не знающую ни одной эффективной технологии тушения пожаров. Одна случайно опрокинутая свечка - и все, всему хранилищу знаний цивилизации конец. Удивлен, что она вообще еще существует - за сотни лет кто-то да дожен был опрокинуть свечку. И ведь история реального мира знает преценденты, самый известный - Александрийская библиотека.

Продолжив об этом думать, я решил, что самый эффективный технологический пакет, который позволил бы обезопасить библиотеку, уже есть в данной фэнтезийной вселенной. Причем он позволил бы сделать не только это, но и вообще при правильном использовании дал бы цивилизации вселенной Игры Престолов возможность резкого глобального технологического рывка.

Это, разумеется, VR-нейронет. Вы спросите - откуда же VR-нейронет в Игре Престолов? Так это те специальные деревья с ликами. Бран и его учитель (уж не помню, как его зовут) получали доступ через нейроинтерфейс (прикосновение рукой к коре или корням) к миру виртуальной реальности, содержащему запись всего прошлого. Нужно только посадить больше таких деревьев и обучить всех ими пользоваться. Во-первых, перенести всю библиотеку туда, в этот виртуальный мир. Во-вторых, через этот интерфейс можно было бы реализовать коммуникацию (практически моментальную). В-третьих, перестроить систему образования на обучение всему в виртуальной реальности, и каждый бы (не только мейстеры) получил бы доступ в ту огромную библиотеку. Даже эти три шага дали бы огромный технологический толчок цивилизации.

По самой технологии - это, видимо, что-то похожее на нейросеть Пандоры (вселенная фильма Аватар) - объединенную в единую сеть биосферу. Причем здесь к этой сети подключены, видимо, не только деревья одного вида, но и тоже вся биосфера - ведь как-то должна фиксироваться информация из прошлого.

Хранение информации в такой сети, видимо, распределенное и реализовано на основе неких биологических ячеек памяти (такие эксперименты сейчас идут уже, кстати).

Когда я поделился этой фантазией с друзьями, мне указали, что еще сюда нужно прикрутить шифрование. Но, боюсь, Серсея сразу же издаст какой-нибудь пакет законов, который обяжет деревья выдавать ключи этого шифрования Красному Замку.