Почему происходят катастрофы, которых можно было бы избежать. Что такое Розовый фламинго, и чем это понятие страшнее Черного лебедя.

Об этом я написал на Medium


Что здесь интересно.

* Риски редкого, непредсказуемого катастрофического события – т.н. Черного лебедя - не самая главная опасность в этом мире.

* Куда опасней риски у т.н. Серого лебедя - предсказуемого катастрофического события, на которое люди склонны закрывать глаза или бессознательно игнорировать. Во-первых, потому что Серые лебеди случаются куда чаще Черных. А во-вторых, потому что Черных лебедей в принципе невозможно избежать – они же непредсказуемы.

* Однако самые неприятные и обидные риски несет т.н. Розовый фламинго - предсказуемое катастрофическое событие, игнорируемое руководством (компании или целого государства) под воздействием заинтересованных групп влияния вплоть до момента свершения катастрофы.

* Большинство страшных катастроф – это вовсе не Черные, а Серые лебеди. А за большинством из Серых лебедей, на самом деле, прячутся Розовые фламинго.

* Это справедливо для самых непохожих, на первый взгляд, катастроф: страшный теракт 9/11 в США, сбитый под Донецком Boeing-777, унесший жизни тысяч людей хаос, воцарившийся в Ираке после американского вторжения в 2003 г, финансовый кризис 2007-2008 и др.

* Недостаток воображения («failure of imagination», как назвали это в официальном отчете расследования теракта 9/11) и шкурные интересы влиятельных групп ведут к игнорированию обществом новых страшных катастроф.

* Но их можно избежать, если вовремя перестать игнорировать. А для этого их нужно, как минимум, осознать и начать открыто обсуждать.

Дабы читателям канала не тратить впустую свое драгоценное время на ознакомление с контентом «непонятно о чем и зачем», - уточню, что я планирую здесь писать. И поясню это на конкретных примерах.

В сети уже немало блогов и каналов «про интересные хайтековские новости». Среди них есть и весьма качественные. Однако, даже на лучших из них рассказывается, в основном, либо о мэйнстримовских темах (типа Big Data), либо о самых хайповских (ажиотажно популярных) темах (типа Нейронных сетей и Машинного обучения).

О малоизвестном интересном – еще не достигнувшем пика ажиотажа (ака пик завышенных ожиданий) - пишут на два порядка реже. И по-моему, зря.

Ведь среди новаций много таких, что взлетают на пик ажиотажа на «маркетинговых крыльях», а вовсе не в силу своего прорывного потенциала. Сегодня в маркетинг вбухиваются бОльшие деньги, чем в исследования и разработки. В результате многие раздутые маркетингом темы становятся самыми популярными, а зачастую, и просто забалтываемыми.

Такие темы на этом канале обсуждаться не будут.

Но есть несколько классов тем, до которых маркетинг пока еще не добрался в силу, например, не совсем понятной их принадлежности.

* Это про что: про компьютерное моделирование, социологию, историю или какую-то эзотерическую социофизику?

* Это зачем: теоретическое исследование, прикладная методология, алгоритмы для нового класса приложений или готовое решение ранее нерешаемой задачи?

Такие классы тем, чаще всего находятся на стыках разных наук. Например, социологии, антропологии и физики; или лингвистики, теории сетей и психологии и т.д.

Более того. Эти классы лежат на стыках разных технологий. Например, Big Data, Агентное моделирование и медицина; микро-макро моделирование, анализ гиперссылок и выявление социальных феноменов в WEB.

И еще более того. Потенциальными выгодоприобретателями от внедрения разработок по таким классам тем могут стать самые разные и трудносовместимые области. Например, здравоохранение, журналистика и разведка, политические институты общества и политтехнологи действующей власти, финансовый бизнес и отдельные граждане и т.д. и т.п.

Именно об этих, лежащих на стыках наук, технологий, бизнеса и общества классах тем я и собираюсь писать на канале «Малоизвестное интересное». И как уже сказал выше, о пока еще сравнительно малоизвестных темах.

Примером этому - 1й пост канала про Розовых фламинго. Ведь действительно, даже самые продвинутые в стране эксперты не слыхали раньше про это.

Как с юмором написал мне в отзыве на 1й пост канала старый знакомый – один из самых продвинутых экспертов по ситуационному анализу, доктор, профессор, лауреат, визионер и идеолог: «Про серых лебедей и этих фламинго я, кажись, не слышал. Правда, знаю, что начальники муд-ки, а все хорошие дела делаются по недосмотру начальства!»

Точно подмечено. Но ведь для того и разработана новая концепция Розовых фламинго, чтобы и с начальники муд-ками бороться и в обход их хорошие дела делать 😊

Ну а следующим примером будет новый пост о революции на стыке естественных и социальных наук, которую наблюдают все, но мало кто пока осознал и, тем более, обдумал.

Читайте и, если нравится, присоединяйтесь к каналу.

В последние годы в мире произошла революция на стыке естественных и социальных наук, которую наблюдают все, но мало кто пока осознал и, тем более, обдумал.

Это революция в цифровом моделировании социальных феноменов: от вирусных мемов и культурных трендов до общественного мнений и политических пристрастий электората.

* Базой для этой революции стали Big Data социальной оцифровки, получаемые при трассировке следов, оставляемых людьми в электронных средах в ходе серфинга по интернет сайтам, общения в социальных сетях, онлайн-шопинга, порождения всевозможных данных носимыми гаджетами и пр.

* Оказалось, что с переходом человечества в цифровую среду (digital media) практически все следы, оставляемые в ней людьми, потенциально трассируемы (отслеживаемы и доступны для анализа). Более того – многие из классов таких следов уже трассируются.

* Растущие со страшной скоростью Big Data социальной оцифровки стали основой для моделирования возникновения коллективных феноменов при индивидуальных взаимодействиях.

* В таких моделях индивидуумы выступают в роли «социальных атомов», к большим коллективам которых применимы физические законы и математический аппарат из разных областей естественных наук.

* Исследования на таких моделях пока только начинаются, но даже первые результаты приносят поразительные выводы.

О результатах двух таких исследований я недавно рассказал применительно к альтернативной выборной стратегии для оппозиции.

Ну а в дальнейшем планирую рассказать о результатах самых разных новейших исследований по цифровому моделированию социальных феноменов.
Их тематика крайне разнообразна: моделирование динамики популярности в блогосфере, поведение разнообразных меньшинств, распространение и утверждение новых научных парадигм, формирование международных отношений, лексические тренды в истории литературы, тренды в развитии патентовании, Википедии, краудсорсинга и т.д. и т.п.

Так что, если у вас есть предпочтения в названной (или не названной) тематике, пишите.

Ну и подписывайтесь на канал 😊

Читателям канала, желающим разобраться и понять:
I - что уже принесла революция на стыке естественных и социальных наук, и
II - какая ключевая проблема стоит на пути широкого внедрения плодов этой революции в жизнь,
- рекомендую прочесть короткую статью-манифест трех закоперщиков этой революции

При хорошем знании английского, это чтение примерно на 15 мин. Кроме того, у статьи прекрасный список цитируемой литературы из нескольких десятков названий, где есть все самое главное по теме.
Тем же, кому жаль 15 мин или на английском читать влом, вот ее бриф на 1,5 мин чтения:
* На сегодня уже научились с помощью агентного моделирования имитировать на моделях (а иногда и объяснять) появление самых разнообразных коллективных феноменов в результате индивидуальных взаимодействий людей, как в электронной среде (например, соцсети), так и в жизни. Авторы приводят ссылки на десятки исследований самых разных коллективных феноменов.
* Самое главное, что гигантское число социальных взаимодействий уже трассируется, лавинообразно наращивая Big Data для последующего анализа, интерпретации и предсказаний.
* Если с самим моделированием получается все достаточно точно и ясно, то с объяснениями, ПОЧЕМУ возникает коллективный феномен, увы, все пока зыбко – т.к. во многом определяется субъективными соображениями авторов исследований.
* Например, моделируется работа рынка ценных бумаг. Модельные агенты взаимодействуют на этом рынке согласно своим шкурным интересам. И все идет, вроде как, хорошо и понятно. Но вот вдруг начинает казаться, что некий агент А теряет доверие участников рынка. И чтобы дальше моделировать, нужно в модели формально прописать, как и из чего образуется это доверие, и почему оно может расти и падать. По этому поводу одни исследователи говорят – в результате предыдущих сделок у А репутация пошатнулась, другие пеняют на проблемы семейных связей А, а третьи считают, что просто рожа у А стала какая-то хитро-паскудная в поледнее время (ведь и так по жизни бывает). Так возникает разнобой интерпретаций, который компьютерная модель сама разрешить не в силах. Отсюда – субъективность.
* Однако с наиболее простыми моделями – например, динамика мнений – все уже получается неплохо. И с моделированием, и с интерпретацией, и с практическим использованием: от рекомендательных систем в торговле до влияния на избирателей в ходе кампании. Самое ценное – при моделировании виден процесс, КАК люди меняют свое мнение. Зная это, можно понять, как оптимально влиять на мнения интересной вам группы людей.
* Ключевая задача на ближайшие несколько лет – разработать формальные методы объяснений, почему модель дает такие результаты, дабы:
(1) уйти от субъективных интерпретаций и
(2) содержательно понимать, что, на самом деле, следует из поведения модели и почему.
N.B. Эта задача в ближайшие годы будет ключевой не только для понимания, как возникают коллективные феномены в результате индивидуальных взаимодействий людей. По сути, это ключевая задача дальнейшего развития парадигмы Big Data. Но об стоит написать отдельно.

Сегодня логика принятия решений машиной, зачастую, не понятна никому.

Главным бенефитом для человечества, уже вкушающего плоды развития технологий глубокого машинного обучения, является автоматизация процессов принятия решений: от решений типа – сколько магазину заказать на складе йогуртов и какой марки, до решений типа – запустить ракету по противнику или нет.

А главной проблемой при вкушении этих плодов оказывается:
- не точность принимаемых машиной решений,
- не отсутствие необходимых данных,
- не скорость принятия решений,
а нарастающее НЕПОНИМАНИЕ людьми ПОЧЕМУ машина принимает эти, а не иные решения.

По сути, это и есть ключевая задача дальнейшего развития парадигмы Big Data, о которой я упомянул в конце предыдущего поста.

Как бывало и ранее, первыми к решению этой задачи подступились американские военные ученые из DARPA .
В августе этого года они запустили проект Explainable Artificial Intelligence (XAI) - Объяснимый Искусственный интеллект http://www.darpa.mil/program/explainable-artificial-intelligence

Цель проекта – создать инструментарий для объяснений ПОЧЕМУ машина принимает те или иные решения.

Как популярно объясняют генералы – кураторы проекта в DARPA, сегодня, наблюдая за решениями, принимаемыми машинами, или их рекомендациями, которая машина нам дает, мы не понимаем (до конца или вообще):

1) Почему машина выбрала или предложила именно такое решение, а не другое?
2) А что было бы, если бы было принято иное решение?
3) Как понять, было ли это лучшее решение?
4) Насколько можно доверять конкретному выбору решения машиной?
5) И главное – как нам исправить ситуацию, если принятое машиной решение окажется ошибочным?

Планируется, что в результате проведения проекта XAI (эта аббревиатура навевает ассоциации с новым романом Пелевина «Лампа Мафусаила, или Крайняя битва чекистов с масонами»)) американские генералы (а потом, возможно, и весь мир) смогут, наконец, понять логику принятия решений машиной, получая ответы на вышеприведенные 5 вопросов.

Чем не сюжет для нового романа Пелевина?

P.S. Во второй половине 90ых Пелевин, вдохновившись технологическими идеями компании Silicon Graphics (российским отделением которой руководил я), написал роман «Generation „П“». Почему бы и теперь ему не вдохновиться идеями XAI?

#XAI #Пелевин

Интересно формируется новостная повестка!

У журналистов все понятно. Никто не напишет про банальную новость, что собака укусила человека. Зато про необычную новость, что человек укусил собаку, напишут все.

У технологов же и, особенно у маркетологов, все наоборот. Про очередную банальную новость о замечательных перспективах машинного обучения, высказанную в интервью Тима Кука в Японии, пишут многие (и даже заслуженный канал @TechSparks). А вот про необычную новость о нарастающих проблемах в применении глубокого машинного обучения, опубликованную в октябрьском выпуске журнала Nature

http://www.nature.com/news/can-we-open-the-black-box-of-ai-1.20731 ,

пока что не хочет писать никто.

А это ведь не только интересно, но и при попустительстве технологов и маркетологов, - малоизвестно. Поэтому пишу об этом здесь.

Проблема «черного ящика искусственного интеллекта», о которой пишет Nature, - эта та же проблема, о которой я писал в предыдущем посте этого канала. Даже сами разработчики современных систем глубокого машинного обучения не понимают их рекомендаций. Логика машинных рекомендаций не понятна и специалистам, которым рекомендации адресуются.

В итоге, как пишет Nature:

* Приложения на базе глубокого машинного обучения становятся все опасней из-за неспособности людей понять мотивы и логику вырабатываемых ими решений и рекомендаций.

* Уже существует масса областей, активно использующих глубокое машинное обучение, где вырабатываемые машиной решения могут нанести серьезный вред, а то и оказаться незаконными (в статье приводятся примеры от диагностики рака до финансового анализа и самоуправляемых авто).

* Нужно срочно сфокусировать внимание и инвестиции на разработке т.н. «Прозрачного искусственного интеллекта» - Transparent AI (см. о проекте XAI в предыдущем посте канала)

* Речь не идет об отказе от метода глубокого машинного обучения. Но из соображений безопасности во многих критических областях для этого метода срочно нужны альтернативные методы с прозрачной мотивацией и логикой принятия решений.

* Если же этого не сделать, останется только, подобно цитируемому в статье Пьеру Балди, успокаивать себя и других соображениями о том, что и человеческие решения также принимаются мозгом совершенно не понятно как, и ничего, - живем.
Но это, по-моему, какая-то странная отмазка.

Стоило неосторожно заявить, что о «черном ящике искусственного интеллекта» никто не пишет, как мне сразу же прилетело от «старших товарищей»)

Еще как пишут https://telegram.me/brodetsky/510 И не только пишут, но и активно читают (уже 5К+).

Что ж, - тем приятней быть в Телеграме. Из-за этого сюда и пришел с желанием сказать кое что малоизвестное интересное. Поскольку экосистема здесь, на мой вкус, для этого куда лучше, чем в FB и большинстве российских онлайн СМИ.

Тем не менее, это не отменяет моего мнения, что в подавляющем большинстве медиа-ресурсов на тему «черного ящика AI» пишется несравнимо меньше, чем о зияющих высотах перспектив AI.

И потому эта тема так и остается пока малоизвестным интересным, о котором нужно и буду писать.