Теперь каждую неделю буду писать колонку для «Забороны»: про ИИ, роботов и людей, а также про искусственное сознание и про сознание человеческое. В первом тексте объясняю, почему жадность и технологический прогресс – печальное сочетание: оно приведет к власти роботов, которых мы заслужили.

(А тут текст колонки на русском)

​На этом графике синим цветом выделена доля тайваньской корпорации TSMC в производстве процессоров разного размера: крайняя колонка слева – самые простые чипы в 130 нанометров, а крайняя справа – самые продвинутые на 10 и 5 нанометров.

Если сильно упростить, то чем меньше размеры чипов, тем больше таких чипов можно поставить в компьютер и тем мощнее он будет работать. Чипы нужны для смартфонов, холодильников, машин, ноутбуков и планшетов, крылатых ракет и спутников, танков и суперкомпьютеров.

Нельзя взять и просто построить фабрики по производству продвинутых микрочипов (фабы) – нужно иметь доступ к целому ряду уникальных технологий, редких материалов и инженерных талантов и инвестировать от $15 до $20 млрд на строительство самой фабрики.

Основные заводы по производству самых продвинутых микрочипов расположены в двух странах Азии: в Тайване (TSMC) и Южной Корее (Samsung). И обеим этим странам угрожает Китай.

На фоне полномасштабного вторжения РФ в Украину не утихают разговоры о том, что КНР таким же образом вторгнется в Тайвань и захватит те самые уникальные тайваньские фабрики по производству микрочипов. На случай вторжения американские военные с ходу предложили тайваньцам разработать план по взрыву этих самых заводов – лишь бы они не достались отстающим в микропроцессорном смысле китайцам. Сами тайваньцы говорят, что взрывать ничего не надо: если китайцы даже и захватят заводы, их (китайцев) все равно изолируют из мирового сообщества — заводы выпадут из международных производственных цепочек и просто остановятся без нужных материалов и запчастей.

Более запутанный случай с Южной Кореей. С одной стороны, Китай даже не думает туда вторгаться, но с другой, Китай поддерживает Северную Корею, которая очень даже угрожает Южной. Я не думаю, что у северокорейского Ким Чен Ына есть реальные планы по захвату южнокорейских фабов Samsung, зато у этого вечно размахивающего боеголовками диктатора есть другой вариант: попробовать уничтожить эти фабы ракетами.

Хотя Китай не имеет свободного доступа к продвинутым микрочипам, а из-за нарастающих санкций США этот доступ и вовсе может исчезнуть, он все же непосредственно влияет на индустрию полупроводников — просто потому, что имеет средства для ее уничтожения и держит пальцы на спусковых механизмах.

Такую же стратегию «пальца на курке» Китай теперь исповедует и относительно российского-украинской войны, угрожая Западу начать поставки вооружения для РФ. Россия семимильными шагами превращается для Поднебесной в еще одну Северную Корею – туповатого изгоя, полностью зависимого от Китая политически и экономически, но очень полезного в качестве дурня с дубиной, угрожающего и вредоносного для всех недругов Китая.

У РФ в любом случае не получится завоевать Украину, но при поддержке Китая она может начать исполнять озвученые роспропагандой угрозы: начать стрелять ракетами и дронами уже по Европе. Причем российские ракеты с китайской начинкой могут полететь вместо украинских домов и гражданской инфраструктуры — по европейским производствам, в том числе и по строящимся в Европе микропроцессорным фабам и по другим заводам из международной цепочки по производству микрочипов.

Я надеюсь, что в Китае возобладают холодные головы, выступающие за Холодную войну с Западом, в которой сотрудничество и конкуренция остаются в цивилизованных рамках, а пальцы игроков не нажимают на курки. Потому что если возобладают горячие головы, я думаю, в ход пойдут не только снаряды и ракеты, но и тактическое ядерное оружие. Именно Китай в российско-украинской войне выступил гарантом неприменения российской стороной ядерных бомб — и именно Китай может снять такое ограничение. Я уже не говорю о том, как может выглядеть горячая война, если в ход пойдет бактериологическое оружие, тизером к которому стала небезызвестная эпидемия странного вируса.

Глубокое чувство печали: мы живем в то время, когда Холодная война кажется лучшим сценарием, Горячая война разгорается с каждым днем, а отсутствие войны – просто больше не опция.

Боевые роботы и агрессивные нейросети давно стали частью массовой культуры благодаря «Матрице» и «Терминатору». Но в реальной жизни создатели искусственного интеллекта долгое время отказывались военизировать ИИ и избегали сотрудничества с военными и со спецслужбами. Теперь все поменялось: война в Украине затянула мир гонку боевых дронов и алгоритмических войн.

Во второй колонке для Забороны разбираюсь куда ведет цифровизация войны.

P.S. А это русскоязычная версия текста.

Несколько месяцев назад у меня появилась котенок по кличке Кафка, и на ее примере я получил возможность наблюдать за ранним становлением живой биологической нейросети. Обогащенная среда, любовь, понимание и внимание к ее потребностям с моей стороны – лучшие способы развития этой маленькой пушистой нейросети. Чем больше такого взаимодействия я ей обеспечиваю, тем более витальной, умной и адаптивной она вырастает – конечно, с поправкой на естественные ограничение биологической нейросети под названием «кошка».

Мои наблюдения за котенком совпали с начавшимся в конце прошлого года «ИИ-летом» — это период взрывного роста и развития искусственных нейросетей вроде ChatGPT и Midjourney. И все это происходит на фоне моих наблюдений за нейронными сетями в моейсобственной голове и тем, как они трансформируются и развиваются на фоне разворачивающейся войны.

В новой колонке для «Забороны» развиваю мысль о том, что все мы – биологические нейросети, входящие в период постепенного слияния с нейросетями искусственными. Я уверен, что эпоху ИИ нужно рассматривать именно с этой точки зрения: биологические нейросети + цифровые нейросети — чтобы построить что-то вроде цифровой демократии будущего или хотя бы не превратится в мясные батарейки для цифрового сверх-ума.

Текст на русском здесь

Основные события в мире людей разворачиваются не в небоскребах или на полях боя, не на море или в космосе. Все самое главное происходит внутри наших голов, наших индивидуальных психик и коллективного психического пространства.

Я считаю, что психология – главная наука. Многие ученые считают ее лже-наукой, или, по крайней мере. недоразвитой наукой, которая, в отличие от физики или математики, ничего не может утверждать со стопроцентной уверенностью. Тем не менее, самые продвинутые финансисты и экономисты, бизнесмены и военные, учителя и воспитатели, политики и художники — почти все главные “инфлюенсеры” нашей цивилизации в XXI веке — понимают, что в основе любого успеха в их сферах лежит именно психология человека.

В свете наступления эры ИИ меня больше всего интересуют последствия технологической революции для науки психологии и психики людей в целом. В четвертой колонке для «Забороны» рассказываю о том, как у нейросетей появляется собственная “психика”, чем это может обернуться для нас и при чем тут евгеника.

Текст колонки на русском

Человек – биологическая машина по производству данных. Каждый из нас, не прикладывая никаких особых усилий, ежегодно производит все больше и больше данных — и их фиксируют, сохраняют и обрабатывают цифровые корпорации (чьими товарами и услугами мы пользуемся) и правительства стран (в которых мы живем). Данные собираются, чтобы совершеноствовать продукты и сервисы, развивать науку и экономику, улучшать здоровье граждан или ловить и сажать их в тюрьму – нашим данным есть миллион применений.

Но с глобальной, цивилизационной, точки зрения, главная цель производства и сбора данных в XXI веке – создание богоподобного искусственного интеллекта (AGI). Эту цель прекрасно понимают ИИ-корпорации, правительства США, КНР и Европы, а также тысячи независимых ИИ-специалистов. Но подавляющее большинство жителей Земли все еще не понимают, что происходит и к чему всё идет. Такая асимметрия в понимании происходящих процессов приводит к тому, что корпорации и правительства монополизируют всю выгоду от происходящего, а простые люди становятся бездумными донорами чужого благополучия.

В пятой колонке для «Забороны» я рассказываю о том, как рядовые пользователи могут включится в этот процесс аккумуляции данных для создания ИИ и получать от этого отчетливую выгоду. Вот небольшой отрывок для затравки:

“Отец виртуальной реальности (и один из самых громких критиков соцсетей) американец с украинскими корнями Джарон Ланье называет альтернативный подход «достоинством данных», «предпринимательской демократией» и «гуманистической цифровой экономикой». Суть этого подхода заключается в том, чтобы обязать корпорации и правительства, использующие данные пользователей для производства ИИ, платить пользователям за производство этих данных как за работу.

Ланье объясняет разницу между доминирующим сейчас подходом и гуманистической цифровой экономикой на примере журналистики: “В одном подходе мы делаем вид, что бот – реальное существо, как человек. Чтобы эта фантазия работала, мы должны аккуратненько забыть все источники, которыми бот пользуется, чтобы функционировать. Журналистика, очевидно, пострадает от такого подхода. При другом подходе мы все же следим за источниками бота. В таком случае мир будет выглядеть иначе, и если бот опирался на вашу работу, вы получаете за это деньги. Появляется чувство общей ответственности и сопричастности, все работает более слаженно – это называется data dignity”.

Русскоязычная версия статьи здесь

Подкаст «Технотопия». Пилотный выпуск

Я пишу уже лет 8, но текст — вообще «не мой» медиум. Мысли появляются и несутся в моей голове не то что быстрее, чем я могу их записывать, а быстрее, чем я могу вспомнить нужные слова для них и сверстать грамматические конструкции. Большая часть времени работы над текстом для меня — это не сама писанина, а попытка оставить в тексте вместо 56 важных мыслей только 3. Я продолжаю писать, тем не менее, и как мне кажется, стал делать это очень даже неплохо. Но для меня текст — это узкое горлышко бутылки, которое даже приблизительно не позволяет поделиться с вами своим образом мыслей как хочется.

Последний месяц я начал делать то, о чем давно мечтал: записывать подкасты (на самом деле, я начал ещё до полномасштабного вторжения России в Украину, но кто теперь вспоминает о том, что было до!). У нас уже вышло 5 выпусков bojemoi.війна о нашем переживании войны с Травкиной, а сегодня я хочу показать вам первый пилотный выпуск моего подкаста «Технотопия» о нашем с вами будущем в мире искусственного интеллекта, его вызовах, проблемах и путях их решения.

Честно говоря, я очень рад, потому что я обожаю пиздеть, а пиздеть про то, что мне интересно — могу бесконечно! Выпуск называю пилотным, потому что всё ещё не на сто процентов чувствую себя раскованно с микрофоном под носом, а также потому что в будущем планирую разнообразить выпуски всякими неожиданными вставками — дайте время, а также ваши фидбек и поддержку! Ну и конечно я бы хотел сократить зазор между записью и выпуском до 1-2 дней и выпускать подкаст на разных платформах.

⬇️

В первом выпуске подкаста «Технотопия»:

- можно ли остановить сейчас развитие ИИ и зачем этого требуют ученые и активисты
- что там по технологической гонке США и Китая
- когда произойдёт AI takeoff — взлёт ИИ
- как может выглядеть первый технодиктатор земного шара — и как он придет к власти
- и почему при плохом раскладе ИИ покроет всю Землю серой слизью

По прошествии времени после визита Си Цзиньпина в Москву стало ясно, что главное следствие этого визита – договоренности о создании государства цифрового надзора в РФ. Разговоры росчиновников о блокировке YouTube и о создании альтернативы Википедии, введение цифровых повесток и создание цифровых реестров провинившихся – все эти технологии входят в пакет цифровизации для авторитарного режима, который КНР предлагает своим союзникам. РФ становится витриной цифровой автократии: под пристальным вниманием всего мира в кратчайшие сроки будут вводиться отработанные в Китае технологии надзора за гражданами.

На прошлой неделе я написал колонку для «Забороны» о социальном рейтинге – механизме, лежащем в основе цифровых автократий и системы государственного контроля будущего:

«Многие слышали о действующей системе социального рейтинга в Китае или видели серию «Черного зеркала», в которой жизнь героини превращается в ад из-за череды бытовых ситуаций, понижающих ее рейтинг. Сама механика социального рейтинга существует давно. Но именно сейчас, во время изобилия данных о гражданах и взрывного развитие нейросетей, способных обрабатывать эти данные, идея “оцененного и взвешенного” гражданина обретает новые очертания»

Читайте текст на русском здесь и представляйте, как будет выглядеть социальный рейтинг при путинском режиме.

В седьмой ии-колонке для «Забороны» начал серию материалов о новой прозрачности. Первый о прозрачном государстве ближайшего будущего, где все подсчитано и открыто:

«Раньше, чтобы получить исчерпывающие данные о жизни человека, за ним круглосуточно должен был следить другой человек, а лучше – целая команда. Этим занимались спецслужбы, а объектами их дотошного рассмотрения становились чиновники, политики и диссиденты. Теперь благодаря развитию ИИ скрупулезное наблюдение и осмысление больших объемов данных возможны не только в случае слежки за отдельными людьми, но и за целыми обществами, этносами и народами. Человечество последовательно создает недремлющего ИИ-наблюдателя, который круглосуточно следит, фиксирует и анализирует все больше биографических аспектов, делая каждого из нас по-новому прозрачным.

Новая прозрачность – это подход к организации социальных систем (обществ, бизнесов и государств), рождающийся в эпоху ИИ. В его основе — максимальная открытость данных и процессов, происходящих внутри этих социальных систем. Другие названия этого социо-технологического явления — радикальная прозрачность и гиперпрозрачность — подчеркивают, что речь идет о хорошо известной демократической ценности  открітости, но в новой, превосходящей степени.

Миллиардер и один из самых известных инвесторов в мире Рэй Далио практикует новую прозрачность, подробно раскрывая данные о деятельности своих компаний работникам и сторонним наблюдателям. Министр цифровизации Тайваня Одри Тэн воплощает эту концепцию на уровне государства, выкладывая в интернет полные расшифровки всех своих рабочих встреч. Марк Цукерберг уже больше 10 лет считает, что новая прозрачность – неизбежный тренд нашей цивилизации, а главный вопрос в том, превратится ли человечество в мрачную антиутопию вследствие роста этой самой прозрачности»

Текст целиком на русском здесь

​За последние две недели на «Забороне» вышли две мои статьи про киберлибертарианскую новую прозрачность бизнеса и чернозеркальную новую прозрачность граждан. В целом получился цикл статей, в котором я описываю мир ближайшего будущего, где нейросети следят за жизнью и работой людей, а государство превращается в базу данных. В этот цикл входят:

1) Статья про социальный рейтинг, как основу организации нейросетевого общества данных (версия на русском)

2) Статья про новую прозрачность государства, в которой ИИ делает чиновников, экономику и законы стран открытыми и подотчетными гражданам (версия на русском)

3) Статья про новую прозрачность бизнеса, в которой финансовая отчетность и репутация компаний станут подотчетными ИИ (версия на русском)

4) Статья про новую прозрачность граждан, наступившую для пользователей интернета значительно раньше и суровее, чем для бизнеса и чиновников (версия на русском)

Во всех статьях я исхожу из позиций технологического реализма, поэтому рассматриваю два вектора развития событий: превращение нашей цивилизации в оруэлловскую цифровую тиранию и строительство сетевой демократии всем миром.

Новая цифровая прозрачность

Радикальная прозрачность – это такое устройство цифрового общества, при котором личные, корпоративные и государственные данные открыты и доступны для максимально широкого круга людей. Новая прозрачность стала возможной с появлением интернета, но касается она не только того, что мы пишем в соцсетях и даже не только того «цифрового следа», который мы оставляем за собой в сети: за нашей реальной жизнью тоже следят смартфоны и другие гаджеты. Я увлечен наблюдением за развертыванием феномена новой прозрачности несколько лет, и даже ещё больше теперь, когда она входит в фазу серьёзной реализации, которая изменит мир безвозвратно.

Поэтому в дополнение к трем статьям на «Забороне» (о прозрачности государств, прозрачности бизнеса и прозрачности граждан) записал по этой теме второй выпуск своего подкаста «Технотопия»

⬇️⬇️⬇️

— Сбор данных коммерческими корпорациями как-то связан со спецслужбами?
— Как от полезной идеи таргетированной рекламы мы пришли к чему-то страшному — надзорному капитализму?
— Проблема сбора данных не в самом сборе, а в том, что данные позволяют сделать с нами?
— Может ли на самом деле государство стать прозрачным для своих граждан?
— Какие страны больше доверяют ИИ-управлению и быстрее цифровизуют свои госудраства?
— По-разному ли используют данные для управления людьми в демократиях и автократиях?
— Не опасно ли слушаться решения ИИ, который непрозрачен даже для своих создателей?

Послушал свежее интервью с главнокомандующим США генералом Марком Милли и перевел для вас кусок про стремительно меняющийся характер войны: как и во всех остальных сферах жизни и бизнеса, главные перемены приносит ИИ.

Именно нейросети могут объединить все остальные технологии таким образом, чтобы воюющая сторона получила «способность принимать решения быстро и с большой точностью», быстрее и точнее, чем отдельные военные, а со временем — даже быстрее и точнее, чем все военные вместе взятые.

«В современном мире мы переживаем самые фундаментальные изменения в характере войны за всю историю, и это обусловлено, в первую очередь, технологиями. Итак, что это за технологии? Ну, во-первых, у вас есть высокоточные боеприпасы и вездесущие сенсоры. Таким образом, мы можем вести дальний прицельный огонь с большей точностью и на большем расстоянии, чем когда-либо в истории человечества. И не только мы, но и русские, и китайцы, и другие страны могут сделать то же самое. И теперь в дополнение к дальности и точности мы наблюдаем появление гиперзвуковой скорости – оружия, которое может двигаться со скоростью, против которого пока бессильны современные защитные технологии. Это фундаментальные изменения в способности стрелять.

Также произошли фундаментальные изменения в способности видеть. Любой, кто носит часы Fitbit или GPS или бегает с iPhone — носит с собой сенсор. Для большинства людей это средство общения, а некоторые, наверное, следят с их помощью за своим здоровьем. Но для других это – сенсоры и трекеры. Мы можем ощущать и видеть окружающую среду и улавливать электронные сигналы, рассеянные по окружающей среде. Мы — и не только мы, но русские, китайцы и так далее — способны видеть и ощущать эту среду, как никогда раньше. Сегодня в Google Earth вы можете получить картографические данные и посмотреть спутниковые снимки, которые были доступны только самым передовым военным силам еще 5 или 10 лет назад. Так что наша способность ощущать окружающую среду невероятна.

Таким образом, способность видеть и способность стрелять очень далеко с немыслимой ранее точностью — только эти два фактора сами по себе предвещают изменение фундаментального характера войны.

Но прибавьте к этому бурно развивающиеся технологии робототехники: мы уже используем робототехнику и беспилотные летательные аппараты. Сейчас мы экспериментируем и разрабатываем беспилотные морские аппараты, как надводные, так и подводные. С истребителями или бомбардировщиками, которые будут беспилотными. В будущем грузовики, танки и в целом сухопутные войска в значительной степени станут беспилотными. Таким образом, робототехника очень, очень быстро проникает во все вооруженные силы, намного быстрее, чем люди могут представить.

Добавьте к этому некоторые другие факторы, наиболее важным из которых является способность принимать решения быстро и с большой точностью. Таким образом, мы потенциально можем увидеть, как искусственный интеллект и квантовые вычисления в сочетании с робототехникой станут доминирующим фактором в ведении войны.

Объедините это со сферами киберпространства и космоса. Под водой происходит много всего, и есть около 20 других технологий, которые я не буду перечислять. Эта конвергенция технологий движет фундаментальными изменениями в гражданском обществе, в человеческих отношениях к работе, в наших отношениях друг с другом».

Кстати, лучшую иллюстрацию того, как дальше будет выглядеть военный ИИ, недавно представили в компании Palantir (которая с ранних этапов полномасштабного вторжения помогает украинским военным ИИ-зироваться на ходу). Война все больше становится похожей на смертельную компьютерную игру.

Основатель соцсети LinkedIn Рид Хоффман проспонсировал юридические расходы женщины, обвинившей Дональда Трампа в изнасиловании, а Трамп в ответ публично раскритиковал «либерального мегадонора» из техносреды.

Миллиардера и техноолигарха Хоффмана называют «либеральным мегадонором», это означает, что он – один из немногих людей, кто дает самые большие деньги на избирательные кампании демократических кандидатов, от местных депутатов до кандидатов в президенты. Не являясь официальным политиком, Хоффман напрямую влияет на политическую жизнь, ему выпала честь оплатить услуги юристов, чтобы устранить главную головную боль для демократического истеблишмента, бывшего республиканского президента Трампа. Трамп каким-то чудом остается главным кандидатом республиканцев и на этих выборах и даже говорит, что “фейковые” обвинения в изнасиловании пошли его рейтингам только на пользу.

Рид Хоффман – ветеран Кремниевой долины, начинавший карьеру технопредпринимателя еще в 90х, сколотивший основу своих двух миллиардов $, когда вместе с Питером Тиллем, Илоном Маском, Максом Левчиным, Девидом Саксом и десятком других представителей PayPal-мафии они продали созданную ими систему интернет платежей PayPal за $1,5 млрд.

Илону Маску принадлежало больше всех акций проданного в 2002 году PayPal – 11,5%, или $175 млн, которые он впоследствии потратил подчистую на основание SpaceX в 2002 году и Tesla в 2003. Свою часть – пару десятков миллионов –, полученных от продажи PayPal, Рид Хоффман в 2003 вложил в создание соцсети для профессиональной карьеры LinkedIn, а в 2016 продал ее Microsoft уже за $26 млрд. Другой член PayPal-мафии, Питер Тилль, на полученные от продажи деньги в 2003 основал ИИ-компанию Palantir, которая в нулевых помогла словить Осаму бин Ладена, а теперь помогает украинским военным выиграть войну против диктатора путина.

Так вот, Питер Тилль – консервативный мегадонор, спонсирующий республиканских кандидатов и известный особо крупными вложениями в Дональда Трампа с 2016 по 2022. Сейчас Тилль отказывается спонсировать республиканских кандидатов, в том числе Трампа, потому что их предвыборная риторика слишком зациклена на запрете абортов и борьбе с трансгендерами. А благодаря инвестициям друга Тилля Рида Хоффмана в последнее время кампания Трампа крутится вокруг обсуждения изнасилований.

Маск собирается стать гипер-донором в предвыборной гонке: он уже не просто оплачивает предвыборные счета какой-то партии и ее кандидатов, а владеет Twitter – главной политической платформой в США. Бан акаунта Трампа в Twitter в 2020 году сильно способствовал провалу его попыток опровергнуть свой проигрыш в президентских выборах. Я думаю, что сам Маск почти наверняка выиграл бы выборы президента США, если бы выдвинул собственную кандидатуру, — но пока он не заявлял о таком желании (а формально он не имеет права стать президентом страны, потому что он родился в Южной Африке, а не в США).

P.S. Не знаю как для кого звучит словосочетание «PayPal-мафия», но в момент продажи PayPal компании Yahoo мафия выглядела ровно как персонажи сериала «Кремниевая долина». Рид Хоффман – упитанный мужчина в очках по центру фото. Илон Маск не пришел на эту фотосъемку якобы потому что был занят, но, скорее всего, принципиально не захотел отождествлять себя с группой, хотел быть особняком. Забавный эпизод случился, когда Маск был CEO PayPal и полетел в отпуск, а коллектив под предводительством Питера Тилля, сидящего на фото за центральный столом с кулаком у рта, совершил маленький переворот и сместил Маска с должности, прямо пока он летел в самолете на моря. Он приземлился и узнал, что больше не CEO: CEO теперь опять Питер Тилль. Хотя все участники PayPal-мафии остались друзьями и уже 20 лет помогают друг другу инвестициями и советами, в конце 90х в их коллективе царила атмосфера, которую Макс Левчин (за центральным столом с картами в руках) называл “intellectual pissing contest”.

PayPal-мафия

ТеслаБоты – самое интересное из всего, что делает Tesla. На видео презентации их новых возможностей меня больше всего заинтересовала возможность синхронизировать человека и робота, чтобы роботом можно было управлять дистанционно. Самое интересное начнется через пару лет, когда роботы будут двигаться очень гладко и быстро, а люди будут синхронизироваться с ними через нейроимпланты Neuralink Маска.

На днях прошли публичные слушания в Судебном комитете Сената США, на которых обсуждалась перспектива государственной реугуляции ИИ. Вот кусок диалога Сэма Альтмана с сенатором Джошом Хоули, где они обсуждают способность нейросетей предсказывать поведение пользователей и влиять на это поведение:

Сенатор Хоули: Статья, озаглавленная "Большие языковые модели (LLM), обученные на медиа-диетах, могут предсказывать общественное мнение", была опубликована примерно месяц назад. Авторы Андреас и Рой провели исследование в Массачусетском технологическом институте (MIT) и затем в Google. Вывод этой работы заключается в том, что большие языковые модели (LLM) действительно могут предсказывать общественное мнение. Авторы объясняют, почему это так, и приходят к заключению, что ИИ-система может предсказывать ответы в опросах людей, адаптируя языковую модель к медиа-диетам конкретных групп населения. Иными словами, можно скормить модели определенный набор медиа данных, и она с высокой точностью (подробности приведены в статье) сможет предсказать мнения людей.

Я хочу рассмотреть это в контексте выборов. Если эти LLM уже сейчас могут достаточно точно предсказывать общественное мнение (заранее, до того, как вы даже зададите публике эти вопросы), что произойдет, когда юридические или государственные организации, кампании или иностранные агенты получат эту информацию из опросов, эти предсказания об общественном мнении, а затем настроят механизмы для вызова определенных поведенческих реакций?

Около трех лет назад, мы слушали свидетельские показания о влиянии такой, казалось бы, обычной вещи, как поиск Google. О его влиянии на избирателей на выборах, особенно на неопределившихся избирателей в последние дни перед выборами, когда они могут искать информацию в поиске Google, и какое огромное влияние имеет ранжирование поиска Google, статьи, которые он выдает. Это имеет огромное влияние на неопределившегося избирателя.

А LLM – это, конечно, намного более мощное и значимое, гораздо более направленное воздействие. Так что, мистер Альтман, помогите понять, следует ли нам беспокоиться о моделях, которые могут предсказывать мнение по опросам, а затем помогать организациям и субъектам создавать стратегии для вызова реакций у избирателей? Следует ли нам беспокоиться об этом в отношении наших выборов?

Альтман, OpenAI: Это одно из моих главных опасений – общая способность этих моделей манипулировать, убеждать, предоставлять так сказать индивидуальную дезинформацию. Я думаю, это более широкая версия того, о чем вы говорите. Но учитывая, что в следующем году у нас состоятся выборы, а эти модели становятся все лучше, я думаю, что это серьезный повод для беспокойства.

Я считаю, что существует множество политик, которые компании могут принять добровольно, и с удовольствием расскажу о том, что мы делаем в этой области. Я действительно думаю, что эта область нуждается в разумной регуляции. Люди должны знать, что разговаривают с ИИ, или что контент перед ними, сгенерирован ИИ. Это нужно четко объяснять.

Я также считаю, что нам нужны правила относительно того, что требуется от компании, создающей модель с такими способностями, о которых вы говорите, это очень важно. Я думаю, люди способны быстро адаптироваться. Когда появился Photoshop, на некоторое время люди действительно легко обманывались фотографиями, отредактированными в Photoshop, но очень быстро разобрались, что изображения могут быть отредактированы. Это будет выглядеть так же, но как на стероидах – и взаимодействие, и возможность реалистично моделировать и точно предсказывать людей.

«Работая над этой колонкой, я наткнулся на цитату Илона Маска за 2017 год. Тогда он комментировал слова Путина о том, что нация, которая будет лидировать в сфере ИИ, будет править миром: «Китай, Россия, а скоро все страны с крепкой компьютерной наукой. Соревнование за ИИ-превосходство на уровне государств скорее всего закончится Третьей мировой войной». Чуть позже Маск снова повторил эту мысль, слегка видоизменив ее: третья мировая война начнется тогда, когда одна из стран разработает футуристичную ИИ-систему и попытается с
удержать другую сторону от создания аналогов, так как эта технология окажется слишком мощной и меняющей все правила игры.

Давайте еще раз вспомним, что нужно для развития продвинутых ИИ-систем: 
- мощные компьютеры (hardware), 
- пользовательские данные (data) 
- и программный код (software). 

Пока компании вроде Meta раздают ИИ-алгоритмы даром, последняя software часть ИИ-уравнения не играет принципиального значения.

Война за пользовательские данные (data), необходимые для создания мощного ИИ, уже началась. Именно в этом ключе нужно трактовать рекордный штраф ($1,3 млрд) за опасное обращение с пользовательскими данными для Meta в Европе – в вопросе ИИ не спасают даже союзнические отношения между правительствами стран. Еще более выпукло выглядит нарастающий бан TikTok в Европе и США из-за опасений, что соцсеть неконтроллируемо делится данными западных чиновников и пользователей с китайским правительством.

И совсем очевидно выглядит война за сверхмощные компьютеры (hardware), необходимые для создания продвинутого ИИ, а точнее, — за их ключевой компонент. Тайвань – главный производитель самых продвинутых микрочипов в мире (компания TSMC) и одновременно одна из самых политически и военно напряженных точек в мире. Не вдаваясь в историю тайваньского вопроса, можно обобщить: заводы производителя микрочипов TSMC критически важны для развития ИИ, а значит для ИИ-сверхдержав – США и Китая. Можно также сказать, что сейчас США имеет больший доступ к тайваньским технологиям, что во многом обеспечивает их преимущество в ИИ-гонке перед Китаем, а Китай хочет воссоединиться с Тайванем и получить полный контроль над производством лучших процессоров, чтобы вырваться вперед в этой гонке. К ужасу самих тайваньцев, США и Китай настолько настроены на соперничество за полупроводниковые заводы острова, что лучший план американцев по защите Тайваня — предложение взорвать заводы TSMC, чтобы Китаю незачем было захватывать эту территорию. Получается, что даже если американцы не смогут помочь Тайваню отбить теоретическое вторжение китайцев, они готовы собственноручно разрушить экономику 20-миллионной страны, лишь бы не отдать микрочипы в руки главного ИИ-конкурента. Так выглядит регуляция ИИ в исполнении государств.»

Это отрывок из тринадцатой колонке для «Забороны», где я также рассказываю:
– как политики пытаются регулировать ИИ
– про открытую и закрытую модель развития нейросетей
– про перспективы третьей мировой войны из-за ИИ

«ИИ Молох»

«Разговоры про ИИ в последние годы обретают все более мистический характер, так как исследователям и бизнесменам буквально каждые несколько часов открываются новые возможности улучшить все сферы жизни и деятельности благодаря нейросетям – у многих это вызывает почти религиозный трепет. Один из самых интересных явлений из религий прошлого, вошедших в дискуссии о технобудущем, стало появление Молоха, карфагенского божества природы и солнца, поклонение которому в древние времена сопровождалось человеческими жертвоприношениями и сожжениями детей заживо.

Отвечая на вопрос, не пугают ли его ИИ-разработки Apple, Meta и других компаний и что ИИ-гонка может привести к ужасным и непредсказуемым последствиям Сэм Альтман говорит: «Я немного боюсь капитализма и его стремления создавать и получать неограниченную прибыль. Но я думаю что никто не хочет уничтожить мир, никто не говорит «Сегодня я хочу уничтожить мир». Так что с одной стороны есть проблема Молоха, а с другой – люди, которые хорошо ее осознают и обсуждают, как минимизировать некоторые очень страшные последствия этой технологии». 

О какой проблеме Молоха, неоднократно осуждавшегося в Ветхом Завете, говорит техно-предприниматель Альтман или астрофизик, занимающийся проблемами ИИ, Макс Тегмарк? Они ссылаются на поэму «Вопль» поэта-битника Алена Гинзберга, написанную в 1955 году. В одной из частей поэмы Гинзберг описывает демонического бога Молоха, коллективного духа, вызванного на свет технологическим прогрессом и проявляющего себя в современных войнах, правительствах, поп-культуре и капитализме. 

Молох – это темная сторона «невидимой руки» рынка, ключевой идеи капитализма, описанной в 18 веке экономистом Адамом Смитом, утверждающей, что все участники рынка, преследуя личную выгоду, служат всеобщему благу, так как “невидимая рука” направляет их усилия и справедливо распределяет эти блага между людьми. Молох также основывается на желании каждого участника рынка (и шире – общества) искать личной выгоды, однако в отличии от “невидимой руки” Смита, незаметно ведущей коллективное человечество к процветанию, Молох складывает частные усилия людей и ведет их к страданиям и уничтожению. 

ИИ–Молох это все ускоряющаяся гонка технокорпораций по созданию сверхмощного ИИ – цели, обещающей создателям невероятные богатства и фантастические силы, но взамен гарантирующей уничтожение человечества. В 20 веке человечество сталкивалось с Молохом во время гонки ядерных вооружений, когда всех пугала возможность создания бомбы, способной уничтожить все живое на Земле, но из-за угрозы, что другие участники гонки опередят и создадут бомбу первыми, все только ускоряли разработки смертельного атома. 

В наше время Молох продемонстрировал свою силу в первой битве ИИ с людьми – в социальных сетях. Сложилось так, что основой монетизации социальных сетей стало как можно большее вовлечение пользователей и удержаниие их внимания. Алгоритмы соцсетей, изучавшие пользователей, пришли к выводу, что разжигание вражды, поощрение ненависти, оскорблений и злых насмешек – эффективнее всего удерживают пользователей в соцсетях, позволяя владельцам максимизировать свою прибыль. Хотел ли Марк Цукерберг или Джек Дорси, чтобы Facebook и Twitter стали рассадниками ненависти и монструозными поляризаторами общества? Нет. Хотя, будучи хакерами, они понимали, что их алгоритмы взламывают уязвимости человеческой психики, они также понимали, что рано или поздно это станет известно общественности и вызовет крайне негативную реакцию в их адрес. Тем не менее, они продолжали развивать эти манипулятивные алгоритмы, а все остальные социальные сети следовали их примеру, потому что никто не хотел лишаться конкурентного преимущества.»

Это отрывок из одиннадцатой колонки для «Заборони», где я также рассказываю:
– как Илон Маск поучаствовал в создании ключевых ии-корпораций DeepMind и OpenAI
– о самых опасных опасных возможностях, которые мы создали для ИИ
– о проблеме коллективного действия и социальной дилемме