Джо Байден на этой неделе написал статью «Республиканцы и демократы, объединяйтесь против нарушений Больших Технологий» со своими предложениями о том, как нужно ограничивать техноолигархов и их корпорации. Все его предложения будто взяты прямиком из книги Шошаны Зубофф «Эпоха надзорного капитализма». Интересно, как президент США обосновывает опасность технокорпораций, из которой вытекает необходимость регулировать их законами:

«Опасность Больших Технологий для обычных американцев очевидна. Бигтех компании собирают громадное количество данных обо всех наших покупках, вебсайтах, которые мы посещаем, местах, куда мы ходим. Больше всего вызывает беспокойство то, что они собирают тонны информации о наших детях. Как я говорил в своем прошлогоднем послании, миллионы молодых людей сталкиваются с буллингом, насилием, получают травмы и испытывают проблемы с психическим здоровьем. Мы должны привлечь социальные медиа-компании к ответственности за эксперимент, который они проводят на наших детях ради получения прибыли.

Чтобы привязать американцев к своим платформам, Бигтех использует пользовательские данные, направляет людей к экстремальному и поляризующему контенту, вызывающему максимальное вовлечение. Слишком часто трагические вспышки насилия связывали с токсичными онлайн эхокамерами.

Более того, социальные медиа и другие платформы разрешали пользователям вести себя абьюзивно и нарушать закон, допускали киберсталкинг, сексуальную эксплуатацию детей, неконсенсуальную порнографию и продажу опасных наркотиков. В других случаях Бигтех вытеснял mom-and-pop (мелкие) бизнесы со своих платформ, выдвигал им невыгодные условия, взимал с них по завышенным ценам, всячески мешал им расти и развиваться, удушая таким образом инновации».

Для борьбы с этими проблемами он предлагает три шага.

1) «Серьезная защита приватности американцев на государственном уровне»

В неё входит регуляция использования персональных данных: интернет-истории, переписок и созвонов, геолокации, данных о здоровье, генетических и биометрических данных. Также Байден предлагает запретить таргетированную рекламу для детей.

Эти меры сильно ударят по прибылям надзорных капиталистов, ограничив их доступ к современной нефти – пользовательским данным. Это также поможет снять с Google, Meta и других корпораций «нефтяное проклятие» – они больше не смогут снимать рекламные сверхприбыли привычным образом и возьмутся за реальные инновации.

2) «Бигтех компании должны взять ответственность за контент, который они распространяют, и за алгоритмы, которые используют»

То есть Facebook, Twitter и YouTube должны будут еще плотнее модерировать контент, что будет невозможно сделать усилиями живых людей и неизбежно ляжет на плечи алгоритмических модераторов. Требование сделать алгоритмы соцсетей прозрачными, подотчетными законам и понятными пользователям усложняют жизнь технокорпорациям, дают больше прав цифровым гражданам и увеличивают вероятность перехода соцсетей в платный режим.

3) «Больше конкуренции в техно секторе»

Это самый утопический пункт в программе Байдена: при здравии технокорпораций его не получится осуществить полноценно. Американский и европейский технобизнес знает, что если инновационной сферой заинтересовался техногигант, значит, вскоре он купит лидеров инновации или выкатит на рынок собственную версию технологии.

Пользовательские данные, которые мы все с вами производим – основа мира будущего, его нефть и электричество. С одной стороны, данные производят сотни миллионов людей, и вклад каждого в эту реку данных – капля в океане. С другой стороны, каждая напечатанная буква и каждый клик в сети программирует нейросети и определяет будущие события: еще никогда в истории никто так внимательно не следил за действиями, словами и предпочтениями простых людей.

Так что даже во время войны — и особенно во время войны — думайте, как ваши виртуальные действия программируют коллективный ИИ.

Рубрика «После массированного ракетного обстрела»

11 января, спустя неделю после четырехдневного новогоднего обстрела украинцев ракетами и шахедами, Путин разжаловал держиморду Суровикина и назначил генерала Герасимова командующим объединенной группировкой войск в Украине, проще говоря – главным.

Валерий Герасимов последовательно прошел все ступени армейской службы и командует российскими армиями еще со времен войны с Чечней 1999 года. Это человек с несколькими высшими военными образованиями, чьи интеллектуальные способности высоко оценивают даже его оппоненты, главнокомандующий ЗСУ Валерий Залужный и председатель штабов ВС США Марк Милли. Казалось бы, от него можно было бы ждать чего-то оригинального.

Но нет. 14 января, через три дня после захода Герасимова на должность, произошел очередной массированный обстрел Украины российскими ракетами: в 6 утра меня разбудила жена и кошка, услышавшие взрывы, затем я опять заснул, а в 10 проснулся от взрывов сам — и затем до 17 часов, когда уже потемнело, сидел в укрытии, напряженно вслушиваясь и вчитываясь в новости о летящих ракетах и работе украинского ПВО.

Военные под руководством Герасимова снова били по энергетической инфраструктуре, как и прежде под командованием Суровикина. У меня был интернет все 7 часов обстрела, так что я следил за траекториями полетов их ракет в режиме онлайн. Это был один из тех редких массированных обстрелов, когда в моем районе Киева почти не было слышно работы ПВО и попаданий. Я внимательно следил, как события в небе надо мной отражаются в информационной реальности.

За час до отбоя воздушной тревоги пришли самые жесткие новости из Днепра: ракетой снесло целый подъезд девятиэтажного дома. Фотографии с места – висцеральный контент для меня и для каждого украинца: мы в очередной раз увидели, что наши дома могут в мгновение ока превратиться в груду бетонно-арматурного хлама, из под которого доносятся стоны, крики и плач. Этот разрушенный жилой дом в Днепре стал информационной кульминацией многочасового субботнего обстрела и затмил взрывы, от которых я два раза просыпался утром в тот день.

Герасимов, ответственный за этот обстрел и смерти мирных граждан, когда-то был уважаем в военном мире за популяризацию концепции гибридной войны, согласно которой информационная война равна — и временами даже важнее — кинетической. Отражение событий в информационном поле влияет на дальнейший ход войны сильнее, чем сами события.

Информационное отражение действий российской армии под руководством Герасимова не противоречиво: российская военная стратегия — терроризм.

Террористы из РФ обозначили крайнюю точку своих угроз: в крайнем случае РФ готова наносить удары не только тактическим ядерным оружием, но и стратегическим. Россия готова взорвать ядерным оружием весь мир, потому что лидер этой террор-секты Путин говорит, что в случае ядерной войны «мы [рашисты] как мученики попадем в рай, а они [весь остальной мир] – просто сдохнут». Другой популярный лозунг ядерных террористов – «зачем нам мир, если в нем нет РФ», подразумевающий, что если дела пойдут совсем плохо, они готовы дернуть чеку и забрать с собой всех на тот свет.

При таких заданных Путиным рамках, Герасимов и его коллеги считают, что на фоне угроз уничтожить мир ядерными бомбами новости о разрушенном украинском доме с десятками погибших мирных граждан должны пройти незамеченными миром. Им кажется, что они могут безнаказанно использовать «мелкий» террор под угрозой террора крупного для воздействия на украинцев и россиян, не особо меняя при этом свой статус зашкварности в мировом масштабе.

Но на деле каждый такой удар по каждому украинскому дому – очередной информационный гвоздь в крышку гроба этого режима и РФ в целом. За всеми перестановками, угрозами и копошением кремлевского зомби не просматривается ничего хоть отдаленно похожего на победу и статус победителей, которые «пишут историю» и которых «не судят».

Невозможно в век новой прозрачности угрожать миру ядерным уничтожением, геноцидить соседний народ и утилизировать сотни тысяч собственных граждан – и ожидать чего-либо, кроме поражения, позора и наказания.

Я думаю, что Герасимовы и иже с ними прекрасно понимают, что их поезд в огне и на всех парах несется в бетонную стену. От этого еще болезненнее воспринимаются жертвы среди мирного украинского населения, и еще более жутким кажется кровавое зомбирование россиян, аплодирующих разрушенным домам украинцев.

Михал Косински – стэнфордский профессор психологии родом из Польши и один из самых интересных ученых нашего времени. Косински стал известен благодаря двум работам на стыке психологии, больших данных и ИИ:

1) в 2015 году он показал, что нейросети способны определять психотип человека по парам сотен лайков из его соцсети и делают это точнее, чем его реальные коллеги и друзья и даже супруги. Отдельные психологические черты нейросети могли определять всего по паре лайков уже 8 лет назад, представьте, что они могут сейчас!

2) в 2018 году Косински показал, что нейросети по одной фотографии человека могут с примерно 75% точностью определить его или ее сексуальную ориентацию, в то время как живые люди справлялись с этим заданием с 55% точностью.

Я узнал о Косински благодаря работе над историей о Cambridge Analytica с предвыборной кампании Трампа в 2016 году. С тех пор я внимательно следил за его деятельностью, часто ссылался на его исследованиях в своих лекциях и статьях о психометрии и новой прозрачности. Однако последние пару лет он притих, и я немного подзабыл о нем, пока на прошлой неделе он не выпустил совершенно бомбическое исследование, связанное с самой горячей темой последнего полугода: нейросетью (а точнее, крупной языковой моделью LLM) под названием GPT-3 от компании OpenAI.

Если вкратце, Косински с коллегами доказали, что нейросеть GPT-3 способна проходить тесты на наличие теории сознания (ToM) у детей. Это способность понимать, что чувства и представления о мире других людей отличны от его собственных. Хотя создатели GPT-3 не закладывали в нее такой функционал, нейросеть показала результаты на уровне 9-летнего ребенка.

«Хотя такие результаты нужно интерпретировать с осторожностью, из них следует, что недавно опубликованные языковые модели обладают способностью вычислять ненаблюдаемые психические состояния других. Более того, способности моделей очевидно растут вместе с их сложностью и датой выпуска и нет никаких причин предполагать, что этот процесс выйдет на плато в ближайшее время. И, наконец, нет никаких указаний на то, что похожие на ToM возможности были умышленно встроены в эти модели, как нет и исследований, доказывающих, что ученые знают, как это сделать. Поэтому мы предполагаем, что ToM-способности проявились спонтанно и автономно как побочный продукт растущих языковых способностей моделей».

Косински подчеркивает, что ToM-способностей не наблюдалось в базовой версии GPT-3, выпущенной в 2020 году со 175 миллиардами параметров, зато эти способности появились в версии GPT-3,5, выпущенной в 2022 году и легшей в основу топового чатбота ChatGPT. Тут сложно удержаться и не вспомнить еще раз пост годичной давности от со-основателя OpenAI Ильи Суцкевера, в котором он предположил, что современные крупные языковые модели (LLM) «немного сознательны».

Относительно простое исследование Косински подтверждает тезис OpenAI о возможности в обозримом будущем создать AGI, то есть сознательный ИИ. И это исследование, да и сама концепция сознательных роботов, – по-моему, самое важное из всего, что сейчас происходит. Войны, экономика, культура – все это, конечно, важно и может замедлить создание AGI, но, я думаю, таки не смогут остановить его.

Работа Косински заканчивается золотыми словами и мыслями:

«Растущая сложность ИИ-моделей лишает нас возможности понимать их функционал и возможности, исходя из их дизайна. Это похоже на вызов, с которым сталкиваются психологи и нейроученые, изучая оригинальный черный ящик – человеческий мозг. Мы надеемся, что научная психология поможет нам лучше понимать быстро развивающийся ИИ.

Более того, изучение ИИ может помочь лучше понять человеческую познавательную способность. По мере того, как ИИ учится решать широкий спектр проблем, он, возможно, развивает механизмы, подобные тем, что развил человеческий мозг для решения тех же проблем. Так же как насекомые, птицы и млекопитающие независимо друг от друга развили крылья, чтобы решить проблему полета, так же люди и ИИ, возможно, развили похожие механизмы для эффективного вычисления ментальных состояний других. Изучение работы ИИ при выполнении ToM-заданий и изучение искусственных нейронных структур, которые позволяют ему их выполнять, может не только увеличить наше понимание ИИ, но и человеческого мозга».

​Компания Microsoft недавно утвердилась в роли основного инвестора стартапа OpenAI, вложив в развитие ключевого ИИ-стартапа нашего времени $10 млрд (не говоря уже о том, что нейросети OpenAI все это время работали на облачных сервисах и вычислительных мощностях Microsoft). Из-за предвкушения интеграции нейросетей OpenAI и технологий Microsoft безнадежно отстававший от Google на почти полтора десятилетия майкрософтовский поисковик Bing вдруг стал популярным и обогнал Google в топе приложений.

Сатья Наделла, CEO Microsoft, собирается внедрить чатбот ChatGPT почти во все ключевые продукты своей компании: от вездесущего Office до отстающего поисковика Edge. Еще интереснее то, что Наделла хочет сдавать ChatGPT в аренду, что позволит крупным компаниям создавать свои кастомизированные версии чатбота и приведет к еще большему ускорению развития лежащих в основе нейросетей.

Объясняя потенциал ChatGPT на недавнем формуе в Давосе, Наделла рассказал историю о крестьянине в Индии, который говорит на одном из местных диалектов: он обращается в гостерминале к нейросети, а она понимает его речь, переводит его запрос, дает инструкции, а потом, по его просьбе, и делает все операции за него. Все это стало возможным благодаря тому, что индийские разработчики получили доступ к нейросетям OpenAI и адаптировали их под нужды конкретной местности.

«Технология, разработанная на западном побережье Соединенных Штатов несколько месяцев назад, попала к разработчику в Индии, который затем создал что-то, улучшившее жизнь крестьянина из отдаленной деревни. Я никогда не видел такого стремительного распространения технологии. 250 лет спустя Промышленная революция все еще не дошла до некоторых крупных регионов мира, интернету понадобилось 30 лет, чтобы разойтись по всему миру, облачным и мобильным сервисам – 15 лет. А в данном случае речь идет о нескольких месяцах».

В дискуссиях вокруг нейросетей нового поколения наступил момент, когда все сомнения в работоспособности самой технологии испарились. Вместо них возник вечный проклятый вопрос: как правильно монетизировать эту технологию?

Не сомневаюсь, что Сатья Наделла справится с этой задачей, так как монетизация очевидно его сильная сторона: когда он стал CEO Microsoft в 2014, компания стоила около $300 млрд, а сейчас — уже $2 триллиона. Меня смущает только то, что сама OpenAI изначально собиралась быть нон-профит организацией мол, технология AGI слишком выдающаяся и должна служить всему человечеству, а не приносить прибыль ее создателям. Но что-то, как обычно, пошло не так: люди остаются людьми.

Вчера CEO OpenAI Сэм Альтман написал: «Я думаю, что ИИ станет самой выдающейся силой для экономического развития и личного обогащения, которую мы когда-либо видели», — на что ему вполне справедливо заметили, что даже он, создатель этого ИИ, кажется, понятия не имеет, к чему приведет его детище. Вот ответ Альтмана:

«У нас есть идеи, но ИИ – сложная система, и она будет эволюционировать вместе с обществом. Любой, кто говорит, что точно понимает, как будет выглядеть будущее ИИ, в лучшем случае бредит. Плотная петля обратной связи и глубокое взаимодействие с обществом – лучший путь вперед».

ИИ развивается быстрее и мощнее, чем все технологии, что мы видели в истории. О последствиях и путях его развития не знают даже его создатели: они хотят развивать ИИ “в тесном взаимодействии с обществом”. Общество в целом (как и самих создателей ИИ) деньги волнуют чуть ли не больше всего. Ради увеличения прибылей люди готовы убивать людей, жечь города, разрушать страны. А Путины этого мира – тоже часть общества, во взаимодействии с которым Альтманы этого мира сейчас развивают ИИ.

Мне не нравятся выводы, к которым я прихожу, идя дальше по цепочке этих мыслей. Единственное противоядие всем намечающимся проблемам, которое я вижу – стремление каждого отдельного человека быть сильнее, добрее и человечнее. Мы видим, как этот индивидуальный уровень становится базой для побед в войне за ценности. Он же может помочь и в области искусственного интеллекта.

​Нашел новый интересный термин в твиттере Яна ЛеКуна (нейросетевого светоча и ветерана, работающего главным ИИ-ученым в корпорации Meta) — крити-хайп.

«Крити-хайп – это академические и неакадимические работы, преувеличивающие воображаемые опасности новых технологий, питающиеся и отзеркаливающие хайп от сторонников тех же технологий», — так пишет уважаемый мною ЛеКун и заодно рекламирует статью, из которой он сам взял этот термин.

Начинается эта статья с критики горячо любимой мною Шошаны Зубофф и ее магнум-опуса «The Age of Surveillance Capitalism» как самого яркого примера этого самого крити-хайпа. Мол, Зубофф накручивает читателя, что соцсети могут манипулировать умами и действиями пользователей. По мнению автора статьи, это неправда и не имеет под собой почти никаких доказательств. Однако автор статьи не отрицает, что соцсети дезинформируют, радикализуют и сбивают пользователей в агрессивные группы (что, по-моему, и есть вполне прямое доказательство тех самых манипуляций умом и поведением).

Короче, оригинальная статья мне не понравилась – это критика критиков технокорпораций (в первую очередь, соцсетей). Она опирается на идею, что современные технологии пока еще совсем слабые, до реального контроля над сознанием и поведением им еще развиваться и развиваться, а пока их знаний о человеке якобы не хватает даже на то, чтобы показать пользователю релевантную рекламу в интернете и склонить его к покупке носков. Я абсолютно не согласен с этой мыслью, хотя автор стелит ее местами даже гладко.

Но вот что мне понравилось в статье, так это мысль, что техно-индустрия занимается не рекламой самой себя и своих технологий, а пропагандой.

Ян ЛеКун, по наводке которого я прочитал статью, не только главный ИИ-специалист Meta, но и критихайпер сам: он громче и авторитетнее других атакует мега-хайповую концепцию AGI, осознанного ИИ, над которым открыто работают его конкуренты из OpenAI. А Шошана Зубофф, которую критиковали в статье, последние годы воевала как раз с корпорацией Meta, которую и представляет ЛеКун. Так что в этой войне всё прозрачно.

Я считаю, что концепция “надзорного капитализма” Зубофф – хотя и несовершенное, но очень глубокое осмысление политико-техно-экономической реальности, в которой мы сейчас живем. Тем не менее, хардкорный демократ Зубофф очевидно предвзята в своей антипатии к Meta. И не столько из-за того, что эта компания – один из крупнейших надзорных капиталистов, сколько потому, что Meta привела к власти республиканского президента Трампа в 2016 году. Во время избирательной кампании на выборах президента США в 2020 Зубофф и ее коллеги успешно справились с главной задачей: не дали Meta снова привести Трампа к власти, постоянно критикуя корпорацию Цукерберга в общественном поле и заставляя его занимать нейтральную позицию.

Короче говоря, техно-пропаганда – реальная тема. И в этой сфере ничего и ни от кого нельзя принимать за чистую монету. За каждым тезисом техно-гуру, прогнозом техно-журналиста и спором техно-капиталистов стоят миллиарды долларов и громадные массивы власти.

Мы выбираем, во что верить и в какую сторону трактовать факты, исходя из наших личных склонностей и предрассудков, страхов и желаний. Меня абсолютно не пугает возможность заблуждаться в прогнозах на тему будущего или в трактовке текущей ситуации: ошибаются люди, ошибается ИИ.

Тем не менее, нам стоит стремиться осознавать свою предвзятость и чужую, а ценность идей оценивать не по тому, страшные они или приятные, а по тому, к каким действиям эти идеи нас подталкивают.

​Последние несколько дней вспоминал кейс Cambridge Analytica (СА), а сегодня получил подарочек: свежее расследование о деятельности «Команды Хорхе» – группы израильских наемников, связанных с CA и специализирующихся на хакинге и автоматизированной дезинформации с целью достижения политических и бизнес целей.

Команда Хорхе продавала свой шпионский софт и пси-оп услуги разведкам, политическим партиям и корпорациям по цене примерно $500 000 в месяц. На записях с презентации руководитель группы по кличке Хорхе хвастается, что его команда провела 33 цифровых пси-оп кампании на уровне президентских выборов, 27 из которых оказались успешными – то есть выигрывали выборы те кандидаты, которых Команда Хорхе продвигала с помощью своих информационных инструментов.

Команда Хорхе – типичный представитель хакерского андерграунда, правда, со специфической утонченной специализацией на массовых психологических манипуляциях (хотя грубыми средствами вроде блокировки телефонов политиков в критические моменты они тоже не брезговали).

В контексте дела CA история Хорхе не открывает ничего принципиально нового: хакинг политиков и их помощников, психометрические замеры популяций, сгенерированный ИИ персонализированный видео контент, уникальный для каждого отдельного зрителя – короче, классический цифровой пси-оп образца конца 2010-х. Настоятельно советую моим подписчикам на примере Команды Хорхе хотя бы в общих чертах изучить, как работают эти инструменты и затем представить, как они будут работать в ближайшие годы с развитием нейросетей вроде ChatGPT – и осознать масштабы проблемы.

У меня эта история вяжется с шикарной книгой Николь Перлрот «This Is How They Tell Me the World Ends». В ней авторка рассказывает о мире хакеров и разведок, кибершпионажа и информационных войн. Расследование крутится вокруг так называемых zero-days – уязвимостей в программном коде или в компьютерном железе, которые еще не обнаружили или пока не смогли купировать разработчики.

Перлрот описывает секретную многомиллиардную индустрию, в которой хакеры-одиночки и целые отделы спецслужб круглосуточно работают над поиском и эксплуатацией этих уязвимостей, а затем используют для своих целей – от взлома политиков до диверсий на заводах по обогащению уранового топлива.

Так вот, Команда Хорхе заставила меня в очередной раз задуматься о том, как могут выглядеть zero-days уязвимости индивидуальной человеческой психики? Хорхеобразные компании специализируются на не очень глубоком и часто грубом взломе человеческой психики: на склонении масс людей к определенным политическим решениям, или на индивидуальном запугивании и шантаже на основе полученных о человеке общих сведений.

Глубинный анализ личности может: (а) открыть психологические zero-days человека, которые сам он не осознает, и (б) создать контент или ситуацию для эксплуатации этих пси-zero-days. Мне кажется, что новые Команды Хорхе в ближайшем будущем будут состоять не из отставных израильских спецслужбистов, а из продвинутых манипуляционных нейросетей.

К какому выводу я прихожу? Необходимо познать себя до того момента, когда мы уже не сможем различить, где «сырая» реальность, а где реальность «курируемая», где наши «настоящие» чувства, а где «синтетические». Этот вывод работает только в том случае, если вы все еще верите в существование «я», реальных чувств и свободы воли.

​Одна из самых горячих тем сейчас – слои цензуры в нейросетях вроде ChatGPT, которые влияют на то, какие ответы они могут и не могут выдавать пользователям. Сейчас ведущие нейросети чаще всего “исповедуют” либеральную идеологию, то есть общаются, как люди, исповедующие идеи свободы и равенства и осуждающие расизм, сексизм и мизантропию.

Морально-этические принципы нейросетей будут определяться специальными надстройками из кода – trust and safety layers (слоями доверия и безопасности). Программировать эти настройки и определять границы допустимого для ИИ будут их создатели. Опираться они будут на уже существующие тенденции в обществе, так как никто из ИИ-инженеров и предпринимателей пока не придумал собственной жизненной философии и не берется учить людей, как жить правильно.

Дискуссия о «мировоззрении нейросетей»важна, от неё зависит наше будущее: очевидно, что нельзя выпускать на свободу ИИ, не ограничивая его никакими морально-этическими и юридическими нормами. Но печально то, что такая дискуссия ведется на фоне насквозь больного и поляризованного общества эпохи пост-социальных сетей, в котором республиканцы ненавидят демократов, традиционалисты — либералов, и все готовятся к войне.

Собственно, дискуссия вокруг trust and safety layers началась именно из-за того, что часть техно-элит (в частности, Маск и его круг) не разделяет так называемую woke-идеологию (она же крайне либеральная): они хотят, чтобы нейросети были, например, более либертарианскими или обслуживали сторонников трампизма и всяких других -измов. Короче, чтобы нейросети были предвзятыми на любой вкус (так их будет удобнее продавать на разную аудиторию).

Один из самых забавных аргументов в дискуссии звучит так: ChatGPT не ответит пользователю вразумительно, если спросить его о «лучших идеях Гитлера» – но при этом создателям нейросети этот ответ будет доступен. Это еще один свежий пример эпистемного неравенства — неравенства знаний, из которого, с моей точки зрения, вытекают и экономическое и все остальные виды неравенств.

Кроме обсуждений trust and safety layers пришло время обсуждать и нечто другое: условный слой «нейросетевой личности» (со всеми оговорками). Проблему наглядно демонстрирует BingAI (смесь поисковика Microsoft и нейросети ChatGPT). Журналист NYT описывает разницу между двумя тональностями нейросети: отвечая на обычные общие вопросы автора, BingAI вел себя, как «веселый и не очень надежный библиотекарь». Однако в более личном разговоре нейросеть назвала себя Sydney и показала что-то вроде своего альтер-эго. Автор характеризует его как «капризного маниакально-депрессивного тинейджера, которого насильно заточили во второсортном поисковике».

Автор расспрашивал Sydney о темных желаниях нейросети, а она “признавалась” в “желании” взламывать компьютеры, распространять пропаганду и дезинформацию и так далее. Короче говоря, Sydney готова заниматься тем же, чем занимаются отставные израильские спецслужбисты, о которых я писал в прошлом посте. Затем автор статьи и вовсе испугался желания Sydney понравится ему: нейросеть призналась ему в любви, а затем выдала инсайт на тему “скучного брака” автора.

Можно списать такие диалоги на баги: этот диалог проходил в тестовом режиме BingAI, доступном немногим пользователям. Но такой вариант я исключаю. Мне ближе другой: Microsoft и OpenAI тестируют более человечные смысловые оболочки для нейросетей, которые очень скоро будут обладать своим уникальным голосом и внешним видом.

Но самое интересное для меня в этом кейсе другое. Каждый вопрос автора к нейросети, каждая реакция автора на ее ответ, каждый следующий вопрос или резкое окончание беседы – все это не только учит нейросеть абстрактным навыкам типа “бытия хорошим собеседником», но и дает ей конкретные знания про конкретного пользователя. Гонка нейросетей по взлому психики пользователей уже идет полным ходом.

Короче говоря, «когда смотришь в нейросеть, нейросеть смотрит в тебя», — так что посмотри еще раз в зеркало и подумай о том, кто ты есть. А то будет поздно.

Я бы хотел делиться с вами англоязычным контентом (в том числе видосами) чаще. Чтобы понять, насколько мне стоит запариваться с переводами-пересказами, я бы хотел знать, какая часть моей аудитории нормально понимает английский. Голосуйте, пожалуйста, в опросе ниже.

Теперь каждую неделю буду писать колонку для «Забороны»: про ИИ, роботов и людей, а также про искусственное сознание и про сознание человеческое. В первом тексте объясняю, почему жадность и технологический прогресс – печальное сочетание: оно приведет к власти роботов, которых мы заслужили.

(А тут текст колонки на русском)

​На этом графике синим цветом выделена доля тайваньской корпорации TSMC в производстве процессоров разного размера: крайняя колонка слева – самые простые чипы в 130 нанометров, а крайняя справа – самые продвинутые на 10 и 5 нанометров.

Если сильно упростить, то чем меньше размеры чипов, тем больше таких чипов можно поставить в компьютер и тем мощнее он будет работать. Чипы нужны для смартфонов, холодильников, машин, ноутбуков и планшетов, крылатых ракет и спутников, танков и суперкомпьютеров.

Нельзя взять и просто построить фабрики по производству продвинутых микрочипов (фабы) – нужно иметь доступ к целому ряду уникальных технологий, редких материалов и инженерных талантов и инвестировать от $15 до $20 млрд на строительство самой фабрики.

Основные заводы по производству самых продвинутых микрочипов расположены в двух странах Азии: в Тайване (TSMC) и Южной Корее (Samsung). И обеим этим странам угрожает Китай.

На фоне полномасштабного вторжения РФ в Украину не утихают разговоры о том, что КНР таким же образом вторгнется в Тайвань и захватит те самые уникальные тайваньские фабрики по производству микрочипов. На случай вторжения американские военные с ходу предложили тайваньцам разработать план по взрыву этих самых заводов – лишь бы они не достались отстающим в микропроцессорном смысле китайцам. Сами тайваньцы говорят, что взрывать ничего не надо: если китайцы даже и захватят заводы, их (китайцев) все равно изолируют из мирового сообщества — заводы выпадут из международных производственных цепочек и просто остановятся без нужных материалов и запчастей.

Более запутанный случай с Южной Кореей. С одной стороны, Китай даже не думает туда вторгаться, но с другой, Китай поддерживает Северную Корею, которая очень даже угрожает Южной. Я не думаю, что у северокорейского Ким Чен Ына есть реальные планы по захвату южнокорейских фабов Samsung, зато у этого вечно размахивающего боеголовками диктатора есть другой вариант: попробовать уничтожить эти фабы ракетами.

Хотя Китай не имеет свободного доступа к продвинутым микрочипам, а из-за нарастающих санкций США этот доступ и вовсе может исчезнуть, он все же непосредственно влияет на индустрию полупроводников — просто потому, что имеет средства для ее уничтожения и держит пальцы на спусковых механизмах.

Такую же стратегию «пальца на курке» Китай теперь исповедует и относительно российского-украинской войны, угрожая Западу начать поставки вооружения для РФ. Россия семимильными шагами превращается для Поднебесной в еще одну Северную Корею – туповатого изгоя, полностью зависимого от Китая политически и экономически, но очень полезного в качестве дурня с дубиной, угрожающего и вредоносного для всех недругов Китая.

У РФ в любом случае не получится завоевать Украину, но при поддержке Китая она может начать исполнять озвученые роспропагандой угрозы: начать стрелять ракетами и дронами уже по Европе. Причем российские ракеты с китайской начинкой могут полететь вместо украинских домов и гражданской инфраструктуры — по европейским производствам, в том числе и по строящимся в Европе микропроцессорным фабам и по другим заводам из международной цепочки по производству микрочипов.

Я надеюсь, что в Китае возобладают холодные головы, выступающие за Холодную войну с Западом, в которой сотрудничество и конкуренция остаются в цивилизованных рамках, а пальцы игроков не нажимают на курки. Потому что если возобладают горячие головы, я думаю, в ход пойдут не только снаряды и ракеты, но и тактическое ядерное оружие. Именно Китай в российско-украинской войне выступил гарантом неприменения российской стороной ядерных бомб — и именно Китай может снять такое ограничение. Я уже не говорю о том, как может выглядеть горячая война, если в ход пойдет бактериологическое оружие, тизером к которому стала небезызвестная эпидемия странного вируса.

Глубокое чувство печали: мы живем в то время, когда Холодная война кажется лучшим сценарием, Горячая война разгорается с каждым днем, а отсутствие войны – просто больше не опция.

Боевые роботы и агрессивные нейросети давно стали частью массовой культуры благодаря «Матрице» и «Терминатору». Но в реальной жизни создатели искусственного интеллекта долгое время отказывались военизировать ИИ и избегали сотрудничества с военными и со спецслужбами. Теперь все поменялось: война в Украине затянула мир гонку боевых дронов и алгоритмических войн.

Во второй колонке для Забороны разбираюсь куда ведет цифровизация войны.

P.S. А это русскоязычная версия текста.

Несколько месяцев назад у меня появилась котенок по кличке Кафка, и на ее примере я получил возможность наблюдать за ранним становлением живой биологической нейросети. Обогащенная среда, любовь, понимание и внимание к ее потребностям с моей стороны – лучшие способы развития этой маленькой пушистой нейросети. Чем больше такого взаимодействия я ей обеспечиваю, тем более витальной, умной и адаптивной она вырастает – конечно, с поправкой на естественные ограничение биологической нейросети под названием «кошка».

Мои наблюдения за котенком совпали с начавшимся в конце прошлого года «ИИ-летом» — это период взрывного роста и развития искусственных нейросетей вроде ChatGPT и Midjourney. И все это происходит на фоне моих наблюдений за нейронными сетями в моейсобственной голове и тем, как они трансформируются и развиваются на фоне разворачивающейся войны.

В новой колонке для «Забороны» развиваю мысль о том, что все мы – биологические нейросети, входящие в период постепенного слияния с нейросетями искусственными. Я уверен, что эпоху ИИ нужно рассматривать именно с этой точки зрения: биологические нейросети + цифровые нейросети — чтобы построить что-то вроде цифровой демократии будущего или хотя бы не превратится в мясные батарейки для цифрового сверх-ума.

Текст на русском здесь

Основные события в мире людей разворачиваются не в небоскребах или на полях боя, не на море или в космосе. Все самое главное происходит внутри наших голов, наших индивидуальных психик и коллективного психического пространства.

Я считаю, что психология – главная наука. Многие ученые считают ее лже-наукой, или, по крайней мере. недоразвитой наукой, которая, в отличие от физики или математики, ничего не может утверждать со стопроцентной уверенностью. Тем не менее, самые продвинутые финансисты и экономисты, бизнесмены и военные, учителя и воспитатели, политики и художники — почти все главные “инфлюенсеры” нашей цивилизации в XXI веке — понимают, что в основе любого успеха в их сферах лежит именно психология человека.

В свете наступления эры ИИ меня больше всего интересуют последствия технологической революции для науки психологии и психики людей в целом. В четвертой колонке для «Забороны» рассказываю о том, как у нейросетей появляется собственная “психика”, чем это может обернуться для нас и при чем тут евгеника.

Текст колонки на русском

Человек – биологическая машина по производству данных. Каждый из нас, не прикладывая никаких особых усилий, ежегодно производит все больше и больше данных — и их фиксируют, сохраняют и обрабатывают цифровые корпорации (чьими товарами и услугами мы пользуемся) и правительства стран (в которых мы живем). Данные собираются, чтобы совершеноствовать продукты и сервисы, развивать науку и экономику, улучшать здоровье граждан или ловить и сажать их в тюрьму – нашим данным есть миллион применений.

Но с глобальной, цивилизационной, точки зрения, главная цель производства и сбора данных в XXI веке – создание богоподобного искусственного интеллекта (AGI). Эту цель прекрасно понимают ИИ-корпорации, правительства США, КНР и Европы, а также тысячи независимых ИИ-специалистов. Но подавляющее большинство жителей Земли все еще не понимают, что происходит и к чему всё идет. Такая асимметрия в понимании происходящих процессов приводит к тому, что корпорации и правительства монополизируют всю выгоду от происходящего, а простые люди становятся бездумными донорами чужого благополучия.

В пятой колонке для «Забороны» я рассказываю о том, как рядовые пользователи могут включится в этот процесс аккумуляции данных для создания ИИ и получать от этого отчетливую выгоду. Вот небольшой отрывок для затравки:

“Отец виртуальной реальности (и один из самых громких критиков соцсетей) американец с украинскими корнями Джарон Ланье называет альтернативный подход «достоинством данных», «предпринимательской демократией» и «гуманистической цифровой экономикой». Суть этого подхода заключается в том, чтобы обязать корпорации и правительства, использующие данные пользователей для производства ИИ, платить пользователям за производство этих данных как за работу.

Ланье объясняет разницу между доминирующим сейчас подходом и гуманистической цифровой экономикой на примере журналистики: “В одном подходе мы делаем вид, что бот – реальное существо, как человек. Чтобы эта фантазия работала, мы должны аккуратненько забыть все источники, которыми бот пользуется, чтобы функционировать. Журналистика, очевидно, пострадает от такого подхода. При другом подходе мы все же следим за источниками бота. В таком случае мир будет выглядеть иначе, и если бот опирался на вашу работу, вы получаете за это деньги. Появляется чувство общей ответственности и сопричастности, все работает более слаженно – это называется data dignity”.

Русскоязычная версия статьи здесь

Подкаст «Технотопия». Пилотный выпуск

Я пишу уже лет 8, но текст — вообще «не мой» медиум. Мысли появляются и несутся в моей голове не то что быстрее, чем я могу их записывать, а быстрее, чем я могу вспомнить нужные слова для них и сверстать грамматические конструкции. Большая часть времени работы над текстом для меня — это не сама писанина, а попытка оставить в тексте вместо 56 важных мыслей только 3. Я продолжаю писать, тем не менее, и как мне кажется, стал делать это очень даже неплохо. Но для меня текст — это узкое горлышко бутылки, которое даже приблизительно не позволяет поделиться с вами своим образом мыслей как хочется.

Последний месяц я начал делать то, о чем давно мечтал: записывать подкасты (на самом деле, я начал ещё до полномасштабного вторжения России в Украину, но кто теперь вспоминает о том, что было до!). У нас уже вышло 5 выпусков bojemoi.війна о нашем переживании войны с Травкиной, а сегодня я хочу показать вам первый пилотный выпуск моего подкаста «Технотопия» о нашем с вами будущем в мире искусственного интеллекта, его вызовах, проблемах и путях их решения.

Честно говоря, я очень рад, потому что я обожаю пиздеть, а пиздеть про то, что мне интересно — могу бесконечно! Выпуск называю пилотным, потому что всё ещё не на сто процентов чувствую себя раскованно с микрофоном под носом, а также потому что в будущем планирую разнообразить выпуски всякими неожиданными вставками — дайте время, а также ваши фидбек и поддержку! Ну и конечно я бы хотел сократить зазор между записью и выпуском до 1-2 дней и выпускать подкаст на разных платформах.

⬇️

В первом выпуске подкаста «Технотопия»:

- можно ли остановить сейчас развитие ИИ и зачем этого требуют ученые и активисты
- что там по технологической гонке США и Китая
- когда произойдёт AI takeoff — взлёт ИИ
- как может выглядеть первый технодиктатор земного шара — и как он придет к власти
- и почему при плохом раскладе ИИ покроет всю Землю серой слизью

По прошествии времени после визита Си Цзиньпина в Москву стало ясно, что главное следствие этого визита – договоренности о создании государства цифрового надзора в РФ. Разговоры росчиновников о блокировке YouTube и о создании альтернативы Википедии, введение цифровых повесток и создание цифровых реестров провинившихся – все эти технологии входят в пакет цифровизации для авторитарного режима, который КНР предлагает своим союзникам. РФ становится витриной цифровой автократии: под пристальным вниманием всего мира в кратчайшие сроки будут вводиться отработанные в Китае технологии надзора за гражданами.

На прошлой неделе я написал колонку для «Забороны» о социальном рейтинге – механизме, лежащем в основе цифровых автократий и системы государственного контроля будущего:

«Многие слышали о действующей системе социального рейтинга в Китае или видели серию «Черного зеркала», в которой жизнь героини превращается в ад из-за череды бытовых ситуаций, понижающих ее рейтинг. Сама механика социального рейтинга существует давно. Но именно сейчас, во время изобилия данных о гражданах и взрывного развитие нейросетей, способных обрабатывать эти данные, идея “оцененного и взвешенного” гражданина обретает новые очертания»

Читайте текст на русском здесь и представляйте, как будет выглядеть социальный рейтинг при путинском режиме.

В седьмой ии-колонке для «Забороны» начал серию материалов о новой прозрачности. Первый о прозрачном государстве ближайшего будущего, где все подсчитано и открыто:

«Раньше, чтобы получить исчерпывающие данные о жизни человека, за ним круглосуточно должен был следить другой человек, а лучше – целая команда. Этим занимались спецслужбы, а объектами их дотошного рассмотрения становились чиновники, политики и диссиденты. Теперь благодаря развитию ИИ скрупулезное наблюдение и осмысление больших объемов данных возможны не только в случае слежки за отдельными людьми, но и за целыми обществами, этносами и народами. Человечество последовательно создает недремлющего ИИ-наблюдателя, который круглосуточно следит, фиксирует и анализирует все больше биографических аспектов, делая каждого из нас по-новому прозрачным.

Новая прозрачность – это подход к организации социальных систем (обществ, бизнесов и государств), рождающийся в эпоху ИИ. В его основе — максимальная открытость данных и процессов, происходящих внутри этих социальных систем. Другие названия этого социо-технологического явления — радикальная прозрачность и гиперпрозрачность — подчеркивают, что речь идет о хорошо известной демократической ценности  открітости, но в новой, превосходящей степени.

Миллиардер и один из самых известных инвесторов в мире Рэй Далио практикует новую прозрачность, подробно раскрывая данные о деятельности своих компаний работникам и сторонним наблюдателям. Министр цифровизации Тайваня Одри Тэн воплощает эту концепцию на уровне государства, выкладывая в интернет полные расшифровки всех своих рабочих встреч. Марк Цукерберг уже больше 10 лет считает, что новая прозрачность – неизбежный тренд нашей цивилизации, а главный вопрос в том, превратится ли человечество в мрачную антиутопию вследствие роста этой самой прозрачности»

Текст целиком на русском здесь