Цифровой геноцид ревью. Борхес и LLM

Borges and AI
L´eon Bottou and Bernhard Scholkopf

Многие считают, что модели большого языка (LLM) открывают эру
искусственного интеллекта (ИИ). Некоторые видят возможности, другие видят опасности. Тем не менее, как сторонники, так и противники понимают ИИ через образы, популяризированные научной фантастикой. Настоящая статья пропагандирует понимание LLM и их связь с искусственным интеллектом через метафоры Хорхе Луиса Борхеса.

Представьте себе коллекцию, которая содержит не только все тексты, созданные
людьми, но, выходя далеко за рамки того, что уже было физически написано, он также включает в себя все тексты, которые человек может прочитать и, по крайней мере, поверхностно понять. Эта бесконечная коллекция правдоподобных текстов может содержать книги, диалоги, статьи, молитвы, веб-страницы, компьютерные программы на любом языке и в любой форме.

А теперь представьте себе длинную бумажную ленту с несколькими начальными словами текста. Аппарат сканирует бумажную ленту, случайным образом выбирает вхождение этой последовательности слов в нашей бесконечной коллекции, находит слово, следующее за этим вхождением, и печатает его на ленте сразу после предыдущих слов. Повторение этого процесса добавляет больше и слова на ленту. Тем не менее, в каждый момент существует последовательность слов, напечатанная на пленке - и она находится где-то в нашей бесконечной коллекции всех правдоподобных текстов,
Назовем это идеальной языковой моделью.

Стоит герою любого романа очутиться перед несколькими возможностями, как он выбирает одну из них, отметая остальные; в неразрешимом романе Цюй Пэна он выбирает все разом. Тем самым он творит различные будущие времена, которые в свою очередь множатся и ветвятся. Отсюда и противоречия в романе. Скажем, Фан владеет тайной; к нему стучится неизвестный; Фан решает его убить. Есть, видимо, несколько вероятных исходов: Фан может убить незваного гостя; гость может убить Фана; оба могут уцелеть; оба могут погибнуть, и так далее. Так вот, в книге Цюй Пэна реализуются все эти исходы, и каждый из них дает начало новым развилкам. Иногда тропки этого лабиринта пересекаются: вы, например, явились ко мне, но в каком-то из возможных вариантов прошлого вы -- мой враг, а в ином -- друг.
Борхес. Сад расходящихся тропок

Как это часто бывает в науке и технике, случайность сыграла важную роль в разработке больших языковых моделей. Хотя мы не можем полностью понять, как эти языковые модели кодируют бесконечно большую коллекцию правдоподобных текстов, эта коллекция не лишена структуры. Любой текст может трансформироваться в другой текст разными способами. Самая основная трансформация состоит из изменения одного слова. Более сложные преобразования могут изменить время, изменить тон текста, переименовать персонажей, переписать текст в голос другого персонажа и так далее. Лингвист Зеллиг Харрис утверждал, что все предложения английского языка могут быть созданы из небольшого количества основные формы путем применения ряда четко определенных преобразований . Обучение большой языковой модели можно понимать как анализ большого корпуса языков. Этот процесс открытия начинается медленно, а затем набирает обороты, как цепная реакция.

По мере развития диалога между человеком и машиной эти требования
окрашиваются убеждениями человека. Однако многие другие невидимые участники делают своей задачей влиять на то, что говорит машина. Пока одни люди как библиотекари будут собирать знания, другие будут заниматься очисткой языковых моделей от лишних данных, очищая от сорняков.

Сама статья про Борхеса от Леона Ботту, автора градиентного спуска, на котором построен механизм LLM и Бернхарда Шёлькопфа, немецкого математика из института Макса Планка

Аппаратурный тест профессора Г. Мюнстерберга. Истоки HCI

Профессор Гюго Мюнстерберг был пионером психотехники и руководителем лаборатории прикладной психологии в США 19 века, немалую часть известности которому принесли исследования вагоновожатых. Следует отметить, что в то время еще не было таких четких и строгих правил уличного движения, какие действуют в наши дни почти во всех странах. Пешеходы, извозчики и даже шоферы автомобилей пересекали трамвайные линии везде, где им вздумается, что, понятно, чрезвычайно затрудняло работу вагоновожатых. Гюго выдвинул гипотезу, что решающую роль в профессиональной деятельности вагоновожатых играют внимание и воображение - эти качества должны стать основной для измерений как в профориентации, так и в тестировании перед работой.

“Я нашел, - писал позднее Г. Мюнстерберг в одной из своих книг, - что здесь речь идет о своеобразно сложной функции внимания, с помощью которой в быстро изменяющейся панораме улицы водитель должен постоянно воспринимать и оценивать с точки зрения скорости многие отдельные объекты: пешеходов, извозчиков, автомобили. "

Экспозиционный материал этой методики состоял из 12 карточек размерами 26x9 см, которые символизировали собой различные ситуации уличного движения. Все карточки поделены на одинаковые квадратики, сторона каждого - 1 см. Посредине каждой карточки на всю длину с интервалом в 1 см начерчены две жирные параллельные линии, символизирующие собой трамвайную колею. Таким образом, между этими линиями располагался один ряд из 26 квадратиков, а в сторону от каждой линии - четыре таких ряда. Каждый квадратик между линиями обозначен буквами латинского алфавита от А до Z.

На некоторых боковых квадратиках в случайном порядке расположены цифры: 1, 2 или 3. На каждой карточке таких цифр помещается около сотни. Большая часть из них напечатана черным цветом, а меньшая - красным.
Перед началом испытания экспериментатор показывает испытуемому одну или две таких карточки и говорит: "Представьте себе, что эти средние линии изображают рельсовую колею посреди улицы и что каждая цифра 1 - это пешеход, 2 - экипаж, 3 - автомобиль. За тот отрезок времени, за который пешеход делает один шаг, экипаж преодолевает расстояние, равное двум шагам пешехода, а автомобиль - трем. Каждый такой шаг (или единица расстояния) изображен одним квадратиком. Пешеходы, экипажи и автомобили, изображенные черным цветом, движутся параллельно колее, поэтому не представляют никакой опасности. Красные цифры изображают пешеходов, экипажи и автомобили, которые движутся слева и справа в направлении к трамвайной колее, и, следовательно, могут представлять опасность. Все зависит от того, какое расстояние отделяет их от колеи. Если, например, красная цифра 3 находится на расстоянии четырех квадратиков от колеи, то опасность отсутствует, поскольку автомобиль успевает пройти за данную единицу времени только три единицы расстояния и, следовательно, на колею не попадет. Таким образом, опасность столкновения существует только там, где красная цифра 1 отделена от колеи на один квадратик, 2 - на два квадратика, а 3 - на три квадратика. Как только заметите такую опасность, немедленно назовите соответствующую букву на колее".

В среднем таких цифр на каждой карточке не более четырех. Задача испытуемого состоит в том, чтобы, передвигая отверстие вдоль карточки, проследить взглядом весь путь от А до Z, называя "опасные" квадраты на колее.

Результаты апробации показали, что существует прямое соответствие между успешностью профессиональной деятельности испытуемых и успешностью выполнения ими этого теста. Лучшие вагоновожатые (составившие первую группу) показали лучшие результаты при лабораторном испытании, вагоновожатые с большим количеством допущенных несчастных случаев имели плохие результаты, посредственные вагоновожатые - посредственные результаты.

Так возникла первая в истории психологии методика профессионального отбора.

#quxcon
Вот тут можно найти слайды всех выступлений конференции, которая прошла в июне

https://drive.google.com/drive/mobile/folders/1fd3DN3jPKh_nVYX709VnAymSlf40grRF

Секс и робототехника: раздвигая горизонты взаимодействия между человеком и машиной.

Дэвид Леви окончил шотландский университет Сент-Эндрюс в далеком 1967 году, а затем вел практические занятия по компьютерному программированию в Университете Глазго 4. Талантливый шахматист, он написал порядка 30 книг по шахматной игре и участвовал в соревнованиях и разработке со многими шахматными программами. В 2007 году он защищает диссертацию и публикует книгу «Любовь и секс с роботами», которая является одной из самых фундаментальных исследований, пожалуй, самой заветной отрасли взаимодействия человека и машины.

Леви начинает со следующего рассуждения: возможно, что общество досуга и высокой производительности труда не столько освободит и создаст возможности для занятий спортом, саморазвития и т.д., но и станет обществом романтики и романтичных переживаний. Технологии превратят любовь и секс во что-то более глубокое, высшее измерение. Вместе с японскими исследователями Ichiya Nakamura и Ken Mogi он вместе пишет фундамельную книгу по исследованию всей совокупности чувств, эмоций и романтического спектра в эпоху взаимодействия машин и любви.

Вступая в век технологий гаджетов и роботов, появилась новая субкультура «техносексуалов». «Техносексуалы» относятся к людям, у которых есть «сексуальные интерес к машинам, роботам, андроидам, гиноидам и другим сексуальным устройствам ». И здесь есть два типа техносексуалов - те, кто хочет партнера-андроида, потому что он настоящая машина, и те, кто хочет андроид, который является прообразом настоящего человека. Вместе с тем, новые направления взаимодействий, такие как теледилдоника становятся частью для интеграций с VR и AR для отделов R&D компаний-гигантов на рынке. На иллюстрации - устройство для поцелуев.

Human–Robot Intimate Relationships. Сборник статей из самых разных отраслей и коллективов авторов.
Книга 2021 года, которая может стать пророческой

устройство для поцелуев

А что в СССР? Почти теория игр

Иногда советская психология удивляла исследованиями и буржуазных тем:
например, тот же Венда, который проектировал ТЭЦ-21, описывал практики для исследования Спортлото для того, чтобы доставать поведенческие паттерны

http://the-mostly.ru/misc/psychology_of_sportloto.html

Видно, что играющие реже всего зачеркивают номера в первой зоне и наиболее часто отмечают номера четвертой зоны. Можно дать следующее психологическое объяснение этому факту. Когда человек не в силах охватить целиком весь массив, в нашем случае 49 чисел, он делит его на обозримые интервалы. Так делят, в частности, год на кварталы.

Среди крупных выигрышей особенно часто встречаются комбинации с соседними номерами: большинство играющих избегает зачеркивания соседних номеров как по горизонтали, так и по вертикали. Причем соседние по вертикали номера зачеркивают втрое реже, чем соседние по горизонтали. Логика заполняющего проста: соседство по вертикали двух клеток определяет не только геометрическую близость клеток, но и близость по натуральному ряду чисел. А такое совпадение считается «уж совсем невероятным».

С удивительным упорством играющие в «Спортлото» избегают каких-либо фигур, закономерностей или ритмов при зачеркивании номеров. Это недоверие ко всему «правильному», видимо, весьма устойчиво в психологии играющих людей.

ок, ux и взаимодействие на уровне музыки - как оно происходит. Сборник статей Спрингера о музыке, много интервью и обзоров технологий

а вот и сама New Directions in Music and Human-Computer Interaction

Странные интерфейсы. Автоматоны-дьяволы

Кроме роботов для молитв, о которых мы писали ранее в блоге, существовали и механические дьяволы, призванных запугать посетителей церкви и заставить их повиноваться. Вот, например, итальянский автомат, вырезанный из дерева, XV и XVI века, принадлежащей Манфредо Сеттала. Автоматон мог «закатывать глаза и шевелить языком, издавать шум и выплевывать дым изо рта».

Деревянный дьявол издавал ужасающие вопли, его голова крутилась, также были подвижны глаза и язык.

https://jakobnielsenphd.substack.com/p/get-started-ai-for-ux

Ок, Якоб Нильсен выдал про AI и UX: из любопытного - создание персональных промт-библиотек для задач исследований
Самое интересное, впрочем, в виде ссылок на остальные блоги и статьи - в конце статьи

Менеджмент знаний. Селекция идей для инноваций. Подход попарного сравнения в Средние века.

Ну здравствуйте, мои маленькие любители управления идеями и менеджмента знаний. Сегодня мы поговорим о такой вещи как взвешенное голосование и влияние средневековой схоластики на процессы управления идеями. Допустим, что у нас есть список продуктовых гипотез, которые могут помочь бизнесу или есть список организационных изменений. Можно представить себе механику взвешенного голосования, которое существует в избирательной системе , в которой не все избиратели имеют одинаковое влияние на исход выборов. Голосам разных избирателей придается разный вес во время выборов: например, по грейдам сотрудников приписывать больший вес.

Но что если у нас много экспертов и надо сравнить идеи? Как быть тогда? Отвечать на вопрос будет средневековый монах и схоласт Раймунд Луллий. Безумный создатель знаменитого фонаря с основными терминами богословия и классик каталонской литературы, он еще отметился и в теории выбора.

В трактате «Artifitium elec tionis personarum» Луллий рассматривает ситуацию, когда 16 монахов должны избрать из своей среды прелата монастыря. Монахов Луллий обозначает буквами латинского алфавита: b, c, d, e, f, g, h, i, k, l, m, n, o, p, q, r. Далее строится таблица, имеющая матричную структуру (см. рис. 1). Эта таблица содержит 120 ячеек, в которые помещены все возможные сочетания пар монахов. По мнению Луллия, при оценке кандидатов следует исходить из трех критериев: (1) честность и святость жизни, (2) знания и мудрость, (3) состояние здоровья. Соответственно, перед голосованием подготавливаются три одинаковых экземпляра таблицы — по таблице для каждого критерия.

Далее два монаха, обозначенные в списке буквами b и с, покидают помещение. После этого каждый из оставшихся 14 монахов должен решить, кто из покинувших помещение лучше удовлетворяет каждому из критериев, то есть должен совершить попарное сравнение этих двух монахов по трем критериям. В первой таблице точкой отмечается монах (b или с), получивший больше голосов по первому критерию; во второй — по второму, в тре тьей — по третьему критерию. Если по какому либо критерию оба монаха получили равное количество голосов (по семь), то они оба помечаются точками в таблице, соответствующей этому критерию. После этого монахи b и c возвращаются, и описанный выше процесс повторяется для монахов b и d, затем для монахов b и e и т.д.

После завершения этой процедуры (заметим, весьма и весьма длительной, так как необходимо сравнить 120 пар монахов) для каждого из 16 монахов подсчитываются точки, проставленные во всех трех таблицах. Избранным на должность настоятеля считается тот, у которого суммарное число точек во всех таблицах максимально.

Построение таких матриц смежности и подсчет строчных сумм по этим матрицам, как это предписывает предложенная Луллием процедура, полностью совпадает с процедурой Коупленда, появившейся только в середине XX в. В целом, это также напоминает эффект победителя Кондорсе в выборах, но несколько проще — и для нашей цели отсеивания и создания иерархии идей — полезнее, так как кроме победителя позволяет найти хорошие идеи из череды бронзовых победителей, взять их в работу или во всяком случае сохранить. При этом критерии и параметры сравнения могут быть самыми разными. Некоторые продуктовые менеджеры и трекеры продуктов любят обращаться к ICE Scoring и RICE скорингу, которые являются лишь методами приоритезации идей.

Медицина, человек, космос

Для решения вопроса возможности работать в стрессовых ситуациях в методических приемах психологического отбора закладывается принцип воспроизведения той деятельности, тех условий, в которых предстоит работать человеку.

Чтобы понять способен ли человек работать в условиях эксперимента — надо понять, а может ли он работать, если воспроизвести стрессовые условия работы устройств. Такой подход к анализу труда оператора был особенно важен для тех авторов, которые трудились в советской авиационной и космической индустрии — целого поколения инженерных психологов и врачей для которых исследования стресса, монотонности, усталости оператора было связано с развитием военной индустрии и аэрокосмических технологий XX века. Остановимся на фигуре Федора Дмитриевича Горбова и его эпистемологических объяснений и описаний опыта пользователя.

После окончания войны молодой врач руководил службой психоневрологической экспертизы в Центральном научно-исследовательском авиационном госпитале в Москве, а затем возглавил психологическую лабораторию в Институте авиационной и космической медицины. Разрабатывал проблемы пространственных иллюзий у лётчиков в полете, возникновения у них пароксизмальных состояний. Обосновал методы психофизиологической тренировки. В 1953 г. защитил кандидатскую диссертацию, основным положением исследования стал факт, что работа в условиях помех приводит к нарушению предвидения как одного из важнейших качеств лётчика. В 1963 г. защитил докторскую диссертацию на тему «Пароксизмы при непрерывной деятельности». Горбов также входил в состав группы специалистов, осуществлявших отбор и подготовку первого отряда космонавтов, был ответственным за психологическую готовность кандидатов.

Обратимся к главной работе Горбова — “Психологический аспект труда оператора” в которой речь пойдет о тонкостях взаимодействия пользователя и устройств: каким качеством с точки зрения психологии труда должен обладать оператор летального аппарата, диспетчер или оператор? Надежностью - психологическое качество, которое определяет возможность работать в условиях стресса и, которая, является важной составной частью профессиограммы.

В связи с возможностью совершения ошибок в состоянии растерянности или полного отказа в работе операторов при развитии острых аффективных реакций в критических ситуациях в инженерной психологии возникла проблема надежности. Проблема надежности в настоящее время решается в основном в русле психологического отбора, в задачу которого входит изучение не только наличных качеств личности, но и потенциальных психических возможностей человека, его резервов в соответствии с профессиограммой. Таким резервом, в частности, является способность продуктивно работать в условиях эмоционального стресса.
Психологические аспекты труда операторов. М.: Медицина, 1975.
Не менее любопытен и традиционный для исторического и диалектического материализма референс - к классикам марксизма-ленинизма, которые выполняли определенный идеологический элемент работы. Основоположники диалектического материализма всесторонне обосновали и развили в своих работах значение труда в развитии человека и человеческого общества. В процессе труда люди преобразуют не только окружающую природу, но и самих себя. Но как бы «…различны ни были отдельные виды полезного труда, писал Қ. Маркс,- или производительной деятельности, с физиологической стороны это - функции человеческого организма, и каждая такая функция, каковы бы ни были ее содержание и ее форма, по существу есть затрата человеческого мозга, нервов, мускулов, органов чувств и т. д.»

Вследствие траты «человеческого мозга, нервов, мускулов» в процессе трудовой деятельности у человека возникают явления утомления или переутомления. Усталость и утомляемость интерпретируются как трата ресурса тела, даже, если угодно, пресловутая отчуждаемость о которой так много пишут культурные марксисты. Это любопытный историко-культурный феномен, который, впрочем, можно отнести к исторической реальности эпохи

Горбов сидит на заднем фоне, за Гагариным. В этот момент он начальник лаборатории
в Государственном научно-исследовательском испытательном институте авиационной и космической медицины.

https://www.youtube.com/watch?v=u4RkkjiYu0k&ab_channel=LinusTechTips

Ладно, понятно

Гонзо-обзоры статей: LLM и создание макетов при помощи Large Language Models, понятие UI грамматики
Exploring Mobile UI Layout Generation using Large Language Models Guided by UI Grammar

Грамматика пользовательского интерфейса – новый подход, который китайские товарищи предлагают для представления иерархической структуры, присущей пользовательскому интерфейсу. Целью этого подхода является руководство для LLM - чтобы повысить объяснимость и управляемость процесса генерации макета. Статья аффилирована с University of Notre Dame, Notre Dame, USA и Шанхайском университетом

Действительно датасеты пользовательского интерфейса существуют с конца десятых - авторы отмечают особенную роль датасета RICO, в котором собраны наборы экранов и интерфейсов мобильных приложений(https://www.semanticscholar.org/paper/Rico%3A-A-Mobile-App-Dataset-for-Building-Data-Driven-Deka-Huang/775f7845e4df2576762960943294bd28733e2046 ), который используется как для генерации интерфейса, так и для и ноукод приложений, насколько могу судить не очень используемыми в индустрии. Теперь эти датасеты заиграли новыми красками с выходом больших языковых моделей.

Большие языковые модели (LLM) для выполнения задач по моделированию пользовательского интерфейса посредством контекстного обучения и промтов в виде цепочки мыслей. Также некоторые исследователи провели автоматическое тестирование графического интерфейса, моделируя взаимодействие человека с графическим интерфейсом с помощью LLM.

Каргаран и др. ( статья Menucraft: Interactive menu system design with large language models https://arxiv.org/abs/2303.04496 ) исследовал проектирования меню пользовательского интерфейса с помощью LLM с помощью описаний на естественном языке намерений дизайнеров. Эти усилия продемонстрировали возможности LLM эффективно работать с пользовательскими интерфейсами на уровне промтов. Некоторые эксперименты также продемонстрировали конкурентоспособность по показателям оценки задач пользовательского интерфейса (по сравнению с человеком видимо)

Ключевая задача LLM для создания макетов связана с представлением иерархической структуры присущие элементам пользовательского интерфейса в процессе генерации.

“В ответ на эту проблему мы предлагаем грамматику пользовательского интерфейса — новый подход, который точно представляет иерархическую отношения между элементами пользовательского интерфейса. Этот подход служит руководить процессом создания LLM, тем самым делая поколение более структурировано и контекстуально приемлемо. С человекоцентрированной точки зрения мы обсуждаем, как включение грамматики пользовательского интерфейса обеспечивает промежуточный уровень представление, которое потенциально могло бы улучшить объяснимость и управляемость LLM в процессе генерации. Пользователи могут лучше понимать и управлять внутренними механизмами генерации LLM, просматривая и редактируя грамматику используется для получения окончательного результата”

Элементы пользовательского интерфейса на экране имеют иерархические отношения, что может быть отражено в принцип атомарного дизайна (Фрост, 2016), функций группировки инструментов проектирования пользовательского интерфейса, таких как Figma, и иерархий представлений Android. Некоторые предыдущие работы сгладили иерархические структуры элементов пользовательского интерфейса и уменьшили задач создания макета в предсказание плоской последовательности элементы и соответствующие ограничивающие рамки. Сохранение иерархических отношений между элементами пользовательского интерфейса и использование их - улучшит качество генерации макетов

Грамматика UI определяется как набор производственных правил для описание отношений родитель-потомок между элементами пользовательского интерфейса в рамках иерархической древовидной структуры данного экрана. Каждое производственное правило имеет форму A → B, где A представляет собой родительский элемент пользовательского интерфейса, а B представляет собой последовательность одного или больше дочерних элементов.

Используя это определение проблемы, разрабатываем наш промт с
целями:
1. Использование формата пользовательского интерфейса, который будет понятен и понятен специалистам LLM для создания макетов
2. Инкапсуляция иерархических отношений между элементами пользовательского интерфейса с помощью грамматики пользовательского интерфейса.
3. Удаление лишней невизуальной информации, которая
несущественно для создания макета
Исходя из этих целей, мы решили использовать JSON в качестве данных.
формат для представления пользовательских интерфейсов при создании макета пользовательского интерфейса.

JSON, кстати, и для чат-ботов используется, замечу 🙂