Взаимодействия человек-робот. А что там с эмоциями?

Эмоции в значительной степени лингвистический конструкт, который часто является топиком дисциплины лингвокультурологии: невозможно привести конкретный список эмоций, потому что они различаются между людьми и культурами. Но в целом для больших групп пользователей можно выявить основные эмоции, которые, конечно, могут быть дискуссионными с точки зрения той или иной теории в психофизиологии.
И поэтому для взаимодействия робот-человек это важный момент: ведь большая часть такого взаимодействия касается социального взаимодействия, в котором неправильная эмоция в не том контексте формирует ошибки и гэпы. С другой стороны, некоторые пользователи по причине болезни могут не воспринимать эмоции или еще не научились этому социальному навыку.

Вообще, есть специальная работа Novikova и Watts, где отмечается, что если робот воспроизводит эмоции, то пользователь приписывает ему высокий уровень социальной активности. С другой стороны, люди интерпретируют его поведение как бескорыстное, холодное или просто грубое: все мы помним ошибки и проблемы при запуске голосовых ассистентов Яндекса и Сбера. Что делать?

Мимикрия в UX

Ответ в том же тоне, что и вопрос, кажется, удачной стратегией передачи эмоций: просто повторите за пользователем. Исключением является гнев/злость.

Это относительно простой ответ, потому что он требует, чтобы робот «только» распознавал эмоции в человеке, а затем отражать эмоцию в ответ. Проблема тут в том, что такие ожидания от робота еще и требуют поддержки: после того как пользователь привыкнет, что интерфейс отзывчивый, то он будет ждать такого отзывчивости всегда, даже в сложных ситуациях.

На картинке разные подходы к моделированию эмоций: eMuu (2001). iCat (2005–2012) и Flobi (2010).

Эффект "камня-русофоба" в действии, когда человек готов общатся с заранее неодушевленным предметом

Две трети людей приписывают большим языковым моделям некоторую степень феноменального сознания
https://osf.io/preprints/psyarxiv/5cnrv

Книга Cultures in Human-Computer Interaction. ЦГ ревью

Я работал во многих технологических компаниях в которых пользователями были гастарбайтеры, сезонные рабочие, мусульмане, жители регионов Средней Азии - и эти пользователи качественно отличаются от хипстеров с латте: до сих пор помню столовую на гигантском складе Пятерочки - распределительном центре - с характерными запахами и полуголыми сотрудниками (жарко!). Это несколько экстремальный опыт исследований, к которому зачастую не очень готов бывший «банковский» юзабилист.

Достаточно неплохая книга по взаимодействию и роли культуры, которая, кажется, пытается ответить на этот вопрос о разнице восприятия, но все-таки немного далекая от русских реалий. Несколько цитат ниже,

Есть причины скептически относиться к значимости культуры в HCI. Например,
отмечается, что сообщество HCI не выработало массового интереса к культуре . Многие исследования носят количественный характер и проводятся со студентами университетов — и оставляет термин «культура» преимущественно без какого-либо определения.

Да и вообще какая ценность культурно-чувствительных технологий в эпоху глобальной деревни?

Есть нюанс и простой ответ. Фундаментальный принцип (хорошего) HCI — «знать пользователя». В свете разнообразной базы пользователей, которая растет — а кто пользователь? Существует ли «глобальный» пользователь?

Многие исследования предполагают, что удобство использования в разных культурах понимается одинаково (Frandsen Thorlacius et al., 2009). Однако были обнаружены культурные различия в понимании концепции юзабилити. Например, Frandsen Thorlacius (2009) показывают, что китайские пользователи уделяют больше внимания внешнему виду, удовлетворению и веселью, чем датчане, которые придают большее значение эффективности и отсутствию разочарования.

Широко предполагаемая корреляция между удовлетворенностью пользователей и эффективным и действенным выполнением задач не справедлива для намибийцев. Для них удобство использования означает выгоду, прозрачность, гибкость и целеустремленность.

Неявное западное понимание юзабилити может не соответствовать другим культурным группам. Такое разнообразие в понимании юзабилити предполагает, что степень, в которой результаты исследований юзабилити можно (и если да, то как следует) сравнивать, когда их заполняют люди с разным культурным прошлым - чревата неопределенностью, ошибками и искажениями. Методы оценки юзабилити основаны на предпосылке, что участникам легко формулировать свои мысли и они чувствуют себя комфортно, говоря, что для них работает, а что нет: а это не так.

Cultures in
Human-Computer
Interaction

Серия Synthesis Lectures on
Human-Centered Informatics

Пульт управления в АСК ЗиЛ: главный пульт управления и схема всего конвейера.

Отсюда диспетчеры наблюдали за работой конвейра и его исправностью

Словарь юного HCI. Болливуд-тестирование

Основная проблема с тестированием юзабилити в азиатских странах, типа Индии заключается в том, что там невежливо говорить кому-то, что у него плохой дизайн. В этой культуре стыдно признаться, что вы не можете что-то найти, поэтому очень трудно получить обратную связь.

Директор клиентского опыта Human Factors International Apala Lahiri проводила юзабилити-тестирование покупки авиабилетов через сайт авиакомпании, но имитационное тестирование привело только к маленькому числу откликов (еще и нерелевантных), а респонденты на пользовательских глубинных интервью не хотели обсуждать проблемы при покупке билета. Тогда и был придуман новый метод, который Апала впервые разработала и который назвала методом Болливуда. Болливуд - это Голливуд Индии, и ежегодно снимает гораздо больше фильмов, чем Голливуд. Болливудские фильмы известны тем, что имеют длинные и эмоционально эмоционально насыщенными сюжетами. В этих фильмах много пафоса и волнения.

Применяя метод Болливуда к этому сценарию тестирования, Апала описала тяжелую фантастическую ситуацию: она попросил каждого участника представить, что его или ее красивая, молодая и невинная племянница собирается выйти замуж. Но внезапно семья получает известие о том, что потенциальный жених - член подполья. Он - наемный убийца! Вся его история жизни - фикция, и он уже женат!

Участник получает в свое распоряжение улики и должен заказать авиабилеты в Бангалор для себя и племянницы, чтобы сбежать от жулика. Время не терпит отлагательств! Участники теста охотно включились в эту фантазию и с с большим волнением приступили к процессу бронирования билетов. Даже самые незначительные трудности, с которыми они столкнулись, привели к немедленным и язвительным комментариям. Участники жаловались на название и расположение кнопок. Фантазийная ситуация дала им возможность общаться так, как они никогда не смогли бы при при обычных методах оценки.

Этот метод хорошо сработал в Индии и может быть даже использован обобщенным для особых ситуаций в Северной Америке и других местах, где участники могут испытывать стеснение для общения.

Для тех, кто только подписался - вот небольшое оглавление на канале с темами и разбивками за 2022 год:

Гедономика, книги, бережливое производство, геймификация, история технологий, метрики в UX, советские технологии и интерфейсы
https://xn--r1a.website/gulagdigital/1925

Applied Intelligence in Human-Computer Interaction

Эта книга обсуждает применение искусственного интеллекта в сферах разработка пользовательского интерфейса, анализ вычислительной мощности и управление данными. Большинство статей унылый буллшит, достаточно формализованные работы, которые требуют значительной части математического аппарата: формулы, фреймворки с некоторыми правилами и почти схоластикой

Что есть интересного/необычного?
Artificial intelligence-based techniques for operations research and optimization привлекает внимание своей подрывно-инновационной сущностью - исследований операций

Авторы определяют исследование операций (ОР) как науку о «решении того, как лучше всего проектировать и эксплуатировать человеко-машинные системы» в условиях ограниченных ресурсов. Принято считать, что дисциплина ОР зародилась во время Второй мировой войны, когда группы ученых, изучающих развертывание военной техники, пытались найти наилучшие варианты минимизации потерь и максимизации прибыли. OR теперь относится к научной базе, используемой для получения оптимальных и эффективных решений с целью максимизировать определенную выгоду или минимизировать определенные затраты для различных целей. Скоуп задач:

1 Проблемы распределения ресурсов. Когда ограниченный ресурс необходимо распределить между конкурирующими кандидатами, мы формулируем модель, которая учитывает вознаграждения, полученные в результате распределения единиц ресурсов между разными кандидатами. Выделения «ограничены» таким образом, что общие выделения должны находиться в пределах данного ресурса и обеспечивать любые указанные минимальные выделения различным кандидатам.

2. Многоэтапное последовательное принятие решений. В этих системах решения распределяются по множеству последовательных этапов, а отдельные передаточные функции или уравнения непрерывности поддерживают непрерывность состояний системы на всех этапах. Цель состоит в том, чтобы максимизировать выгоду, получаемую от всех этапов процесса, и эти проблемы формируют модели динамического программирования.

3. Модели массового обслуживания. Эти модели касаются поставщиков услуг (серверов) и получателей услуг (клиентов) и направлены на оптимизацию общих затрат, включающих стоимость установки серверов и стоимость ожидания, испытываемое клиентами – с точки зрения уровня удовлетворенности.

4. Модели инвентаризации. Эти модели направлены на поддержание минимальных запасов в соответствии с объемом продаж, не прерывая продажи из-за дефицита. Поскольку запасы подразумевают заблокированный капитал, минимизация запасов означает максимизацию производительности использованного капитала. В этом случае также требуется обширный анализ для установления структуры спроса, времени выполнения заказа до получения, оценки стоимости нарушения продаж и т. д.

5. Сетевые модели. Сеть состоит из набора узлов и связей между этими узлами, называемых дугами. Нахождение кратчайшего расстояния

Рассматриваются поочередно три способа решения ИИ для исследования операций: 1. Эволюционные алгоритмы
2. Другие алгоритмы, вдохновленные природой.
3. Искусственные нейронные сети.

Много формул, но убежден, что такого рода подходы в классическом ритейле были бы бесценны

HCI и ИИ - не для рядовых UX, судя по всему: впечатляющий формальный аппарат, оптимизация фабрик и заводов

Странные интерфейсы.

Багдадская батарейка представляет собой артефакт, найденный в Месопотамии и иногда рассматриваемый как гальванический элемент периода Парфии или Сасанидов. Этот артефакт был обнаружен в 1930-х годах немецким археологом Вильгельмом Кёнигом, директором Национального музея Ирака: батарейка представляет собой глиняный сосуд с встроенным в него медным цилиндром, внутри которого находится железный стержень. Горлышко сосуда запечатано битумом, через которое проходит железный прут.

Следы коррозии на железе указывают на возможное присутствие электролита, такого как виноградный сок. Ученые предполагают, что "Багдадская батарейка" могла использоваться для гальванизации, например, для нанесения золота на серебро или керамику, или для электротерапии. Современные исследователи, включая шоуменов из "Разрушителей легенд", проводили эксперименты, воспроизводя конструкцию батарейки и используя винный уксус или лимонный сок в качестве электролита, и получали от 0.5 до 1 вольта на тестере.

Современные иранские ученые склонны считать эти и другие находки… влиянием китайской медицины и вообще медицинским инструментом в большей степени.

«Сопоставимые образцы устройства были позже обнаружены в других местах (например, в Ктесифоне, столице Ирана в период парфян и Сасанидов). Учитывая особенности устройства, с самого начала оно было правильно идентифицировано как электрический элемент, и были выдвинуты некоторые гипотезы о его применении, включая гальваническое, магическое и медицинское использование. Из-за научно-технической сложности процесса гальваники, а также отсутствия необходимой эффективности парфянского элемента при гальванике первая гипотеза сегодня менее принята. Основываясь на научном и техническом обосновании этого открытия, нельзя признать, что парфянская клетка имела магическое применение. Таким образом, поскольку исторические данные показывают, что в этот исторический период электрическая батарея использовалась для облегчения боли, а также учитывая современный медицинский опыт использования слабых электрических токов для облегчения боли и лечения ряда заболеваний, наиболее вероятной гипотезой представляется следующая: связанный с медициной.»

Правда статья на фарси, так что почитать легко не получится
https://qjik.atu.ac.ir/article_1566.html?lang=en

Багдадская батарейка для медицины, магии или для нанесения золота

Объявление

Темные паттерны — расхожая и популярная проблема при проектировании опыта пользователя. Уловки, подталкивания, обман, манипуляции,трюки - все это давно стало частью проблем на уровне менеджмента, исследований, дизайна и отражается на опыте пользователя. На днях я присоеденился к курсу для юристов в айти в качестве приглашенного лектора как раз по этой теме:
https://youtu.be/cZPysuu1CMg?si=dbPniHeGppbY_wOJ
https://www.notion.so/mooreslaws/HOW-TO-CYBERLAW-Cohort-1-0d0e60c8ea2146a7aa9cc4d0f85459e4?pvs=4

Вооружитесь самыми последними данными относительно видов темных паттернов и юридических рисков относительно каждого типа паттерна. Кнопка отклонения зеленого цвета? Подложить товар в корзину? Создать 10 экранов отписка у сервиса? Пора узнать их названия и понять разницу.

В лекции совместно с юристами из @mooreslaws мы разберем самую детальную современную классификацию темных паттернов, дадим юридический комментарий из правовых документов ЕС, США и Великобритании. В 2023 году каждый темный паттерн содержит пару инцидентов с судами и штрафами, поэтому в дискуссии с вашей командой разработки появятся аргументы, которые будет интересно представить и юристам в вашей компании.

Лекция доступна на YouTube. Не упустите возможность узнать о темных паттернах и их юридических последствиях! В рамках курса IT для юристов от Законов Мура

Автогенерация интерфейсов

Новая нейросеть от гугл - Gemini - умеет генерировать интерфейсы внутри чата в зависимости от задачи пользователя, выглядит очень перспективно - как примерно и описывалось в статьях об автогенерации интерфейсов в LLM.

Интересно сколько там все-таки заготовленных канвас?
https://www.theverge.com/2023/12/6/23990466/google-gemini-llm-ai-model


Узнал от @cryptoEssay

Медицина, человек, космос. Часть 4
Продолжение:
https://xn--r1a.website/gulagdigital/2378
Два контура управления пилотов и диспетчеров

Действительно, кроме монотонности и рутинности существует проблема целого спектра многозадачности с которой вынужден сталкиваться оператор или диспетчер, и это второй важный скоуп проблем военной психологии. В целом ряде автоматизированных систем оператор как регулирующее звено включен одновременно не в один контур управления, а в несколько. Так, например, машинист современного локомотива в одном контуре управляет движением поезда, т. е., он выступает в качестве водителя. В другом контуре он выступает как оператор, регулирующий работу энергосистемы локомотива. Работая в двух контурах управления, человек как бы «раздваивается». Горбов пишет, что с физиологической точки зрения это означает, что оператору “необходимо держать концентрацию раздражительного процесса в двух различных функциональных системах мозга, отражающих (моделирующих) дорожную обстановку и состояние управляемого объекта, а также осуществляющих экстраполяцию возможных событий”

Очевидно, что сама по себе эта операторская деятельность, даже при высоко наработанных навыках, требует большого нервного напряжения. Как это выглядит в летной практике?

Обследуемый Б., 24 лет, летчик. В последние 2 года по сложившимся обстоятельствам летал нерегулярно. В госпиталь был направлен в связи со случаями приступообразно возникающего плохого самочувствия в воздухе, которое вынудило прервать полет и возвратиться на свой аэродром. Из первичного обследования и документальных данных известно, что обследуемый внезапно в полете почувствовал себя плохо, ощутил неясность мысли, нечеткость в восприятии окружающего и наряду с этим испытал прилив жара к голове. Полагая, что испытывает кислородное голодание, продолжал полет, произвел проверку кислородного оборудования, которое оказалось в полной исправности. В момент проверки кислородного оборудования почувствовал себя лучше. Это происшествие было расценено как случайный эпизод (предполагалось утомление), и обследуемый продолжал успешно летную работу. Через несколько месяцев также «без причин» на фоне хорошего самочувствия в полете вновь появилось состояние, близкое к описанному выше.

Внезапно в рамках исследований пилота было замечено, что летчик в эти моменты был ведомым - следовал в своей жизни за “ведущим” самолетом, но испытывал трудности и плохое самочувствие из-за плохих условий видимости, ориентируясь по приборам. В такого рода полетах, работая c информационной моделью своего самолета, обследуемым надо быстро и часто переключался на визуальное наблюдение за приборами, а затем за ведущим самолетом. Привычка ориентироваться на показатели приборов кислорода и самодиагностика кислородного голодания не соответствовала реальности - кислородного голодания не было.

Рассматривая эти и другие похожие случаи летчиков, Горбов вводит понятие информационной избыточности, важного и краеугольного камня на котором строили опыт пользователя советские инженерные психологи. Трудность состояния возникала в связи с необходимостью одновременно выполнять две чрезвычайно близкие деятельности (управлять своим самолетом по приборам и одновременно всматриваться в силуэт летящего впереди самолета, используя его как дополнительный указатель направления). Во всех приведенных случаях имелась «избыточная информация», т. e. основной источник как бы дублировался другим.

В этих наблюдениях также важно отметить следующее обстоятельство. Ведомые летчики, пережившие необычное состояние в воздухе, не расценивали указанную ситуацию как возможный источник затруднения, а даже высказывали мнение о том, что летящий впереди самолет, указывающий им направление, как бы избавлял их от определенной нагрузки.
«В целом ряде случаев у операторов возникает необходимость одновременного выполнения двух видов деятельности, идущей как бы в двух близких по смыслу направлениях. Эта деятельность обусловливает необходимость поддерживать концентрацию раздражительного процесса в двух различных пунктах без того, чтобы из одного пункта в другой распространялась отрицательная индукция. Именно «близость» доминантных очагов в этих условиях деятельности требует наибольшего напряжения дифференцировочного торможения и по степени, и по его подвижности, так как эти очаги стремятся к своему слиянию (С. Н. Давиденков, 1952).

О знании, языке и LLM

https://www.noemamag.com/ai-and-the-limits-of-language/?utm_source=noemafacebook&utm_medium=noemasocial&fbclid=IwAR1mG1x4GOuo-Ial29-iXp9rs0CnkwUK0Na1W0FuAvefa-jDGkGK429nmF8
Авторы - Jake Browning из Нью-Йоркского университета и Ян Лекун из лаборатории ИИ Фейсбука.
Достаточно характерное эссе-обзор того, почему LLM ставит вопрос об ограничениях языка и о том, почему это может быть уроком для всех нас. Краткое содержание:

По мере того, как LLM становятся все более распространенными и влиятельными, кажется, что все меньше и меньше согласия относительно того, как мы должны их понимать. За прошедшие годы эти системы превзошли многие критерии лингвистического рассуждения, основанные на «здравом смысле». Тем не менее, эти системы, похоже, редко обещают здравый смысл, когда они выдерживают испытание, и обычно по-прежнему склонны к откровенной чепухе, нелогичным выводам и опасным советам.

Один из способов понять, что особенного в лингвистической репрезентативной схеме (и насколько она ограничена), — это осознать, как мало информации она передает сама по себе. Язык — это метод передачи информации с очень низкой пропускной способностью: отдельные слова или предложения, лишенные контекста, мало что передают. Более того, из-за огромного количества омонимов и местоимений многие предложения глубоко двусмысленны: относится ли выражение «Если у фермера есть осел, то он бьет его» к ослу или к фермеру? Как Хомский (и Витгенштейн! - прим. мое) и его помощники указывали на протяжении десятилетий, язык не является ясным и недвусмысленным средством ясного общения. Но людям не нужен идеальный инструмент для общения, потому что мы разделяем нелингвистическое понимание. Наше понимание предложения часто зависит от более глубокого понимания контекста, в котором оно появляется, что позволяет нам сделать вывод о том, что оно пытается сказать.

Контекстуальная природа слов и предложений по своей сути лежит в основе работы LLM. Нейронные сети в целом представляют собой знания как ноу-хау, умелую способность улавливать высококонтекстно-зависимые закономерности. В LLM это предполагает систему, распознающую закономерности на нескольких уровнях в существующих текстах, наблюдая как за тем, как отдельные слова связаны в отрывке, так и за тем, как все предложения связаны вместе в более широком куске текста, который их обрамляет. В результате понимание языка неизбежно контекстуально; каждое слово понимается не с точки зрения его словарного значения, а с точки зрения роли, которую оно играет в разнообразной совокупности предложений. Поскольку многие слова — например, «карбюратор», «меню», «отладка» или «электрон» — почти исключительно используются в определенных областях.

Хотя некоторые отказываются использовать термин «понимание» в этом контексте или называть LLM «интеллектуальными», неясно, какой именно семантический контроль дает кому-либо выгоду в наши дни. Но критики правы, обвиняя эти системы в своего рода мимикрии. Это связано с тем, что понимание языка студентами LLM, хотя и впечатляющее, но поверхностное. Такое поверхностное понимание знакомо; классы заполнены студентами, говорящими на жаргоне, которые не знают, о чем говорят, и фактически подражают своим профессорам или текстам, которые они читают. Это всего лишь часть жизни; мы часто не осознаем, как мало мы знаем, особенно когда речь идет о знаниях, полученных из языка. LLM приобрели такое поверхностное понимание всего.

Вместо огромной базы данных предложений, связанных логическими правилами, знания представлены как контекстно-зависимые ноу-хау для создания правдоподобного предложения с учетом предыдущей строки.

Здесь добавлю лично:
Поздний Витгенштейн с «языковыми играми» победил раннего Витгенштейна с «языковым миром».

Странные интерфейсы. Машины предсказаний

В начале XX века компания Mills Novelty Company представила первую в своем роде машину для предсказания судьбы — «Говорящую гадалку». Этот уникальный аппарат, созданный примерно в 1904 году, был единственным в своем роде и не входил в какую-либо производственную серию: «гадалка» была оснащена записанным голосом и жутковатыми аниматронными движениями. Стоила она всего один пенни, и при активации предсказывала вашу судьбу с помощью скрытого проигрывателя. Кроме того, машина позволяла указать ваш пол и давала соответствующее предсказание для Ж и М. Это был первый шаг к созданию машин для предсказания судьбы.

В 1930-е годы машины для гадания можно было найти по всей территории Соединенных Штатов в местах для игровых автоматов. Но в автоматах фигурировали не только гадалки; они также были населены мумиями, черепами, дьяволами, волшебниками и вообще всем, что имеет отношение к сверхъестественному. Затем в 1965 году была создана первая в мире машина Золтана, название которой, скорее всего, произошло от венгерского слова «султан», учитывая, что он был одет как султан.

Машинами торгуют до сих пор в США:
https://www.charactersunlimited.com/characters/fortune-tellers/?v=f9308c5d0596

Ну и,конечно, - вендинг с ChatGPT
https://hackaday.io/project/192342-the-oracle-coin-op-ai-fortune-teller