Странные технологии

Инструменты для исследования заднего прохода - так, по мнению средневековых авторов, надлежит проводить медицинское исследование.

Автор, Джон Ардернский, был одним из первых английских хирургов
https://www.gla.ac.uk/myglasgow/library/files/special/exhibns/month/may2006.html

Из книги Medizinische Abhandlungen in Latein und Englisch. Autor: Ardene, John/Early 15th century

Какой процент выполнения и невыполненения заданий при юзабилити-тестированиях?

Разбирал старые конспекты книг и наткнулся на кривоватый мой перевод Сауро про количественные методы исследования, он в одной из вставок приводит свои бенчмарки, сколько в среднем в любом случае респонденты не справляются с выполнением заданий при ю-тестах.

"
Что такое хороший успешный показатель выполнения задач при юзабилити-тестировании? — из файлов Джеффа Сауро

Данные 1189 задач, выполненных в 115 тестах на удобство использования. Анализ почти 1200 задач на удобство использования показывает, что средний показатель выполнения задач составляет 78% (Sauro, 2011). При установке цели для показателя выполнения задач контекст имеет значение.

Если издержки от провала задачи высоки (потеря денег, потеря жизни),то вам нужно стремиться к 100%. Если последствия менее существенны, то вы можете немного снизить показатель. Я часто видел пользовательские веб-приложения для пользователей, которые можно использовать без предварительной подготовки, с целевым показателем выполнения 70%.

То есть задача считается достаточно хорошей, если есть доказательства тестирования, что не менее 70% выполнили задачу с первой попытки. Несмотря на то, что контекст имеет значение, может быть полезно иметь представление о том, насколько хорошо ваш показатель выполнения задач складывается с другими, полученными во время теста на удобство использования.
"

Тут, конечно, хорошо было бы посмотреть на данные юзабилити-тестирований не 2011 года, да и в России, но мечты мечты.
Кажется, что такое распределение 80 на 20 вызывает некоторый скепсис. Но вообще мой опыт подтверждает что-то похожее на правду, что если у нас на "гомеопатической выборке" из 10 респондентов двое не справились с заданием это повод задуматься, а если три, то это уже повод зафиксировать важный барьер. Вопрос о том, что является целевым показателем выполнения, ведь пока даже в литературе - волюнтаризм

Плагиат Монополии и настольные игры как иллюстрация политической теории?

В начале 20 века (1906 год) женщина-экономист изобрела антикапиталистическую настольную игру: эта игра была создана, чтобы показать, какие нежелательные экономические эффекты приносит монополия на землю и как земельный налог помогает справиться с ними. Это была эпоха моды на движение джорджизма и для иллюстрации идей о том, что все земельные блага должны принадлежать всем, а вот созданное людьми,наоборот, - самим людям. Игра получила название "Землевладелец" и в нее играли студенты колледжей

В начале 1933 года Ричард Брейс Дарроу отправился на званый ужин, где его научили новой игре. Он так хорошо провел время и так воодушевился, что хозяева напечатали правила игры и отправили Дарроу копию. Затем Дарроу нарисовал свою собственную версию на круглом куске клеенки. (Версия, в которую он играл на званом ужине, также была самодельной!) Дарроу был продавцом обогревателей, который потерял работу, а времена были тяжелыми. Он решил взять свой прототип и представить игру Parker Brothers. Правила были точно такими же, как у его друзей, вплоть до неправильного написания Marven Gardens как Marvin Gardens. Инвесторы не сразу клюнули, но потом клюнули, и Дэрроу стал миллионером.

https://en.wikipedia.org/wiki/Lizzie_Magie
https://publicdomainreview.org/collection/the-landlords-game

Тут показательно, конечно, что для политической теории США игры уже тогда играли огромную роль

Роль human factors и UX в пожаре Нотр-Дам.

Ок, ладно, это даже круче, чем авария на АЭС Три-Майл-Айленд и прошло мимо меня.

Система безопасности в Соборе Нотр-Дам не учитывала скорость распространения огня по крыше, кроме того, на крыше не было специальных разбрызгивателей и противопожарных стен. NYT пишет, что это произошло из-за того, что в разработке противопожарной системы, растянувшейся на шесть лет, приняло участие слишком много разных экспертов. «Когда единственное, что система должна была сделать, — сообщить о пожаре и его конкретном месте, она выдала практически нерасшифровываемое сообщение». Сначала система назвала одну из четырех зон — ту, в которой был обнаружен огонь, — «Attic Navy Sacristy» (которое охранник интерпретировал как крыша ризницы), а затем номер одного 160 дымовых детекторов: «ZDA-110-3-15-1».

Более важно здесь то, что на подобного рода оповещения повлиял и фактор нового сотрудника (привет системам онбординга и требования противопожарной безопасности).

В 18:18 вечера 15 апреля новый охранник (это был его третий день) увидел предупреждающее сообщение в системе пожарной безопасности: ZDA-110-3-15-1. Но он не знал, что это значит. Оно должно было подсказать ему, где искать пожар, но для него это ничего не значило, и он не был обучен понимать это. Для инженеров, которые строили систему, код идентифицировал конкретное место расположения пожарного датчика в огромном соборе, но охранник этого не знал. В суматохе второй охранник искал пожар на неправильной стороне комплекса. Если бы пожар был обнаружен раньше, его можно было бы локализовать, но 25 дополнительных минут суматохи до того, как его обнаружили, позволили огню выйти из-под контроля. И его восстановление обошлось почти в 1 миллиард долларов.
Это из книжки, читать ее, пожалуй, не буду
https://whydesignishard.substack.com/p/the-900-million-ux-mistake-at-the

А вот уже официальные данные противопожарной организации ЕС https://cfpa-e.eu/delayed-alert-cost-notre-dame-dearly/

Это критическая временная задержка по отношению к тому, что могут сделать аварийные службы в случае пожара. – В здании такого возраста разница заключается в том, можно ли потушить пожар или просто контролировать его, говорит Тим ​​Оле Симонсен, директор по операциям и начальник пожарной охраны Большого Копенгагена. Он подчеркивает, что не знаком с точными подробностями последовательности событий пожара в Нотр-Даме, но добавляет: – Задержка такого калибра обычно означает, что есть много дыма, из-за которого трудно добраться до огня, и может возникнуть опасность обрушения конструкции. Если вы приедете быстро, вы иногда сможете потушить пожар на ранней стадии. Если пройдет больше времени, тушение пожара может занять от 12 до 24 часов. Задержка в 25 минут в этом отношении фатальна.

Вопрос только вот в чем: а насколько наши системы безопасности и пользовательские сценарии обычных финансовых онлайн-сервисов или торговых центров - готовы к авариям с точки зрения интерфейсов, онбординга и обучения? Ответ на этот вопрос предлагает сама жизнь

Large Concept Models

Meta AI представил новую архитектуру, бросающую вызов LLM. Они называют ее Large Concept Models (LCM). В отличие от традиционных LLM, которые работают на уровне токенов, LCM работают на более высоком уровне семантического представления, называемого «концепциями». Эти концепции не зависят от языка и представляют более широкие идеи или действия, что делает их более соответствующими уровням абстракции человека.

Работают как на картинке, позволяют делать реазонинг основанным на больших концептах, а не на токенизации, убирая несколько шагов
https://ai.meta.com/research/publications/large-concept-models-language-modeling-in-a-sentence-representation-space/
Простой пересказ
https://aipapersacademy.com/large-concept-models/

Ryen W. White и исследования поиска в эпоху копилотов, агентов и LLM

Иногда буду постить здесь новости и персоналии sigchi awards среди лауреатов и победителей различных лет. Премия вручается в области HCI и UX исследований, в основном много инженеров и специалистов. Одно из имен прошлого года, которая привлекло мое внимание - это имя Ryen W. White, директора по партнерским исследованиям и заместителем директора лаборатории в Microsoft Research в Редмонде https://sigchi.org/people/award-recipients/

Почему? Он исследует поисковые сценарии и изменение поиска в ближайшие годы, а также инновации поисковиков, но гораздо любопытнее его статьи и книги по новым ИИ поисковикам. Information Access in the Era of Generative AI - ее еще нет в открытом доступе, но рецензия на нее уже лежит в arxiv. org, поэтому сэкономим время
https://link.springer.com/book/10.1007/978-3-031-73147-1

Типы информационных потребностей, которые пользователи приносят в IR-системы, изучались десятилетиями.

Ланкастер и Уорнер определили предметные потребности,(2) которые делятся на три категории:
• Помощь в решении определенной проблемы или принятии решения
• Справочная информация по теме
• Отслеживание информации в заданной предметной области

Они назвали первые две предметные потребности ретроспективными информационными потребностями, в которых ищутся уже опубликованные документы, в то время как последняя потребность называется текущей потребностью в осведомленности, которая удовлетворяется путем фильтрации новых документов для выявления документов по определенной теме.

Уилкинсон и Фуллер описали четыре типа информационных потребностей для коллекций документов:
• Поиск фактов — нахождение определенного элемента информации
• Обучение — развитие понимания темы
• Сбор — поиск материала, относящегося к новой проблеме, которая явно не указана • Исследование — просмотр материалов с частично определенной информационной потребностью, которая может быть изменена по мере просмотра контента

Копилоты и LLM никак не соответствуют всем этим сценариям сейчас и не могут - они не предоставляют или предоставляют мало ссылок. Даже когда ссылки предоставляются, они часто не предоставляют прямой цитаты для того, что сказано. Более того, пользователь не имеет представления о том, какой фактический исходный текст привел к тому, что общая модель выдала конкретный текст. Это принципиальная разница между базами данных - динамической и статической, именно поэтому ЛЛМ иногда галлюцинирует… из-за своей креативности, поэтому же она не может удовлетворить информационный запрос

Это рождает целый ряд феноменов. Например, больше нет “счастливой случайности” когда в поисковой выдаче находишь удивительный факт на сотой странице выдачи, который меняет запрос или оценивается необычайно высоко. На данном этапе ситуация выглядит именно так

https://arxiv.org/abs/2311.18550

The GRAIL (GRAphical Input Language) Project

После нового года хочу побольше уделять времени визуальным языкам, поэтому решил посмотреть на первый проект в истории на цифровых носителях - 1968 год, проект направленный на замену команд в интерфейсе.

Проект GRAIL (язык графического ввода) предполагал создание интерактивной программно-аппаратной системы, в которой человек конструирует и манипулирует содержимым дисплея напрямую и естественным образом, без необходимости давать указания посреднику (машине); то есть содержимое дисплея должно представлять, в самом реальном смысле, проблему человека и позволять ему решать ее напрямую. Корпорация RAND делала ставку на то, что юзеры общались с GRAIL с помощью похожего на ручку инструмента и планшета. У GRAIL не было ни мыши, ни клавиатуры, ни кнопок, ни джойстика, ни других атрибутов, которые мы обычно ассоциируем с современными вычислениями. Когда пользователю требовалось поле на экране, он рисовал поле. Когда требовался текст на экране, он "писал" текст от руки.

https://www.youtube.com/watch?v=2Cq8S3jzJiQ&ab_channel=YoshikiOhshima%28%E5%A4%A7%E5%B3%B6%E8%8A%B3%E6%A8%B9%29

Использование стилуса позволяло удалять и добавлять логические операторы между сущностями. Непрерывные ответы на дисплее дисплея необходимы для минимизации отвлечения внимания и для того, чтобы человек чувствовал, что он имеет дело непосредственно с выражением своей проблемы - отзывчивый UI!
https://instadeq.com/blog/posts/no-code-history-graphical-input-language-grail-1969/
Блок-схемы помогают человеку изобразить свои варианты управления и взаимосвязь между процессами, выражая эти взаимосвязи в двух измерениях.

https://www.rand.org/content/dam/rand/pubs/research_memoranda/2005/RM5999.pdf
https://jackschaedler.github.io/handwriting-recognition/
Система была реализована на базе IBM System/360

Удивительно, конечно, насколько раньше советских первых визуальных языков - до ДРАКОНА лет 20

MaxDiff на питоне

Difference scaling или MaxDiff или шкала максимального различия - это метод, который предполагает выявление наиболее и наименее значимых свойств оцениваемых предметов, в каком-то смысле это одномерный Conjoint для исследования пользовательских предпочтений

Шкалу Best/Worst Scaling предложили в 1990ые годы: спрашивая попарно что кажется наилучшим и наихудшим из представленных вариантов можно на ограниченном числе вариантов понять предпочтения пользователей.

На днях попалась реализация на R - Крис Чапман, большой специалист в области количественного UX, автор книг и директор в Amazon ведет блог, где написал демонстрацию — не для производственных проектов — MaxDiff полностью с использованием кода R.
https://quantuxblog.com/easy-maxdiff-in-r на примере пиццы с ингридиентами, симулятор предлагает выбирать из пар ответов худший и лучший вариант, затем рисует визуализацию

Ок, интересно, но давайте посмотрим на питоне в гуглколлаб

https://colab.research.google.com/drive/13fXMMjpbcjGI6ozGkYb5nDNuUYnCrbPy?usp=sharing

В конце комментарий как читать график. Как работает? Запускаем и гуглколлаб спрашивает, что выберите из вариантов
Пишите варианты в поле от 1 до 4. Когда надоест - надо вбить 0

А вот симулятор ответов респондентов, чтобы посмотреть на симуляцию и случайное распределение
https://colab.research.google.com/drive/1H0RqseRf_gjGq3ULtcyc9YGhOoiOWVYZ?usp=sharing

Надо будет докрутить для заготовок опросников, вероятно, магия в том, чтобы показывать достаточное число раз сеты

Социология технологий: Ирония автоматизации

На днях на глаза попала интересная дискуссия вокруг роли человеческого фактора, но, что интереснее, часто в ней звучала отсылка к статье, которую много считают классической в истории технологий и,которая, кажется, была почти неизвестна в русскоязычном сегменте рунета. При этом Ironies of Automation, Ирония автоматизации, удостоилась даже статьи в википедии https://en.wikipedia.org/wiki/Ironies_of_Automation

Итак, социолог Лизанна Бейнбридж в 1989 году пишет статью в журнале Automatica, которая стала очень цитируемой в современной айти литературе, гугл мне показывает 3115 ссылок на статью, выходят статьи о том, что даже спустя 30 лет она не потеряла своей актуальности.

О чем она?

В этой статье предполагается, что возросший интерес к человеческому фактору среди инженеров отражает иронию того, что чем более продвинута система управления, тем более важным может быть вклад человека-оператора. Рассматриваются примеры из производства, из кабин пилотов и тд.
Мнение проектировщика об операторе-человеке может заключаться в том, что оператор ненадежен и неэффективен, поэтому его следует исключить из системы.

В таком отношении есть две иронии. Первая из них заключается в том, что ошибки проектировщика могут быть основным источником проблем в работе.
Вторая ирония заключается в том, что проектировщик, который пытается исключить оператора, все равно оставляет оператора выполнять задачи, которые проектировщик не может придумать, как автоматизировать, сложные задачи

Получается, что у оператора две задачи: а) контролировать работу автоматизированной системы и б) в сложных и экстремальных ситуациях вмешиваться в работу автоматизированной системы
Это означает, что оператор в особенных ситуациях должен быть более опытным и квалифицированным, чем в обычных условиях, более того, так как этот очень профессиональный оператор основное время занят задачами мониторинга, то его навыки…. деградируют и не развиваются. Это означает, что ранее опытный оператор, который контролировал автоматизированный процесс, теперь может быть неопытным.
Для операторов «машинного мышления» с этим есть две проблемы. Одна заключается в том, что эффективное извлечение знаний из долговременной памяти зависит от частоты использования (рассмотрите любой предмет,
по которому вы сдали экзамен в школе и с тех пор не думали). Другая заключается в том, что этот тип знаний развивается только посредством использования и обратной связи об его эффективности.

Для краткосрочной памяти это также верно: нужно время, чтобы включится в ситуацию в системе - и в случае полностью автоматизированной системы - это сложнее, чем в случае ручного управления.
Вторая группа проблем касается мониторинга: ее сложно проводить в системах, где ничего не происходит долгое время, а системы высокой автоматизации такие.
Наконец, автоматизация на уровне систем, которые управляются компьютером - нет способа, которым человек-оператор может проверить в реальном времени, что компьютер правильно следует своим правилам, ошибка видна уже по факту.

Бейнбридж также отмечает, что люди НЕ хотят выполнять автоматизированную работу и люди, также, не хотят получать зарплату за такую работу, которая считается в профессиональной среде ерундовой. Ну и да, зарплата тоже снижается, она становится менее квалифицированной. Очевидно, это влияет на мотивацию. И такая пониженная мотивация приводит к выросшему уровню стресса и росту ошибок и проблем при работе с интерфейсом (ох как это мне знакомо по работе с банковскими бабушками). Якобы такую деградацию персонала отмечал Фиттс (некий “список Фиттса”).

Эти проблемы можно сформулировать как парадокс, что при автоматизации процесса оператору-человеку дается задача, которая выполнима только теми, кто находится в режиме ручного управления.

Как решать эту проблему?

Убирая легкие части его задачи, автоматизация может сделать сложные части задачи человека-оператора более трудными, обсуждены возможности вмешательства компьютера в принятие решений человеком. Статья также обсуждает стратегии решения проблемы - включают в себя инструктаж или консультирование оператора, смягчение его ошибок, предоставление сложных дисплеев и помощь ему при высоких нагрузках.

На мой взгляд, это статья до сих пор важный вызов с точки зрения того, что автоматизация производит впечатляющее число парадоксов, а люди, которые рассуждают о замене работ LLM не часто видели как выглядят цифровые фабрики, CRM и прочие рабочие места сотрудников и какие бывают проблемы при внедрении таких решений (деградация операторов, нежелание работать в автоматизированной среде, падение мотивации, выгорание, проблемы монотонности труда, разные виды рабочих нагрузок, проблемы обучения и онбординга операторов труда, вышел новый сериал на ТВ в мою смену).

Бейнбридж вроде бы до сих пор жива, вот ее блог
https://www.complexcognition.co.uk/p/home.html

Graceful degradation of performance - надо запомнить и вставлять в презентации

Lisanne Bainbridge

При этом проблема галлюцинаций остается и является составной частью LLM, как я понимаю

Эти огромные 2 процента все еще доказывают мнение Yann LeCun и его дискуссии пару лет назад о том, что автоматизация и гиперавтоматизация в каком-то смысле будут требовать большого вовлечения людей, их участия в процессах отладки - пресловутое "заземление" https://xn--r1a.website/gulagdigital/2098

https://www.visualcapitalist.com/ranked-ai-models-with-the-lowest-hallucination-rates/?fbclid=IwY2xjawHxmAtleHRuA2FlbQIxMAABHSfd5s_wBsGQq0vmkJCA1P5_FIWgF4H6nPlc6z-59fr5h9YPtj0hJdj-4w_aem_QVeuH5FjvkPxW5yaBN-IcA

Рабочая нагрузка, стресс и скука

Одним из самых ясных парадоксов современной работы является то, что компьютерные системы, разработанные для снижения сложности задач и когнитивной нагрузки, фактически часто возлагают еще большие требования и стресса на тех самых людей, которым они должны помогать. Подумайте, сколько раз в вашей собственной работе компьютер казался препятствием для завершения задачи, а не полезным инструментом. То, как люди справляются с таким стрессом, оказывает как непосредственное, так и пролонгированное воздействие на их производительность и благополучие.
В книге The Human-Computer Interaction Handbook: Fundamentals, Evolving Technologies, and Emerging Applications. редакция Jacko приводится модель стресса за авторством Hancock о взаимодействии с технологиями, что само по себе достаточно интересно.

Фундаментальным положением модели Хенкока является то, что в подавляющем большинстве ситуаций (даже в ситуациях довольно высоких требований) люди эффективно адаптируются к возмущениям ввода при появлении задач. То есть, они могут выдерживать высокие уровни как перегрузки, так и недогрузки без огромных изменений своих возможностей производительности. Адаптивные процессы происходят на многих уровнях, некоторые из которых - физиологический, поведенческий (т.е. производительность) и субъективный/аффективный. Эти адаптации представлены в модели в виде серии вложенных, расширенных перевернутых U-образных функций , отражающих тот факт, что в большинстве условий адаптивное состояние организма стабильно. Однако в экстремальных условиях недогрузки или перегрузки окружающей среды “сбои” в адаптации все же происходят.
Таким образом, когда человек возмущается входным воздействием, первым порогом, который он преодолевает, является субъективный комфорт. Затем следуют поведенческие эффекты и, наконец, отказ физиологической системы (например, потеря сознания). Примеры таких крайних сбоев относительно редки в большинстве условий, хотя, когда они все же происходят (например, в конфликтных ситуациях), они зачастую катастрофичны для человека и системы, в которой он или она работает

Модель Hancock и Warm учитывает уровни адаптации и изменения адаптации, которые происходят под действием движущих сил стресса. Однако она не формулирует точно, как усилия распределяются под воздействием стресса или какими механизмами люди оценивают параметры задачи, являющиеся непосредственным источником стресса. Следствие для HCI состоит в том, что компьютерные задачи, которые налагают либо слишком большие, либо слишком малые требования, скорее всего, будут оцениваться как стрессовые. В последнем случае стресс от недогрузки будет интерпретироваться как скука. Таким образом, процесс проектирования для разработки компьютерных интерфейсов должен включать оценку воспринимаемой нагрузки, а также аффективного состояния.