История HCI
Предтеча интернета и «Статистическая машина» Гольдберга

Один из видных энциклопедистов начала XX века, Поль Отле всю свою жизнь создавал обширную информационную сеть из библиотечных карточек и формуляров. И, что более важно, Отле нашел сотрудников и построил здание такой библиотеки. Отле создал некоммерческую исследовательскую службу на основе фактов, которые он каталогизировал на учетных карточках с конца девятнадцатого века. В 1919 году бельгийское правительство профинансировало работу, которая переместилась в центр звукозаписи под названием Mundaneum. К 1934 году 15 миллионов каталожных карточек и миллионы изображений были организованы с использованием УДК, формула которого позволяла связывать элементы. Остановленная Великой Депрессией и уничтоженная во время Второй мировой войны, Мунданеум был в значительной степени забыт. Его уже не цитировали разработчики метафорически идентичных Xerox NoteCards, влиятельной гипертекстовой системы 1980-х годов.

Вот яркий пример спецпроектов Гугл
https://artsandculture.google.com/partner/mundaneum

Отле и Роберт Гольдшмидт изобрели микрофильмы в 1906 году: это были 72 микрофильмированных страниц на прямоугольных листах пленки, формат, широко используемый позже в 20-м веке, а затем создали и первую портативную библиотеку микрофильмов. Отле высказал идею о том, как телекоммуникации могут быть объединены с рабочими местами и уже в 1925 г. предвидел, что люди будут читать тексты на их собственные дома и на экранах телевизоров вместо этого посещения библиотеки. Это было одним из первых предсказаний Интернета.

К этому моменту другой выходец из Российской империи — Эмануэль Гольдберг получил сразу несколько патентов, каждый из которых помогал в поиске по микрофильмам. В Дрезденском конгрессе в 1931 году Голдберг представил свою «Статистическую машину», систему поиска документов, которая использует фотоэффект и распознавание образов для поиска метаданных на микрофильмированных документах. На первый взгляд, устройство Статистической машины незамысловато. Она обеспечивает чтение специальным образом подготовленной микропленки, на которой хранится массив документов. В отличие от обычных решений того времени в данном случае на пленке хранится два типа записей — собственно микрофильмированный документ и соответствующий этому документу тег, описание, закодированное в виде перфорации на той же пленке. Другими словами, перед нами своего рода предтеча гипертекста, где есть возможность поиска по метке. Выбор документа осуществляется посредством сравнения закодированного запроса с тегами на пленке. На рисунке представлена схема работы Статистической машины.

В качестве механической основы использовался почти обыкновенный 35-милиметровый кинопроектор; единственным его отличием было наличие старт-стопной системы. Качество механики и оптики позволяло просматривать за один час более 100 000 кадров. Можно представить себе, какой сложной при этом была кинематика системы, если учесть вес бобин с пленкой.

Статистическая машина Гольдберга: перфокарты для поиска метаметок карточек с записями в библиотеке

Средневековая инфографика

Эта схема из рукописи «Космология», созданная в Англии в конце двенадцатого века и предназначалась для использования в качестве научного учебника для монахов.

На диаграмме названия семи планетных тел — Солнца, Луны и пяти известных планет — написаны по вертикали слева. Вверху, по горизонтали, расположены зодиакальные имена. Можно проследить путь каждого планетарного тела по зодиаку, читая график слева направо. Диаграмма дает представление не только о независимости орбиты каждой планеты, но и о разной продолжительности времени, которое потребовалось каждой планете для совершения одного оборота зодиака. Внизу диаграммы находится список планетарных тел с расстояниями до них в виде музыкальных значений — тон (tonus), полутон (semitonium) или три полутона (tria semitonia) — а также сокращенный счет для межпланетных расстояний, выраженных в пропорциях расстояния от Земли до Луны.

Немного генеалогии понятий. Старый текст в ЦГ

Задолго до того, как социальные сети приобрели тот технологический смысл, какой мы придаем ей сейчас — или, во всяком случае, какой нам угодно ей приписывать, — эти термины выглядели и звучали сильно иначе. Вслед за историками знания и социологами науки немаловажным будет посмотреть на то, каким образом меняли свое значение термины и слова в индустрии.Начнем, пожалуй, ob ovo:

Впервые термин “социальная сеть” употребил Джеймс Барнс в статье о социологии и антропологии сообществ церковных приходов островов Норвегии.

Сама статья стала почти классической:
http://pierremerckle.fr/wp-content/uploads/2012/03/Barnes.pdf

Согласно его теории в ряде сообществ есть множество пар людей, которые считают себя социально равными. “Предположим, что у A есть друг B. A считает B социально равным, возможно, чуть выше или чуть ниже своего социального статуса. Как отмечалось, не все друзья B - друзья A. Предположим, что D - это друг Б, но не друг А. Тогда, если А вообще знает о Д, он может расценивать его как своего социального равного, а может и нет. Если, например, А рассматривает B как слегка ниже себя по социальному статусу, но не сильно; он видит D в такой же перспективе. Слишком далеких от своих друзей наш А не будет воспринимать как равных (у него слишком мало данных).”

Вся эта логика очень понятна эйчарам и маркетологам, которые проверяют и ищут партнеров/сотрудников по их набору друзей в фейсбуке.

А кто такой сам Барнс? Наш герой изучал антропологию и математику в Лондонской экономической школе, а затем специализировался на социологии колониальной Северной Радезии. Работал над управлениями сообществ и практиками взаимодействия с туземцами — типичный неоколониальный дискурс, атрибутика присваивания знания.

Где-то в углу раздается тихий смех Дмитрия Евгеньевича Галковского, но куда важнее, что первоначальное значение термина социальная сеть — это неоколониальный инструмент изучения сообществ, причем сообществ изолированных и территориально стабильных, будь то жители небольших рыбацких островов или туземное население Радезии. Как когнитивный фрейм или методологическая установка для социолога социальные сети рассчитаны в концепции Барнса на изучение групп, которые никак не могут быть восприняты в современном изучении сообществ: 90 процентов заняты одной профессиональной деятельностью, а все женщины — домохозяйки. Конечно, такая социальная система плотно завязана на одну индустрию производства и не имеет никакой иерархии. Члены таких сообществ кооперируются и работают вместе над случайными проектами или по факту запроса из норвежского офиса рыбозаготовки или колониальной администрации.

Важно еще понимать, что такое сообщество строго индустриальное.

Почитайте уж, не откажите себе в удовольствии.

Очередные любители темных паттернов, а именно Epic, были наказаны за использование старых как мир интерфейсных трюков в игре Fortnite. Также Epic отказывали пользователям в доступе к аккаунтам и покупкам в тех случаях, когда пользователи оспаривали незаконные списания.

Несчастные 245 млн долларов компенсации должны искупить страдания миллионов детей, их родителей и моей жены, с карты которой я случайно накупил V-баксов.

А теперь к серьезным вопросам. Хотели бы вы поучаствовать в вебинаре с разбором этого кейса и других примеров темных паттернов в моем исполнении с автором канала Цифровой геноцид?

NLP и проблемы UX

https://youtu.be/ORoTJZcLXek

Паскаль Фэн — профессор факультета электронной и вычислительной техники и факультета компьютерных наук и инженерии Гонконгского университета науки и технологий.

В этом докладе профессор Pascale Fung представила краткий обзор нейронных диалоговых систем и больших языковых моделей (LLM), а также того, как появился ChatGPT. Также показан результат первой обширной технической оценки ChatGPT с использованием 23 наборов данных, охватывающих 8 различных распространенных прикладных задач NLP. Еще она рассуждает о ChatGPT с точки зрения его способности к многозадачности, рассуждению, взаимодействию и галлюцинациям. Еще важнее описание возможных общих улучшений, которые нам необходимо сделать, чтобы сделать системы NLP на основе LLM более надежными и заслуживающими доверия.

То, что профессор Фэн называет «галлюцинацией», правильнее было бы назвать «конфабуляцией».

UX в эпоху AI. Как изменяется UX в эпохи последних релизов ChatGPT?

Вероятно, что эта массовая волна переоценена, но, в конечном итоге, революционна с точки зрения изменения продуктивности на рабочих местах, эффективности труда, контроля знаний на местах, а также долгожданное изменение на рынке ассистентов знаний. Gartner вручил премию компании onereach.ai с формулировкой “лучшая унифицированная платформа разговорного ИИ, обмена сообщениями и телефонии контакт-центра среди более чем 12”. Ок, поверим, хотя я не фанат консалтеров из Gartner

Взглянем подробнее: стартап под капотом предлагает своеобразный конструктор диалогов для автоматизации с гибкими настройками - под фигму рабочее пространство. https://onereach.ai/portfolio/roadsideassistance-multimodalvoice/
Кейсы: антифрод, медицинские ассистенты, колл-центры, автоматизация труда, новые места, сельское хозяйство (прямая связь с фермерами в полях).

Одновременно, оттачивается экспертиза путем написания книг: наняли автора из О,Рейли для посевов путем ревью и упоминаний в медиа (снимаю шляпу, в Сбере, например, так не умеют в пиар своих NLP-платформ)
https://onereach.ai/invisiblemachines/

Давайте оценим opus magnum:
В книге «Эпоха невидимых машин: практическое руководство по развитию гиперавтоматизированной экосистемы интеллектуальных цифровых работников» знаменитый технический лидер Робб Уилсон предлагает поразительно честный и проницательный план использования диалогового ИИ. Когда эти технологии стратегически упорядочиваются в интеллектуальной экосистеме, они становятся множителями силы, переводя компанию в состояние гиперавтоматизации и делая ее практически невозможной для конкуренции.

С помощью этого руководства вы сможете сделать свою организацию самоуправляемой, создавая и развивая взаимосвязанные средства автоматизации, ускоряющие все аспекты вашего бизнеса».

Тем не менее, несмотря на некоторый прозерлитизм, в книге достаточно много ссылок, которые верхнеуровнево представляют определенный интерес: например, гайдлайны IBM для разговорных ИИ
https://www.ibm.com/design/ai/

Ну и да, боюсь, что «Planning an Ecosystem of Intelligent Digital Workers» - это то, что последние несколько лет называли цифровыми фабриками в банках, только вместо сотрудников занимают те или иные решения на уровне CRM. Впрочем, жду «Ecosystem of Intelligent Digital Workers» в презентациях консалтеров.
Наконец, есть и неплохие схемы, которые представляются рабочими фреймворками для контроля и чека основных паттернов и решений в области Conversational AI — это действительно важно, чтобы иметь перед глазами чекер/шпаргалку в рутине UX задач

Отдельной темой является блог вопросов «human-in-the-loop» для проектирования ботов или других вещей, но об этом была отдельная книга на канале (https://xn--r1a.website/gulagdigital/1871 ). Вкратце, это устойчивое название менеджерских практик и стратегий для повышения точности модели машинного обучения. Проще: контроль разметчиков данных. В конце идет милый перечень принципов, каждый из которых может быть интерпретирован как регулятивное правило коммуникации в духе пресловутой прагматики Пола Грайса и его принципа Кооперации (да, я старый дед)

Age of Invisible Machines: A Practical Guide to Creating a Hyperautomated Ecosystem of Intelligent Digital Workers

одна из шпаргалок
Некоторые темы интересные и можно поизучать 🙂

Кстати, делитесь постами друзьям из дата-сцайнса, мб им будет интересно

https://telegra.ph/EHkonomika-UX-i-vzaimodejstvij-s-interfejsom-mashiny-QWERTY-nomika-03-21

Экономика UX и взаимодействий с интерфейсом машины. QWERTY-номика

Даже в один пост не уместилось! :)

Сборник свидетельств и историй по проектированию первых интерфейсов

Билл Моггридж — британский дизайнер, изобретатель и педагог; основатель дизайнерской компании IDEO, разработчик первого портативного компьютера GRiD

А еще он Юрий Дудь от мира UX и проектирования, но берет интервью в основном у старых дедушек, которые создавали Xerox Park, создавали мышь и первые прототипы работы почты и остальных устройств.

Изобретатель мыши Энгельбарт, первые бизнесмены, которые поверили в компьютеры и начали их продавать (Джон Элленби), первые локализаторы технологий (есть интервью с японкой Rikako Sakai), первые разработчики игр из Electronic Arts, типа Ульима Гордона. У большинства есть своя страница в вики, у других нет. Ну и отцы из Стэнфорда типа Ларри Пейджа и Сергея Брина

В конце идут размышления о будущем и интервью с «критическими дизайнерами» и Augmented дизайном объектов.

Все интервью можно посмотреть здесь:
https://vimeo.com/showcase/8485764?page=2&page=1

In Designing Interactions, Bill Moggridge, designer of the first laptop computer (the GRiD Compass, 1981) and an IDEO founder, tells us stories from an industry insider’s viewpoint, tracing the evolution of ideas from inspiration to outcome.

Сборник первоисточников с родоначальниками

Дайджест UX для AI:

Банкинг
Если вы ждали способа применения ChatGPT в банках, то вот :
https://www.theuxda.com/blog/ux-case-study-applying-chatgpt-user-experience-banking
Банковская языковая модель, рекомендует не забыть зонт, управляет счетом, помогает с платежами и прочим управлением. Обещают, что приложение предоставляет пользователям возможность делать инвестиции прямо из диалогового окна в чате - ChatGPT хорош в аналитике ценных бумаг, так что это действительно мб интересно.
Инвестиционный советчик Олег, ну да, ну да.

Разговорный контекстный поиск
Прощай, старая поисковая строка. Анализируются проблемы и задачи при использовании поиска в диалоговом окне. Совместная работа по поиску данных двух живых людей (или агента-нежити) может быть продуктивным полем для исследований.
Хорошим примером таких работ может быть статья https://www.researchgate.net/publication/369476914_Why_and_When_Understanding_System_Initiative_during_Conversational_Collaborative_Search

Человек с справочником выполнял функцию бота для юзабилити-тестирования «Волшебник страны ОЗ»: интерес здесь представляет вопрос о том, когда надо проявлять инициативу «боту» для поиска данных. Вкратце это: предложить альтернативы, сходство решений, пример фильтра в выдаче данных, информирование о заблуждениях участниклв и подтверждение релевантности.
Особенно люди ценили если а) предлагал сам альтернативы б) объяснял сам почему предыдущий поиск был релевантным
Прикольно.

ChatGPT Gets Its “Wolfram Superpowers”!
https://writings.stephenwolfram.com/2023/03/chatgpt-gets-its-wolfram-superpowers/?fbclid=IwAR2wvLrNz0Exll83HTdxoxUQs8hHrpuQseZFzulLoa27hxSbu4MHrljArKE
Вольфрам Альфа таки сделал плагин для Chat-GPT на основе семантической грамматики свой системы Вольфрам. Мы писали некоторое время назад о статье Стивена Вольфрама, но гораздо важнее, что теперь система плагинов и навыков появляется и может стать и системой приложений для работы языковой модели. Теперь больше никаких выдуманных фактов, типа «А вы знали, что антартический лёд на 3% состоит из мочи пингвинов? » от ботов. Слава богу.