Центры изучения HCI в мире

HCI Games Group https://hcigames.com/ проводит исследования в области информационных и коммуникационных технологий, дизайна, психологии и взаимодействия человека с компьютером, связанных с играми и геймификацией. Является частью Stratford School of Design (https://uwaterloo.ca/stratford-school-of-interaction-design-and-business/about ) и Games Institute (https://uwaterloo.ca/games-institute/ ) Это Канада, на всякий случай, уточню

Что по проектам?

Темные паттерны в играх!
От мотивации к манипуляции: использование обманчивого дизайна при переходе игры к бесплатной версии
Хороший кейс, особенно если вспомнить, что решения высшего конституционного суда в США о темных паттернов пока касались именно игр и внутриигровых покупок https://xn--r1a.website/gulagdigital/2075 и канал Законы Мура https://xn--r1a.website/mooreslaws

За последнее десятилетие игровая бизнес-модель free-to-play (F2P) приобрела популярность в игровой индустрии. Мы изучаем роль обманчивого дизайна во время перехода игры на F2P и его влияние на игроков. Наш анализ фокусируется на игровой механике и анализе Reddit серии Overwatch (OW) после ее перехода на модель F2P. В нашем исследовании определены девять игровых механик, которые используют обманчивые шаблоны дизайна. Мы также определяем факторы, способствующие негативному игровому опыту. Переходы бизнес-моделей в играх открывают возможности для проблемных практик. Наши выводы указывают на необходимость для разработчиков и издателей игр сбалансировать инвестиции игроков и справедливость вознаграждений.

Отмечают, что боевые пропуска обманывают премиальными товарами, которые обновляются каждый сезон, несовпадение покупаемых монет с ценой скина (нельзя купить ровно столько, сколько надо для скинчика). Особенно круто с персонажами - игроки, купившие премиум BattlePass, могут разблокировать этого персонажа, как только они завершат уровень 1. Другие игроки могут разблокировать этого персонажа, как только они завершат уровень 55 (Grinding). НО! Игроки, которые упустят эту возможность, нужно будет выполнить особые задания для персонажей в более поздних сезонах, гораздо более длинный и сложный путь получения (страх потери)
https://www.researchgate.net/publication/382023825_From_Motivating_to_Manipulative_The_Use_of_Deceptive_Design_in_a_Game's_Free-to-Play_Transition?ref=hcigames.com

Пожелаем удачи, но победить эту гидру нельзя без ребят из департамента юриспруденции.

Проект виртуальных встреч

в 8-битной джрпг - https://hcigames.com/multimedia-showdown-in-gather-town/
Оказывается уже существует средство для встреч в виде рпг - https://www.gather.town/ (и я думаю, что такие вещи очень хороши для LLM), где можно общаться - команда тестирует, что лучше работает - видео, аудио, танцы аватаров. Дискорд выходит на следующий уровень шизы, но занятное с точки зрения того, как можно пересмотреть традиционные мессенджеры


Есть исследования VR очков - но они менее всего интересны, как по мне.

Цифровой геноцид ревью: Что нового в UX? Гонзо-новости UX и HCI статей
Что нового? Вышла достаточно безумная статья
DreamGarden: A Designer Assistant for Growing Games from a Single Prompt от сотрудников из Нью-Йорка и лаборатории Майкрософт
https://arxiv.org/abs/2410.01791

Копилоты все чаще используются в игровом дизайне, как для генерации кода, так и для создания высокоуровневых планов. В какой степени эти инструменты могут соответствовать рабочим процессам разработчиков, и какие новые режимы взаимодействия человека и компьютера могут возникнуть в результате их использования?
“Мы представляем DreamGarden, систему искусственного интеллекта, способную помогать в разработке разнообразных игровых сред в Unreal Engine. В основе нашего метода лежит планировщик на основе LLM, способный разбить одну высокоуровневую подсказку — сон, воспоминание или воображаемый сценарий, предоставленный пользователем-человеком, — на иерархический план действий, который затем распределяется по специализированным подмодулям, облегчая конкретную реализацию” Эта система представляется пользователю как сад планов и действий, как растущих независимо, так и реагирующих на вмешательство пользователя с помощью подсказок-семян, обрезки и обратной связи. Борхианские метафоры, конечно

Однако большинство помощников реагируют только на прямые промты пользователя и не работают автономно для достижения цели высокого уровня. В игровом дизайне процедурная генерация контента (PCG) уже давно используется для различных целей; в свою очередь, эффективно позволяя сжимать большие среды в генеративные алгоритмы для выполнения во время выполнения (особенно в ранние дни цифровых игр, когда дисковое пространство было существенным узким местом), предоставляя дизайнерам новые средства выражения и более высокий уровень абстракции при проектировании контента

Дадим слово авторам:
В этой работе представлен DreamGarden, помощника на основе ИИ для игрового дизайна, который работает полуавтономно для достижения цели высокого уровня, выращивая «сад» планов и действий, где промежуточный вывод может быть интерпретирован и отредактирован человеком. Чтобы проверить систему и изучить ее потенциал как нового средства взаимодействия человека и компьютера, мы проводим исследование, имея в виду следующие исследовательские вопросы: Способна ли система преобразовывать открытые, потенциально похожие на сон подсказки на естественном языке в функционирующие среды трехмерного моделирования? Является ли иерархический и итеративный процесс системы интуитивно понятным и доступным для пользователей?

В статье есть три основные цели в разработке системы. Во-первых, исследуем возможности больших моделей в создании интерпретируемых, редактируемых дизайнером представлений функциональных игровых симуляций из одного высокоуровневого запроса. Во-вторых, разрабатывают пользовательский интерфейс для вмешательства в систему на различных этапах процесса генерации и на разных уровнях абстракции. Наконец, стремимся подтвердить наш подход, проводя личное исследование удобства использования, в котором участники, имеющие интерес или опыт в игровом дизайне, взаимодействуют с системой и дают обратную связь. Мы утверждаем, что для эффективного создания целых симуляций из одного запроса, решающее значение имеют три элемента.

Во-первых, так же, как большинство игровых дизайнов включают в себя множество специалистов (или, по крайней мере, надевание множества шапок универсальным дизайнером), требуется несколько специализированных агентов ИИ для компетентного выполнения множества полунезависимых задач, связанных с полноценным игровым дизайном. Во-вторых, эти специалисты должны быть организованы динамически и автоматически, поскольку не все начинания игрового дизайна включают в себя выполнение одних и тех же задач в одном и том же порядке. Наконец, эта оркестровка должна осуществляться посредством иерархического планирования, с высокоуровневыми целями, рекурсивно разбитыми на подцели и задачи реализации, чтобы обеспечить согласованность между высокоуровневыми целями и фактическими шагами реализации.

Модуль планирования. Мы начинаем с модуля планирования, чьим входом является начальный промт, которая является открытой и может описывать мечту, воображаемый сценарий или грубый набросок игры. Это подается в широкий планировщик, который получает системное приглашение принять эту открытую вводную информацию и переформулировать ее в схему для видеоигры, которая будет реализована в Unreal Engine. Этот подмодуль также должен создать широкий, высокоуровневый план для реализации игры. Это высокоуровневое описание игры и широкий план анализируются и преобразуются в корневые и дочерние узлы — переформулирование игры и шаги широкого плана соответственно — иерархического дерева плана.

Далее идет подпланировщик. Этому подмодулю показывается все дерево плана в его текущем состоянии и предлагается переформулировать конкретный узел (шаг или подшаг плана) более подробно, а затем расширить его до списка подшагов. Подпланировщик применяется к дереву в ширину, и на каждом шаге его вывод анализируется, и узел добавляется в рабочее дерево для каждого нового сгенерированного подшага. Оба подмодуля планировщика получают описание доступных подмодулей реализации — каждый из которых специализируется на конкретной задаче генерации кода или активов — и сообщают, что дерево, которое они генерируют, должно в конечном итоге заканчиваться конечными узлами, каждый из которых соответствует отдельной задаче для одного из этих подмодулей. Подпланировщик может пометить сгенерированный узел как конечный узел, добавив к своему выводу специальный текст, который указывает, какому подмодулю должен быть назначен узел. Процесс генерации дерева подпланировщика завершается, когда все узлы плана имеют дочерние элементы или помечены как конечные узлы.
(на скриншотах это все понятнее!)

Затем конечные узлы преобразуются в подсказки или другие отформатированные входные данные для подмодулей реализации генератором задач, подсказка которого адаптирована для предоставления общих указаний о том, как лучше всего запрашивать конкретный подмодуль реализации. Затем соответствующие задачи внедрения выполняются последовательно — посещая шаги подплана по порядку — с созданными активами из предыдущих задач, подаваемыми в качестве входных данных для последующих подмодулей

“Подмодули реализации. Теперь мы опишем специализированные подмодули, предназначенные для выполнения отдельных задач реализации. Генератор кода. Подмодуль кодирования является наиболее общим и сложным подмодулем в DreamGarden (см. Рисунок 4). Он включает в себя генерацию кода C++ для «актеров» Unreal Engine — по сути, общих дискретных сущностей в симуляции — и генерацию начального макета для этих актеров на уровне, который затем инстанцируется посредством жестко закодированного скрипта Python внутри редактора.”

“Однако эти модели по-прежнему требуют точного промтинга и хорошо структурированной архитектуры системы для создания полностью функциональных сред в Unreal. В наших экспериментах мы используем GPT-4o из-за его скорости и универсальности. Подсказка задачи для подмодуля кодирования включает в себя отдельные подсказки актера и спавнера. Сначала подсказка актера подается в генератор кода LLM, системное приглашение которого содержит некоторые директивы по написанию актеров C++ для Unreal Engine и списки всех материалов и сеток, доступных в каталоге Starter Content, а также список любых сеток, которые уже были сгенерированы во время загрузки активов или задач генерации, которые уже были выполнены. Набор полных файлов C++ анализируется из выходных данных этой модели. “

Затем эти файлы копируются в каталог проекта UE, и проект перекомпилируется. Журнал компиляции (вместе с сгенерированным кодом и приглашением к реализации задачи) подается в подмодуль оценщика компиляции, который выводит вердикт об успешности или неудаче, предоставляя обратную связь об источнике ошибок компиляции и руководство по их устранению в последнем случае.

Если компиляция прошла успешно, то генератор макета LLM запрашивает макет, который размещает экземпляры сгенерированных актеров на сцене, указывая их координаты, масштаб, поворот и начальные значения для любых редактируемых свойств этих классов актеров в сгенерированном коде. Этому LLM показывается сгенерированный код, его часть приглашения к реализации задачи и некоторые соответствующие указатели, такие как соответствие единиц UE сантиметрам.

Из выходных данных этой модели анализируется макет json, и запускается редактор UE. При загрузке уровня запускается жестко закодированный скрипт инициализации python, который размещает экземпляры сгенерированных классов актеров на сцене. Если этот скрипт python выдает ошибку — в частности, если генератор макета ссылается на класс, которого нет в сгенерированном коде C++ проекта — то соответствующий раздел журнала UE, начальный код и подсказка задачи передаются в LLM для получения обратной связи и указаний о том, как решить проблему.

Предположим, что скрипт python не вызывает никаких исключений, тогда экземпляры актеров инициализируются в сцене и запускается код симуляции. Если редактор аварийно завершает работу из-за ошибок времени выполнения, журнал сбоев снова передается в LLM вместе с кодом, макетом и подсказкой задачи для получения обратной связи и руководства. Если симуляция выполняется успешно, то жестко закодированный класс «FilmCamera» (защищенный от перезаписи сгенерированными классами) делает 6 снимков экрана первых 6 секунд симуляции в движке, и эти снимки экрана вместе с журналом времени выполнения, кодом актера, макетом и подсказкой задачи передаются в Vision Language Model (VLM), которая затем должна вывести вердикт «успех/неудача» и предоставить обратную связь в последнем случае.

В общем, проще смотреть на картинку - там показано сразу несколько обратных связей, каждая из которых возвращает в генератор кода, если что-то пошло не так, но они не так критичны как компилятор

Как это выглядит для пользователя-оператора?

Команда разрабатывает графический пользовательский интерфейс (GUI) для DreamGarden, чтобы представить его растущую подсказку пользователя о семени более интуитивно понятным и визуально информативным способом. Поскольку план действий фактически является деревом, основой нашего GUI является редактор на основе узлов, т. е. интерфейс, в котором пользователи могут манипулировать узлами в дереве. Узлы являются либо (под-)шагами в иерархическом плане, задачами реализации, либо шагами, выполняемыми подмодулями реализации, а ребра соответствуют иерархическим отношениям между шагами планирования и задачами, а также хронологическому потоку шагов реализации.

Че по юзабилити? По разному, но
Когда пользователей попросили обсудить элементы системы и опыт, которые им понравились или не понравились, несколько пользователей подчеркнули удовольствие от наблюдения за тем, как система превращает их начальное приглашение в древовидную структуру плана действий, при этом P8 заявил, что «древовидная визуализация прогресса и того, что система делает на каждом шаге, весьма примечательна», а P2 заявил, что им «было интересно отслеживать, как система интерпретировала мое простое приглашение и как я мог видеть ее план».

А что получилось? На скриншотах :)

Интерфейс пользователя - записываешь буквально короткие промты и они становится игровыми мирами с объектами. Теоретически

Результаты тестирований, те неподготовленные юзеры сделали в первую сессию

Меня читают много дизайнеров - и если кому-то из дизайнеров хочется больше теории и науки о цвете, восприятии и тд, то вот удивительная сокровищница от Тараса. Тема последних постов-закладок - цвета, цветовосприятие и теория цвета

Интерактивная статья Bartosz Ciechanowski, наглядно показывающая, как работают цветовые модели
https://ciechanow.ski/color-spaces/

Понятие технической эстетики в Великобритании

Совет по промышленному дизайну, а в наши дни - просто совет по дизайну - является благотворительной организацией Соединенного Королевства, учрежденной королевской хартией. Его заявленная миссия — «отстаивать выдающийся дизайн, который улучшает жизнь и делает вещи лучше». Совет по дизайну начал свою деятельность 19 декабря 1944 года как Совет по промышленному дизайну (COID), основанный Хью Далтоном, президентом Совета по торговле в военном правительстве. Его целью было «содействовать всеми возможными способами улучшению дизайна в продукции британской промышленности».

В сентябре 1945 года, всего через месяц после окончания войны, Совет объявил о проведении в следующем году национальной выставки дизайна «по всем основным видам потребительских товаров». Это была выставка 1946 года Britain Can Make It, организованная в основном по инициативе директора Совета С.К. Лесли. Выставка подчеркнула, насколько промышленный дизайн был неотъемлемой частью экономического обновления Великобритании. Все товары, представленные на выставке, будут доступны для продажи иностранным покупателям, в то время как отечественный потребительский рынок также получит возможность попробовать «лучшее и только лучшее», что могла производить современная послевоенная Британия. Ее посетили около полутора миллионов человек.

Более 3000 экспонатов были представлены в 32 секциях почти 80 ведущими дизайнерами технологий, моды и товаров для дома. От входа на Exhibition Road посетители следовали по извилистому пути через музей, где они знакомились с переходом производства от военного времени к мирному (как писала пресса, «От Spitfire до кастрюли»), включая то, как используется сырье и какие виды товаров из него изготавливаются. Некоторые экспозиции были предназначены для обучения, объясняя этапы процесса проектирования (довольно абстрактная концепция для многих), включая методы массового производства, сырье и эстетические соображения, такие как пропорции, полезность, цвет, текстура, декор. В экспозиции дизайнера выставки Миши Блэка «Рождение подставки для яиц» использовалось четырехметровое гипсовое яйцо, промышленные фрески и часть оборудования, которое производило 3000 подставок для яиц в день, чтобы ответить на вопрос «кто решает, какой формы подставка для яиц?»

Раздел выставки «Из чего сделаны товары» включал экспонаты по разделам «Тепло, свет, энергия»; «Книги и печать»; «Женская, мужская и детская одежда»; «Улица витрин»; «Мебель»; «Игрушки» и самый популярный раздел выставки — «Меблированные комнаты». «Меблированные комнаты» были именно такими — инсценированными жилыми помещениями, предназначенными для конкретных людей или вымышленных семей, например, спортивного комментатора, телевизионного инженера и промышленного рабочего, кухня для семьи из пяти человек, детская комната и даже роскошная ванная комната.

Зачем вообще все это было так нужно в Британии?


Одним из удивительных аспектов истории Совета является количество политиков, чей интерес к дизайну был очевиден и которые могли принять живое и осведомленное участие в его формировании. Хью Далтон, президент Совета по торговле в то время, когда было принято решение, имел некоторое понимание модернизма, жил в частном заказанном модернистском жилище и был способен нахваливать естественные эстетические качества материалов. Тем не менее, один из первых членов Совета вспоминает, что Далтон в первую очередь интересовался дизайном «с социальной точки зрения». Он подчеркнул этот аспект на инаугурационном заседании Совета, когда сказал, что если он преуспеет в своей задаче, то улучшит каждую сторону повседневной жизни, и миллионы мужчин и женщин будут у него в долгу.
Однако его мемуары раскрывают явные ограничения такого интереса к мелочам повседневной жизни. Он писал о периоде после середины 1942 года, что на встречах партии лейбористов - как и остальных партий - от него ждали не проблем угля, а ответов на вопросы сколько он может дать детских колясок, велосипедов и бритв для мужчин.

Г. Л. Уоткинсон, известный своим друзьям и коллегам как «Уотти», был ведущим государственным служащим в Совете по торговле, которому приписывают распространение множества основных инициатив, которые позволили эффективно функционировать стране в военное время. Он создал Отдел лицензирования импорта , когда была объявлена ​​война, без предварительных консультаций с Казначейством, Кабинетом министров или соответствующим Постоянным секретарем: это было необычайно смелое поведение.
Четыре месяца спустя он основал еще один отдел, на этот раз занимавшийся Ограничением поставок, а в марте 1941 года он создал отдел по контролю над заводскими и складскими помещениями

Внезапно к команде служащих присоединился поэт и коммунист Фрэнсис Мейнелл, который также был важной фигурой в создании Совета, который был женат на одной из сотрудниц министерства торговли. Это интересная личность: он был одним из политических лидеров суфражисток и участником войны в Испании за коммунистов.

В 1930-х годах Уоткинсон исполнял роль секретаря Совета по искусству и промышленности (CAI), более ограниченной довоенной концепции своего рода CoID, спонсируемой правительством. Поэтому он был занят подготовкой ряда отчетов CAI, таких как «Образование потребителя» и «Дом рабочего класса: его обстановка и оборудование», наряду с другими по учебным и промышленным темам.
В любом случае, в июне 1943 года, был создан еще один межведомственный комитет для изучения вопросов, «представляющих общий интерес в области промышленного искусства, и отчета о том, что теперь следует сделать в рамках послевоенного рывка», от имени президентов
Службы торговли и Совета по образованию. Этот отчет Мейнелла-Хоскина, представленный в январе 1944 года, Майкл Фарр признает истинным прародителем Совета.

Это обусловило расцвет бизнеса после войны и удовлетворение спроса на товары массового потребления, но при этом важно отметить, что проект был запущен еще тогда, когда война даже еще не была закончена!

В период своего расцвета, с конца 40-х до начала 70-х годов, Совет по дизайну был очень публичной организацией с большим выставочным залом в лондонском Хеймаркете, собственным уважаемым журналом Design и модными «открытиями», которые посещали такие люди, как принцесса Маргарет и ее муж, лорд Сноудон, дизайнер и фотограф. Однако, вероятно, больше всего он был известен своими черно-белыми этикетками в форме воздушного змея «Одобрено Советом по дизайну», которые присуждались новым умным лампам, коврам, журнальным столикам и кухонным блендерам. Все это было удивительно приятным, дразнящим кормом для новой волны потребительских журналов и цветных приложений.

Показательно, что к концу 80 ых Совет по дизайну стал слишком большим, с примерно 300 сотрудниками; возможно, он немного устарел и утратил свою критическую остроту. Уже в 1994 году 90% его сотрудников были уволены, что привело к почти безмолвной кончине организации. Его журнал давно исчез, в то время как английский Музей дизайна давно взял на себя роль лондонской витрины современного дизайна

https://www.designcouncil.org.uk/who-we-are/our-history/timeline/
Inscribing Design on the Nation: The Creators of the British Council of Industrial Design by Lesley Whitworth

Итак, мы видим как по разному шла институализированная история технической эстетики и промышленного дизайна в разных странах мира, будучи связана с защитой прав потребителей (США), стандартизаций (Германия) и с торговлей (Великобритания). Эти разные источники политических решений влияли на практики дизайнеров, экономистов, проектировщиков, внедренцев и, в конечном счете, покупателей. Нужна ли была валютная выручка за дизайн? Является ли экономика в которой находится институт дизайна экономикой дефицита? Планирование или свободный рынок? Все эти вопросы решались по разному, приводили к разному результату и, в конечном итоге, отражали историю и современность страны.