В 18.00 выступаю на Дизайн-Выходных в Нижнем Новгороде

🤓

Подробности здесь:
https://designweekend.ru/

Культурно-просветительский центр «Академия Маяк» имени А.Д. Сахарова, зал номер 8, 18.00

ЗЫ: не знаю почему я из Питера, но ок

Ролевые игры с работой

Очевидно, что паттерн цепочки мыслей с необходимостью ведет к развитию цепочки агентов - так больше контекста. Один агент передает информацию другому, тот третьему - они создают своеобразный энтерпрайз или ролевую модель разработки ПО
На картинке игровой мир из https://arxiv.org/abs/2307.07924
концепции создания Симоподобного симулятора с LLM-агентами для создания чего-либо, ну или jRPG скорее

Поиграть можно через расширение в хроме
https://chatdev.toscl.com/
можно скачать к себе и сконнектить с Гопатычем https://github.com/OpenBMB/ChatDev - но виндовс что-то у меня ругается
https://chatdev.toscl.com/introduce/#chat-chain
Есть документация

В общем, понятно почему OpenAi покупала несколько игровых движков, как и собственно почему инвестиции в метаверс не такая уж и плохая идея

Много ребят с дизайн-выходных подписалось. Ок, хорошее повтори

Советский опыт пользователя, интерфейсы и исследования UX в СССР.

Хотя традиционные подходы изучения истории человеко-машинного взаимодействия или истории юзабилити всегда концентрировались вокруг небольшого числа традиционных тем (библиотечное дело, первые эксперименты в Xerox Parc, работы Энгельбарта, появление научного менеджмента труда Тейлора), и, в кругу этих тем не было советского наследия, это не означает, что международное движение за изучение пользовательского опыта обходило стороной СССР весь XX век.


Эта серия исследований  в постах блога “Цифровой геноцид” выходит в свет в эпоху неустанного роста интереса общества к компьютерам и информационным технологиям: при этом, российская социальная реальность по ряду причин обходит молчанием историю электронных (и других) машин в СССР.  Эти эссе и посты посвящены поведению первых пользователей русских компьютеров, является историей представлений о работе интерфейсов и компьютеров, а также служит очень наивной и детской попыткой реконструировать историю пользовательских поведений и практик — соответственно последовательности их форм, эволюции и распространению. 

В культурной истории интерфейсов современного теоретика культуры Венди Хуэй Кионг Чун (Wendy Hui Kyong Chun) интерфейсы аттестуются как посредники между видимым и невидимым, материлизующие новые логики управления в усложненном мире.​​ Компьютеры, как и другие средства массовой информации, являются метафорическими машинами: они зависят от метафор и увековечивают их.  Однако еще более примечательно то, что они — благодаря своему статусу «универсальных машины» — стали метафорами для самой метафоры. От файлов до рабочих столов, от окон до электронных таблиц — метафоры доминируют в пользовательском интерфейсе. В 1990-х (и даже сегодня) учебники по человеко-компьютерному интерфейсу (HCI) описывали метафоры как центральные элементы «дружественных» интерфейсов. Метафоры делают абстрактные компьютерные задачи знакомыми, конкретными и легкими для понимания, Метафоры множатся не только в интерфейсах, но и в компьютерной архитектуре: от памяти к шинам, от интерфейса к понятию самой архитектуры

Намерения автора также состоят в том, чтобы составить приблизительную хронологию событий и взаимосвязей тех или иных фактов исследований, каждая из которых повлияла и до сих влияет на развитие взаимодействий между человеком и машиной в виде интерфейсов в самом широком смысле этого слова.  Наша история начнется одновременно с теми событиями, которые описывал в своих работах по истории UX  и human-computer interaction Джонатан Грудин ( его книга From Tool to Partner: The Evolution of Human-Computer Interaction): промышленная революция, появление психотехники, появление первых визуальных языков для индустриальных задач (Проект Отто фон Нейрата с его Isotype).

Все это  позднее приводит к взлету исследований для промышленных проектов и мнемосхем — своеобразного UX для диспетчерских пультов и операторских узлов, в первую очередь электростанций.  Затем мы затронем космический проект и юзабилити, медицину (не только космическую) — и затронем тематику первых ЭВМ, счетных машин и аналоговых устройств.

посты по теме:
раз
два
три
четыре
пять
шесть

Сама презентация, запись будет попозже

Загорский эксперимент и интерфейсы для слепоглухонемых

Загорский эксперимент — попытка обучения в высшем учебном заведении четверых молодых людей с полной потерей зрения и слуха, при помощи специально разработанного дактильного языка: эта так называемая «азбука Лорма» была изобретена более ста лет назад в Германии. Ее автор - утративший слух слепой философ Генрих Ландесман, опубликовавший сообщение о своем изобретении под псевдонимом Иероним Лорм. В качестве места проведения эксперимента был выбран пансионат Загорье, где обучались дети с нарушениями или потерей и зрения и слуха. Четверо молодых людей 6 лет учились в МГУ и в итоге получили дипломы о высшем образовании, а некоторые из них стали учеными и скульпторами.

В эксперименте также участвовал и странный мыслитель Ильенков, который предполагал, что слепоглухота лишь замедляет развитие личности и позволяет лучше зафиксировать возникновение сознания у каждого конкретного индивида. Кстати, он потом спился и перерезал себе горло.

Все это крутая история, но вернемся к интерфейсам. Обычный сенсорный интерфейс не соответствует тактильным требованиям слепоглухого пользователя: шрифт Брейля или азбука Лорма должна сопровождаться конкретным сжатием запястья и контактом с кожей на кончиках пальцев. Такие дисплеи Брайля передают символы, управляются пьезоэлектрическими биоморфными элементами. Биоморф состоит из склеенных между собой пьезокерамических пластин толщиной от 0,3 до 0,35 миллиметра. На пластину наносят электроды из серебра или никеля. Биоморф используют электрические сигналы для преобразования их в механические усилия, то есть служит актюатором — движителем для точек. Есть, конечно, и другие способы и дисплеи, некоторые на основе перчаток.

На картинке схемы работы I и II сигнальных систем у слепоглухонемых из архива в Загорье, рисовал сам Ильенков.

Интересное интервью, изучить на досуге

Новая сущность — интернет тел, IoB:

https://www.sobaka.ru/lifestyle/technology/177098
Наступает конец эпохи смартфонов, впереди — «интернет тел»! Что это такое и как работает?
Константин Крылов
11 апреля 2024 года

Существовали и параллельные практики исследований рабочих операций и проектов на производствах, которые традиционно после движения НОТ шли в разделе гигиены труда.

Описывались процессы примерно так:

Несмотря на мобилизацию больших резервов сердечно сосудистой системы, поддержание нормальной мышечной работы на должном уровне сколько-нибудь длительное время не может быть обеспечено, так как вскоре снижается насыщение крови кислородом и в мышцах ощущается его недостаток. Пополнение кислорода в подобных случаях осущесталяется путем усиления насыщения крови кислородом посредством учащения дыхания и увеличения его глубины. Так, в нормальном состоянии у взрослого человека бывает 16 20 дыханий в минуту, при котором через легкие проходит 6 8 л воздуха (легочная вентиляция); при тяжелых работах частота дыханий иногда увеличивается до 30 10 и более дыханий в минуту, а легочная вентиляция - до 40 60 л/мин. Интенсивное образование молочной кислоты при мышечной работе и образование других продуктов. биохимических процессов постепенно накапливаются в крови и тем самым изменяют ее состав.

Основными физиологическими реакциями организма на физическую работу являются: учащение пульса и повышение кровяного давления, учащение дыхания и повышение легочной вентиляции, изменение состава крови, увеличение потоотделения. Степень изменения этих функций находится в зависимости от тяжести работы, ее продолжительности и интенсивности. В начале работы они постепенно нарастают, доходят до определенного уровня, при котором усиленная работа органов и систем как бы уравновешивается с потребностями, предъявляемыми данной работой. По прекращении работы наступает восстановительный период, когда измененные функции постепенно приходят к исходному состоянию, то есть к норме. Продолжительность восстановления различных функций неодинакова: некоторые из них (пульс, кровяное давление, частота дыхания, легочная вентиляция) восстанавливаются в первые 10-15 минут отдыха, другие (состав крови и др.) - в течение 45-50 минут и более.

Весь сложный процесс биохимических реакций в мышечных клетках, мобилизации внутренних ресурсов для выполнения той или иной работы, восстановления измененных физиологических функций и т. п. направляется и координируется центральной нервной системой, которая с помощью различных органов чувств - анализаторов - воспринимает многообразные раздражители - сигналы, анализирует их и направляет необходимые импульсы в соответствующие органы и системы, которые и приводят последние в действие, адекватное полученным сигналам. Весьма важна роль центральной нервной системы в предварительной подготовке соответствующих органов и систем и предварительной мобилизации ресурсов к предстоящему выполнению работы, то есть с помощью центральной нервной системы происходит как бы настройка организма на выполнение работы. Так, например, исследования газообмена у человека до начала работы и на протяжении всего рабочего дня показали, что увеличение потребления кислорода начинается уже тогда, когда рабочий только вошел в цех, но еще не приступил к работе. Следовательно, рабочая обстановка воспринята центральной нервной системой и последней посланы импульсы, подготовившие соответствующие органы и системы к выполнению работы.

В современных высоко механизированных, автоматизированных производствах на смену тяжелому физическому труду пришли машины, управление которыми требует от рабочих значительного нервно-психического и умственного напряжения. В отличие от физического напряжения оно не проявляется столь усиленным потреблением кислорода, изменением физиологических функций сердечно-сосудистой, тельной, терморегуляторной и других систем. Одна это напряжение касается главным образом высшего координирующего органа центральной нервной системы, Длительная и напряженная работа клеток коры головного мозга также вызывает их утомление которое проявляется в виде снижения работоспособности к концу рабочего дня, плохого самочувствия и т. п.

ПРОИСХОЖДЕНИЕ И РАЗЛИЧИЯ НЕМЕЦКОЙ И ЯПОНСКОЙ КУЛЬТУРЫ РОБОТОВ И ПОСТРОЕНИЕ «ТРЕТЬЕЙ КИТАЙСКОЙ РОБОКУЛЬТУРЫ»
Чен Линь

Культура роботов в категории человеческой культуры – это духовная и материальная культура, связанная с отношениями между роботами и людьми, и ее сущностью, несомненно, является человеческая культура. Она анализирует прошлое, заботится о настоящем, но также распространяется и на будущее, то есть отслеживает, исследует и свидетельствует о культуре роботов, которая продолжает развиваться.
С развитием робототехники культура роботов также будет определять (до-определять, пере-определять) отношения между человеком и машиной в обществе будущего.

В китайских СМИ часто упоминается о том, что в японском обществе существуют интимные отношения с «искусственными людьми» (киборгами). Еще в начале 1980-х годов западные ученые обратили внимание на тот факт, что японцы относятся к роботам доброжелательно. Так, ученый Х. Стоукс отмечал, что уже тогда японские рабочие на фабриках «очеловечивали» роботов, например, здоровались с ними по утрам и давали им имена в честь западных звезд. Именно в это время Япония начинает ассоциироваться с «царством роботов» и становится основным экспортером робототехнических концепций, технологий и разработок. Этот феномен японской культуры побудил европейских и американских ученых начать изучать собственные представления о роботах, что в свою очередь привело к более глубокому осознанию культурных различий Запада и Востока.

Результаты многих опросов показывают, что немецкое общество в целом настороженно относится к роботам для ухода за пожилыми людьми, а в центре внимания находятся этические проблемы. За этими различиями стоят не только экономические и технические соображения, но и глубокие культурные корни. Соответственно, существуют различия в культуре роботов между двумя этими странами. Подчеркнем, что в данной статье немецкая культура роботов рассматривается как часть западной тревожной культуры роботов.

Вывод в конце статьи очень даосский, ну посмотрим

А вот и сама статья китайских товарищей про культурологию робототехники.

Некоторые культурологические статьи

Иногда, впрочем, я чувствую себя старым, когда читаю исследовательские аннотации некоторых статей про интерфейсы и про исследования в области взаимодействия с компьютерами. Например, https://shaowenbardzell.com/about/

Интересный автор, думал я, занимается культурными аспектами интерфейсов, ну неплохо. Исследование 2024 года выглядит так:

В этой статье мы исследуем, как малоизученная группа в HCI, сельские квир-фермеры, используют платформу социальных сетей TikTok для воплощения сельских квир-утопий. Квир-утопия, придуманная квир-теоретиком Хосе Муньосом, представляет собой способ использования квир-эстетики и перформанса для разоблачения гетеросексуальных норм и представления миров обнадеживающих квир-альтернатив. Внимательно читая и интерпретируя TikTok, мы изучаем контент, созданный сельскими квир-фермерами в TikTok, и задаемся вопросом, как он воплощает в жизнь квир-утопии. Мы показываем, как эти фермеры демонстрируют странную идентичность в сельских фермерских пространствах, что разрушает стереотипы о том, кто является гомосексуалистом и кто может заниматься сельским хозяйством, а их видеоролики также воплощают в жизнь странные политические утопии, связывая сельское хозяйство с социальной справедливостью и радикальной устойчивостью. Мы исследуем, как TikTok предлагает социотехническую сцену, на которой странные сельские фермеры могут воплощать в жизнь странные утопии, прославляя творческое и плодотворное использование платформ квир людьми.
https://dl.acm.org/doi/abs/10.1145/3563657.3596038

Ясно-понятно.

Словарь юного HCI

Эффект Кулешова — явление при монтаже, появление нового смысла от сопоставления двух кадров, поставленных рядом. В 1920-ые годы Кулешов заметил, что в зависимости от сопоставления двух кадров, поставленных рядом, появляется новый смысл. Кулешов снял крупным планом лицо актера, а затем еще 3 кадра: тарелку супа, девочку в гробу и девушку на диване.

В зависимости от того, какую пару кадров показывали зрителям меняло и восприятие. Зрители думали, что мужчина голоден (тарелка супа), опечален (девочка в гробу), или очарован (женщина). Но на самом деле выражение лица мужчины во всех случаях было одинаковым, отличался лишь первый снимок. Этот психологический эффект, называемый эффектом Кулешова, показывает, как содержание влияет на извлекаемый смысл.

С учетом роста видеосмотрения в интернете — эффект Кулешова и его воспроизводство на коротких роликах, которые проигрываются с одного или того же места, может иметь новый смысл в плане применения на вашем ресурсе.

https://www.youtube.com/watch?v=akt46Sutzvo&feature=emb_title&ab_channel=HistoryClub

Паттерн «Нейрокартография»: масштабируемое визуальное обобщение концепций в глубоких нейронных сетях

https://fredhohman.com/papers/neurocartography

Существующие исследования по осмыслению глубоких нейронных сетей часто фокусируются на интерпретации на уровне нейронов, которая не может адекватно отразить более широкую картину того, как концепции коллективно кодируются несколькими нейронами. Исследователи представили NeuroCartography, интерактивную систему, которая масштабируемо суммирует и визуализирует концепции, полученные нейронными сетями - статья выиграла на SIGGRAPH — специальная группа Ассоциации вычислительной техники по вопросам компьютерной графики, среди авторов - один из победителей SIGHI прошлых лет, поэтому о нем и знаю. Решение автоматически обнаруживает и группирует нейроны, которые обнаруживают одни и те же концепции, и описывает, как такие группы нейронов взаимодействуют для формирования концепций более высокого уровня и последующих прогнозов. Нейрокартография представляет два масштабируемых метода суммирования: (1) кластеризация нейронов группирует нейроны на основе семантического сходства понятий, обнаруженных нейронами (например, группируются нейроны, распознающие «собачьи морды» разных пород); и (2) встраивание нейронов кодирует ассоциации между связанными понятиями в зависимости от того, как часто они встречаются одновременно (например, нейроны, распознающие «собачью морду» и «собачий хвост», располагаются ближе в пространстве встраивания).

Ключом к нашим масштабируемым методам является способность эффективно вычислять взаимоотношения всех пар нейронов во времени, линейном в зависимости от количества нейронов, а не квадратичном времени. Нейрокартография масштабируется для больших данных, таких как набор данных ImageNet с 1,2 млн изображений.
https://poloclub.github.io/neuro-cartography/

Демка очень крутая, но явно показывает сильно не все - просто так нельзя переключится на разные данные на общем представлении всех нейронов.

Возможно, что будет круто выглядеть даже в каком-то формате и для СМИ и публикаций

Систему тестировали на людях-аннотаторах рассказывая, что каждое задание содержит либо все случайные патчи, либо кластер из 3-5 связанных нейронов, и просили определить, какие из показанных патчей (если таковые имеются) образуют связный кластер и могли выбрать любое количество заданных вариантов.