UI Grammar

LLM без UI грамматики

Для создания макетов без использования грамматики пользовательского интерфейса (рис.
2), мы сначала случайным образом выбираем экран из CLAY (библиотека веб-элементов https://clayui.com/), чтобы использовать его в качестве пример нашего контекстного обучения (т. е. одноразового подсказки) и исключить его из генерации, чтобы предотвратить утечку данных. Для каждого экрана пользовательского интерфейса в CLAY мы получаем соответствующее описание на естественном языке из SCREEN2WORDS(https://paperswithcode.com/dataset/screen2words). в качестве описания нашей цели генерации. Чтобы контролировать результат генерации и получать макеты только со значимым элементов пользовательского интерфейса, мы использовали семантически значимый список 25 меток элементов пользовательского интерфейса, определенных в CLAY и включенных в наше приглашение как ограничение.

LLM c грамматикой

Вместо того, чтобы просить LLM напрямую сгенерировать окончательный макет экрана мы описываем создание макета пользовательского интерфейса как двухэтапный процесс: сначала мы выводим на экран список грамматик пользовательского интерфейса, затем объясняем, как мы можем создать пример макета пользовательского интерфейса, используя предоставленная грамматика пользовательского интерфейса.

Сравнение результатов с использованием грамматики и без нее

Работа, интерфейсы рабочих мест и природа рутины. Андон

Андон — термин, который изначально обозначал в японском бумажный фонарь, а в бережливом производстве термин обозначает систему, которая сигнализирует о проблемах качества или нарушения стандартов. Изначально бумажные фонари использовали на первых японских фабриках. В отличие от обычных систем типа светофора андон может включать цвета для обозначения особенных состояний, например, дополнительный “синий” подает сигнал “нехватка материалов”. Фонарь обычно указывает место проблемы, а также может предоставить краткое описание. Современные системы могут включать текст, графику или аудиоэлементы.

Смысл механизма андона в том, чтобы рядовой оператор мог остановить процесс и вмешиваться в работу на линии, не дожидаясь ответа из офиса. Некоторые платы автоматически выключают производство, чтобы избежать масштабирования проблемы на всей производственной линии.

Однажды Сакити Тоеда разработал для своей бабушки механический ткацкий станок. Однако главная проблема механического станка состояла в том, что если рвалась нить, то вся ткань сотканная после обрыва, представляла собой брак. А остановить станок и прекратить производство брака можно было только если увидеть, что нить оборвалась. Размышляя о том, как решить эту проблему, Сакити Тоеда понял, что нужно наделить станок способностью обнаруживать проблему и самостоятельно останавливаться. Так Сакити Тоеда разработал систему андон

Quantitative User Experience Research: Informing Product Decisions by Understanding Users at Scale

Первая схема синеэстетических визуализаций в истории

Фрэнсис Гальтон опубликовал самую первую цветную таблицу синестетических визуализаций в своих «Исследованиях человеческих способностей и их развития» 1883 года, но начинал он с исследования числовых линий. Числовая линия — это ментальная карта чисел, автоматически и непреднамеренно появляющаяся, когда человек, ею обладающий, думает о числах. Числа появляются в определенных местах в пространстве, и эти места могут быть различными у разных индивидуумов.

В апреле 1879 года Гальтон получил письмо от своего друга Джорджа Паркера Биддера, лондонского адвоката, чей отец был известным гением расчета. Письмо включало диаграммы его визуализаций чисел, месяцев года и исторического времени, представленных как преемственность английских королей, что побудило Гальтона разработать анкету, которую он разослал сотням научных и литературных коллег в Старом и новом свете. Выводы можно посмотреть на этой табличке

Пятиминутка постмодернизма о технологии

Надо сказать, что иногда и французские философы бывают весьма своевременны и убедительны. Например, книга "Теория дрона". Книга аж 2013 года, не так давно на русском.

Вот в чем может заключаться теория определенного оружия:
определить, что подразумевает владение им, попытаться понять,
какой эффект оно производит на тех, кто его использует.
Как на врага, который является его мишенью, так и на сами
отношения между ним и тем, кто это оружие применяет.

Поэтому главным вопросом будет следующий: какое воздействие оказывает дрон на саму военную обстановку?
Что он привносит в отношение к врагу, а также в отношение
государства к своим гражданам? Это разнообразные процессы,
которые имеют весьма серьезные последствия. Пока их можно
набросать в виде динамических зарисовок, не выдавая
за конечный результат. «Показать механизм вооруженного противостояния», то есть провести стратегический анализ
« социальных отношений, которые оно вызывает», — такова
будет in fine программа критической теории вооружений.

Это оружие развивает и производит радикализацию уже существующих способов дистанционной войны, приводя к тому, что сам бой практически исчезает. А это приводит к глубокому
кризису самого понятия войны.

Главная проблема в следующем:
если «война при помощи дронов» больше не является собственно войной, то какому «режиму насилия» она соответствует?

«Война без риска», наиболее совершенным орудием которой, вне всякого сомнения, является дрон, вызывает кризис базовых метаюридических принципов права на убийство во время войны. Но фоне этой фундаментальной дестабилизации формируются проекты нового определения суверенного права на жизнь и смерть. Речь идет о создании права на «целевое убийство», которое на практике равнозначно полному пересмотру права военных конфликтов.

Шамаю Грегуар
Теория дрона

Метафоры стресса и HCI
“Вот я повелеваю тебе: будь твёрд и мужествен, не страшись и не ужасайся; ибо с тобою Господь Бог твой везде, куда не пойдёшь.”
И. Навина 1:9.

Одна из проблем стресса — это как описать и объяснить «перенагруженность» пользователя? Нет никакого консенсуса относительно возможностей, которые «обрабатывают» информацию. В целом, в литературе описывается некоторые умственные ресурсы. Только вот теория не может объяснить, что это за ресурсы на самом деле.

И тут есть две метафоры:
Метафора энергии и метафора структуры.

Под структурой чаще всего понимали память, сравнивая с памятью компьютера.

Но большинство ранних теорий ресурсов, включая оригинальный взгляд Канемана рассматривают ресурсы как энергию — когнитивные способности тратятся на решение каких либо задач, подобно электричеству или товарам на рынке. Стресс — это ситуация, когда потребность в ресурсах превышает доступное предложение. Красивая метафора, но оставляющая много пространства для спекуляций.
Более того, в термодинамических аналогиях ресурсы понимаются как топливо и в стрессовых условиях количество доступного топлива недостаточно для удовлетворения задач. Но не существует единого мнения относительно вместимости такого резервуара или наличия многочисленных резервуаров, в которых хранятся только ресурсы, специфичные для вида деятельности. Один бензин для чтения, а второй бензин, например, для задач по коммуникациям — это тоже странная метафора.

В чем проблема?

Проблема использования небиологических метафор для представления биологических систем не может учитывать уникальные свойства живых организмов. Например, обучаемость и адаптивность, способность к саморегуляции. Поэтому стоит избегать такого рода метафор - особенно когда мы говорим о взаимодействии пользователя с интерфейсом.

Приведем классический стрессовый фактор - проверка на качество продукции. Термин пока-ёке был применен Сигэо Синго в 1960-х годах для промышленных процессов, ориентированных на предотвращение человеческих ошибок. Заводские рабочие при сборке небольшого переключателя часто забывали вставлять нужную пружину под одну из кнопок переключателя. После реинжиниринга рабочий выполнял задачу в два этапа, сначала подготовив две требуемые пружины в заполнитель, а затем вставив пружины из заполнителя в коммутатор. Когда пружина оставалась в заполнителе, рабочие знали, что они забыли вставить ее и могли легко исправить ошибку.

Описывая другой случай использования Синго описывает отношение рабочих к этому инструменту:
«Когда одного из рабочих спросили, что он думает по этому поводу, он ответил на местном сленге: «Пока-ёкэ? О, это анки!», что означает «весело». В данном случае устройство пока-ёкэ, работающее по методу шагов-движений, выполняет функцию самоконтроля и освобождает рабочих от необходимости обращать внимание на выбор деталей арматуры.»

Здесь мы видим, что пользователя можно увлечь работой, что ставит интересные вопросы для теоретиков “топлива” и траты умственных ресурсов.

Блог Сураба Мангрулкара и Саяка Пола о том, как создать своего личного второго пилота на основе собственного кода. Они описывают, как создали, обучили и настроили своего личного второго пилота под названием HugCoder. Статьи октября 2023 года, свежак

Ничего не понятно, но очень интересно и перспективно - тренировка собственного ассистента как персонального помощника - заезженная тема любителей экзокортексов

https://huggingface.co/blog/personal-copilot?fbclid=IwAR1vVRKJ-XfMwUWoFsfDgnsw372za8WkqeF3KQK4pf29B0Z9hVpOqAm8u98

Медицина, человек, космос. Часть 2
Продолжение:
https://xn--r1a.website/gulagdigital/2352

А как определяется стресс? Горбов, конечно же, врач, ему не очень интересны когнитивные и психологические проблемы: клинические критерии заявляются в качестве основных для определения стресса. Известно, что изменения в состоянии крови, так же как и реакции со стороны высшей нервной деятельности, сердечно-сосудистой и других систем, являются «зеркалом», в котором отражается стрессовое состояние организма. Горбов обращается к исследованиям А. И. Киколова, который в своих исследованиях установил, что за 30 мин до работы у диспетчеров аэропорта уровень сахара в крови повышается до 100 180 мг.

Такое повышение уровня сахара в крови в литературе того времени оценивается как предстартовое стрессовое состояние. Этот уровень сахара держится у диспетчеров до конца рабочей смены. Аналогичные изменения имеются и у железнодорожных диспетчеров. C большим потоком информации сталкиваются в своей работе режиссеры и ассистенты студии телевидения, работающие за пультом управления, Им одновременно приходится следить за несколькими изображениями, держать непрерывную микрофонную связь с операторами, актерами и другими участниками работы, следить за точностью передачи.

Концепция “остаточного” утомления и доминанты

Советский физиолог Алексей Ухтомский выступал как один из видных теоретиков работы, усталости, утомления: такие факторы как активный отдых и ночной сон, в большинстве случаев, полностью снимают ощущение усталости. Однако в ситуациях, когда возвращение к исходному уровню не наблюдается и человек продолжает работать, возникает явление аккумуляции. Остаточное утомление продолжает накапливаться, что в дальнейшем приводит к развитию переутомления, и продолжение работы становится невозможным.

Это любопытная и интересная концепция в которой можно выделить некоторые моменты философии Ухтомского - богослова и невролога, предполагающего наличие специфической части биологии поведения человека, которая отражает теорию безусловных рефлексов Павлова. ​​По А. А. Ухтомскому, доминанта — это возникающий очаг возбуждения в нервной системе, создающий готовность организма к определенной деятельности при одновременном торможении других рефлекторных актов. Это временно господствующий рефлекс, который в данный момент подчиняет себе и направляет другие рефлексы и работу нервной системы в целом. При этом раздражения из различных источников уже не вызывают обычных для них реакций, а лишь усиливают деятельность этого доминирующего в данный момент центра.

Ухтомский явно стоит в одном ряду c большой интеллектуальной традицией позитивизма второй волны или махизма - движения столь же мощного, сколько и опасного для советской идеологии: за несколько лет до выхода работ Ухтомского Владимир Ленин пишет работу «Материализм и эмпириокритицизм», которая направлена против Богданова, врача и сторонника Маха и Авернариуса, лидера отдельного крыла в партии большевиков, которое могло противостоять марксизму с позиций позитивизма.

Как формируется доминанта в таком медицинском позитивизме? Для иллюстрации Ухтомский ссылается на Льва Толстого! Обратимся к его работе “Доминанта как рабочий принцип нервных центров”. Впервые опубликована в Русском физиологическом журнале, т. VI. в. 1­3, 1923.

Первая стадия
Доминанта возникает под влиянием внутренней секреции (например, полового созревания) и внешних раздражителей. В качестве поводов для подпитки доминанта привлекает самые разнообразные раздражители. Вспомним, как видит Андрей Болконский Наташу Ростову на первом балу в Петербурге: "Он любовался на радостный блеск ее глаз и улыбки, относившейся не к говореным речам, а к ее внутреннему счастью... вы видите, как меня выбирают, и я этому рада, и я счастлива, и я всех люблю, и мы с вами все это понимаем, - и еще многое, многое сказала эта улыбка".

Вторая стадия
Это стадия образования условного рефлекса по И.П. Павлову, когда из прежнего множества действующих возбуждений доминанта выделяет группу, которая для нее особенно "интересна", - идет выборка раздражителя для данной доминанты... "... князь с бережливо-нежным выражением стоял перед нею и говорил ей что-то. Она, подняв голову, разрумянившись и, видимо, стараясь удержать порывистое дыхание, смотрела на него. И яркий свет какого-то внутреннего, прежде потушенного огня опять горел в ней. Она вся преобразилась. Из дурной опять сделалась такой же, какой она была на бале". Отметим: на балу раньше Наташа возбуждена, красива и счастлива для всех; теперь она хороша, и возбуждена, и счастлива для одного князя Андрея; доминанта нашла своего адекватного раздражителя.

Третье стадия
Между доминантой и внешним раздражителем устанавливается прочная связь так, что раздражитель будет вызывать и подкреплять ее. Внешняя среда целиком поделилась на отдельные предметы, лишь части из которых отвечает определенная доминанта. И уже даже не сам князь Андрей, а лишь его имя тотчас вызывает в Наташе ту, единственную среди прочих, доминанту, которая некогда создала для Наташи князя Андрея.

Горбов вполне серьезно видит проблему в том, что доминанты нервных центров при переутомлении могут привести к тому, что называют неврозом летного состава: монотонность может приводить к тому, что военная медицина того времени описывает как неврозы летного состава ( например ссылается на А. И. Северский лечение и предупреждение неврозов у летного состава, М. 1965). Итак, как выглядел этот невроз пилота?

За медицинской помощью несколько позднее заставило обратиться не чувство утомления и головные боли, а своеобразные непонятные для больного явления, которые стали возникать у него в длительных ночных полетах. В этих полетах по условиям видимости направление и положение самолета приходилось выдерживать только по приборам, однако с необходимостью при этом и ведения постоянного наблюдения за световыми земными орнентирами (объекты наблюдения). Во время таких полетов у обследуемого 3. стали возникать своеобразные ложные переживания «остановки самолета», «потери скорости» с появлением затем потемнения в глазах, чувства онемения рук, жара во всем теле. Иногда близкие к такому состоянию явления стали возникать и в дневных полетах, однако в более легкой степени. Эти явления легко проходили после активного пилотирования самолетом (снижение его с последующим подъемом, изменение скорости), которое совершалось летчиком с таким расчетом, чтобы не нарушить грубо заданный режим полета. Обследуемый полагал, что этот разработанный им «комплекс» активного пилотирования мог бы помочь ему и при совершении полетов в ночное время, но применить его в этих условиях он просто не решался.

Но уже при развитии этих состояний высший пилотаж, тренировочный воздушный бой с большими перегрузками переносились обследуемым по-прежнему хорошо.
​​Горбов. Указанное сочинение, стр 55

Когнитивное явление “остановки самолета” и привлекает внимание Горбова. Перерыв в полетах привел к обратному развитию всех более болезненных явлений с восстановлением вновь хорошего самочувствия. Но в дальнейшем, с возобновлением полетов, вновь развились явления переутомления. Перерыв в полетах не давал восстановления хорошего самочувствия. Это состояние было расценено как развившийся невроз (нарушение сна, раздражительность, напряженность, сопровождающаяся переживанием остановки самолета, потеря интереса к полетам - летать стало неохота).

Последнее, а именно потеря интереса к любимому делу,- признак, имеющий большое практическое значение

Странные интерфейсы

Иллюстрация калькулятора Лейбница, представленная в Theatrum arithmetico-geometricum (1727) Якоба Леопольда

Библиотека Конгресса
https://www.loc.gov/resource/cph.3c10471/

Медицина, человек, космос. Часть 3
Продолжение:
https://xn--r1a.website/gulagdigital/2372

Лекарство от монотонности и эксперименты с мнемосхемами для операторов/диспетчеров

В поисках ответа на вопрос о неврозе пилотов Горбов пишет:
В русле проблем инженерной психологии в целях оптимизации пультов управления на проектируемые системы, с одной стороны, продолжаются исследования, направленные на выявление психических возможностей человека по переработке информации. С другой стороны, изыскания направлены на облегчение восприятия и переработку информации. Так, например, решая эту задачу, был поставлен вопрос, нельзя ли облегчить считывание показаний приборов оператором и вместо отдельных частных показателей (или наряду с ними) показывать наглядно положение управляемого объекта в пространстве. Выполнение этих требований гарантирует при прочих равных условиях максимальную ,скорость и надежность информации оператором при минимальной его утомляемости. Идя по этому пути, инженеры совместно с психологами и врачами разработали новый пульт подводной лодки.

Но что это за подводная лодка? Автор умалчивает.

Рулевой чувствует то же, бы чувствовал бы, вели подку по коридору, если отклониться от курса заданной глубины, создается впечатление, что она вот-вот врежется в потолок или стенку коридора. Изменение скорости воспринимается по изменению темпа "набегания" полос: как видно из описания, информация здесь закодирована так, что ее восприятие дает почти наглядное представление о поведении управляемого объекта (лодки). Такие приборы получили название контактных аналогов, которые дадут «картинное» представление об обстановке и вызывают эффект реальности.

Кроме контактных аналогов чуть меньший уровень абстракции дает мнемосхема

Психологический анализ деятельности диспетчеров аэрофлота, железнодорожного транспорта и других отраслей народного хозяйства показал, что одной из основных трудностей этого вида работы является необходимость в оперировании образами представлений, вызванная большой удаленностью управляемых объектов. Это оперирование образами вызывает специфическое умственное напряжение и затрудняет решение проблемных ситуаций. Вот почему при конструировании центральных щитов управления наряду с размещением различных приборов средств световой и звуковой сигнализации широко начали использоваться так называемые мнемонические схемы (мнемосхемы), изображающие в виде комплекса символов (полос, контуров и т. д.) элементы контролируемой и управляемой электростанции, участка железной дороги, завода и т. д.

Мнемосхема отображает на плоскости табло не только элементы оборудования, но и их взаимные связи и коммуникации, что и создает условную картину (схему) технологического процесса предприятия или перемещения управляемых объектов. Так, например, на пульте управления железнодорожного диспетчера представлена статическая и динамическая схема станции и участка дороги. Непосредственное восприятие всей обстановки значительно облегчает работу по более рациональному управлению поездами, что в свою очередь обусловливает меньшую напряженность и препятствует развитию утомления.