Симпозиум по взаимодействию с помощью взгляда

COGAIN 2023: the ACM Symposium on Eye Tracking Research & Applications
Tübingen, Germany (hybrid event)
1/2 day within May 30 - June 2, 2023
(Co-located with ACM ETRA 2023)

Paper deadline: March 3, 2023

https://cogain2023.cogain.org/

Topics of interest include, but are not limited to, the following subjects:

• Eye-controlled assistive technology
• General gaze-controlled graphical user interfaces
• Eye-typing
• Gaze-enhanced games
• Gaze-controlled robots and vehicles
• Gaze interaction with mobile devices
• Gaze-controlled smart-home devices
• Gaze interfaces for wearable computing
• Gaze interaction in 3D (VR/AR/MR & the real world)
• Usability and UX evaluation of gaze-based interfaces
• User context estimation from eye movements
• Interaction study of eye movements & pupillary responses
• Gaze-assisted multimodal interaction (gaze with e.g. multi- touch, mouse, gestures, head movement)

The 2023 ACM Symposium of Eye Tracking Research & Applications (ETRA)

UNIVERSITY OF TÜBINGEN (HYBRID)
MAY 30-JUNE 2, 2023

Deadline for Late-Breaking Work (paper submission): Mar 15, 2023

https://etra.acm.org/2023/

См. тж. COGAIN 2023.

Управление виртуальным дроном с помощью магнитометров с оптической накачкой

Tan G. et al. (2023) Virtual Drone Control Using Brain-Computer Interface Based on Motor Imagery Brain Magnetic Fields. In: Ying, X. (eds) Human Brain and Artificial Intelligence. HBAI 2022. Communications in Computer and Information Science, vol 1692. Springer, Singapore. https://doi.org/10.1007/978-981-19-8222-4_14

Трудно представить более бредовую задачу для интерфейса мозг-компьютер, чем управление дроном, но таких статей меньше не становится... По сути тут даже и не было никакого управления, а было просто распознавание одного из двух классов -- мысленное сжатие левого или правого кулака, причем сжатие делалось по команде экспериментатора. Всего один испытуемый, три магнитометра QZFM фирмы QuSpin (видимо, второго поколения) в позициях C3, C4, Cz, и, разумеется, сверточная сетка. Получилось ли что-то, сложно сказать, так как не хватает деталей (было ли сжатие кулака сугубо мысленным? как отбирались данные для обучения и тестирования?). Даю ссылку просто в порядке курьеза, ну и для коллекции по OPM BCI -- такие публикации пока единичны.

"Автоадаптивный" интерфейс мозг-компьютер (aaBCI), самообучающийся в процессе его использования

Самообучающиеся ИМК уже в течение многих лет пытаются разрабатывать на основе так называемого потенциала ошибки, появляющегося в ЭЭГ, когда пользователь замечает неправильное действие робота, за которым он наблюдает, или когда ИМК неправильно интерпретирует намерения пользователя. В первом случае ИМК можно обучить даже с нуля. Во втором, как правило, основной ИМК уже обучен, но дополнительный ИМК может корректировать его срабатывания и дообучать его.

Однако точность любого классификатора на основе ЭЭГ обычно оставляет желать лучшего. Коррекция или дообучение на основе неточных срабатываний другого ИМК может создавать больше проблем, чем решать.

И поэтому весьма интересна возможность применить такие адаптивные подходы в ИМК на основе инвазивных сигналов, обеспечивающих более высокую точность.

Кажется, это первое исследование такого рода с использованием инвазивного сигнала -- в данном случае это электрокортикограмма (ЭКоГ). В нем классификатор обучали на основе реакций пользователя на отклики ИМК на его намерения. В случае мультиклассовой классификации получили ROC AUC, довольно близкую к тому, что получалось при supervised training (соответственно 0.74 и 0.81). Результаты декодирования непрерывного движения были хуже, но тоже намного лучше случайных ("cosine similarity of 0.1211 using aaBCI ... and to 0.2002 for supervised training"). Вполне неплохо, поскольку это исследование типа proof of concept, и есть очевидные возможности значительно улучшить результаты, например, если обучать классификатор с помощью трансферного обучения еще до начала работы с ИМК.

Работа сделана в Гренобле под руководством Tetiana Aksenova -- участницы коллектива, получившего первую премию BCI Award прошлого года.

Vincent Rouanne, Thomas Costecalde, Alim Louis Benabid & Tetiana Aksenova. Unsupervised adaptation of an ECoG based brain–computer interface using neural correlates of task performance. Sci Rep 12, 21316, 09 December 2022 https://doi.org/10.1038/s41598-022-25049-w (Open Access)

Вот только почему они совсем не цитируют идеолога нейроадаптивных технологий Торстена Цандера, в том числе его с Лауренсом Кролом классическую работу по пассивному обучению курсора двигаться в правильном направлении... -- Zander TO, Krol LR, Birbaumer NP, Gramann K. Neuroadaptive technology enables implicit cursor control based on medial prefrontal cortex activity. Proceedings of the National Academy of Sciences. 2016 Dec 27;113(52):14898-903. https://doi.org/10.1073/pnas.1605155114

Relation Learning Using Temporal Episodes: новая техника быстрого обучения классификатора

Еще одна интересная работа, направленная на решение проблемы труднодоступности хорошо размеченных данных для обучения интерфейсов мозг-компьютер. Здесь предлагают

a few-shot learning method called temporal episode relation learning (TERL). TERL models MI with only limited trials from the target subject by the ability to compare MI trials through episode-based training. It can be directly applied to a new user without being re-trained

Результаты сравнивали с five baselines and three recent SOTAs (в основном на основе EEGNet), причем о SOTAs сказано, что они представляют

the most common and effective DL techniques, i.e., fine-tuning, adding an auxiliary penalization in the objective function, and domain-adversarial learning, in the MI supervised transfer learning (TL) and domain adaptation (DA)

Заключение:

TERL outperforms baseline and recent state-of-the-art methods

Huang X, Liang S, Zhang Y, Zhou N, Pedrycz W, Choi KS. Relation Learning Using Temporal Episodes for Motor Imagery Brain-Computer Interfaces. IEEE Transactions on Neural Systems and Rehabilitation Engineering, 31:. 530-543, 09 December 2022 https://doi.org/10.1109/TNSRE.2022.3228216 (Open Access)

Адаптация машин к ожидаемому поведению человека: материалы семинара

Dagstuhl Seminar 22202
May 16–20, 2022
http://www.dagstuhl.de/22202

Anticipatory Human-Machine Interaction. Dagstuhl Reports, Vol. 12, Issue 5, pp. 131–169. Editors: Jelmer Borst, Andreas Bulling, Cleotilde Gonzalez, Nele Russwinkel
https://drops.dagstuhl.de/opus/volltexte/2022/17446/pdf/dagrep_v012_i005_p131_22202.pdf

В том числе:

Andreea Ioana Sburlea. Anticipatory Brain-Computer Interfaces. P. 153.

Улучшение управления через ИМК благодаря распределенной оптогенетической обратной связи (мыши)

Here, we aimed to test a rotary optogenetic feedback that was designed to encode efficiently the 360° movements of the robotic actuators used in prosthetics.

Mice achieved better control than in the absence of feedback by detecting reward opportunities more often, and also by moving the joint faster towards the reward angular zone, and by maintaining it longer in the reward zone.

Goueytes D, Lassagne H, Shulz DE, Ego-Stengel V, Estebanez L. Learning in a closed-loop brain-machine interface with distributed optogenetic cortical feedback. Journal of Neural Engineering. 2022 Dec 29;19(6):066045 https://doi.org/10.1088/1741-2552/acab87 В открытом доступе: pdf

Движения глаз при воображении движений

В частности, оказалось, что на воображение движений требовалось больше времени, когда взгляд нужно было фиксировать:

Movement times were longest, however, in the imagination task when the eye movements were restricted to the central fixation point, suggesting that eye movements might assist with the accuracy or calibration of the imagination process. Analysis of eye movements during the no fixation imagination task revealed that the eye movements during imagination mimicked the executed hand movements when gaze was not restricted. Overall, these results suggest that although the ability to make eye movements was not necessary for action execution or motor imagery, the use of eye movements likely enhancing the accuracy of motor imagery for this task.

Pathak A, Patel S, Karlinsky A, Taravati S, Welsh TN. The “eye” in imagination: The role of eye movements in a reciprocal aiming task. Behavioural Brain Research. 2023 Mar 12;441:114261 https://doi.org/10.1016/j.bbr.2022.114261

Эти результаты очень интересны в контексте попыток создания гибридных интерфейсов глаз-мозг-компьютер (ИГМК). Чаще всего ИГМК пытаются собрать из таких двух компонентов: (а) курсора с айтрекерным управлением и (б) клика с помощью ИМК, детектирующего воображение движения. Но до сих пор все такие попытки давали очень посредственные результаты -- худшие, чем просто глазоуправление без ИМК (вот, например, недавняя довольно аккуратная работа: Hou BJ, Bekgaard P, MacKenzie S, Hansen JP, Puthusserypady S. GIMIS: Gaze input with motor imagery selection. ACM Symposium on Eye Tracking Research and Applications 2020 Jun 2, pp. 1-10). Похоже, одна из главных проблем такого сочетания -- при глазоуправлении от взгляда требуют выполнять функцию, интерферирующую с его естественным поведением при воображении движений!

Обзор применения глубокого обучения в нейроинтерфейсах на основе ЭЭГ в 2017-2022 годах

В частности, в табл. 2 авторы, как они утверждают, перечисляют "all the EEG-based BCI studies using deep learning for the last 6 years".

Hossain KM, Islam MA, Hossain S, Nijholt A and Ahad MAR. Status of deep learning for EEG-based brain–computer interface applications. Front. Comput. Neurosci. 16:1006763. 16 January 2023 https://doi.org/10.3389/fncom.2022.1006763 (Open Access)

Увы, многое смущает уже при самом поверхностном взгляде на эту самую таблицу 2. В частности, несмотря на слово "all", здесь нет даже наиболее популярных публикаций -- статьи Schirrmeister et al. (2017), процитированной уже 1740 раз, и статьи Lawhern et al. (2018) про EEGNet, процитированной 1480 раз. Более того, предложенные в этих статьях сети, разработанные специально для ЭЭГ и очень многими используемые, в обзоре ни разу не упоминаются! Графа "Classification result" (без уточнения, о каком "результате" идет речь, но, надо полагать, в основном о точности), почему-то не сопровождается данными по числу классов, без которых эти цифры бессмысленны. Еще больше удивляет то, что ни в таблице, ни вообще где-либо в статье отдельно не приводятся результаты реального применения классификаторов в интерфейсах мозг-компьютер в режиме, приближенном к реальному времени (в онлайн-режиме) -- как будто глубокие сети до сих пор использовались только в симуляциях. Про трансферное обучение -- один из главных трендов -- говорится только в небольшом разделе в обсуждении перспектив, и практически без ссылок. Терминов zero-shot и few-shot learning нет вообще, не говоря уже про метаобучение.

Но самое неприятное -- то, что авторы, похоже, совершенно не анализировали надежность результатов в обозреваемых ими статьях. Все, кто сам сколь-нибудь серьезно работает с интерфейсами мозг-компьютер и рецензирует статьи по ним, хорошо знает, что именно в симуляционных работах с классификаторами можно легко допускать разнообразные ошибки, приводящие к очень сильному завышению результатов. В сочетании с очень плохим пониманием проблем, связанных и с артефактами, и с онлайн-применением, характерным для многих авторов таких публикаций, это приводит к тому, что среди опубликованных работ по ИМК доля результатов, которым действительно можно доверять, чрезвычайно низка.

Какой уж тут "status of deep learning"...

Тем не менее, некоторое представление о применении глубокого обучения для ИМК этот обзор все же дает. И хотя его авторов это не извиняет, стоит иметь в виду, что другие обзоры последних лет на подобные темы, увы, ничуть не лучше.

Но не помешает еще раз напомнить небольшой тьюториал про применение машинного обучения в научных исследованиях (специального гайда для ИМК пока вроде нет, но здесь почти все подходит к ИМК, и разбирается, думаю, больше половины типичных для ИМК ошибок):

Lones M.A. How to avoid machine learning pitfalls: a guide for researchers. arXiv:2108.02497v2, 6 Sep 2022 https://doi.org/10.48550/arXiv.2108.02497

Систематический обзор применения ИМК на основе сенсомоторных ритмов в постинсультной реабилитации

Fu J, Chen S, Jia J. Sensorimotor Rhythm-Based Brain–Computer Interfaces for Motor Tasks Used in Hand Upper Extremity Rehabilitation after Stroke: A Systematic Review. Brain Sciences. 2023; 13(1):56 https://doi.org/10.3390/brainsci13010056 (Open Access)

Радует, что речь не только о традиционном моторным воображении, но и о попытках совершения движения (attempted movements). Правда, результаты, получаемые с использованием этих двух моторных задач, не сопоставляются между собой.

Интенсивные тренировки как лекарство от депрессии, стресса и тревоги

Зонтичный обзор (систематический обзор обзоров), в котором были проанализированы 97 обзоров, в общей сложности покрывающие 1039 исследований с 128 119 участниками, показал высокую эффективность физической активности, в особенности высокоинтенсивных нагрузок, для снижения симптомов депрессии, тревоги и стресса.

University of South Australia researchers are calling for exercise to be a mainstay approach for managing depression as a new study shows that physical activity is 1.5 times more effective than counseling or the leading medications.

the review showed that exercise interventions that were 12 weeks or shorter were most the effective at reducing mental health symptoms

Exercise More Effective Than Medicines to Manage Mental Health
February 26, 2023
https://neurosciencenews.com/exercise-mental-health-22566/

Singh B, Olds T, Curtis R, Dumuid D, Virgara R, Watson A, Szeto K, O'Connor E, Ferguson T, Eglitis E, Miatke A. Effectiveness of physical activity interventions for improving depression, anxiety and distress: an overview of systematic reviews. British Journal of Sports Medicine, 2023 Feb 16 http://dx.doi.org/10.1136/bjsports-2022-106195

UPD: однако см. https://xn--r1a.website/bci_ru_chat/3704

Ученые записали активность мозга живого осьминога

Осьминоги – очень умные и сложно устроенные существа, эволюция когнитивной сферы которой шла совершенно иначе, чем у позвоночных. Тем интереснее исследователям представлялся вопрос о том, как же работает их мозг во время обычных дневных дел. Ученые из международной команды под руководством Окинавского института науки и технологий (OIST) смогли создать методику записи мозговой активности свободно перемещающегося осьминога и сопоставить некоторые поведенческие акты с мозговой деятельностью, чем делятся с научной общественностью на страницах журнала Current Biology.

Читать дальше:
http://neuronovosti.ru/uchenye-zapisali-aktivnost-mozga-zhivogo-osminoga/

#нейроновости
#нейрозоология
#осьминоги

Органоидный интеллект | Сегодня группа нейроученых из Johns Hopkins University выдвинула инициативу — создать сеть мыслящих органоидов мозга. Ее поддержал Карл Фристон. Frontiers сразу публикует манифест, пресс-релиз и др. сопровождающие тексты.

Цель — создать биологическую альтернативу ИИ, то есть систему, которая выигрывает у искусственных нейросетей по энергоэффективности и способности учиться [на нескольких примерах].

«Мы называем эту новую междисциплинарную область «органоидным интеллектом» (ОИ)», — сказал профессор Томас Хартунг. «Сообщество ведущих ученых собралось для разработки этой технологии, которая, как мы полагаем, откроет новую эру быстрых, мощных и эффективных биокомпьютеров».

Они предлагают создавать крупные структуры из органоидов, клеточных культур и интерфейсов мозг-машина. Планируют довести количество нейронов до 10 млн, применять редактирование генов, оптогенетику и разные технологии считывания/стимуляции.

В статье они подробно расписывают, как собираются все это реализовать, как будут поддерживать жизнь столь сложных систем, как обучать и проч. На бумаге — все гладко.

Я ожидал подобного давно, ибо логика органоидных технологий неизбежно толкает в эту сторону. Если можно вырастить часть мозга, то дальше вы прямиком идете к мысли соединять эти части, добавлять к ним сенсорные элементы (например, светочувствительные — для зрения), подключать их к компьютерам, обучать и так далее.

В этом может быть смысл с т.з. фундаментальных исследований. Насчет бросить вызов нейросетям в части “мышления” — сильно сомневаюсь. Кроме того, предвижу большие проблемы с этикой, 10 млн нейронов это уже вполне себе живое существо, sentient.

Впрочем, дождемся реакции экспертов.

Идея органоидного интеллекта в одной картинке. Краткое содержание главной статьи здесь, пресс-релиз здесь.

Гайд по промпт инжинирингу

Инженерия подсказок - это относительно новая дисциплина для разработки и оптимизации подсказок (они же промпты) с целью эффективного использования языковых моделей для широкого спектра приложений.

Навыки инженерии подсказок помогают лучше понять возможности и ограничения больших языковых моделей (LLM) и как следствие лучше понять генеративные нейросети, которые рисуют картинки.

Исследователи используют инженерию подсказок для улучшения возможностей LLM в широком спектре обычных и сложных задач, таких как ответы на вопросы и арифметические рассуждения. Разработчики используют инженерию подсказок для разработки надежных и эффективных методов подсказки, которые взаимодействуют с LLM и другими инструментами.

Мотивированные высоким интересом к разработке с использованием LLM, авторы создали новое руководство по разработке подсказок, которое содержит все последние статьи, учебные пособия, лекции, ссылки и инструменты, связанные с разработкой подсказок.

👀 Ссылка

Интеграция ИМК на моторном воображении и Overt Spatial Attention (OSA) paradigm

Парадигма явного пространственного внимания для интерфейсов мозг-компьютер была предложена группой Бина Хе (Bin He) пять лет назад. Они комбинировали ее интеграцию с обычным ИМК на моторном воображении уже в первом исследовании, а сейчас повысили их интеграцию.

Dylan Forenzo, Yixuan Liu, Jeehyun Kim, Yidan Ding, Taehyung Yoon, Bin He. Integrating simultaneous motor imagery and spatial attention for EEG-BCI control. bioRxiv, February 21, 2023 doi: https://doi.org/10.1101/2023.02.20.529307

Почему бы вместо ИМК не использовать айтрекер, авторы не объясняют. Глазные артефакты они, похоже, даже не отслеживали. В общем, какой-то очередной курьез -- при том, что Бин Хе профессор в Университете Карнеги Мелона, с 26 773 цитированиями по GS...

В начале статьи обнаружилась забавная опечатка: RAIN-computer interfaces ))

SPDNet: глубокая римановская сеть для "декодирования" ЭЭГ

От создателей самой популярной нейросети для ИМК shallow ConvNet (Schirrmeister et al. 2017).

Here we propose end-to-end EEG SPDNet (EE(G)-SPDNet), and we show that this wide, end-to-end DRN can outperform the ConvNets, and in doing so use physiologically plausible frequency regions.

Wilson D, Gemein LA, Schirrmeister RT, Ball T. Deep Riemannian Networks for EEG Decoding. arXiv, 30 Jan 2023 https://doi.org/10.48550/arXiv.2212.10426

И еще одна римановская сеть для "декодирования" ЭЭГ

More recently, a number of studies show the interest of the use of the Riemannian geometry in EEG classification. The idea is to exploit the EEG covariance matrices, instead of the raw EEG data, and use the Riemannian geometry to directly classify these matrices. This paper presents a novel Artificial Neural Network approach based on an Adaptive Riemannian Kernel, named ARK-ANN, to classify Electroencephalographic (EEG) motor imaging signals in the context of Brain Computer Interface (BCI).

Yacine F, Salah H, Amar K, Ahmad K. A novel ANN adaptive Riemannian-based kernel classification for motor imagery. Biomedical Physics & Engineering Express. 2022 Dec 30;9(1):015010
https://doi.org/10.1088/2057-1976/acaca2

Интересный, но длинный пост про выбор и подталкивание к нему в HCI: https://xn--r1a.website/gulagdigital/2024

И прилагающаяся к нему книжка:

Choice Architecture for Human-Computer Interaction