Адаптация машин к ожидаемому поведению человека: материалы семинара

Dagstuhl Seminar 22202
May 16–20, 2022
http://www.dagstuhl.de/22202

Anticipatory Human-Machine Interaction. Dagstuhl Reports, Vol. 12, Issue 5, pp. 131–169. Editors: Jelmer Borst, Andreas Bulling, Cleotilde Gonzalez, Nele Russwinkel
https://drops.dagstuhl.de/opus/volltexte/2022/17446/pdf/dagrep_v012_i005_p131_22202.pdf

В том числе:

Andreea Ioana Sburlea. Anticipatory Brain-Computer Interfaces. P. 153.

Улучшение управления через ИМК благодаря распределенной оптогенетической обратной связи (мыши)

Here, we aimed to test a rotary optogenetic feedback that was designed to encode efficiently the 360° movements of the robotic actuators used in prosthetics.

Mice achieved better control than in the absence of feedback by detecting reward opportunities more often, and also by moving the joint faster towards the reward angular zone, and by maintaining it longer in the reward zone.

Goueytes D, Lassagne H, Shulz DE, Ego-Stengel V, Estebanez L. Learning in a closed-loop brain-machine interface with distributed optogenetic cortical feedback. Journal of Neural Engineering. 2022 Dec 29;19(6):066045 https://doi.org/10.1088/1741-2552/acab87 В открытом доступе: pdf

Движения глаз при воображении движений

В частности, оказалось, что на воображение движений требовалось больше времени, когда взгляд нужно было фиксировать:

Movement times were longest, however, in the imagination task when the eye movements were restricted to the central fixation point, suggesting that eye movements might assist with the accuracy or calibration of the imagination process. Analysis of eye movements during the no fixation imagination task revealed that the eye movements during imagination mimicked the executed hand movements when gaze was not restricted. Overall, these results suggest that although the ability to make eye movements was not necessary for action execution or motor imagery, the use of eye movements likely enhancing the accuracy of motor imagery for this task.

Pathak A, Patel S, Karlinsky A, Taravati S, Welsh TN. The “eye” in imagination: The role of eye movements in a reciprocal aiming task. Behavioural Brain Research. 2023 Mar 12;441:114261 https://doi.org/10.1016/j.bbr.2022.114261

Эти результаты очень интересны в контексте попыток создания гибридных интерфейсов глаз-мозг-компьютер (ИГМК). Чаще всего ИГМК пытаются собрать из таких двух компонентов: (а) курсора с айтрекерным управлением и (б) клика с помощью ИМК, детектирующего воображение движения. Но до сих пор все такие попытки давали очень посредственные результаты -- худшие, чем просто глазоуправление без ИМК (вот, например, недавняя довольно аккуратная работа: Hou BJ, Bekgaard P, MacKenzie S, Hansen JP, Puthusserypady S. GIMIS: Gaze input with motor imagery selection. ACM Symposium on Eye Tracking Research and Applications 2020 Jun 2, pp. 1-10). Похоже, одна из главных проблем такого сочетания -- при глазоуправлении от взгляда требуют выполнять функцию, интерферирующую с его естественным поведением при воображении движений!

Обзор применения глубокого обучения в нейроинтерфейсах на основе ЭЭГ в 2017-2022 годах

В частности, в табл. 2 авторы, как они утверждают, перечисляют "all the EEG-based BCI studies using deep learning for the last 6 years".

Hossain KM, Islam MA, Hossain S, Nijholt A and Ahad MAR. Status of deep learning for EEG-based brain–computer interface applications. Front. Comput. Neurosci. 16:1006763. 16 January 2023 https://doi.org/10.3389/fncom.2022.1006763 (Open Access)

Увы, многое смущает уже при самом поверхностном взгляде на эту самую таблицу 2. В частности, несмотря на слово "all", здесь нет даже наиболее популярных публикаций -- статьи Schirrmeister et al. (2017), процитированной уже 1740 раз, и статьи Lawhern et al. (2018) про EEGNet, процитированной 1480 раз. Более того, предложенные в этих статьях сети, разработанные специально для ЭЭГ и очень многими используемые, в обзоре ни разу не упоминаются! Графа "Classification result" (без уточнения, о каком "результате" идет речь, но, надо полагать, в основном о точности), почему-то не сопровождается данными по числу классов, без которых эти цифры бессмысленны. Еще больше удивляет то, что ни в таблице, ни вообще где-либо в статье отдельно не приводятся результаты реального применения классификаторов в интерфейсах мозг-компьютер в режиме, приближенном к реальному времени (в онлайн-режиме) -- как будто глубокие сети до сих пор использовались только в симуляциях. Про трансферное обучение -- один из главных трендов -- говорится только в небольшом разделе в обсуждении перспектив, и практически без ссылок. Терминов zero-shot и few-shot learning нет вообще, не говоря уже про метаобучение.

Но самое неприятное -- то, что авторы, похоже, совершенно не анализировали надежность результатов в обозреваемых ими статьях. Все, кто сам сколь-нибудь серьезно работает с интерфейсами мозг-компьютер и рецензирует статьи по ним, хорошо знает, что именно в симуляционных работах с классификаторами можно легко допускать разнообразные ошибки, приводящие к очень сильному завышению результатов. В сочетании с очень плохим пониманием проблем, связанных и с артефактами, и с онлайн-применением, характерным для многих авторов таких публикаций, это приводит к тому, что среди опубликованных работ по ИМК доля результатов, которым действительно можно доверять, чрезвычайно низка.

Какой уж тут "status of deep learning"...

Тем не менее, некоторое представление о применении глубокого обучения для ИМК этот обзор все же дает. И хотя его авторов это не извиняет, стоит иметь в виду, что другие обзоры последних лет на подобные темы, увы, ничуть не лучше.

Но не помешает еще раз напомнить небольшой тьюториал про применение машинного обучения в научных исследованиях (специального гайда для ИМК пока вроде нет, но здесь почти все подходит к ИМК, и разбирается, думаю, больше половины типичных для ИМК ошибок):

Lones M.A. How to avoid machine learning pitfalls: a guide for researchers. arXiv:2108.02497v2, 6 Sep 2022 https://doi.org/10.48550/arXiv.2108.02497

Систематический обзор применения ИМК на основе сенсомоторных ритмов в постинсультной реабилитации

Fu J, Chen S, Jia J. Sensorimotor Rhythm-Based Brain–Computer Interfaces for Motor Tasks Used in Hand Upper Extremity Rehabilitation after Stroke: A Systematic Review. Brain Sciences. 2023; 13(1):56 https://doi.org/10.3390/brainsci13010056 (Open Access)

Радует, что речь не только о традиционном моторным воображении, но и о попытках совершения движения (attempted movements). Правда, результаты, получаемые с использованием этих двух моторных задач, не сопоставляются между собой.

Интенсивные тренировки как лекарство от депрессии, стресса и тревоги

Зонтичный обзор (систематический обзор обзоров), в котором были проанализированы 97 обзоров, в общей сложности покрывающие 1039 исследований с 128 119 участниками, показал высокую эффективность физической активности, в особенности высокоинтенсивных нагрузок, для снижения симптомов депрессии, тревоги и стресса.

University of South Australia researchers are calling for exercise to be a mainstay approach for managing depression as a new study shows that physical activity is 1.5 times more effective than counseling or the leading medications.

the review showed that exercise interventions that were 12 weeks or shorter were most the effective at reducing mental health symptoms

Exercise More Effective Than Medicines to Manage Mental Health
February 26, 2023
https://neurosciencenews.com/exercise-mental-health-22566/

Singh B, Olds T, Curtis R, Dumuid D, Virgara R, Watson A, Szeto K, O'Connor E, Ferguson T, Eglitis E, Miatke A. Effectiveness of physical activity interventions for improving depression, anxiety and distress: an overview of systematic reviews. British Journal of Sports Medicine, 2023 Feb 16 http://dx.doi.org/10.1136/bjsports-2022-106195

UPD: однако см. https://xn--r1a.website/bci_ru_chat/3704

Ученые записали активность мозга живого осьминога

Осьминоги – очень умные и сложно устроенные существа, эволюция когнитивной сферы которой шла совершенно иначе, чем у позвоночных. Тем интереснее исследователям представлялся вопрос о том, как же работает их мозг во время обычных дневных дел. Ученые из международной команды под руководством Окинавского института науки и технологий (OIST) смогли создать методику записи мозговой активности свободно перемещающегося осьминога и сопоставить некоторые поведенческие акты с мозговой деятельностью, чем делятся с научной общественностью на страницах журнала Current Biology.

Читать дальше:
http://neuronovosti.ru/uchenye-zapisali-aktivnost-mozga-zhivogo-osminoga/

#нейроновости
#нейрозоология
#осьминоги

Органоидный интеллект | Сегодня группа нейроученых из Johns Hopkins University выдвинула инициативу — создать сеть мыслящих органоидов мозга. Ее поддержал Карл Фристон. Frontiers сразу публикует манифест, пресс-релиз и др. сопровождающие тексты.

Цель — создать биологическую альтернативу ИИ, то есть систему, которая выигрывает у искусственных нейросетей по энергоэффективности и способности учиться [на нескольких примерах].

«Мы называем эту новую междисциплинарную область «органоидным интеллектом» (ОИ)», — сказал профессор Томас Хартунг. «Сообщество ведущих ученых собралось для разработки этой технологии, которая, как мы полагаем, откроет новую эру быстрых, мощных и эффективных биокомпьютеров».

Они предлагают создавать крупные структуры из органоидов, клеточных культур и интерфейсов мозг-машина. Планируют довести количество нейронов до 10 млн, применять редактирование генов, оптогенетику и разные технологии считывания/стимуляции.

В статье они подробно расписывают, как собираются все это реализовать, как будут поддерживать жизнь столь сложных систем, как обучать и проч. На бумаге — все гладко.

Я ожидал подобного давно, ибо логика органоидных технологий неизбежно толкает в эту сторону. Если можно вырастить часть мозга, то дальше вы прямиком идете к мысли соединять эти части, добавлять к ним сенсорные элементы (например, светочувствительные — для зрения), подключать их к компьютерам, обучать и так далее.

В этом может быть смысл с т.з. фундаментальных исследований. Насчет бросить вызов нейросетям в части “мышления” — сильно сомневаюсь. Кроме того, предвижу большие проблемы с этикой, 10 млн нейронов это уже вполне себе живое существо, sentient.

Впрочем, дождемся реакции экспертов.

Идея органоидного интеллекта в одной картинке. Краткое содержание главной статьи здесь, пресс-релиз здесь.

Гайд по промпт инжинирингу

Инженерия подсказок - это относительно новая дисциплина для разработки и оптимизации подсказок (они же промпты) с целью эффективного использования языковых моделей для широкого спектра приложений.

Навыки инженерии подсказок помогают лучше понять возможности и ограничения больших языковых моделей (LLM) и как следствие лучше понять генеративные нейросети, которые рисуют картинки.

Исследователи используют инженерию подсказок для улучшения возможностей LLM в широком спектре обычных и сложных задач, таких как ответы на вопросы и арифметические рассуждения. Разработчики используют инженерию подсказок для разработки надежных и эффективных методов подсказки, которые взаимодействуют с LLM и другими инструментами.

Мотивированные высоким интересом к разработке с использованием LLM, авторы создали новое руководство по разработке подсказок, которое содержит все последние статьи, учебные пособия, лекции, ссылки и инструменты, связанные с разработкой подсказок.

👀 Ссылка

Интеграция ИМК на моторном воображении и Overt Spatial Attention (OSA) paradigm

Парадигма явного пространственного внимания для интерфейсов мозг-компьютер была предложена группой Бина Хе (Bin He) пять лет назад. Они комбинировали ее интеграцию с обычным ИМК на моторном воображении уже в первом исследовании, а сейчас повысили их интеграцию.

Dylan Forenzo, Yixuan Liu, Jeehyun Kim, Yidan Ding, Taehyung Yoon, Bin He. Integrating simultaneous motor imagery and spatial attention for EEG-BCI control. bioRxiv, February 21, 2023 doi: https://doi.org/10.1101/2023.02.20.529307

Почему бы вместо ИМК не использовать айтрекер, авторы не объясняют. Глазные артефакты они, похоже, даже не отслеживали. В общем, какой-то очередной курьез -- при том, что Бин Хе профессор в Университете Карнеги Мелона, с 26 773 цитированиями по GS...

В начале статьи обнаружилась забавная опечатка: RAIN-computer interfaces ))

SPDNet: глубокая римановская сеть для "декодирования" ЭЭГ

От создателей самой популярной нейросети для ИМК shallow ConvNet (Schirrmeister et al. 2017).

Here we propose end-to-end EEG SPDNet (EE(G)-SPDNet), and we show that this wide, end-to-end DRN can outperform the ConvNets, and in doing so use physiologically plausible frequency regions.

Wilson D, Gemein LA, Schirrmeister RT, Ball T. Deep Riemannian Networks for EEG Decoding. arXiv, 30 Jan 2023 https://doi.org/10.48550/arXiv.2212.10426

И еще одна римановская сеть для "декодирования" ЭЭГ

More recently, a number of studies show the interest of the use of the Riemannian geometry in EEG classification. The idea is to exploit the EEG covariance matrices, instead of the raw EEG data, and use the Riemannian geometry to directly classify these matrices. This paper presents a novel Artificial Neural Network approach based on an Adaptive Riemannian Kernel, named ARK-ANN, to classify Electroencephalographic (EEG) motor imaging signals in the context of Brain Computer Interface (BCI).

Yacine F, Salah H, Amar K, Ahmad K. A novel ANN adaptive Riemannian-based kernel classification for motor imagery. Biomedical Physics & Engineering Express. 2022 Dec 30;9(1):015010
https://doi.org/10.1088/2057-1976/acaca2

Интересный, но длинный пост про выбор и подталкивание к нему в HCI: https://xn--r1a.website/gulagdigital/2024

И прилагающаяся к нему книжка:

Choice Architecture for Human-Computer Interaction

Когда же Цукерберг признает свой нейроинтерфейсный epic fail?

This is Meta’s AR/VR hardware roadmap for the next four years
During an internal presentation, Meta execs laid out plans for three new Quest headsets, AR glasses in 2027, and a ‘neural interface’ smartwatch.
By ALEX HEATH / @alexeheath
Mar 1, 2023
https://www.theverge.com/2023/2/28/23619730/meta-vr-oculus-ar-glasses-smartwatch-plans

[Примечание: Мета забанена в РФ]

Пересказывать очередную новость про планы Цукерберга мне лень, почитайте сами (и в ближайшие дни наверняка будет много пересказов), я лучше напомню предысторию ее "нейроинтерфейсной" составляющей.

Цукерберг впервые рассказал о том, что собирается сделать суперпупер нейроинтерфейс, еще в 2017 году -- тогда же, когда о своих нейроинтерфейсных планах объявил Илон Маск. Обещания Цукерберга были еще более фантастическими, чем у Маска -- он говорил, что благодаря его разработкам люди уже через несколько лет смогут общаться в соцсетях на дикой скорости без всяких хирургических операций. Однако ничего не получалось, и в 2019 году он купил за сумасшедшие деньги стартап CTRL Labs, разрабатывающий носимый на запястье электромиограф, позволяющий коммуницировать небольшими напряжениями мышц. И чтобы скрыть свой провал, начал называть этот девайс нейроинтерфейсом! (Об этой истории мы писали тут).

Но это еще было бы полбеды. В прошлом году он наконец показал, как коммуницировать при использовании этого "нейроинтерфейса" (по сути, упрощенного аналога "бионического" протеза). Зрелище было настолько маловпечатляющим, что эту часть цукерберговской демонстрации технологий СМИ практически не упоминали.

И вот теперь объявлена очередная дата -- 2027-й год. То есть ровно через 10 лет после начала этой эпопеи.

Что-то мне подсказывает, что и к 2027 году ничего из этой затеи не получится.

Вывод: одних лишь денег для создания нейротехнологий недостаточно. Что мы видим и на примере Илона Маска.

В 2017 году я организовал круглый стол под слегка провокационным названием "Нейрокогнитивные интерфейсы для больных и здоровых: реально ли обойти Маска и Цукерберга?" Я уже догадывался, куда все это идет, но, к сожалению, выступавшие эксперты провокацию не поддержали и говорили в основном о том, насколько сложнее заниматься интерфейсами мозг-компьютер в наших условиях. С чем я был совершенно согласен, но говорить хотелось о другом -- о том, не можем ли и мы найти свою дорогу. Этот разговор тогда не получился. Но с тех пор по крайней мере один из выступавших уже обошел если пока не Маска (который одну реально крутую штуку все-таки сделал -- робота для вшивания электродов в кору мозга), то Цукерберга уж точно...

ТАСС не был уполномочен заявлять

https://nauka.tass.ru/nauka/17177367
Специалисты нашли способ адаптировать нейроинтерфейс к работе с мозгом парализованного
2 МАР, 12:28

Вторая половина сообщения, начиная с цитаты из Анатолия Васильева, вполне корректная, а первая, до нее -- отсебятина от ТАСС. С журналистами мы эту половину текста не согласовывали (я ее вообще только сейчас увидел), и она весьма misleading ((( Заголовок тем более, но на дурацкие заголовки я уже давно перестал обижаться.

"Специально обученные люди несут несусветную хрень"...

Согласованный текст (спасибо работавшим с нами журналистам -- партнерам РНФ, а также Нейроновостям и лично Алексею Паевскому):

Лучше пытаться, чем воображать: предложен подход к управлению интерфейсами мозг-компьютер
2 марта 2023
http://neuronovosti.ru/luchshe-pytatsya-chem-voobrazhat-predlozhen-podhod-k-upravleniyu-interfejsami-mozg-kompyuter/

В гугле, отныне и (надеюсь) вовеки веков. Ура Вадиму Никулину, открывшему квазидвижения 15 лет назад!