#события 4 декабря Джефф Хокинс и команда Numenta проведут онлайн-симпозиум по запуску нового ИИ-фреймворка Thousand Brains Project, созданного на основе 20 лет исследований и множества научных публикаций.

Ранее я уже писал немного про Хокинса на Хабре. Если очень кратко, то это основатель той самой Palm, которая выпускала одни из первых массовых карманных компьютеров. В начале двухтысячных после продажи Palm и еще одной компании (Handspring), основал в Калифорнии небольшой нейробиологический институт, а еще через пару лет компанию Numenta, в рамках которой велись все дальнейшие исследования и разработки. Главной целью Хокинс поставил поиск путей к сильному ИИ через глубинное изучение нейробиологии.

Возможно вам попадалась в прошлом его потрясающая книга Об интеллекте, написанная и переведенная на русский как раз в те годы основания Numenta. После этого в 2021 году он также собрал все обновленные знания в книге A Thousand Brains: A New Theory of Intelligence, предисловие к которой написал Ричард Докинз, а Билл Гейтс включил в свой список 5-и лучших книг 21 года. На русском она вышла совсем недавно и называется «1000 мозгов. Новая теория интеллекта».

Главное отличие TBP от классических нейросетей (включая передовые LLM) в том, что он строится на многолетнем изучении нейробиологии и поиске кортикальных алгоритмов. Подходы TBP основаны на сенсо-моторном взаимодействии с миром, так как это делает мозг человека и большинства животных.

В ближайшее время планирую опубликовать на Хабре обзор самой теории и ее предыстории, а также перевести официальную документацию по проекту. Все обновления, конечно, будут на канале ✌🏻

#книги Дочитал потрясающую книгу Макса Беннета «A Brief History of Intelligence: Evolution, AI, and the Five Breakthroughs That Made Our Brains».

Книга разбита на пять блоков, каждый из которых описывает важную ступень в эволюции интеллекта:

✨ Breakthrough #1: Steering and the First Bilaterians
Вы никогда не задумывались, почему у нас есть осевая симметрия, а не радиальная как, скажем, у медуз? Оказывается, именно так нашим очень далеким предкам, вроде небольших червей, было проще управлять телом. Всё о чем нужно было «думать» — это двигаться вперед, влево или вправо! Двигайся в сторону «хорошего» и избегай «плохого». Так и была устроена одна из первых нервных сетей.

✨Breakthrough #2: Reinforcing and the First Vertebrates
В более сложном окружении с растущей конкуренцией нужно уметь не просто ситуативно реагировать на сигналы, но и постепенно учиться распознавать паттерны во времени и пространстве, то есть строить модель мира. И стремиться через это к своим «целям» не только исходя из текущей картины, но и того как устроено пространство вокруг и что может случиться дальше.

✨Breakthrough #3: Simulating and the First Mammals
Если вы мышь, которая находится на развилке лабиринта, вам нужно принять решение. И здесь появляется одно из главных изобретений эволюции мозга. Что если не просто действовать в пространстве на основе модели, а уметь с ее помощью проиграть в голове разные сценарии будущего и действовать уже на основе оценки результатов этих вариантов?

✨Breakthrough #4: Mentalizing and the First Primates
Большинство животных существует в одиночестве. Но если вы живете большой стаей, то вам нужно учиться понимать своих «близких», то есть строить модель не только внешней среды, но и модель внутреннего мира другого существа. Понимать, что он знает, какие у него намерения, в каком состоянии он сейчас находится или даже будет находиться в будущем.

✨Breakthrough #5: Speaking and the First Humans
Наш мозг почти ничем глобально не отличается от мозга приматов. Язык — одна из тех способностей, которая позволяет нам обмениваться своими моделями мира. Причем не только фактическими, но и результатами симуляций! И это создает «кембрийский взрыв» возможностей. Теперь вам не обязательно получать опыт непосредственно, вы можете узнать об этом из опыта другого человека.

В книге очень много отсылок к экспериментам и теориям. Особенно приятно было увидеть среди них Павлова и Маунткасла. Много качественной содержательной графики. На обороте есть ревью Хоккинса, где он говорит, что «если бы эта книга попалась ему в самом начале пути, то он сэкономил бы массу времени». Thousand Brains Project также включили ее в свой список литературы. Очень рекомендую к прочтению ✌🏻

Сам Макс Беннет занимается AI-стартапом и помимо книги, публиковал несколько научных статей, в том числе по теме свой книги и непосредственно по теме канала. На мой взгляд, это отличное сочетание научной и предпринимательской деятельности, к которой я сам стремлюсь.

#книги На праздниках под треск камина погрузился в изучение фантастической книги-альбома с рисунками Сантьяго Рамона-и-Кахаля (1852—1934) — «The Beautiful Brain».

Рамон-и-Кахаль (двойная фамилия по испанской традиции — по отцу и матери) с детства был одержим рисунком и фотографией. Его отец был доктором и постепенно вдохновил поступить сына в медицинскую школу. Развитие микроскопии и клеточной теории в те годы, выводило гистологию на совершенно новый уровень, и Кахаль выбрал ее в качестве основного направления исследований. Начав еще в юности с подготовки анатомических иллюстраций для преподавательской деятельности отца, Кахаль и тут совместил две свои главные страсти — визуальное искусство и научные поиски, создавая детальные рисунки к своим статьям.

В 1887 году он отправился в Мадрид к своему другу, только что вернувшемуся из Парижа, где тот изучил передовую технику окрашивания клеток итальянского гистолога Камило Гольджи (впоследствии Кахаль и Гольджи получат Нобелевскую премию по физиологии или медицине в 1906-м). Техника впервые позволяла получить необычайно контрастные границы отдельных нейронов. Этот момент положил начало главному вектору жизни ученого.

За десятки лет работы Рамон-и-Кахаль создал около трех тысяч иллюстраций, бесчисленное множество научных статей (большая часть которых была посвящена именно нервной ткани), а также несколько книг, заложив тем самым основу современной нейронауки.

Ученые в то время склонялись к ретикулярной теории, по которой тела нейронов были физически соединены между собой, образуя непрерывную ткань. Именно Кахаль выдвинул нейронную доктрину, рассматривающую каждый нейрон как отдельную клетку, которая через шипики (ранее считавшимися погрешностью метода окрашивания) устанавливает связь с другими нейронами. Кахаль также выдвинул принцип динамической поляризации, по которому нейрон получает входной сигнал от других нейронов через дендриты и передает его дальше через аксон.

Сама книга-альбом состоит из вводных статей и 80 рисунков Кахаля, разбитых на четыре раздела — Cells of the Brain, Sensory Systems, Neuronal Pathways и Development and Pathology. Кахаль помимо срезов нервной системы, зарисовывал и другие виды тканей. Его любимым объектом изучения, к примеру, была сетчатка глаза (представленная как раз в разделе Sensory Systems).

Один из авторов книги абсолютно оправданно, на мой взгляд, сравнивает вклад Кахаля в науку с Дарвином и Пастером. Практически все его рисунки актуальны и по сей день. А учитывая то, что каждый рисунок дополнен комментариями нейробиолога, книга читается как современный учебник. Подавляющее число гипотез, которые выдвинул Кахаль, получили научное подтверждение в дальнейшем. Свой талант он проявил также в разработке первых методов цветной фотографии.

На обложке книги представлен один из рисунков Кахаля, иллюстрирующий клетку Пуркинье (по имени Яна Эвангелисты Пуркине) — один из видов нейронов мозжечка человека.

#исследования Несмотря на то что канал совсем не про мейнстрим-подходы, вроде LLM, а скорее наоборот про мысль, что всё это — прекрасные вещи, но вряд ли путь к сильному ИИ; некоторые темы из мира глубокого обучения все же актуальны в разрезе этого вопроса. Таковым стало выступление Михаила Бурцева — «Learning Cellular Automata with Transformers».

Тема клеточных автоматов с ранних лет очаровывала меня. В статье и прикрепленном докладе, пытаясь понять, происходит ли абстрагирование внутри LLM, Михаил использует одномерный клеточный автомат как простейшую модель мира, и обучает трансформер предсказывать следующие состояния.

Казалось бы, что может быть еще проще? Клеточный автомат — это то что можно «рассчитать» с ребенком на салфетке. Автор показывает, что модель в целом справляется с этой задачей неплохо, но никогда не достигает предельной точности, особенно если мы просим прогнозировать ее хотя бы на несколько шагов вперед. А ведь это простейшая и полностью детерминированная бинарная система.

Примерно то же самое проделывает Стивен Вольфрам в своей статье «Can AI Solve Science?». И приходит к следующим выводам:

«Мы видим то, что и ожидали: пока поведение достаточно простое, сеть в большинстве случаев предсказывает правильно. Но когда поведение становится более сложным, модель справляется уже не так хорошо. Она все равно зачастую делает это «примерно правильно» — но не в деталях».

При этом, ни размер архитектуры, ни объем или глубина обучения, принципиально не меняют картину.

#исследования Хорошее дополнение к прошлому посту — выступление Андрея Кузнецова (его канал — @complete_ai) «Можно ли научить модель text-to-video физике?».

Он разбирает статью «How Far is Video Generation from World Model: Physical Law Perspective» от команды Bytedance (китайский холдинг, который владеет TikTok). Ребята сделали также хороший лендинг-эксплейнер для публикации и выложили код.

Исследователи пытаются понять, насколько генеративные модели способны «ухватить» законы физики и качественно их воспроизводить в дальнейшем. Даже передовые модели вроде Sora до сих пор не могут похвастаться этим.

Для этого они написали простейший двумерный симулятор физики. И сгенерировали большую выборку коротких видеороликов, на которых происходят элементарные физические взаимодействия, вроде столкновений, падений и т.д.

Модель ожидаемо демонстрирует самые общие закономерности, но постоянно ошибается, галлюцинирует и показывает полное «непонимание» даже самых простых законов, вроде поступательного движения или постоянства объектов, спонтанно разворачивая катящийся при горизонтальном движении круг в обратном направлении или превращая круг в квадрат и обратно.

Генеративные модели потрясающе себя показали на статичных изображениях, но видео — это переход «zero to one», т.к. у нас появляется компонента времени, то есть проявление причинно-следственных связей, продиктованных законами физики. И для этого модели нужно иметь хотя бы возможность перемещения в среде, если мы говорим о трехмерном пространстве. А это уже сенсомоторное действие, т.к. каждый акт движения изменяет проекцию сцены и понимание положения в пространстве. И далее — взаимодействовать с объектами. Как это делает, к примеру, команда Thousand Brains.

Мы с детства начинаем разбираться в модели мира не потому что «сидим в углу комнаты» и наблюдаем, а через сенсомоторное взаимодействие. Мы понимаем «смысл» веса и инерции через приложение к предметам разных усилий. Каким образом, к примеру, без этого можно понять «по видео» как некий шар соударится с другим при одинаковых размерах, если вы не «попробовали покатать или поднять их»?

#события 13 февраля в 18:30 в рамках лектория Нейрокампуса пройдет первая в сезоне лекция, посвященная нейронаучным итогам прошедшего года.

Научные журналисты, создатели телеграм-канала «Новости нейронаук и нейротехнологий» Алексей Паевский и Анна Хоружая расскажут о самых значимых открытиях в области нейронаук в 2024 году.

Для живого посещения необходимо зарегистрироваться до 13 февраля 12:00 и иметь с собой паспорт. Также будет доступна онлайн-трансляция на VK Видео.

Хорошее #видео «A Surprising Way Your Brain Is Wired» от Артема Кирсанова, про баланс локальных кластеров и глобальных связей в сетях.

Если связать каждый элемент сети со всеми остальными, то, с одной стороны, это удобно и можно в один шаг передать куда угодно информацию. С другой стороны, крайне затратно в количестве соединений или вычислений. Кроме того, бо́льшая часть этих соединений никогда не будет использована. К слову сказать, новорожденный мозг сначала имеет избыток связей, но со временем те что не передают сигналы — редуцируются.

Намного эффективнее соблюдение баланса между кластерами сильно связанных элементов и глобальными связями между этими кластерами.

#события 19 февраля в 19:00 в центре «Архэ» пройдет лекция Константина Анохина «Мозг: итоги 2024 года». Речь в первую очередь пойдет о связи нейронаук и искусственного интеллекта.

«В 2024 году было опубликовано около 550 тыс. статей о мозге и его функциях. После краткого обзора статей на эту тему в ведущих научных журналах группы Nature, Science и Cell разберем подробнее работы, составляющие один из главных трендов 2024 года — мозг и ИИ.

Рассмотрим, какие ранее неизвестные стороны работы мозга раскрывают методы искусственного интеллекта, какие новые понимания принципов работы мозга можно вынести из принципов работы искусственных нейронных сетей, и что нового для создания таких сетей приносят знания о биологическом мозге»

Посетить ее можно будет как вживую, так и в виде онлайн-трансляции. Мероприятие бесплатное, но можно купить билет с благодарностью.

По результатам прошедшей лекции Константина Анохина составил конспект, в котором привел и разобрал все ссылки на упомянутые статьи и технологии. А также привел ссылки на все интерактивные демонстрации.