Серега @southfreebird параллельно с работой в Nebius с друзьями сделал крутой open-source проект!

Авторы: @southfreebird, @Olegbalakhnov и @zaringleb.

Ребята обучили и выложили в open-source VLA-модель на базе VLA-0 от Nvidia, только с backbone в 6 раз меньше (0.5B vs 3B в оригинальной работе), которая показывает success rate 94.1% на Libero benchmark (против 94.7% у оригинальной модели).

VLA (Vision-Language-Action) это модель, которая смотрит на картинку, понимает текстовую команду и сразу выдаёт действие для робота, типа «возьми кубик и положи справа».

Вообще порог входа в robotics ML всё ещё достаточно высокий, поэтому у ребят крутая цель: сделать в open-source воспроизводимые рецепты для файнтюна небольших моделей на небольшом количестве демонстраций.

Ссылка на блогпост и модель:
https://robot-learning-collective.github.io/vla-0-smol

Если интересно следить, ребята завели Discord:
https://discord.gg/XcZVY2kxj9

Ну и пишите, если будут вопросы!

#meme #agents

Ты: твой агент работает, в целом, не так как планировал, но функции свои выполняет.

Твой лид: Работает, не трогай!

Когда награда важнее архитектуры - вырезки из интервью с ген.директором Convergent Research и ex. сотрудником DeepMind.

Ниже представлено резюме, ещё одного интересного интервью с Адамом Марблстоуном: "Чего фундаментального не хватает ИИ в понимании мозга?"

Адам Марблстоун, генеральный директор Convergent Research и бывший научный сотрудник Google DeepMind в области нейробиологии, в интервью обсуждает ключевые различия между человеческим мозгом и современными системами ИИ. Основной вопрос, на который пытаются ответить: почему мозг обучается невероятно эффективно на небольшом количестве данных, в то время как даже самые крупные модели ИИ требуют гигантских объемов информации и все равно не обладают человеческими возможностями?

Далее указаны основные идеи, затронутые в интервью:

1. Главная позиция. RL и "Секретный соус" мозга – это не архитектура, а сложные функции вознаграждения.

Марблстоун выдвигает центральный тезис: современное машинное обучение фокусируется на архитектуре сетей (например, трансформеры) и алгоритмах обучения (обратное распространение ошибки), но упускает из виду самый важный компонент – сложные, эволюционно выработанные аналоги "функции потерь" или "функции вознаграждения".

Сейчас мы имеем "простые цели для обучения ИИ" - современные LM учатся на математически простых задачах, таких как "предсказать следующее слово". Это универсально, как-то масштабируемо, но неэффективно.

На деле, мы имеем более сложные цели для мозга. Эволюция, методом проб и ошибок за миллионы лет, встроила в мозг (точнее, в геном) свои "код-скрипты", этакий сложный набор конкретных правил и учебных программ. Эти правила говорят разным частям мозга, чему и когда учиться в процессе развития. Например, врожденные механизмы, которые заставляют младенца обращать внимание на человеческие лица или испытывать эмоции стыда/гордости в социальных ситуациях, являются частью этой "встроенной учебной программы". А тут мы уже обращаемся к тому, что хранит наш геном.

2. Амортизированный вывод и то, что на самом деле хранит геном?

Тут мы пришли к глубокому вопросу, который задавал Илья Суцкевер: как геном, который физически не может содержать информацию обо всем богатстве человеческого опыта, кодирует абстрактные цели и желания (например, "добиваться статуса в племени")?

Проблема: Эволюция не знала конкретно о социальных сетях, науке или бологах, но наш мозг учится стремиться к успеху, быть лучшим в выбранных областях.
Решение через "обучение с моделью": Марблстоун ссылается на теорию Стива Бёрнса. Мозг можно условно разделить на две взаимосвязанные подсистемы:
1. "Рулевая" система: Более древние, инстинктивные части мозга лимбическая система, мозжечок, ствол мозга. Они содержат врожденные эвристики и базовые функции вознаграждения, например, распознавание угроз, базовые эмоции.
2. "Обучающаяся" система: В основном неокортекс - кора головного мозга, который строит сложную модель мира.
А также существует механизм связи. Кора головного мозга и связанные с ней области, например, миндалина, учатся предсказывать реакции "рулевой" системы. Так, нейроны, которые активируются при мысли о возможном неодобрении со стороны авторитетной фигуры, связываются с врожденными цепями, вызывающими стыд или тревогу. Таким образом, эволюция запрограммировала не конкретные цели, а процесс – механизм, который связывает обучающиеся представления о мире с врожденными базовыми ценностями.

3. Модельное и немодельное обучение как Model-based vs. Model-free RL в мозге.

Марблстоун объясняет, почему мозг, вероятно, не использует чистый "немодельный" подход, как в некоторых системах ИИ, а полагается на внутреннюю модель.

Немодельное обучение: Система запоминает, какие действия в каких состояниях приводят к вознаграждению, без понимания внутренних механизмов мира. Это похоже на выработку рефлекса.
Модельное обучение: Система строит внутреннюю симуляцию мира, чтобы планировать и оценивать последствия действий. Этакий поиск в глубину и ширину, мы не только получаем сию минутное удовольствие, но и смотрим к чему это приведёт в будущем.

Продолжение...

Вывод для мозга. Поскольку эволюции важно было обучать сложному поведению в постоянно меняющейся среде, а "переобучение" на ограниченном опыте могло быть смертельно опасным, мозг, скорее всего, полагается на модельное обучение и обобщение. Это делает его более гибким, чем системы, которые просто оптимизируют сию минутное вознаграждение.

4. Аппаратное обеспечение мозга: ограничение или преимущество?

Обсуждается, являются ли биологические ограничения мозга (медленные нейроны, шумные сигналы) его слабостью.

Контраст с ИИ. Современные компьютеры работают с высокой точностью и скоростью, что идеально для обратного распространения ошибки и градиентного спуска.

Метафора Марблстоуна: Биологический мозг – это не "аналоговый компьютер" , а скорее "молекулярная фабрика". Его "вычисления" – это физико-химические процессы, причём энергоэффективные, тесно переплетенные с телом, метаболизмом и развитием. Эта интеграция может быть не ограничением, а ключевым элементом, обеспечивающим эффективное, контекстно-зависимое обучение, которое трудно воспроизвести в цифровых системах.

Текущие системы обучения же заточены под математический аппарат в лице метода обратного распространения ошибки и т.п.

К чему все это было?

В интервью красной нитью прослеживается необходимость развития нейробиологии, как средства прогресса в создании более разумного ИИ. Без понимания того, как работает мозг, ИИ может упереться в потолок, преодолеваемый лишь масштабированием и инженерией вокруг, но не качественным скачком технологии.