Легендарный Суббарао Камбхампати привел, наверное, самый удачный пример в мире, отвечая на вопрос "почему люди так сильно верят, что языковые модели умеют рассуждать?"

Вот что он сказал:

"Самое сложное в оценке ризонинга – это то, что когда вы задаете мне вопрос, а я отвечаю, вы никак не сможете определить, додумался ли я до ответа или просто запомнил его.

Мой любимый пример – это вопрос про круглые крышки люков, который Microsoft любят задавать на своих собеседованиях. Самым первым людям, которые отвечали на этот вопрос, приходилось додумываться до ответа самим. Это был ризонинг.

Но потом вопрос стал настолько популярным, что стало невозможно понять, знал человек ответ на вопрос заранее или додумался до него. Аналогично для языковых моделей – мы не можем знать наверняка и никак не можем проверить, умеет ли модель рассуждать, или просто запоминает текст."

База.

Смотрите, какое симпатичное объяснение метода обратного распространения ошибки всего в одной гифке

Давайте разбираться, что тут происходит. Нам дана нейросеть с тремя слоями (layer), входной вектор X, предсказания, которые мы получили в ходе прямого прохода (Y_pred) и истинные метки (Y_target).

Перед нами стоит задача сделать шаг Backpropagation и обновить веса модели. Как мы это делаем? Считаем градиенты, конечно.

Сначала для третьего слоя. Здесь мы можем посчитать градиент обычным вычитанием (синий цвет), так как используем софтмакс и кросс-энтропийный лосс. Это наш ∂L / ∂z3. Чтобы с помощью этого градиента сосчитать, как нужно менять веса и biases, мы домножаем его на активацию, которая стояла после второго слоя (a2) + вектор из единиц. Так мы получим ∂L / ∂W3 и ∂L / ∂b3 (черный и оранжевый цвет), которые после и прибавялются с некоторым весом к weights, чтобы их обновить.

Для второго слоя все то же самое. Вот только ∂L / ∂z2 в этот раз посчитать вычитанием не получится. Придется сначала как бы сделать шаг назад по сети, то есть домножить полученный на прошлом шаге ∂L / ∂z3 на неизмененные пока веса третьего слоя и получить ∂L / ∂a2 (зеленое). Только потом мы можем посчитать ∂L / ∂z2 (синее), а дальше все по накатанной.

С третьим слоем все то же самое. Вот такой алгоритм, благодаря которому обучаются все нейросети (и LLM тоже). Тут, как (не)говорится, матричное умножение is All You Need. Вот почему способность GPU эффективно умножать матрицы играет такую ​​важную роль в развитии Deep Learning. Вот почему NVIDIA сейчас оценивается примерно в 1 триллион долларов.

P.S. Крайне полезно проделать это упражнение вручную с другими числами: не пожалеете. А если хотите больше узнать про алгоритм, читайте этот наш пост.

Это последний, обещаем

Правдивая история о том, как ученые подкалывают друг друга

«Найдено архивное видео, на котором Ян Лекун продвигает свертки в 90-х».

Лекун без внимания твит коллеги не оставил. Он прокомментировал:

«Нет, это я в окружении фанатов Илона Маска»

Архитектура таинственной Strawberry от OpenAI

Strawberry – тот самый мега-проект OpenAI, о котором слухи ходят уже год. Раньше он числился как Q*. СМИ писали, что в основе Strawberry aka Q* предположительно лежит метод STaR (self-taught reasoners). А теперь вот в сети завирусился твит некоего независимого исследователя, который завез свой прогноз на то, из каких подходов будет состоять модель.

Пересказываем и зашиваем в текст ссылки на все статьи:

1) Сложный роутинг запросов (так называемый Active Inference). Это когда ответ не всегда генерируется по одним и тем же правилам, а маршрутизируется в зависимости от длины/сложности/других факторов. Возможные модели: GoT, AoT, CoV и MCTS.

2) Агентный подход в планировании. Отдельная модель с условно-графовой архитектурой, которая составляет план действий для рассуждений главной модели. Возможно, на основе параллельного вызова функций и LDB.

3) Reasoning & Continuous Learning. Применяется, чтобы модель могла как бы исправлять и анализировать сама себя в рассуждениях непосредственно. Тут прогнозируется что-то типа гугловского Self Discover (может CLIN или MedAgent-Zero) + графовая RAG для ускорения и уточнения, как в LGGM.

4) Соединяем все это с помощью симуляции агентных сред. Это нужно для того, чтобы все перечисленные части "научились" взаимодействовать между собой и доучили друг друга в среде, похожей на реальную. Скорее всего, это будет нечто, вдохновленное DSPy и Agent Symbolic learning.

Самое сложное – последний пункт. Такие среды очень сложно масштабировать, а еще сложнее прокормить, потому что для действительно сильной модели понадобятся миллиарды сессий симуляции 💀