Рассуждений будет больше — но к лучшему ли?

В «Чате с Алисой и YaGPT» появилась кнопка «Рассуждать» — с ней к каждому ответу модель приводит свой ход мыслей. Пока это beta-версия, в сутки можно задать не более 20 вопросов. Зарегистрироваться в тесте можно на странице YandexGPT 5.

Попробовали модель на уже привычных задачах, и, честно говоря, впечатления смешанные.

🤖 Перекрёстные тесты дали интересный результат — оказывается, с рассуждениями модель может ошибаться даже больше, чем без. Я уже привычно спросил, сколько суббот было в ноябре 2024 года, и получил в ответ немного математики (см. рис. 2). При этом подсчёт оказался неправильным.

Отправил тот же запрос без рассуждений и получил правильный ответ со схожей логикой, но «на пальцах». Забавно, GigaChat при просьбе рассуждать пошагово использует «алгоритм Зельке», тогда как YandexGPT с активным «Рассуждать» применяет «формулу Зеллега» и ошибается.

Оказалось, что обе модели используют один метод — Zeller's Congruence (формулу конгруэнтности Зелля). При этом Яндекс то ошибается в рассуждениях, то с лёгкого пинка начинает отвечать правильно. Вот уж действительно, горе от ума.

💻 Рассуждения прекрасно работают с поиском в интернете. Так что теперь от «Чата с Алисой и YaGPT» можно получить какие-никакие, а аналитические справки в духе, так сказать, неглубоких исследований (см. рис. 3-4). Вставил здесь кусок в примерно треть от финального вида справки, источники сервис приложил в конце.

Ссылок сервис собирает немного, что видно по рассуждениям (по моему запросу про СИМ собрал всего четыре). Но это явно шаг в нужном направлении. Недавно мы как раз вспоминали «Нейроисследования», которые Яндекс пока не представил. Завтра должна пройти большая конференция Алисы и Умных устройств — ждём связанных анонсов?

@anti_agi