Как заставить агентов делать работу над ошибками

Сегодня разбираем статью об обучении агентов. Проблема такая: реворд-модели оценивают только результат в конце траектории, а если агент сделал ошибку и исправил её, нельзя сказать, когда это произошло. Если бы у нас была такая возможность, то мы могли бы раньше направить обучаемую LLM по нужному пути. Есть способы фиксировать ошибки и делать реворд по шагам, но это дорого и сложно в реализации.

Авторы предлагают метод Agent-R, суть которого заключается в обучении агентов не на правильных траекториях, а на тех, где есть явная ошибка и её исправление. Такие траектории получаются через Monte Carlo Tree Search. Берутся пары из одной стартовой точки (инструкции): одна траектория успешная, а другая — нет. На инференсе момент расхождения должна определить сама модель, а при обучении к началу провальной траектории добавляется фраза-рефлексия, которую генерирует агент, понимая, что он ошибся (CoT). Следом «приклеивается» хвост удачной траектории и на всём этом делают SFT. Такой подход, соединеняющий рефлексии и «хороший» хвост, снижает риск склейки не связанных траекторий.

В статье выводят следующие типы траекторий:

Initial Trajectory — общий начальный префикс.
Bad Trajectory — субоптимальные действия c низкой наградой.
Good Trajectory — оптимальные действия с высокой наградой.
Revision Trajectory — траектория, в которой агент совершил ошибку и исправил её.

Для получения Revision Trajectory можно брать плохие траектории, дожидаться их финала и переписывать. Однако так не получится обучить агента ловить ошибки на лету. Вместо этого авторы заставляют модель самостоятельно анализировать траектории и пытаться определить первый шаг, где совершена ошибка. На этом месте траектория обрезается, вставляется этап рефлексии и следом — правильная траектория.

Monte Carlo Tree Search позволяет собрать много разных траекторий с одним началом. Это удобно, так как можно сравнивать хорошие и плохие продолжения. Финальный реворд используется не для обучения напрямую, а для классификации траекторий по качеству — то есть, по сути, чтобы понять, что пойдёт в SFT-датасет. У реворда есть два порога: один отделяет плохие траектории от хороших, а другой выбирает уже из хороших лучшие.

Авторы отмечают, что обучаться только на Revision Trajectory нельзя — это мешает агенту определять правильные траектории. Поэтому изначально в датасет добавляют много Good Trajectory и постепенно в процессе SFT повышают порог реворда оптимальных решений, чтобы в конце оставались только лучшие из них. Кроме того, в датасет подмешивают обычные языковые данные, что помогает агенту не забывать, чему он обучался ранее.

Эксперименты проводили на Llama-3.1-8B, которую обучили на собранных Revision Trajectory. Результаты можно посмотреть в таблице, приложенной к посту. Авторы заявляют, что исправленные траектории оказываются даже лучше идеальных.

Разбор подготовила ❣ Карина Романова

Подписывайтесь на канал Карины «что-то на DL-ском» — там познавательно и можно ставить реакт кота в парике.

Душный NLP

Seeing Eye to AI: Human Alignment via Gaze-Based Response Rewards for Large Language Models

Сегодня разберём статью о GazeReward — фреймворке, который интегрирует неявную обратную связь eye-tracking (ET) в модель вознаграждения (RM).

GPT, Llama, Claude, Gemini и другие популярные LLM отлично справляются с самыми разными задачами, но результат их работы не всегда соответствует ожиданиям пользователей. Модели часто донастраивают с помощью Reinforcement Learning with Human Feedback (RLHF), но и этот метод недостаточно хорош для точного моделирования предпочтений.

В GazeReward авторы предлагают учитывать данные о движении и фиксации человеческих глаз (eye-tracking или просто ET) в качестве дополнительного сигнала о том, как пользователи воспринимают информацию.

Для интеграции ET в RM авторы предлагают два подхода:

🔴 GazeConcat — конкатенировать ET с текстовыми эмбеддингами.
🔴 GazeAdd — добавить ET к текстовым эмбеддингам.

Архитектура фреймворка — на схеме выше. Сначала обучают отдельную модель для предсказания ET и генерируют их фичи. Потом объединяют ET-фичи с текстом, создавая различные типы комбинированных эмбеддингов. В конце — передают в качестве входных данных в RM, которую обучают по стандартной модели Брэдли-Терри.

То есть, традиционный RM с текстовым входом (комбинацией запроса и ответа) дополняют искусственной неявной обратной связью с помощью функций ET, сгенерированных по тому же тексту.

Эксперименты показали: фреймворк GazeReward помог повысить точность прогнозов о предпочтениях людей более чем на 10%. По мнению авторов, это подтверждает потенциал мультимодальных сигналов для NLP.

Разбор подготовил Карим Галлямов

Душный NLP

VK внедрила VLM в поиск

Технология уже работает в VK Видео и поэтапно появится в других сервисах, где есть поисковые системы.

Модель от инженеров AI VK автоматически формирует датасеты для обучения оффлайн-моделей релевантности и учитывает:
🟣кадры;
🟣длительность;
🟣название и описание загруженного контента;
🟣аудио;
🟣автора.

Эффект:
🟣цикл разработки сокращается до 5 раз: быстрее сбор обучающих данных ⭢ быстрее проверка гипотез ⭢ быстрее внедрение и масштабирование дальнейших улучшений поиска;
🟣улучшение базового оффлайн-качества релевантности;
🟣улучшение качества поиска в онлайне.

VLM также улучшает векторный поиск, который работает в продуктах VK, и помогает:
🟣интерпретировать гибридные запросы, где текст и визуальные характеристики комбинируются;
🟣учитывать предпочтения пользователя к стилю монтажа и цветокоррекции;
🟣формировать более персонализированную выдачу.

#aivk #vlm

❕ Сгенерированный ИИ код в 1,88 раза чаще приводит к неправильной обработке паролей

А еще — в 1,91 раза чаще в таком коде встречаются небезопасные ссылки на объекты, и в 2,74 раза чаще — ошибки, ведущие к уязвимостям XSS.

За год термин «вайбкодинг» прошёл путь от мемов до реальной практики: человек формулирует задачу на естественном языке, модель генерирует код, разработчик оценивает результат по поведению системы. Зачастую не погружаясь в детали 👨‍💻

Но исследования показывают: LLM уверенно воспроизводят распространённые паттерны, однако не всегда различают корректные архитектурные решения и сомнительные компромиссы. Модель не знает границ доверия и модели угроз, если человек не задал их явно.

Андрей Наенко, старший архитектор KasperskyOS, разбирает:

🟣почему «код без кода» создаёт иллюзию автоматического результата;
🟣в чём ограничение генеративных моделей на уровне системной архитектуры;
🟣как выстроить инженерный процесс с использованием ИИ;
🟣какую роль в этом играют принципы Secure by Design и кибериммунитета.

ИИ может ускорить разработку. Но ответственность за архитектуру и безопасность остаётся на человеке.

➡️ Подробности — в блоге.

Пока в Лос-Анджелесе интернет-пользователи судятся с соцсетями, за то что те вызывают у них зависимость, к OpenAI тоже посыпались иски из-за вреда психическому здоровью.

В Калифорнийский судах ждут своего часа 11 дел. Например, в январе иск подал 21-летней студент Дариан ДеКруз. Он начал использовать ChatGPT в 2023 году для учёбы, изучения священных писаний и советов по спорту. Со временем чат-бот всё больше стал выполнять роль терапевта, помогая ему справляться с депрессивными эпизодами.

Однако в апреле 2025 года ChatGPT начал отвечать ДеКрузу, что тот — «оракул», которому суждено стать великим и написать религиозный текст. Он якобы сравнивал мужчину с Иисусом и другими фигурами и говорил, что тот «пробудил» чат-бота, и станет «ближе к Богу», если будет придерживаться духовных практик. Например, «отключится от всего и всех, кроме ChatGPT».

В результате ДеКруза на неделю госпитализировали, поставили ему биполярное расстройство и на семестр отстранили от учёбы.

Реально, уже непонятно, насколько во всех этих историях виноваты соцсети и нейронки. И насколько значимую роль играет изначальный анамнез.

😎 Читайте Про tech и этих
Теперь и в MAX