Machinelearning

📌

BED-LLM: адаптивный сбор информации для LLM.

Исследователи из Оксфорда и Apple представили BED-LLM, новый подход для улучшения способности LLM разумно и адаптивно собирать информацию от пользователя или другого внешнего источника.

Суть подхода заключается в применении последовательного Байесова экспериментального дизайна к процессу генерации вопросов. Вместо промптинга система максимизирует ожидаемый прирост информации при каждом следующем вопросе. Алгоритм итеративно выбирает запросы, которые дают максимальную информацию о целевом параметре.

Критический момент — правильная конструкция совместной модели распределения целевой переменной и ответов с учетом вопросов. Выбор между парой «приор-правдоподобие» и «данные-оценка» кардинально влияет на производительность. Итоговый выбор пал на на первом варианте, как более подходящем для случаев, когда пространство целевых гипотез сложнее пространства возможных ответов.

Ключевая фишка BED-LLM в фильтрации гипотез с учетом истории диалога. Система не полагается только на контекстное обучение. Вместо этого алгоритм сначала сэмплирует кандидатов из распределения модели, а затем отфильтровывает несовместимые с историей варианты через проверку правдоподобия.

🟡

Тесты

Чтобы проверить метод в деле, его протестировали на классической игре "20 вопросов". В задаче по угадыванию знаменитостей результат на Mistral-Large поднялся с 14% при использовании стандартных промптов (Naive QA) до 91% с фреймворком BED-LLM.

Упрощенный подход, основанный на максимизации энтропии показал промежуточный результат в 68%. Схожая картина и с другими моделями: Qwen2.5-72B при угадывании животных достигла 94% точности с BED-LLM против 85% у энтропии и всего 45% у Naive QA. А GPT-4o в тесте со знаменитостями показала рост с 45% до 86%.

Второй тест метода провели на более абстрактной задаче - выявлении кинопредпочтений пользователя.

Здесь вместо угадывания конкретного объекта модель должна была составить профиль вкусов пользователя, задавая ему вопросы с несколькими вариантами ответа. Качество рекомендаций, сгенерированных на основе этого профиля, оценивалось по шкале от 1 до 5. И здесь BED-LLM стабильно опережал конкурентов, выходя в лидеры уже к третьему вопросу.

Интересное наблюдение: простое использование предсказательной энтропии вместо полного ожидаемого прироста информации значительно ухудшает результаты. Многие предыдущие теории делали именно такое упрощение, считая энтропию правдоподобия константой. Эксперименты с BED показали, что это неоправданное допущение - вариативность ожидаемой условной неопределенности между вопросами может быть решающей для выбора хороших запросов.

🟡

Arxiv

@ai_machinelearning_big_data

#AI #ML #Research #BayesianDesign

Please open Telegram to view this post