​​Факт-чекинг для LLM: Может ли дообучение на новых данных вызвать галлюцинации?

📚 Основные моменты:
- Дообучение больших языковых моделей (LLM) на новых фактических данных может привести к генерации фактически неверных ответов, известных как галлюцинации.
- Контролируемые исследования в задачах вопросов и ответов (QA) показывают, что LLM сложно быстро усваивать новую информацию через дообучение.
- Примеры новых данных усваиваются значительно медленнее, чем те, которые соответствуют уже известным модели знаниям.

🔍 Результаты:
- По мере постепенного усвоения новой информации через дообучение, склонность LLM к галлюцинациям линейно возрастает.
- Лучшие результаты достигаются, когда модель усваивает большинство известных примеров, но только несколько новых.
- Введение слишком большого количества новой информации во время дообучения может снизить общую точность модели.

⚠️ Выводы:
- Необходимо тщательно балансировать количество новых данных при дообучении, чтобы предотвратить галлюцинации.
- LLM в основном приобретают фактические знания через предобучение, а дообучение оптимизирует использование этих знаний.

🤖 Детали исследования:
- Исследование включает смесь известных и новых примеров во время дообучения.
- Точная категоризация примеров на известные и новые с помощью структуры SliCK помогает оценить поведение модели при обучении.

#LLM #МашинноеОбучение #AIResearch #Дообучение #Галлюцинации

🔗 Читать полную статью