💬 Коллеги, всем привет! С вами Максим Абрамов, лидер команды «AIGW. Giga Knowledge», Центр исследований и разработки Сбера в Санкт-Петербурге.

❔ Как улучшить качество ответов GigaChat для ваших кейсов? Простой промт? Цепочка рассуждений ? Или новый метод Schema-Guided Reasoning (SGR)?

SGR — метод, который заставляет модель рассуждать по заранее определенной последовательности шагов.

Мы протестировали наш внутренний датасет по финансовой математике (согласованный с УМР, кстати 💐) и пришли к выводу, что GigaChat 2 MAX с промтом без просьбы порассуждать имеет качество ответов 53%, цепочка рассуждений повышает качество до 75%, а SGR до 78%.

Применить метод просто:
🔘Описать шаги, которые должна выполнить модель (например, выдели сущности из документа, составь и проверь гипотезы, сделай выводы и т.д.).
🔘Оформить описание в определенном формате (c Pydantic, примеры).
🔘Получить от модели структурированный ответ (пример).

✅ Наш вывод:
SGR будет полезен для моделей без рассуждений в сценариях, где важно качество, а не скорость ответа: решение математических задач, text2sql, классификация документов и др.

🤩 А примеры того, как внедрить SGR под ваши кейсы, уже разобраны в канале команды AIGW.GigaKnowledge. Подписывайтесь — там много практики, свежих идей и разборов про ИИ!

#justGenAI

🍔 Подписаться на новости КИБ