AI для Всех
Началась следующая сессия, я буду делать заметки, и под конец сессии опубликую пост целиком
Структурированные Выводы для Надежных Приложений на базе ИИ
Авторы: Элети Атти и Мишель Покрасс
---
В мире искусственного интеллекта (ИИ) важно обеспечить надежность и структурированность выводов больших языковых моделей (LLM) для их интеграции с внешними системами. Однако, стандартные выводы LLM часто бывают непредсказуемыми и неструктурированными.
Проблема и Решения
В июне 2023 года OpenAI представила функцию function calling, но она не полностью решила проблему надежности. На Developer Day был анонсирован JSON mode, который позволял выводить данные в формате JSON, однако сложности с вложенными структурами остались.
В августе 2024 года OpenAI внедрила Structured Outputs в API, позволяя разработчикам задавать схему ожидаемого вывода. Это значительно повысило точность и соответствие формата данных без необходимости сложного проектирования запросов.
Как Это Работает
1.Структурированные Выводы: с помощью маскировки токенов ограничивается словарь, доступный модели, что предотвращает генерацию нежелательных токенов.
2. Поддержка Грамматик:
- Регулярные выражения подходят для простых схем.
- Контекстно-свободные грамматики (CFG) позволяют обрабатывать более сложные и вложенные структуры JSON.
3. Кэширование Индексов: Для ускорения обработки индексов используются кэшированные значения.
4. Дизайн API:
- Предпочтение отдается явным схемам вместо неявных предположений.
- Строгие Свойства: Дополнительные свойства по умолчанию запрещены, все основные свойства обязательны.
Исследования и Улучшения
Для повышения качества выводов модели обучались на вложенных схемах JSON, что улучшило семантическое понимание и снизило появление лишних символов, таких как
Внедрение Structured Outputs значительно повысило надежность и точность выводов LLM, облегчая интеграцию ИИ с различными приложениями и системами. Это укрепляет доверие к ИИ-решениям и открывает новые возможности для их использования в будущем.
Авторы: Элети Атти и Мишель Покрасс
---
В мире искусственного интеллекта (ИИ) важно обеспечить надежность и структурированность выводов больших языковых моделей (LLM) для их интеграции с внешними системами. Однако, стандартные выводы LLM часто бывают непредсказуемыми и неструктурированными.
Проблема и Решения
В июне 2023 года OpenAI представила функцию function calling, но она не полностью решила проблему надежности. На Developer Day был анонсирован JSON mode, который позволял выводить данные в формате JSON, однако сложности с вложенными структурами остались.
В августе 2024 года OpenAI внедрила Structured Outputs в API, позволяя разработчикам задавать схему ожидаемого вывода. Это значительно повысило точность и соответствие формата данных без необходимости сложного проектирования запросов.
Как Это Работает
1.Структурированные Выводы: с помощью маскировки токенов ограничивается словарь, доступный модели, что предотвращает генерацию нежелательных токенов.
2. Поддержка Грамматик:
- Регулярные выражения подходят для простых схем.
- Контекстно-свободные грамматики (CFG) позволяют обрабатывать более сложные и вложенные структуры JSON.
3. Кэширование Индексов: Для ускорения обработки индексов используются кэшированные значения.
4. Дизайн API:
- Предпочтение отдается явным схемам вместо неявных предположений.
- Строгие Свойства: Дополнительные свойства по умолчанию запрещены, все основные свойства обязательны.
Исследования и Улучшения
Для повышения качества выводов модели обучались на вложенных схемах JSON, что улучшило семантическое понимание и снизило появление лишних символов, таких как
\n.Внедрение Structured Outputs значительно повысило надежность и точность выводов LLM, облегчая интеграцию ИИ с различными приложениями и системами. Это укрепляет доверие к ИИ-решениям и открывает новые возможности для их использования в будущем.
👍18❤2
Мощные небольшие модели с помощью дистилляции
Дистилляция моделей — это путь от прототипа к масштабированию. При использовании крупных моделей, таких как GPT-4o, разработчики сталкиваются с проблемами: время отклика, лимиты на запросы и высокая стоимость. Например, GPT-4o набирает 88% на MMLU, а его уменьшенная версия GPT-4o Mini — 82%. Но важен ли этот показатель для реальных задач?
Дистилляция: узкий фокус вместо широкого интеллекта
Большие модели часто превосходят по академическим метрикам, но такие тесты не всегда отражают реальные потребности пользователей. Здесь на сцену выходит дистилляция: не нужн широкий интеллект, а только узкий. Мы обучаем меньшую модель на основе данных, сгенерированных большой моделью.
Как это работает:
1 Оценка задач: Определение критериев, по которым модель будет оцениваться.
2 Сбор данных: Запись качественных ответов большой модели.
3 Файнтюнинг: Обучение маленькой модели на этих данных.
Основные сложности
На практике только около 15% разработчиков используют API для файнтюнинга. Главная сложность — создание качественного набора данных для обучения. Однако OpenAI представила два новых инструмента, которые упрощают этот процесс:
1 Stored Completions: Сохранение ответов моделей с параметром store=True.
2 Evals (beta): Оценка производительности модели прямо в интерфейсе Playground.
Теперь вы можете сохранять все выходные данные большой модели и добавлять метаданные, такие как разделение на тест и обучение. Во вкладке Evals можно настроить критерии оценки и сразу видеть результаты. Этот новый инструмент значительно упрощает процесс.
Дистилляция GPT-4o в GPT-4o-mini
Процесс дистилляции прост:
• Определите критерии оценки
• Сохраните результаты большой модели
• Нажмите "Distill" и выберите GPT-4o-mini в качестве базовой модели.
Через некоторое время вы получите настроенную модель, которая работает немного хуже GPT-4o, но значительно легче и дешевле в использовании.
Примеры и рекомендации
Где дистилляция наиболее эффективна:
• Анализ тональности
• Извлечение сущностей
• Майндинг мнений
Где она подходит:
• Классификация
• Копирайтинг
• Генерация резюме
• Чат-боты поддержки
Где она не работает:
• Тесты MMLU/GPQA
• Вопросно-ответные системы открытого домена
• Точный перевод
Основные ошибки
• Неправильное распределение данных
• Слишком малое количество примеров
Как повысить эффективность дистилляции:
• Оптимизируйте большую модель
• Качественно подберите обучающие данные
• Не переусердствуйте с количеством примеров — достаточно нескольких тысяч.
• Работайте итеративно: оценивайте и улучшайте модель постепенно.
Дистилляция — это способ создать мощные и узкоспециализированные AI-решения, которые легко и быстро адаптируются под конкретные задачи, снижая затраты и увеличивая производительность.
Дистилляция моделей — это путь от прототипа к масштабированию. При использовании крупных моделей, таких как GPT-4o, разработчики сталкиваются с проблемами: время отклика, лимиты на запросы и высокая стоимость. Например, GPT-4o набирает 88% на MMLU, а его уменьшенная версия GPT-4o Mini — 82%. Но важен ли этот показатель для реальных задач?
Дистилляция: узкий фокус вместо широкого интеллекта
Большие модели часто превосходят по академическим метрикам, но такие тесты не всегда отражают реальные потребности пользователей. Здесь на сцену выходит дистилляция: не нужн широкий интеллект, а только узкий. Мы обучаем меньшую модель на основе данных, сгенерированных большой моделью.
Как это работает:
1 Оценка задач: Определение критериев, по которым модель будет оцениваться.
2 Сбор данных: Запись качественных ответов большой модели.
3 Файнтюнинг: Обучение маленькой модели на этих данных.
Основные сложности
На практике только около 15% разработчиков используют API для файнтюнинга. Главная сложность — создание качественного набора данных для обучения. Однако OpenAI представила два новых инструмента, которые упрощают этот процесс:
1 Stored Completions: Сохранение ответов моделей с параметром store=True.
2 Evals (beta): Оценка производительности модели прямо в интерфейсе Playground.
Теперь вы можете сохранять все выходные данные большой модели и добавлять метаданные, такие как разделение на тест и обучение. Во вкладке Evals можно настроить критерии оценки и сразу видеть результаты. Этот новый инструмент значительно упрощает процесс.
Дистилляция GPT-4o в GPT-4o-mini
Процесс дистилляции прост:
• Определите критерии оценки
• Сохраните результаты большой модели
• Нажмите "Distill" и выберите GPT-4o-mini в качестве базовой модели.
Через некоторое время вы получите настроенную модель, которая работает немного хуже GPT-4o, но значительно легче и дешевле в использовании.
Примеры и рекомендации
Где дистилляция наиболее эффективна:
• Анализ тональности
• Извлечение сущностей
• Майндинг мнений
Где она подходит:
• Классификация
• Копирайтинг
• Генерация резюме
• Чат-боты поддержки
Где она не работает:
• Тесты MMLU/GPQA
• Вопросно-ответные системы открытого домена
• Точный перевод
Основные ошибки
• Неправильное распределение данных
• Слишком малое количество примеров
Как повысить эффективность дистилляции:
• Оптимизируйте большую модель
• Качественно подберите обучающие данные
• Не переусердствуйте с количеством примеров — достаточно нескольких тысяч.
• Работайте итеративно: оценивайте и улучшайте модель постепенно.
Дистилляция — это способ создать мощные и узкоспециализированные AI-решения, которые легко и быстро адаптируются под конкретные задачи, снижая затраты и увеличивая производительность.
👍10❤8😐5🔥2