CriticGPT: ИИ для поиска ошибок ИИ

OpenAI рассказала о новой модели CriticGPT, основанной на GPT-4, для выявления ошибок в коде, сгенерированном GPT-4.

Возможности CriticGPT:

🔶 Анализ кода, созданного ChatGPT и выявление неточностей

🔶 Написание критических замечаний к ответам ChatGPT

🔶 Помощь людям-тренерам в оценке выходных данных ИИ

🔶 Балансировка между агрессивным поиском проблем и точностью обнаружения

Ключевые факты:

Модель обучена с помощью RLHF (Усиление обучения с помощью людского фидбэка), как и ChatGPT, но на данных с намеренно внесенными ошибками. CriticGPT способна находить как искусственно внесенные, так и естественные ошибки ChatGPT. По мнению тренеров, критика CriticGPT лучше, чем критика ChatGPT в 63% случаев при работе с естественными ошибками.

Было обнаружено, что можно генерировать более длинные и всесторонние критические замечания, используя дополнительный поиск во время тестирования против модели вознаграждения критики. Этот поиск, называемый Принудительным выбором с использованием поиска по лучам (FSBS), позволяет балансировать агрессивность поиска проблем в коде и настраивать компромисс между точностью и полнотой обнаружения ошибок. В результате генерируются замечания, максимально полезные для RLHF. Подробнее в документе.

Ограничения CriticGPT включают возможные галлюцинации, сложность оценки длинных и комплексных задач, а также проблемы с обнаружением ошибок, распределенных по всему ответу.

OpenAI планирует интегрировать подобные CriticGPT модели в процесс обучения своих ИИ-систем и видит в этом подходе перспективу для создания более совершенных инструментов оценки сложных ИИ-систем.

Так то 63% не супер сильно отличается от 50…

@sergiobulaev - об AI и не только

Опять занимался ботом для ULCAMP. Добавил ему возможность устанавливать, показывать и удалять напоминания, а также отправлять сообщения в поддержку.

Изучал, как работает передача и запуск функций модели (сегодня был Claude). Оказалось, всё довольно просто. Функции описываются текстом, указывается, какие параметры им нужны для работы:

{
"name": "set_reminder",
"description": "Add reminder for the user to the database. In case he asks that he wants to go to some event or use a bus or any other activity connected to time. Date time format is YYYY-MM-DD HH:MM:SS",
"input_schema": {
"type": "object",
"properties": {"message": {"type": "string"}, "event": {"type": "string"}, "date-time": {"type": "string"}},
},

},
{
"name": "delete_reminder",
"description": "Delete reminder for the user. Reminder id is two digits number in string format like 01 or 22",
"input_schema": {
"type": "object",
"properties": {"reminder_id": {"type": "string"}},
},
}

Далее это описание передаётся модели вместе с промптом, и она понимает, что может применить эти функции по необходимости. Соответственно, если она решает, что надо запустить функцию в процессе генерации - она останавливается и передает ответ о необходимости запуска и предоставляет параметры.

Функцию я запускаю сам, и дальше у меня есть выбор - либо сразу предоставить результат работы пользователю, либо вернуть результат обратно и дождаться нового сгенерированного ответа. Работает довольно чётко.

Бот если что здесь, но в процессе тестирования.

@sergiobulaev - об AI и не только.

Маленькие львёнок, котёнок, щенки и красная панда. 100% AI Gen-3. Вот тут есть ещё.

@sergiobulaev - об AI и всём таком.