ColossalChat: Решение с открытым исходным кодом для клонирования ChatGPT с RLHF

Colossal-AI выпустила с модельку с открытым исходным кодом и RLHF для ColossalChat, проекта, целью которого является клонирование ChatGPT с менее чем 10 миллиардами параметров.

ColossalChat включает интерактивную демонстрацию. (которая мягко говоря не очень умеет следовать инструкциям), открытый и полный код обучения RLHF, двуязычный набор данных с открытым исходным кодом, выводы и веса модели. ColossalChat использует процесс RLHF для воспроизведения моделей, подобных ChatGPT, и является самым близким проектом к оригинальному ChatGPT. Набор данных ColossalChat включает в себя около 100 000 пар вопросов и ответов на английском и китайском языках, собранных и очищенных из реальных сценариев вопросов на платформах социальных сетей.

Репликация алгоритма RLHF включает в себя три этапа: supervised finetuning, обучение модели вознаграждения и RL finetuning. ColossalChat использует PPO и PTX в алгоритме обучения с подкреплением для расчета потерь от политики и потерь от стоимости.

📝 Блог-пост
🐙 Код
📞 Чат