‏⚡️ بهبود عملکرد مدل‌های ایجنت با RL چند‌محیطی

‏تیم Hugging Face روشی برای آموزش مدل‌های کدنویسی معرفی کرده که تفاوت عملکرد در بنچمارک‌های مختلف (Harness) را از بین می‌برد. این رویکرد به جای تغییر محیط‌ها، از یک پراکسی استفاده می‌کند که با چهار فرمت API استاندارد (OpenAI، Anthropic و Gemini) سازگار است. این پراکسی توکن‌ها و logprobهای مدل را در vLLM ثبت می‌کند تا برای آموزش RL استفاده شوند.

‏در این مدل، مدل LFM2.5-2.6B پس از آموزش در چهار محیط همزمان، دقت خود را از ۴۲٪ به ۵۴٪ افزایش داد و تعداد فراخوانی ابزارها را ۳۱٪ کاهش داد. بررسی‌ها نشان می‌دهد آموزش مستقیم (RL) در چندین محیط، بسیار موثرتر از SFT روی داده‌های مدل‌های بزرگ‌تر است.

‏تمامی ابزارهای این پروژه شامل کد آموزش در TRL، پراکسی ثبت مسیرها، داده‌های SFT و هفت مدل آموزش‌دیده در دسترس قرار گرفته است. جزئیات بیشتر و دموها را می‌توانید در صفحه اختصاصی Hugging Face مشاهده کنید.

🇮🇷 - هوش مصنوعی و علم داده به فارسی
🌐 سایت | تلگرام | بله | ایتا | ارتباط با ما

#MultiHarnessRL #GRPO