‏🤖 مدل 8B پارامتری MoE برای اجرا روی دستگاه‌های معمولی

‏شرکت Liquid AI مدل LFM2.5-8B-A1B را معرفی کرده است؛ یک مدل Mixture-of-Experts (MoE) با 8 میلیارد پارامتر که تنها 1.5 میلیارد پارامتر آن در هر مرحله فعال است. این مدل برای اجرا روی دستگاه‌هایی مانند تلفن‌های همراه، لپ‌تاپ‌ها و ربات‌ها بهینه‌سازی شده است.

‏⚡ این معماری هیبریدی MoE از خط تولید LFM2.5 بهره می‌برد و دارای پنجره زمینه (context window) 128 هزار توکن است. مدل بر روی 38 تریلیون توکن پیش‌آموزش دیده و سپس با استفاده از یادگیری تقویتی (RL) تقویت شده است.

📊 Data➕Science — هوش مصنوعی و علم داده به فارسی
📩 ارتباط با ما

#خبر #LiquidAI