‏📱 اجرای مدل ۳۵ میلیاردی روی آیفون با MiniCPM-V 4.7

‏تیم OpenBMB مدل MiniCPM-V 4.7 را در دو نسخه ۳۵ میلیارد پارامتری (MoE) و یک نسخه ۱ میلیارد پارامتری برای پردازش محتوای تصویری و ویدئویی منتشر کرد. این مدل با استفاده از فناوری LES (Lookahead Expert Scheduling) امکان اجرای مدل‌های بزرگ روی سخت‌افزار موبایل را فراهم می‌کند.

‏فناوری LES با پیش‌بینی نیاز لایه‌های بعدی به «کارشناس» (Expert) خاص، وزن‌های مدل را قبل از محاسبات در حافظه بارگذاری می‌کند. در این روش اگر کارشناس مورد نیاز پیش‌بینی نشود، مدل همچنان از مسیریابی اصلی استفاده می‌کند. طبق گزارش تیم سازنده، اجرای این مدل روی آیفون ۱۷ پرو مکس به سرعت ۱۳ توکن در ثانیه می‌رسد.

‏سایر ویژگی‌های فنی این انتشار:
‏* استفاده از کوانتایزاسیون لایه‌ای و تولید حدسی DSpark.
‏* فشرده‌سازی توکن‌های بصری با نرخ ۴ و ۱۶ برابر.
‏* روش Self-Replay Fine-Tuning برای کاهش فراموشی مهارت‌های قبلی حین آموزش.
‏* عرضه مدل بزرگ تحت مجوز Apache 2.0.

🇮🇷 - هوش مصنوعی و علم داده به فارسی
🌐 سایت | تلگرام | بله | ایتا | ارتباط با ما

#MiniCPM_V #Lookahead_Expert_Scheduling