🚀 ‏ معرفی فریم‌ورک AngelSpec برای شتاب‌دهی به استنتاج LLM

‏شرکت Tencent به تازگی از AngelSpec رونمایی کرده است، یک فریم‌ورک جامع (End-to-End) که با هدف بهینه‌سازی فرآیند Speculative Decoding (روش افزایش سرعت تولید متن با استفاده از مدل‌های کوچک‌تر) توسعه یافته است. این ابزار کل چرخه حیات، شامل آموزش مدل‌های پیش‌گو یا Drafter، بهینه‌سازی و استقرار نهایی برای افزایش سرعت استنتاج (Inference) را پوشش می‌دهد.

🔬 ‏ ارزیابی‌های انجام شده روی مدل Hy3-A21B با معماری اختصاصی DFly نتایج چشمگیری را نشان داده است. این معماری موفق شده سرعت تولید متن را بین ۱.۹۸ تا ۲.۴۰ برابر نسبت به روش‌های خودرگرسیو استاندارد افزایش دهد.

📊 ‏ در تست‌های انجام شده، کارایی این مدل در محیط‌های با ترافیک بالا (از ۴ تا ۶۴ درخواست همزمان) کاملاً پایدار بوده است. همچنین، توان عملیاتی یا Throughput این سیستم نسبت به روش مشابه DFlash حدود ۱۰.۵ تا ۱۱.۸ درصد بهبود یافته است.

🧩 ‏ تنسنت علاوه بر انتشار مقالات پژوهشی، زیرساخت‌های لازم برای استفاده از این تکنولوژی را نیز فراهم کرده است. تمامی کدهای آموزشی، مستندات فنی و وزن‌های از پیش آموزش‌دیده مدل‌های MTP/DFly برای مدل Hy3-A21B اکنون به صورت عمومی در دسترس قرار گرفته‌اند.

‏GitHub
‏arXiv
‏Documentation
‏HuggingFace Models

📚 ‏ مستندات
🔗 ‏ modelscope.cn

📊 Data➕Science 🇮🇷 - هوش مصنوعی و علم داده به فارسی
📩 ارتباط با ما

#AngelSpec #DFly