دیپ‌سیک (DeepSeek) فریم‌ورک اختصاصی خودش برای Inference به اسم DeepInfer رو Open Source کرده! این فریم‌ورک برای اجرای مدل DeepSeek-V4.1-Flash در مقیاس بالا طراحی شده و کمک می‌کنه مدل‌ها با Throughput بالاتر و Latency کمتر اجرا بشن. دیپ‌سیک با انتشار زیرساختی که خودش در محیط عملیاتی استفاده می‌کنه، می‌خواد به Developerها کمک کنه هزینه‌های Compute رو کاهش بدن، انرژی کمتری مصرف کنن و اجرای مدل‌های AI رو کم‌هزینه‌تر کنن.

‏DeepInfer قابلیت‌های مختلفی داره؛ از جمله Kernelهای بهینه، Inference Engine سریع، Distributed Inference و Speculative Decoding. قابلیت‌هایی مثل SWA Bounded Replay و Structured Outputs هم توی این پروژه قرار دارن. علاوه بر این، قراره کدهای مربوط به Inference مدل‌های آینده‌ی DeepSeek و بهینه‌سازی‌های جدید هم به همین پروژه اضافه بشن.

🔗 لینک ریپو DeepInfer

دیپ‌سیک فقط به DeepInfer بسنده نکرده و کامپوننت deepseek-recipe رو هم Open Source کرده. این کامپوننت وظیفه‌ی Token Encoding و Decoding رو بر عهده داره و با منطق پردازشی Official DeepSeek API هماهنگه؛ بنابراین Developerها می‌تونن همون رفتار API رسمی رو در زیرساخت خودشون هم پیاده‌سازی کنن.

🔗 لینک ریپو deepseek-recipe

@reza_jafari_ai