Forwarded from Reza Jafari
دیپسیک (DeepSeek) فریمورک اختصاصی خودش برای Inference به اسم DeepInfer رو Open Source کرده! این فریمورک برای اجرای مدل DeepSeek-V4.1-Flash در مقیاس بالا طراحی شده و کمک میکنه مدلها با Throughput بالاتر و Latency کمتر اجرا بشن. دیپسیک با انتشار زیرساختی که خودش در محیط عملیاتی استفاده میکنه، میخواد به Developerها کمک کنه هزینههای Compute رو کاهش بدن، انرژی کمتری مصرف کنن و اجرای مدلهای AI رو کمهزینهتر کنن.
DeepInfer قابلیتهای مختلفی داره؛ از جمله Kernelهای بهینه، Inference Engine سریع، Distributed Inference و Speculative Decoding. قابلیتهایی مثل SWA Bounded Replay و Structured Outputs هم توی این پروژه قرار دارن. علاوه بر این، قراره کدهای مربوط به Inference مدلهای آیندهی DeepSeek و بهینهسازیهای جدید هم به همین پروژه اضافه بشن.
🔗 لینک ریپو DeepInfer
دیپسیک فقط به DeepInfer بسنده نکرده و کامپوننت deepseek-recipe رو هم Open Source کرده. این کامپوننت وظیفهی Token Encoding و Decoding رو بر عهده داره و با منطق پردازشی Official DeepSeek API هماهنگه؛ بنابراین Developerها میتونن همون رفتار API رسمی رو در زیرساخت خودشون هم پیادهسازی کنن.
🔗 لینک ریپو deepseek-recipe
@reza_jafari_ai
DeepInfer قابلیتهای مختلفی داره؛ از جمله Kernelهای بهینه، Inference Engine سریع، Distributed Inference و Speculative Decoding. قابلیتهایی مثل SWA Bounded Replay و Structured Outputs هم توی این پروژه قرار دارن. علاوه بر این، قراره کدهای مربوط به Inference مدلهای آیندهی DeepSeek و بهینهسازیهای جدید هم به همین پروژه اضافه بشن.
دیپسیک فقط به DeepInfer بسنده نکرده و کامپوننت deepseek-recipe رو هم Open Source کرده. این کامپوننت وظیفهی Token Encoding و Decoding رو بر عهده داره و با منطق پردازشی Official DeepSeek API هماهنگه؛ بنابراین Developerها میتونن همون رفتار API رسمی رو در زیرساخت خودشون هم پیادهسازی کنن.
@reza_jafari_ai
Please open Telegram to view this post
VIEW IN TELEGRAM
GitHub
GitHub - deepseek-ai/DeepInfer: DeepInfer: High-performance, large-scale inference framework for DeepSeek models
DeepInfer: High-performance, large-scale inference framework for DeepSeek models - deepseek-ai/DeepInfer
1❤2❤🔥2👍1
مشاوران دولت بریتانیا هشدار میدهند که اگر بریتانیا فوراً توسعه هوش مصنوعی را تسریع نکند، این کشور به جای رهبر جهانی هوش مصنوعی، در معرض خطر تبدیل شدن به یک «مشتری با ارزش بالای هوش مصنوعی» قرار خواهد گرفت.
👉 @ai_python 🦁 ☀️
این یعنی بدهکاری های آینده
این یعنی بدهکاری های آینده
Please open Telegram to view this post
VIEW IN TELEGRAM
2🐳6😭2❤1👍1
چین از یک شرکت داده دولتی جدید برای پیشبرد جاهطلبیهای هوش مصنوعی خود رونمایی کرد، چرا که پکن قصد دارد طی ۵ سال آینده حدود ۳۰۰ میلیارد دلار در مراکز داده سرمایهگذاری کند.
👉 @ai_python 🦁 ☀️
Please open Telegram to view this post
VIEW IN TELEGRAM
1❤2❤🔥1🐳1
اگر کامپیوترتون کند شده و از Claude Desktop استفاده می کنید، می تونید با دادن این پرامپت ها سیستم رو Optimize کنید.
البته الزامن نباید Claude Desktop باشه. هر هارنس دیگه ای هم که دوست دارید احتمالن به خوبی از پس این کارای ساده برمیاد. حتی با مدل های رایگان.
👉 @ai_python 🦁 ☀️
لینک پرامپت ها :
https://x.com/free_ai_guides/status/2112453797218017563
X
البته الزامن نباید Claude Desktop باشه. هر هارنس دیگه ای هم که دوست دارید احتمالن به خوبی از پس این کارای ساده برمیاد. حتی با مدل های رایگان.
لینک پرامپت ها :
https://x.com/free_ai_guides/status/2112453797218017563
X
Please open Telegram to view this post
VIEW IN TELEGRAM
1❤1❤🔥1🐳1