Forwarded from RandRng
توی لینکدین هر کاربر ایرانی که داستانهای واقعی رو نصف و نیمه میکنه و فقط بخش خوب قضیهی استفاده از AI برای توسعه کد رو میگه،
پروفایلش رو به دقت نگاه کنید.
توی ۷-۸ موردی که من دیدم، همگی
داستانهای دیگری که باید بشنوید:
۱- لینوس توروالدز (پروژهای رو vibe کد زده) آره اما مصاحبهاش رو هم ببینید
اما، این شرکتها وقتی صحبت میکنند طوری اعلام میکنند که انگار کرنل لینوکس رو با vibe coding نوشتند.
۲- تغییر
شبیه به هم کدها فقط از یک سورس به سورس دیگه
از همه بدتر، هیچ صحبتی از میزان هزینه و تعداد توکن مصرفی نشده.
۳- بنچمارک جدیدی برای Software Engineering اومده، برخلاف بنچمارکهای قبلی نه از گیتهاب پروژههای عمومی و نه از بخش discussion و ... ساخته نشده.
دلیلش هم این بوده که، بالاخره این دیتا توی آموزش مدل حتماً به نحوی استفاده شده پس سوالات و جوابهارو خودشون طراحی کردند.
نتایج ؟ هیچ کدوم از مدلها به اندازهای که گفتند قوی نبودند.
۴- شرکت اوبر، اعلام شده بودجهی AI برای سال ۲۰۲۶ توی ۴ ماه مصرف شده و حالا دارند به این موضوع فکر میکنند که شاید از اول اشتباه کردند.
و کلی موارد دیگر، من تخصصم خیلی سال روی AI بوده و هست. هرچقدر پول بیشتری وارد این حوزه بشه من هم سهم بزرگتری خواهم داشت
اما، من برای منفعت خودم به کسی رویا نمیفروشم، واقعیت رو دست و پا شکسته نمیگم.
شما هم حداقل به پروفایل شخصی که دارید پستش رو میخونید نگاه کنید.
#شب_بخیر 🌹
پروفایلش رو به دقت نگاه کنید.
توی ۷-۸ موردی که من دیدم، همگی
TechLead, CEO, CTO, ... شرکتهای هوش مصنوعی داخلی بودند که خب اگر شما ازشون توکن نخرید وضعیت خوبی نخواهند داشت.داستانهای دیگری که باید بشنوید:
۱- لینوس توروالدز (پروژهای رو vibe کد زده) آره اما مصاحبهاش رو هم ببینید
LTT یوتیوب، که گفت هیچ سوادی راجب این بخش نداره و میخواد فقط یک چیزی رو برای خودش تست کنه.اما، این شرکتها وقتی صحبت میکنند طوری اعلام میکنند که انگار کرنل لینوکس رو با vibe coding نوشتند.
۲- تغییر
bun از zig به rust ؛ این مورد رو شخصاً قبلتر براتون واضح بررسی کردم.zig, rust شبیه به هم کدها فقط از یک سورس به سورس دیگه
transcompile شده انگار بخش unsafe دست نخورده و کامل فقط کپی شده از همه بدتر، هیچ صحبتی از میزان هزینه و تعداد توکن مصرفی نشده.
۳- بنچمارک جدیدی برای Software Engineering اومده، برخلاف بنچمارکهای قبلی نه از گیتهاب پروژههای عمومی و نه از بخش discussion و ... ساخته نشده.
دلیلش هم این بوده که، بالاخره این دیتا توی آموزش مدل حتماً به نحوی استفاده شده پس سوالات و جوابهارو خودشون طراحی کردند.
نتایج ؟ هیچ کدوم از مدلها به اندازهای که گفتند قوی نبودند.
۴- شرکت اوبر، اعلام شده بودجهی AI برای سال ۲۰۲۶ توی ۴ ماه مصرف شده و حالا دارند به این موضوع فکر میکنند که شاید از اول اشتباه کردند.
و کلی موارد دیگر، من تخصصم خیلی سال روی AI بوده و هست. هرچقدر پول بیشتری وارد این حوزه بشه من هم سهم بزرگتری خواهم داشت
اما، من برای منفعت خودم به کسی رویا نمیفروشم، واقعیت رو دست و پا شکسته نمیگم.
شما هم حداقل به پروفایل شخصی که دارید پستش رو میخونید نگاه کنید.
#شب_بخیر 🌹
❤37👍21
Forwarded from RandRng
برق قطع شده بود چند ساعت پیش؛ نشستم پای تبلت و یک مقدار توی لینکدین و کانالهای ایرانی گشتم.
طرف یک کار کوچیک رو برای خودش همچین دستاورد کرده آدم پشماش میریزه؛ برید vLLM رو سرچ کنید متوجه میشید چی میگم :
میخوام کاسبی بهم بریزم :
vLLM Recipes
این لینک به راحتی همه آن چیزی که برای دیپلوی سریع یگ مدل نیاز دارید رو بهتون میده؛ کامند + ورژن + فلگهای موجود و ...
هر کسی ۵ دقیقه داکیومنت
خطاب به اون دوستان :
ازینا دستاورد نسازید واسه خودتون بعد از این رو بگید که چه
من اصل مطلب رو داشتم توی بوکمارکهام دیدم خیلیها علاقهمند بودند توی لینکدین گفتم بجای اینکه براشون ماهی بگیرم؛ ماهی گرفتن رو یادشون بدم.
دعوای ورژن هم ندارید؛ وارد سایت که بشید بالای صفخه براتون نوشته دقیقا چه ورژنی از
مثال :
من مدل
پارامترهای دیگهاش هم هست؛ میخواید tool call رو غیرفعال کنید (من اینو انتخاب کردم) و باقی موارد توی بخش
پایینتر هم بیاید توضیحات آموزشی براتون گذاشته.
طرف یک کار کوچیک رو برای خودش همچین دستاورد کرده آدم پشماش میریزه؛ برید vLLM رو سرچ کنید متوجه میشید چی میگم :
میخوام کاسبی بهم بریزم :
vLLM Recipes
این لینک به راحتی همه آن چیزی که برای دیپلوی سریع یگ مدل نیاز دارید رو بهتون میده؛ کامند + ورژن + فلگهای موجود و ...
هر کسی ۵ دقیقه داکیومنت
vLLM رو خونده باشه این رو باید پیدا کنه.خطاب به اون دوستان :
ازینا دستاورد نسازید واسه خودتون بعد از این رو بگید که چه
optimization هایی انجام دادید و چقدر بهبود داشتید و ... من اصل مطلب رو داشتم توی بوکمارکهام دیدم خیلیها علاقهمند بودند توی لینکدین گفتم بجای اینکه براشون ماهی بگیرم؛ ماهی گرفتن رو یادشون بدم.
دعوای ورژن هم ندارید؛ وارد سایت که بشید بالای صفخه براتون نوشته دقیقا چه ورژنی از
vLLM این مدل رو پشتیبانی میکنه مثال :
من مدل
JetBrain رو انتخاب کردم که توی Nightly پشتیبانی میشه و روی BF16 برای vLLM به 29GB رم نیاز داره.پارامترهای دیگهاش هم هست؛ میخواید tool call رو غیرفعال کنید (من اینو انتخاب کردم) و باقی موارد توی بخش
advance پایینتر هم بیاید توضیحات آموزشی براتون گذاشته.
recipes.vllm.ai
JetBrains/Mellum2-12B-A2.5B-Thinking — 12B / 2.5B active · MOE · 128K ctx
JetBrains' reasoning-augmented code MoE (12B total / 2.5B active) that emits explicit <think> chains for debugging, planning, and agentic coding
❤17👍6
اگر از agent ها زیاد استفاده میکنید احتمالا این مورد نتایج رو براتون بهبود بده؛
من خیلی استفاده ندارم؛ اما توی ۱-۲ مورد که تست کردم بهبود خوبی دیدم
SkillOps
بنظرم ارزش تست کردن روی موارد بیشتر رو هم داره
من خیلی استفاده ندارم؛ اما توی ۱-۲ مورد که تست کردم بهبود خوبی دیدم
SkillOps
بنظرم ارزش تست کردن روی موارد بیشتر رو هم داره
GitHub
GitHub - microsoft/SkillOpt: SkillOpt is a text-space optimizer that trains reusable natural-language skills for frozen LLM agents…
SkillOpt is a text-space optimizer that trains reusable natural-language skills for frozen LLM agents through trajectory-driven edits, validation-gated updates, and deployable best_skill.md artifac...
❤11
دستاوردهای یادگیری عمیق(InTec)
اگر از agent ها زیاد استفاده میکنید احتمالا این مورد نتایج رو براتون بهبود بده؛ من خیلی استفاده ندارم؛ اما توی ۱-۲ مورد که تست کردم بهبود خوبی دیدم SkillOps بنظرم ارزش تست کردن روی موارد بیشتر رو هم داره
برای یک سری تسکهای مثل این هست که پیشنهاد میکنم شرکتهایی که جدی روی هوش مصنوعی کار میکنند حتما
رو حداقل برای تیمهای هوش مصنوعی بخرند.
DGX Sparkرو حداقل برای تیمهای هوش مصنوعی بخرند.
👍10❤1
Forwarded from RandRng
دیروز یا پیروز
اضافه شد و این یعنی نسخه نهایی هست (نسخهای که قبلتر روی
بعنوان یک مدل رایگان و
آمار جالبی هم ازش منتشر شده؛ بطوریکه شرکتهای با بنچمارکهای خصوصی حالا اون رو رقیب مدلهای
اما نتابج فوقالعاده بهتری میشه ازش گرفت به این شرطها :
۱- اگر نیاز به سرچ داره؛ گزینه advance search رو فعال کنید یا دقیقا منبع رو بهش بدید
۲- پرامپت رو طولانی نکنید؛ سعی کنید مشکل رو توی کوچکترین متن ممکن بهش بدید اما رمزنگاری شده هم نباشه:
اشتباه :
نگید کد کند شده؛ مشکل از دیتابیس هست.
درست :
این کد کند شده؛ چون تعداد درخواستهای همزمان به n تعداد افزایش پیدا کرده و مستقیم از دیتابیس پستگرس داره میخونه که از کانفیگ دیفالت استفاده میکنه
۳- پرامپت فارسی بهش ندید؛ شخصا توی خیلی از مدلها دیدم وقتی غیر انگلیسی باهاش چت میکنم نتابج ضعیفتر میشه.
۴- اگر توی
متاسفانه این مدل
و الان هم این مدل رو معرفی کردم مجدد چون دسترسی به
درنهایت:
با اضافه شدن ۴ مورد بالا؛ ۷۵٪ از تستهای خصوصی من رو حل کرد و این تستها مواردی هست که مدلهای دیگه نتونسته بودند انجام بدند (قبلتر راجبش پست گذاشته بودم)
GLM5.2 روی وبسایت chat.z.ai اضافه شد و این یعنی نسخه نهایی هست (نسخهای که قبلتر روی
api اومده بود نهایی نشده بود)بعنوان یک مدل رایگان و
opensource باید بگم هیولا هست؛ برای من نصف تستهام که روی کدها انجام میدادم رو با همون تلاش اول بطور درست حل کرد (این موارد رو حذف کردم از لیست)آمار جالبی هم ازش منتشر شده؛ بطوریکه شرکتهای با بنچمارکهای خصوصی حالا اون رو رقیب مدلهای
Claude برای کد زدن و رقیب مدلهای OpenAI برای چتهای کلی میدونند.اما نتابج فوقالعاده بهتری میشه ازش گرفت به این شرطها :
۱- اگر نیاز به سرچ داره؛ گزینه advance search رو فعال کنید یا دقیقا منبع رو بهش بدید
۲- پرامپت رو طولانی نکنید؛ سعی کنید مشکل رو توی کوچکترین متن ممکن بهش بدید اما رمزنگاری شده هم نباشه:
اشتباه :
نگید کد کند شده؛ مشکل از دیتابیس هست.
درست :
این کد کند شده؛ چون تعداد درخواستهای همزمان به n تعداد افزایش پیدا کرده و مستقیم از دیتابیس پستگرس داره میخونه که از کانفیگ دیفالت استفاده میکنه
۳- پرامپت فارسی بهش ندید؛ شخصا توی خیلی از مدلها دیدم وقتی غیر انگلیسی باهاش چت میکنم نتابج ضعیفتر میشه.
۴- اگر توی
prompt یک نمونه از خروجی که میخواید رو بهش بدید هم عملکرد بهتری دارهمتاسفانه این مدل
COT رو نمایش نمیده (قبلتر نوشتم چرا خوندنش مهم هست؛ توی پستی که راجب deepseek بود)و الان هم این مدل رو معرفی کردم مجدد چون دسترسی به
z.ai برای ایرانیها مجدد باز شد.درنهایت:
با اضافه شدن ۴ مورد بالا؛ ۷۵٪ از تستهای خصوصی من رو حل کرد و این تستها مواردی هست که مدلهای دیگه نتونسته بودند انجام بدند (قبلتر راجبش پست گذاشته بودم)
پیشنهاد میکنم حتما این مدل رو تست کنید.
❤15
Forwarded from RandRng
RandRng
دیروز یا پیروز GLM5.2 روی وبسایت chat.z.ai اضافه شد و این یعنی نسخه نهایی هست (نسخهای که قبلتر روی api اومده بود نهایی نشده بود) بعنوان یک مدل رایگان و opensource باید بگم هیولا هست؛ برای من نصف تستهام که روی کدها انجام میدادم رو با همون تلاش اول بطور…
This media is not supported in your browser
VIEW IN TELEGRAM
اینم یک تست دیگه از این مدل هست؛ خواستم برای ویدئوهای یوتیوب یک تیکه ویدئو کوچیک بسازم از لوگو
رو تست کردم ولی هیچکدوم نتونستند این کار رو بکنند (با کد این ویدئو ساخته شده)
چندتا تست فرانت روی این مدل زدم و دیدم خیلی عالی روی کدهای فرانت اند کار میکنه (فوقالعاده هست برای طراحی) به ذهنم رسید همین کار رو با این مدل هم تست کنم.
همون پرامپت جزئی که به مدلهای قبلی دادم رو به این مدل هم دادم و خروجی رو میتونید خودتون مقایسه کنید.
پینوشت:
این مدل با پرامپت خوب؛ هیولاتر از چیزی هست که بنچمارکها دارند گزارش میدهند
جالبترین نکته:
بنچمارکهای خصوصی نتایج بهتری نسبت به بنچمارکهای منتشر شده توسط خود تیم
Gemini, ChatGPT, Claude, Grok, Qwen رو تست کردم ولی هیچکدوم نتونستند این کار رو بکنند (با کد این ویدئو ساخته شده)
چندتا تست فرانت روی این مدل زدم و دیدم خیلی عالی روی کدهای فرانت اند کار میکنه (فوقالعاده هست برای طراحی) به ذهنم رسید همین کار رو با این مدل هم تست کنم.
همون پرامپت جزئی که به مدلهای قبلی دادم رو به این مدل هم دادم و خروجی رو میتونید خودتون مقایسه کنید.
پینوشت:
این مدل با پرامپت خوب؛ هیولاتر از چیزی هست که بنچمارکها دارند گزارش میدهند
جالبترین نکته:
بنچمارکهای خصوصی نتایج بهتری نسبت به بنچمارکهای منتشر شده توسط خود تیم
GLM داره❤16
این ادعای بنچمارک یک مدل ۳ میلیارد پارامتری هست؛ تخصصی برای تسکهایی که نیاز به Thinking دارند.
و نتایجی نزدیک به مدلهای بیش از
Hugging face
Paper
و نتایجی نزدیک به مدلهای بیش از
300x بزرگترHugging face
Paper
❤17👍3
Forwarded from RandRng
نسل بعدی مدلها بنظرم خیلی بهتر خواهند شد :
Qwen AgentWorld
بنظرم این حرکت در راستای
Qwen AgentWorld
بنظرم این حرکت در راستای
JEPA خواهد بود و این Gap بین LLM و JEPA رو برای مدتی میپوشونه تا نتایج مدلهای بر پایه JEPA خیلی بهتر بشه.❤10👍3
Forwarded from RandRng
95% of enterprise AI deployments fail to deliver value
در یک حرکتی چندتا از این شرکتهای
AI فروش داخلی (کاسبان تحریم) روی موجهای اخیر درحال تلاش برای خوروندن LLM به شرکتهای دیگر هستند. شرکتهایی که همینطوری بخاطر تحریم؛ جنگ؛ قطعی اینترنت و تعطیلی به زور سرپا موندند.برای همین خواستم دوتا مورد رو یادآوری کنم:
اولین مورد گزارش
MIT روی میزان سودآوری AI (که ۹۵٪ میزان بازگشت 0 داشتند) legal.io
مورد دوم؛
تجربه شخصی بنده توی کار با تیمی از مهندسها که مدتی قبل منتور اونها بودم.
( استفاده درست از LLM ها برای مهندسی کامپیوتر )
با نهایت احترام به شرکتهای
AI داخلی که واقعا innovation دارند و در تلاش برای پیشرفت جامعهی ایرانی هم هستند.Telegram
RandRng
#تجربه@per3onnel
این موضوع برداشت من براساس دادههای گروهی از افراد هست که منتور اونها هستم (قبلتر گفتم راجبش)
با این بحث شروع کنم که، من برای توسعه کدهام neovim, vscode رو دارم و اکثر وقتم توی neovim هست.
روی هیچکدوم ai, agent هم ندارم.
cursor, gravity…
این موضوع برداشت من براساس دادههای گروهی از افراد هست که منتور اونها هستم (قبلتر گفتم راجبش)
با این بحث شروع کنم که، من برای توسعه کدهام neovim, vscode رو دارم و اکثر وقتم توی neovim هست.
روی هیچکدوم ai, agent هم ندارم.
cursor, gravity…
👍9❤3
Needle: We Distilled Gemini Tool Calling into a 26M Model
این مدل برای تخصصی برای
البته ابزارهای من ساده و قدیمی هست (خیلی وقت هست از این پروژه استفاده نکردم) اما بنظرم مدلی هست که ارزش تست کردن داشته باشه واقعا؛ اگر برای
این مدل برای تخصصی برای
tool calling ساخته شده؛ من جایگزین مدل ۴ میلیارد پارامتری کردم و همچنان به درستی از ابزارهایی که داشتم استفاده میکنه.البته ابزارهای من ساده و قدیمی هست (خیلی وقت هست از این پروژه استفاده نکردم) اما بنظرم مدلی هست که ارزش تست کردن داشته باشه واقعا؛ اگر برای
tool calling نیاز به مدل دارید یک تستی هم روی این انجام بدید اما بیشتر از tool call ازش توقع نداشته باشید.Cactuscompute
Needle: We Distilled Gemini Tool Calling into a 26M Model
An open-source 26M parameter function-calling model that runs at 6000 tok/s prefill and 1200 tok/s decode on consumer devices.
👍10❤2
Forwarded from RandRng
LLM قراره جای برنامه نویسهارو بگیره ؟
من که کدم رو + دستورالعمل ریفکتور دادم تا برام تمیز کنه و خروجی که توی تصویر هست
نصف باگهای مدلهای
LLM رو من درآوردم باید بهم هزینه پرداخت کنند واقعاپینوشت:
تازه ۳۵ دقیقه هم طول کشید. خودم میزدم ۲۰ دقیقهای تموم میشد.
👍11❤3
یک پستی از دوست و همکار قدیمی توی لینکدین دیدم راجب یک کتابی که درحال نوشته شدن و تکمیل هست مخصوص کسانی که به
علاقمند هستند گفتم اینجا هم به اشتراک بذارم
Linked In
شخصا درحال خالی کردن وقت برای خوندنش هستم چون موارد جالبی پوشش داده شده
مثلا اینکه بدون نیاز به سیستمعامل بتونید کار دیپلرنینگ انجام بدید چیزی نیست که روی فریمورکها و پایتون و ... آموزش داده بشه
Deep Learning + Rust علاقمند هستند گفتم اینجا هم به اشتراک بذارم
Linked In
شخصا درحال خالی کردن وقت برای خوندنش هستم چون موارد جالبی پوشش داده شده
مثلا اینکه بدون نیاز به سیستمعامل بتونید کار دیپلرنینگ انجام بدید چیزی نیست که روی فریمورکها و پایتون و ... آموزش داده بشه
LinkedIn
Data Scientists: Burn Framework Solves Inference and Deployment Issues | Omid Safarzadeh posted on the topic | LinkedIn
Six complaints I hear from #data #scientists:
All six have the same answer, and it #isn't a #faster #GPU.
1. "Inference is fast, but the #service is #slow"
2."Deployment is a 4 GB #Docker image and a #dependency hell"
3. "It needs to run #on the #device…
All six have the same answer, and it #isn't a #faster #GPU.
1. "Inference is fast, but the #service is #slow"
2."Deployment is a 4 GB #Docker image and a #dependency hell"
3. "It needs to run #on the #device…
❤16👍5
Forwarded from RandRng
مدلهای
https://telegram.me/per3onnel/263
یک سری افراد نشستند و همین کار رو برای
بطور خیلی ساده کاری که میکنه اینه که یک
البته دنبال بهترین سرعتها نباشید
اما این روش بنظرم خیلی جواب خواهد بود من ۳ سال قبل گفتم که روی یک پروژه قدیمیتر (الان حساب کنیم شاید ۷-۸ سال قبل) از
https://telegram.me/pytens/1087
حالا فرض کنید یک نفر همچین کاری رو بکنه :
هرچند بنظرم تا استاندارد شدن این روش شاید راه طولانی رو در پیش نداشته باشیم حتی؛ سالهاست که
برای بررسی دقیقتر به گیتهاب پروژه سر بزنید :
Colibri Github
MoE خیلی جذابتر از مدلهای Dense هستند بنظرم چون میتونی یک مدل خیلی بزرگتر رو روی یک GPU خیلی کوچکتر با سرعت بالا اجرا کنی مثل :https://telegram.me/per3onnel/263
یک سری افراد نشستند و همین کار رو برای
GLM.5-2 با فشرده سازی و اپیتیمایز کردن بسیار انجام دادند بطوری که طبق ادعا خودشون مدل 774 میلیارد پارامتری رو روی سیستم با 25GB رم و بدون نیاز به GPU اجرا کردند (همه چیز روی C نوشته شده) بطور خیلی ساده کاری که میکنه اینه که یک
backbone اصلی رو توی رم نگه میداره و باقی رو روی SSD - اگر یادتون باشه توی اون پستها من توضیح دادم که MoE میشه بخش اصلی که نیاز به پردازش داره رو روی VRAM نگهداشت و باقی موارد رو روی RAM حالا این افراد یک قدم جلوتر رفتند و بخش زیادی رو روی SSD نگهداری میکنند؛ برعکس llamacpp که از memory mapping استفاده میکنه این کتابخونه صبر میکنه تا مدل تصمیم بگیره برای پرامپت دقیقا کدوم expert هارو نیاز داره و بعد همونارو روی SSD بخونهالبته دنبال بهترین سرعتها نباشید
0.1tok/sec چیزی هست که نویسنده گزارش داده روی لپتاپ خودشاما این روش بنظرم خیلی جواب خواهد بود من ۳ سال قبل گفتم که روی یک پروژه قدیمیتر (الان حساب کنیم شاید ۷-۸ سال قبل) از
Redis برای نگهداری embedding هام استفاده میکردم https://telegram.me/pytens/1087
حالا فرض کنید یک نفر همچین کاری رو بکنه :
VRAM - RAM - SSD هرچند بنظرم تا استاندارد شدن این روش شاید راه طولانی رو در پیش نداشته باشیم حتی؛ سالهاست که
CPU ها دارند اینکار رو میکنند L1, L2, L3, RAM, SSD برای بررسی دقیقتر به گیتهاب پروژه سر بزنید :
Colibri Github
Telegram
RandRng
17.91 token/sec
برای شروع عدد خوبی هست ؟
روی GTX 1060 با ۶ گیگ گرافیک فکر کنم این GPU الان ۳۰ دلار قیمتش باشه
ولی داره Qwen3.6 با ۳۵ میلیارد پارامتر رو اجرا میکنه
docker run --gpus all --cap-add=IPC_LOCK \
-p 8080:8080 \
-v ~/.ai_models:/models:ro…
برای شروع عدد خوبی هست ؟
روی GTX 1060 با ۶ گیگ گرافیک فکر کنم این GPU الان ۳۰ دلار قیمتش باشه
ولی داره Qwen3.6 با ۳۵ میلیارد پارامتر رو اجرا میکنه
docker run --gpus all --cap-add=IPC_LOCK \
-p 8080:8080 \
-v ~/.ai_models:/models:ro…
❤17👍2
Forwarded from RandRng
این رو معرفی کنم
OKF (by google)
وقتی مدلها با کانتکستهای بالای
توی یک سری از ابزارهای چت شما میتونید مشخص کنید چت با چه پیامهایی از قبل مشخص شدهای شروع بشه و ماهم از همین تکنیک استفاده میکردیم.
مثلا برای نیروهای تازه وارد به شرکت؛ شماتیک دیتابیس رو توی چت اول میذاشتیم و نیرو همزمان با خوندن کدها اگر سوالی روی دیتابیس براش پیش میومد میتونست از مدل لوکال استفاده کنه و جلو بره.
برای بچههای سنیور هم خیلی خوب بود؛ هم سوالات خیلی کم شده بود؛ هم کمکی بود برای یادآوری و هم اگر کوئری بود که یادشون میرفت میتونستند از مدل بپرسند و تقریبا مطمئن باشند که بهترین جواب رو احتمالا خواهند گرفت.
حالا گوگل توی یک حرکت خیلی خفن اومده و یک استاندارد رو ارائه داده برای فرمت فایلها و ...
بجای اینکه یک چت هیستوری خیلی بزرگ به سیستم بدید (مثل کاری که ما میکردیم) اونها رو توی فایلهای
تقریبا دو روزی هست که دارم روی یک دیتابیس پروداکشن استفادهاش میکنم و بنظرم این از
مثلا:
توی سورس کد یک کوئری کند داشتیم و فکر میکردیم این دیگه ازین بهتر نمیشه؛ اما شد چون ما یک view ایی که ایجاد شده بود رو فراموش کردیم بودیم که همچین دیتایی رو داره و میتونه این کوئری رو هم اپتیمایز کنه و مدل این کوئری جدید رو بهمون داد.
برای استفادههای این شکلی بنظرم خیلی تکنیک تمیز و خوبی هست.
Github
توجه کنید هیچ تکنولوژی یا ... جدیدی پشت این نیست دنبال ابزار نباشید یک استاندارد برای نوشتن فایل
OKF (by google)
وقتی مدلها با کانتکستهای بالای
128K و حالا بیش از 1M استاندارد شدند واقعا هزینه توسعه و نگهداری سیستمهای RAG برام قابل درک نبود.توی یک سری از ابزارهای چت شما میتونید مشخص کنید چت با چه پیامهایی از قبل مشخص شدهای شروع بشه و ماهم از همین تکنیک استفاده میکردیم.
مثلا برای نیروهای تازه وارد به شرکت؛ شماتیک دیتابیس رو توی چت اول میذاشتیم و نیرو همزمان با خوندن کدها اگر سوالی روی دیتابیس براش پیش میومد میتونست از مدل لوکال استفاده کنه و جلو بره.
برای بچههای سنیور هم خیلی خوب بود؛ هم سوالات خیلی کم شده بود؛ هم کمکی بود برای یادآوری و هم اگر کوئری بود که یادشون میرفت میتونستند از مدل بپرسند و تقریبا مطمئن باشند که بهترین جواب رو احتمالا خواهند گرفت.
حالا گوگل توی یک حرکت خیلی خفن اومده و یک استاندارد رو ارائه داده برای فرمت فایلها و ...
بجای اینکه یک چت هیستوری خیلی بزرگ به سیستم بدید (مثل کاری که ما میکردیم) اونها رو توی فایلهای
markdown مختلف بشکونید ولی ابتدای هر فایل یک استاندارد رو رعایت کنید.تقریبا دو روزی هست که دارم روی یک دیتابیس پروداکشن استفادهاش میکنم و بنظرم این از
RAG, chat history خیلی بهتره (حداقل توی استفاده من) مثلا:
توی سورس کد یک کوئری کند داشتیم و فکر میکردیم این دیگه ازین بهتر نمیشه؛ اما شد چون ما یک view ایی که ایجاد شده بود رو فراموش کردیم بودیم که همچین دیتایی رو داره و میتونه این کوئری رو هم اپتیمایز کنه و مدل این کوئری جدید رو بهمون داد.
برای استفادههای این شکلی بنظرم خیلی تکنیک تمیز و خوبی هست.
Github
توجه کنید هیچ تکنولوژی یا ... جدیدی پشت این نیست دنبال ابزار نباشید یک استاندارد برای نوشتن فایل
Markdown هست بیشتر که مدل هوش مصنوعی شما راحت تر بفهمه چیکار کنه که بنظرم استاندارد تمیز و خوبی هم هست.Google Cloud Blog
How the Open Knowledge Format can improve data sharing | Google Cloud Blog
Learn how the Open Knowledge Format helps secure data sharing and improves collaboration across teams with standardized documentation.
👍15❤5
Forwarded from RandRng
Claude Leak
داستان چیه ؟ یک اتفاق تکراری دیگه.
هرکسی روی
یک نفر هم اومده توی گوگل زده
site:claude.ai/share
و دیده بله گوگل تمام و کمال همرو ایندکس کرده.
که خب یعنی خیلی شرکتهای دیگه هم اینکار رو کردند و البته خیلی جاهای دیگه هم دیتاهای مهم رو خوندند.
خیلی از بیزینسها ابراز نگرانی کردند و گوگل نتایج رو حذف کرد و گفته میشه که کلاد هم باگ رو برطرف کرده.
ولی همه میدونیم که ترین دیتای خوبی برای همه مدلها آماده شد.
داستان چیه ؟ یک اتفاق تکراری دیگه.
هرکسی روی
Calude چت خودش رو لینک Share براش گرفته چت بصورت کامل عمومی شده.یک نفر هم اومده توی گوگل زده
site:claude.ai/share
و دیده بله گوگل تمام و کمال همرو ایندکس کرده.
که خب یعنی خیلی شرکتهای دیگه هم اینکار رو کردند و البته خیلی جاهای دیگه هم دیتاهای مهم رو خوندند.
خیلی از بیزینسها ابراز نگرانی کردند و گوگل نتایج رو حذف کرد و گفته میشه که کلاد هم باگ رو برطرف کرده.
ولی همه میدونیم که ترین دیتای خوبی برای همه مدلها آماده شد.
ZDNET
Claude AI shared chats indexed by Google - see if your conversations were exposed
Google wasn't supposed to see them, but then everyone on Reddit did. Here's how to handle the situation.
👍13❤1
Forwarded from RandRng
لطفا ایشون رو برای همکاری استخدام کنید
AI developer runs 28.9-million-parameter model on $10 ESP32-S3 microcontroller — uses Google's Per-Layer Embeddings technique, stores table on 16MB Flash memory
اگر انقدر دیوونه هست که جنین کدی رو توی وقتهای خالی خودش بزنه؛ ببین توی کار چه کدهایی میزنه.
پینوشت:
خروجیش ۱ توکن در ثانیه هست مهم کاری هست که کرده و کدی که زده
AI developer runs 28.9-million-parameter model on $10 ESP32-S3 microcontroller — uses Google's Per-Layer Embeddings technique, stores table on 16MB Flash memory
اگر انقدر دیوونه هست که جنین کدی رو توی وقتهای خالی خودش بزنه؛ ببین توی کار چه کدهایی میزنه.
پینوشت:
خروجیش ۱ توکن در ثانیه هست مهم کاری هست که کرده و کدی که زده
Tom's Hardware
AI developer runs 28.9-million-parameter model on $10 ESP32-S3 microcontroller — uses Google's Per-Layer Embeddings technique,…
Local model running on a sub-$10 microcontroller is impressive despite its obvious limitations.
👍21❤3
Forwarded from RandRng
زده من اینکار رو کردم بعدش دیگه چه کارهایی میشه کرد باهاش ؟
هیچی تلاش کردی چندتاش رو بهم وصل کنی ببینی چی میده یا اصلا چطوری باید کد بزنی برای اتصال چندتاش به هم دیگه ؟
سریعتر میشه؛ کندتر میشه ؟
حالا
اگر مدل بزرگتر باشه چی میشه ؟
اصلا چطوری میشه چندتاش رو بهم وصل کرد (کارت شبکه که نداره)
مدل
اگر همه این کارها رو کردی و جواب همش رو درست متوجه شدی یک سری به این سایت بزن
Tenstorrent
برای موقعیت های شغلی که دارند رزومه بده؛ من قبلا فرستادم ولی چون معماری
پینوشت:
چندتا از بچهها این کار رو کردند و سوال پرسیدند.
هیچی تلاش کردی چندتاش رو بهم وصل کنی ببینی چی میده یا اصلا چطوری باید کد بزنی برای اتصال چندتاش به هم دیگه ؟
سریعتر میشه؛ کندتر میشه ؟
حالا
bottleneck کجاس ؟اگر مدل بزرگتر باشه چی میشه ؟
اصلا چطوری میشه چندتاش رو بهم وصل کرد (کارت شبکه که نداره)
مدل
P4 که روی RiscV هست چطوری کار میکنه ؟اگر همه این کارها رو کردی و جواب همش رو درست متوجه شدی یک سری به این سایت بزن
Tenstorrent
برای موقعیت های شغلی که دارند رزومه بده؛ من قبلا فرستادم ولی چون معماری
RISC-V بود و من بلدش نبودم رزومهام رد شد.پینوشت:
چندتا از بچهها این کار رو کردند و سوال پرسیدند.
Tenstorrent
Careers | Tenstorrent
We are looking for flexible thinkers who are excited by the future of AI to join our team.
👍6❤1
Forwarded from RandRng
در ادامه پروسههای باگ یابی من از شرکتهای هوش مصنوعی.
الان متوجه شدم چرا خیلی از بچهها میگن که فقط با
رو تست کردم؛ این مدلهای پارسر ضعیفتری دارند.
اول اینکه بنظر میاد همشون کد رو هم مثل
حجم زیادی کد بهشون دادم با پرامپت سختگیرانه (خیلی بیادبی هست وگرنه میذاشتم) و همشون چون رو حالت سخت گیری هست ارورهای پارسر رو نادیده نمیگیرند.
این نادیده گرفتن یک تکنیکی هست که ما هم توی پروداکشن استفاده میکنیم؛ اینطوری هست که اگر ببینید طرف راجب چیزی صحبت میکنه که به اندازه کافی علم داره ازش به مدل میگیم بعضی خطاها ممکنه اشتباه پارسر یا سرویس
ولی اینجا مدلهای بالا با پرامپتی که من دادم دیگه اینطوری نشد و کلی ایراد الکی گرفتند.
بعنوان مثال :
Bug 1: __main__.py entrypoint is broken
You have:
That is wrong.
It must be:
بدتر از اون اینکه بعضی مدلها حتی اینطوری میبیننش :
من تمام مدلهایی که اسم بردم رو توی ۳ حالت استفاده کردم :
۱- با پرامپت سختگیرانه که بالاتر گفتم
۲- پرامپت ساده که فقط یک
۳-پرامپت سختگیرانه + استفاده از محیط چت و کپی پیست کد بعد از توضیح اینکه مطلب ارسالی کد پایتون هست.
و بهترین جواب رو حالت سوم داد؛ اگر به اندازه کافی کانال رو دنبال کرده باشید میدونید که من اصلا به هیچ ابزار و
با دیدن این نتابج الان میفهمم چرا برای خیلی از شما سوال میشه که من چطوری از
استفاده میکنم و انقدر از خروجیهاش راضی هستم.
بنظرم شما هم این رو تست کنید- من فقط روی ۴ مدلی که اسم بردم تست کردم.
الان متوجه شدم چرا خیلی از بچهها میگن که فقط با
Claude میتونند کد بزنند؛ من یک باگ جدید پیدا کردم.Qwen, Grok, ChatGpt, GLM5.2 رو تست کردم؛ این مدلهای پارسر ضعیفتری دارند.
اول اینکه بنظر میاد همشون کد رو هم مثل
markdown باهاش برخورد میکنند و پارس میکنند چرا ؟حجم زیادی کد بهشون دادم با پرامپت سختگیرانه (خیلی بیادبی هست وگرنه میذاشتم) و همشون چون رو حالت سخت گیری هست ارورهای پارسر رو نادیده نمیگیرند.
این نادیده گرفتن یک تکنیکی هست که ما هم توی پروداکشن استفاده میکنیم؛ اینطوری هست که اگر ببینید طرف راجب چیزی صحبت میکنه که به اندازه کافی علم داره ازش به مدل میگیم بعضی خطاها ممکنه اشتباه پارسر یا سرویس
OCR باشه و نادیدهاش بگیر.ولی اینجا مدلهای بالا با پرامپتی که من دادم دیگه اینطوری نشد و کلی ایراد الکی گرفتند.
بعنوان مثال :
Bug 1: __main__.py entrypoint is broken
You have:
if name == "main":
main()
That is wrong.
It must be:
if __name__ == "__main__":
main()
بدتر از اون اینکه بعضی مدلها حتی اینطوری میبیننش :
if name
من تمام مدلهایی که اسم بردم رو توی ۳ حالت استفاده کردم :
۱- با پرامپت سختگیرانه که بالاتر گفتم
۲- پرامپت ساده که فقط یک
role بهش دادم (این مشکلات وجود نداشت)۳-پرامپت سختگیرانه + استفاده از محیط چت و کپی پیست کد بعد از توضیح اینکه مطلب ارسالی کد پایتون هست.
و بهترین جواب رو حالت سوم داد؛ اگر به اندازه کافی کانال رو دنبال کرده باشید میدونید که من اصلا به هیچ ابزار و
agent ایی که دسترسی به سیستمم داشته باشه اعتماد ندارم و همیشه از محیطهای چت مرورگر استفاده میکنم و کدهام رو اونجا بهشون میدم.با دیدن این نتابج الان میفهمم چرا برای خیلی از شما سوال میشه که من چطوری از
Qwen, Duck.ai , ... استفاده میکنم و انقدر از خروجیهاش راضی هستم.
بنظرم شما هم این رو تست کنید- من فقط روی ۴ مدلی که اسم بردم تست کردم.
👍12❤9
Forwarded from RandRng
چون به این علاقه داشتید و
گفتم براتون یک آموزش دیگه هم بذارم؛
این یکی برای اونهایی که به deep learning علاقهدارند تازه شروع کردند یا میخوان شروع کنند و مباحث زیاد هست و پیشنیازها بیشتر.
من این کانال رو چندسالی هست که خودم دنبال میکنم؛ همینجا بگم که بهترین لهجه انگلیسی توی این کانال نیست اما یک نگاهی به ویدئوهای اخیرشون برای دوره
Intro to deep learning Fall 2026
بندازیم (تایتلها)
0.1 Python Fundamentals
0.2 OOP
0.3 Numpy
0.4 Pytorch
0.5 Notebooks and conda
0.6 Tensordot & Einsum
0.7 Differentiation/Calculus Part 1
0.7 Differentiation/Calculus Part 2
0.8 Git and Github
0.9 Google colab
0.10 Google cloud
0.11 Kaggle
...
0.14 Linux
0.15 Datasets
0.16 DataLoaders
0.17 Data Preprocessing
0.18 Wandb
0.19 Debugging your model
0.21 Losses
0.22 Block processing
0.23 Pipelines
0.24 Distributed training
0.25 Saving and loading model
همونطوری که میبینید از صفر میتونید شروع کنید؛ میخواید خیلی قوی بشید ؟
تمرینهای دورهای قبلی رو حل کنید (خودشون هم حلش رو گذاشتن)
موضوعی هم میتونید توی کانال سرچ کنید و مباحث رو پیدا کنید
من هیچ دورهای رو ندیدم انقدر سرفصلهای کاملی داشته باشه؛ فقط یک دوره رو ببیند و تمرینات دورههای قبلی رو حل کنید
بعدش شروع کنید پروژه زدن؛ کل این دورهها هم رایگان هست.
وقتی پیش نیازها تموم بشه همهی ویدئوهایی که با 0. شروع میشه؛ اونوقت اصل آموزش دانشگاهی شروع میشه و هیچکس توی این آموزش سردرگم نیست که چی باید یاد بگیره یا پیش نیازی بوده که بلد نیست و ...
۱۰۰٪ پیشنهاد میکنم؛ من اولین بار ۷ سال پیش ویدئوهای این دانشگاه رو دیدم و الان ۱۰۰ بار از اون موقع بهتر هست.
share کردید (بیش از ۴۰۰ بار)گفتم براتون یک آموزش دیگه هم بذارم؛
این یکی برای اونهایی که به deep learning علاقهدارند تازه شروع کردند یا میخوان شروع کنند و مباحث زیاد هست و پیشنیازها بیشتر.
Carnegie Mellon University Deep Learningمن این کانال رو چندسالی هست که خودم دنبال میکنم؛ همینجا بگم که بهترین لهجه انگلیسی توی این کانال نیست اما یک نگاهی به ویدئوهای اخیرشون برای دوره
Intro to deep learning Fall 2026
بندازیم (تایتلها)
0.1 Python Fundamentals
0.2 OOP
0.3 Numpy
0.4 Pytorch
0.5 Notebooks and conda
0.6 Tensordot & Einsum
0.7 Differentiation/Calculus Part 1
0.7 Differentiation/Calculus Part 2
0.8 Git and Github
0.9 Google colab
0.10 Google cloud
0.11 Kaggle
...
0.14 Linux
0.15 Datasets
0.16 DataLoaders
0.17 Data Preprocessing
0.18 Wandb
0.19 Debugging your model
0.21 Losses
0.22 Block processing
0.23 Pipelines
0.24 Distributed training
0.25 Saving and loading model
همونطوری که میبینید از صفر میتونید شروع کنید؛ میخواید خیلی قوی بشید ؟
تمرینهای دورهای قبلی رو حل کنید (خودشون هم حلش رو گذاشتن)
موضوعی هم میتونید توی کانال سرچ کنید و مباحث رو پیدا کنید
من هیچ دورهای رو ندیدم انقدر سرفصلهای کاملی داشته باشه؛ فقط یک دوره رو ببیند و تمرینات دورههای قبلی رو حل کنید
بعدش شروع کنید پروژه زدن؛ کل این دورهها هم رایگان هست.
وقتی پیش نیازها تموم بشه همهی ویدئوهایی که با 0. شروع میشه؛ اونوقت اصل آموزش دانشگاهی شروع میشه و هیچکس توی این آموزش سردرگم نیست که چی باید یاد بگیره یا پیش نیازی بوده که بلد نیست و ...
۱۰۰٪ پیشنهاد میکنم؛ من اولین بار ۷ سال پیش ویدئوهای این دانشگاه رو دیدم و الان ۱۰۰ بار از اون موقع بهتر هست.
❤24👍3