در حالی که قوانین مقیاس‌پذیری Scaling Laws بیان می‌کنند

«هرچه داده بیشتر، بهتر»،

پژوهش‌های اخیر مانند LIMO و s1 نشان داده‌اند که مجموعه‌داده‌های کوچک اما curated می‌توانند عملکرد بهتری داشته باشند.
این مقاله تئوری دقیقی ارائه می‌دهد که مشخص می‌کند در چه شرایطی حذف بخشی از داده‌ها باعث بهبود تعمیم و جلوگیری Model Collapse می‌شود.

🔰 Why Less is More (Sometimes): A Theory of Data Curation

#مقاله #یادگیری_تقویتی #ایده_جذاب #الگوریتمها

💢 مطالب بیشتر ⬇️⬇️

🎙 @AI_DeepMind
🎙 @AI_Person

یک دوره کلاسی و کاربردی از #یادگیری_عمیق که ابتدا به صورت مبانی و سپس کاربردی میپردازد پیشنهاد خوبیه برای کسایی که روند پیشرفتی ابزارهای #هوش_مصنوعی رو دنبال میکنند این دوره رو سپری کنن رو پیشنهاد میدم

📱 UofT - Applied Deep Learning - Fall 2025
➡️ Lecture Notes

#منابع #فیلم #کلاس_آموزشی #الگوریتمها

💢 مطالب بیشتر ⬇️⬇️

🎙 @AI_DeepMind
🎙 @AI_Person

مقالات برگزیده #کنفرانس neurIPS2025

📣 Artificial HivemindArtificial Hivemind: The Open-Ended Homogeneity of Language Models (and Beyond)
📣 Gated Attention for LLMsGated Attention for Large Language Models: Non-linearity, Sparsity, and Attention-Sink-Free
🔔 1000 Layer Networks for Self-Supervised RL: Scaling Depth Can Enable New Goal-Reaching Capabilities
🔔 Why Diffusion Models Don't Memorize: The Role of Implicit Dynamical Regularization in Training
🔔 Does Reinforcement Learning Really Incentivize Reasoning Capacity in LLMs Beyond the Base Model?
🔔 Optimal Mistake Bounds for Transductive Online Learning
☢️ Superposition Yields Robust Neural Scaling

#مقاله

🔹 مطالب بیشتر 👇👇

✅ @AI_DeepMind
❤️ @AI_Person

این مقاله یه چارچوب جدید یادگیری تو در تو یا Nested Learning رو معرفی میکنه که یه دیدگاه  متفاوت از ساختار مدل‌ های یادگیری عمیق ارائه میده. به جای اینکه معماری‌ های یادگیری عمیق رو به‌عنوان سلسله‌ مراتبی از لایه‌های پردازشی ببینیم، یادگیری تو در تو اونارو سیستمی از مسائل بهینه‌سازی تو در تو تفسیر میکنه که هر کدوم context flow خودشونو دارنو و با فرکانس‌ های مختلف بروز میشن.

این دیدگاه الهام‌گرفته از نحوهٔ عملکرد مغز ما انسانهاس ، به‌ویژه تو فرایند تثبیت حافظه که به دو شکل آنلاین ( حین یادگیری) و  آفلاین (حین خواب) انجام میشه. مقاله نیگه که مدل‌های زبانی بزرگ بعد از تموم شدن آموزش اولیشون، مثل یه فرد مبتلا به فراموشی پیش گستر (Anterograde Amnesia) عمل میکنن؛ یعنی نمیتونن دانش جدید رو تو حافظه بلند مدتشون ذخیره کنن و صرفا به اطلاعات داخل پنجره توجه کوتاه‌ مدت خود متکین.

نویسندگان  این مقاله، یادگیری تو در تو رو به‌ عنوان یه راه برای طراحی سیستم‌ های یادگیری پویاتر پیشنهاد میدن. تو این چارچوب، همه مولفه‌ های یه مدل از جمله شبکه‌ های عصبی و بهینه‌ساز ها، به‌عنوان ماژول‌های حافظه شرکت پذیر یا انجمنی (Associative Memory) دیده میشن که سعی میکنن روابط بین ورودی‌ ها (مثل توکنها یا گرادیان‌ ها) و خروجی‌ ها (مثل سیگنال‌های خطا یا مقادیر هدف) رو تو پارامترهای خودشون فشرده کنن.

به‌عنوان مثال، بهینه‌ساز هایی مثل اس جی دی با مومنتوم یا آدام هم به‌ عنوان حافظه‌هایی تفسیر میشن که گرادیان‌ های گذشته رو ذخیره میکنن. بر این اساس، نویسنده ها چندین بهبود عملکرد رو ارائه میدن: اول، بهینه‌ساز های عمیق‌ تر که از حافظه‌ های غیرخطی (مثل ام ال پی) و قوانین یادگیری قوی‌ تر (مثل قاعده دلتا) استفاده میکنن؛ دوم، یه مدل توالی جدید به اسم (خودتغییردهنده Titans) که تو زمان تست الگوریتم بروزرسانی خودش رو یاد میگیره؛ و سوم، یه سیستم حافظه پیوسته که دیدگاه سنتی حافظهٔ کوتاه‌ مدت/بلند مدت رو با طیفی از حافظه‌ها با فرکانس‌ های به‌روزرسانی مختلف جایگزین میکنه.

با ترکیب این ایده‌ها، مدل HOPE طراحی میشه که تو اون هر لایه ام ال پی با فرکانس متفاوتی بروز میشه و مدل به‌ طور همزمان از چندین سطح ابسترکت و مقیاس زمانی یاد میگیره. نتایج ارزیابی نشون میده که HOPE در مقایسه با ترنسفورمر و مدل‌های مدرن RNN تو وظایف مدل‌ سازی زبان، استدلال و یادگیری مداوم عملکرد رقابتی یا حتی بهتری داره!
🔔 Nested Learning: The Illusion of Deep Learning Architectures

#یادگیری_عمیق #یادگیری_ماشین #ماشین_لرنینگ #مقاله #شبکه_عصبی #ایده_جذاب

🔹 مطالب بیشتر 👇👇

✅ @AI_DeepMind
✅@AI_Person

کلاس آموزشی یادگیری تقویتی عمیق دانشگاه استنفورد برای کسایی که میخوان به صورت حرفه ای تر سرفصلهای جدیدتر و بهتری رو برای این حوزه یادبگیرن مفید هست.

📣 Deep RL course lecture videos from Spring 2025
https://online.stanford.edu/courses/xcs224r-deep-reinforcement-learning

#منابع #کلاس_آموزشی #یادگیری_تقویتی_عمیق #یادگیری_تقویتی #فیلم

🔹 مطالب بیشتر 👇👇

✅ @AI_DeepMind
✅@AI_Person