مقالات برگزیده #کنفرانس neurIPS2025

📣 Artificial HivemindArtificial Hivemind: The Open-Ended Homogeneity of Language Models (and Beyond)
📣 Gated Attention for LLMsGated Attention for Large Language Models: Non-linearity, Sparsity, and Attention-Sink-Free
🔔 1000 Layer Networks for Self-Supervised RL: Scaling Depth Can Enable New Goal-Reaching Capabilities
🔔 Why Diffusion Models Don't Memorize: The Role of Implicit Dynamical Regularization in Training
🔔 Does Reinforcement Learning Really Incentivize Reasoning Capacity in LLMs Beyond the Base Model?
🔔 Optimal Mistake Bounds for Transductive Online Learning
☢️ Superposition Yields Robust Neural Scaling

#مقاله

🔹 مطالب بیشتر 👇👇

✅ @AI_DeepMind
❤️ @AI_Person

این مقاله یه چارچوب جدید یادگیری تو در تو یا Nested Learning رو معرفی میکنه که یه دیدگاه  متفاوت از ساختار مدل‌ های یادگیری عمیق ارائه میده. به جای اینکه معماری‌ های یادگیری عمیق رو به‌عنوان سلسله‌ مراتبی از لایه‌های پردازشی ببینیم، یادگیری تو در تو اونارو سیستمی از مسائل بهینه‌سازی تو در تو تفسیر میکنه که هر کدوم context flow خودشونو دارنو و با فرکانس‌ های مختلف بروز میشن.

این دیدگاه الهام‌گرفته از نحوهٔ عملکرد مغز ما انسانهاس ، به‌ویژه تو فرایند تثبیت حافظه که به دو شکل آنلاین ( حین یادگیری) و  آفلاین (حین خواب) انجام میشه. مقاله نیگه که مدل‌های زبانی بزرگ بعد از تموم شدن آموزش اولیشون، مثل یه فرد مبتلا به فراموشی پیش گستر (Anterograde Amnesia) عمل میکنن؛ یعنی نمیتونن دانش جدید رو تو حافظه بلند مدتشون ذخیره کنن و صرفا به اطلاعات داخل پنجره توجه کوتاه‌ مدت خود متکین.

نویسندگان  این مقاله، یادگیری تو در تو رو به‌ عنوان یه راه برای طراحی سیستم‌ های یادگیری پویاتر پیشنهاد میدن. تو این چارچوب، همه مولفه‌ های یه مدل از جمله شبکه‌ های عصبی و بهینه‌ساز ها، به‌عنوان ماژول‌های حافظه شرکت پذیر یا انجمنی (Associative Memory) دیده میشن که سعی میکنن روابط بین ورودی‌ ها (مثل توکنها یا گرادیان‌ ها) و خروجی‌ ها (مثل سیگنال‌های خطا یا مقادیر هدف) رو تو پارامترهای خودشون فشرده کنن.

به‌عنوان مثال، بهینه‌ساز هایی مثل اس جی دی با مومنتوم یا آدام هم به‌ عنوان حافظه‌هایی تفسیر میشن که گرادیان‌ های گذشته رو ذخیره میکنن. بر این اساس، نویسنده ها چندین بهبود عملکرد رو ارائه میدن: اول، بهینه‌ساز های عمیق‌ تر که از حافظه‌ های غیرخطی (مثل ام ال پی) و قوانین یادگیری قوی‌ تر (مثل قاعده دلتا) استفاده میکنن؛ دوم، یه مدل توالی جدید به اسم (خودتغییردهنده Titans) که تو زمان تست الگوریتم بروزرسانی خودش رو یاد میگیره؛ و سوم، یه سیستم حافظه پیوسته که دیدگاه سنتی حافظهٔ کوتاه‌ مدت/بلند مدت رو با طیفی از حافظه‌ها با فرکانس‌ های به‌روزرسانی مختلف جایگزین میکنه.

با ترکیب این ایده‌ها، مدل HOPE طراحی میشه که تو اون هر لایه ام ال پی با فرکانس متفاوتی بروز میشه و مدل به‌ طور همزمان از چندین سطح ابسترکت و مقیاس زمانی یاد میگیره. نتایج ارزیابی نشون میده که HOPE در مقایسه با ترنسفورمر و مدل‌های مدرن RNN تو وظایف مدل‌ سازی زبان، استدلال و یادگیری مداوم عملکرد رقابتی یا حتی بهتری داره!
🔔 Nested Learning: The Illusion of Deep Learning Architectures

#یادگیری_عمیق #یادگیری_ماشین #ماشین_لرنینگ #مقاله #شبکه_عصبی #ایده_جذاب

🔹 مطالب بیشتر 👇👇

✅ @AI_DeepMind
✅@AI_Person

کلاس آموزشی یادگیری تقویتی عمیق دانشگاه استنفورد برای کسایی که میخوان به صورت حرفه ای تر سرفصلهای جدیدتر و بهتری رو برای این حوزه یادبگیرن مفید هست.

📣 Deep RL course lecture videos from Spring 2025
https://online.stanford.edu/courses/xcs224r-deep-reinforcement-learning

#منابع #کلاس_آموزشی #یادگیری_تقویتی_عمیق #یادگیری_تقویتی #فیلم

🔹 مطالب بیشتر 👇👇

✅ @AI_DeepMind
✅@AI_Person

پاییز نفسِ آخرش را می‌کشد؛
نه با سفره‌های پُر،
با دل‌هایی که هنوز خاموش نشده‌اند.

یلدا اگرچه از جیب‌ها کوچ کرده،
از حافظه‌ی ما نرفته است؛
آتش را کم کرده‌اند،
اما تاریکی هنوز جرأتِ ماندن ندارد.

در این شبِ دراز،
ما با هم بیدار می‌مانیم؛
نه برای جشنِ تجمل،
برای یادآوریِ نوری
که هرچه فشار بیشتر شود،
سرسخت‌تر می‌تابد.

یلداتون مبارک با آرزوی بهترینا براتون❤️❤️❤️

پیتر تیل سال ٢٠١٢ یه کلاس در استنفورد برگزار کرد که درش تعداد زیادی از افراد معروف سیلیکون ولی مثل سم آلتمن و مارک اندریسن در مورد #استارتاپ و جوانب مختلفش صحبت کردن. سری ویدیوهاش اینجاس.
#منابع #کلاس_آموزشی

https://youtube.com/playlist?list=PLU630Cd0ZQCMeQiSvU7DJmDJDitdE7m7r&si=iq8kr7O-0_qrMSZe

🔹 مطالب بیشتر 👇👇

✅ @AI_DeepMind
🔸 @AI_Person