DevTwitter | توییت برنامه نویسی

منظور من وقتی تو مکالماتم با کارفرما از واژه "ما" استفاده میکنم:

@DevTwitter | <Soroush Sardashti/>

👍99🔥19🍌15

4.97K views08:00

یان لوکان (Yann LeCun) حق داشت

تصور کنید یه مدل هوش مصنوعی با فقط ۱۰۹ میلیون پارامتر بتونه از مدلی با ۷۲ میلیارد پارامتر بهتر عمل کنه! شاید در نگاه اول عجیب به نظر برسه، اما تحقیقات جدید لوکان و رندال بالستریرو (Randall Balestriero) دقیقاً چنین چیزی رو نشون می‌ده.

لوکان سال‌هاست که می‌گه چیزی که باعث می‌شه یه مدل هوش مصنوعی دنیا رو درک کنه، صرفاً بزرگ‌تر کردنش نیست. با این حال، متا روی خلاف این ایده سرمایه‌گذاری کرد. لوکان هم در ماه نوامبر از متا جدا شد و آزمایشگاه تحقیقاتی خودش رو در پاریس راه انداخت. پنجشنبه‌ی هفته‌ی گذشته، اون به همراه بالستریرو مقاله‌ای منتشر کرد که می‌تونه نگاه ما به آموزش مدل‌های هوش مصنوعی رو تغییر بده.

اونا فرضیه‌ای به اسم Platonic Representation Hypothesis رو بررسی و به‌صورت ریاضی اثبات کردن. این فرضیه می‌گه مدل‌های هوش مصنوعی، حتی اگه با داده‌های متفاوتی مثل متن، تصویر یا صدا آموزش ببینن، در نهایت به درک مشترک و مشابهی از جهان می‌رسن؛ انگار همه‌شون به یه تصویر واحد از واقعیت دست پیدا می‌کنن. تا الان تصور غالب این بوده که برای رسیدن به چنین درکی، باید مدل‌ها رو هرچه بزرگ‌تر کنیم و با حجم عظیمی از داده‌ها آموزش بدیم. اما تحقیقات جدید نشون می‌ده که روش آموزش مدل خیلی مهم‌تر از اندازه‌ی اونه!

لوکان و بالستریرو نشون دادن که تحت شرایط ریاضی مشخص، دو مدل مبتنی بر معماری JEPA می‌تونن کاملاً مستقل از هم آموزش ببینن و در نهایت به نمایش تقریباً یکسانی از جهان برسن. نکته‌ی جالب اینجاست که این دو مدل حتی نیازی به داده‌های مشترک یا آموزش با جفت‌های متن و تصویر ندارن! یکی از مدل‌ها با مشاهده‌ی تصاویر مختلف از یک صحنه آموزش می‌بینه و مدل دیگه با توضیحات و توصیف‌های متفاوت از همون صحنه. با وجود این تفاوت، هر دو در نهایت می‌تونن به درک مشترکی از واقعیت دست پیدا کنن.

در واقع، چیزی که اهمیت داره این نیست که مدل چقدر بزرگه؛ بلکه اینه که چه اطلاعاتی رو و به چه شکلی در اختیارش قرار می‌دیم. برای مثال، یه عکس و توضیحی که زیر همون عکس نوشته شده، دو نمای متفاوت از یه چیز واحد هستن. مدل‌هایی که با چنین جفت‌هایی آموزش می‌بینن، خیلی سریع‌تر به درک مشترکی از موضوع می‌رسن. اما دو پاراگراف که از یه سند واحد برداشته شدن، لزوماً دو نمای متفاوت از یه مفهوم واحد نیستن و آموزش مدل با چنین داده‌هایی می‌تونه خیلی کندتر و پرهزینه‌تر باشه.

اینجاست که روش رایج پیش‌بینی کلمه‌ی بعدی (Next-Token Prediction) وارد ماجرا می‌شه؛ همون روشی که تقریباً تمام چت‌بات‌های امروزی ازش استفاده می‌کنن. نتایج آزمایش‌ها واقعاً جالبه: روش مبتنی بر هم‌ترازی نمایش‌ها تونسته با استفاده از ۲۱.۶ میلیون نمونه به نتیجه‌ای مشابه برسه که روش پیش‌بینی کلمه‌ی بعدی برای رسیدن بهش به ۹۰۰ میلیون نمونه نیاز داره. یعنی رسیدن به هم‌ترازی مشابه بین متن و تصویر با حدود ۴۲ برابر داده‌ی آموزشی کمتر!

اما شاید شگفت‌انگیزترین بخش ماجرا این باشه که یه مدل متنی JEPA با فقط ۱۰۹ میلیون پارامتر تونسته در آزمون‌های هم‌ترازی بین‌وجهی (Cross-Modal Alignment)، حتی از مدل‌های زبانی بسیار بزرگ تا سقف ۷۲ میلیارد پارامتر هم بهتر عمل کنه. به عبارت دیگه، مدلی که حدود ۶۶۰ برابر کوچیک‌تره، تونسته در این نوع از درک و هم‌ترازی، عملکرد بهتری از مدل‌های غول‌پیکر داشته باشه.

شاید وقتش رسیده این تصور رو کنار بذاریم که آینده‌ی هوش مصنوعی فقط به مدل‌های بزرگ‌تر، دیتاسنترهای عظیم‌تر و میلیاردها پارامتر بیشتر وابسته است. شاید مسیر رسیدن به هوش مصنوعی واقعاً هوشمند، نه در بزرگ‌تر کردن مدل‌ها، بلکه در پیدا کردن روش‌های بهتر برای یادگیری و درک جهان باشه.

https://www.alphaxiv.org/abs/2610.39302

@DevTwitter | <Reza Jafari/>

👍45❤15🍌5

5.21K views08:42