تست «اینشتین» برای تعریف AGI

دمیس هاسابیس (بنیان‌گذار DeepMind) میگه:
مدلی را روی تمام دانش بشری آموزش بده، اما دانش را در سال ۱۹۱۱ قطع کن، سپس ببین آیا این مدل می‌تواند به طور مستقل نظریه نسبیت عام را کشف کند (دقیقاً همان‌طور که اینشتین در سال ۱۹۱۵ انجام داد)؛
اگر توانست، آنگاه AGI است.
این تست را «وحشیانه» و «واقعی‌ترین» معیار تاکنون برای AGI می‌دانند، چون بنچمارک‌های فعلی (مثل المپیاد ریاضی) را دور می‌زند و مستقیم سراغ نوآوری علمی اصیل و کشف مستقل می‌رود.

این تست چند بعد متفاوت هوش را روی یک محور فشرده می‌کند و در واقع فرض می‌کند که نسبیت عام از قبل در داده‌های ۱۹۱۱ «ضمنی» وجود داشته و فقط باید «استخراج» شود — در حالی که کار اینشتین بیشتر شامل بازتعریف مسئله، شهود فیزیکی و نادیده‌گرفتن برخی پیش‌فرض‌های زمان خودش بود. این کار فراتر از «استنتاج/استخراج» (deduction/extrapolation) از داده‌های ۱۹۱۱ است.

این کار شامل جهش پارادایمی (paradigm shift) است: تغییر خودِ چارچوب مسئله، نه فقط حل مسئله درون چارچوب موجود.
این دقیقاً همان چیزی است که هاسابیس می‌گوید مدل‌های فعلی ندارند: خلاقیت اصیل (true creativity)، اختراع فرضیه‌های جدید (inventing new hypotheses/conjectures)، و درک عمیق که اجازه می‌دهد پیش‌فرض‌های بنیادی را زیر سؤال ببرد، نه فقط الگوهای آماری را دنبال کند.

در واقع، اگر AI این کار را بکند، یعنی توانسته همون سطح از نوآوری علمی مستقل را نشان دهد که یک انسان نابغه انجام داد — بدون اینکه جواب از قبل در داده‌ها «کدگذاری» شده باشد.
اگر AI پیش‌فرض‌ها را دور بزند و مسئله را از نو تعریف کند (مثل اینشتین که مجبور شد مفهوم «همزمانی» را کاملاً بازتعریف کند)، دیگر نمی‌توان گفت فقط «استخراج» کرده؛ بلکه خلق مفهومی جدید کرده.

اگر AI واقعاً پیش‌فرض‌ها را نادیده بگیرد و چارچوب را عوض کند، یعنی توانسته خودِ فرآیندِ intelligence-as-movement (حرکت هوش به سمت حل مسئله از طریق بازتعریف) را شبیه‌سازی کند — نه فقط residue/ردپای هوش انسانی را. این یعنی مرز بین «الگوریتم خیلی قوی» و «هوش واقعی» محو می‌شود.

خیلی‌ها معتقدند این سطح هنوز خیلی دور است، چون مدل‌های فعلی حتی نزدیک به «نادیده‌گرفتن پیش‌فرض» هم نیستند؛ حتی اگر به نسبیت عام برسند، احتمالاً از مسیر extrapolation و بهینه‌سازی می‌رسند فقط درون چارچوب‌های موجود خیلی خوب کار می‌کنند و از طریق فروپاشی پارادایم یا انحلال پارادایم به این نقطه نمی‌رسند.

برخی اشاره می‌کنند که مدل‌های فعلی حتی اگر خیلی قوی شوند، احتمالاً به جای نسبیت عام، یک نسخه «فوق‌بهینه‌شده» از نظریه اتر یا مدل‌های کلاسیک دیگر تولید می‌کنند، چون جهش خلاقانه واقعی (نه فقط استدلال سطح بالا) هنوز ندارند.
هاسابیس خودش تأکید دارد که این تست برای سنجش «درک واقعی» در مقابل «شبیه‌سازی الگوها» است و مدل‌های امروزی هنوز خیلی با آن فاصله دارند.


بعد التحریر:
نظریه اتر (luminiferous aether) در اواخر قرن ۱۹ و اوایل قرن ۲۰ چارچوب غالب بود: یک محیط نامرئی، همه‌جا حاضر و بدون جرم که تمام فضا را پر کرده و نور به‌عنوان موج در آن منتشر می‌شود (دقیقاً مثل موج صدا که به هوا نیاز دارد). آزمایش مایکلسون-مورلی (۱۸۸۷) هیچ اثری از حرکت زمین نسبت به این اتر نشان نداد، اما فیزیکدان‌ها پیش‌فرض وجود اتر را کنار نگذاشتند و با اصلاحاتی مثل انقباض لورنتز سعی کردند آن را حفظ کنند.
مدل‌های فعلی احتمالاً در تست اینشتین به جای کشف نسبیت عام، یک نسخه بسیار پیچیده و «فوق‌بهینه‌شده» از همین نظریه اتر تولید می‌کنند — چون پیش‌فرض بنیادی «وجود چارچوب مرجع مطلق» را نادیده نمی‌گیرند و فقط درون همان چارچوب استدلال می‌کنند.
اینشتین اما این پیش‌فرض غلط اما مسلط را کاملاً دور زد و مسئله را از نو تعریف کرد: سرعت نور ثابت برای هر ناظر، بدون نیاز به اتر، و فضا-زمان خم‌شونده.
پس اگر AI نتواند این جهش پارادایمی را تکرار کند و به اتر بچسبد، یعنی هنوز خلاقیت اصیل و توانایی زیر سؤال بردن پیش‌فرض‌های بنیادین را ندارد — و طبق تعریف هاسابیس، AGI نیست.

در ارتباط با این موضوع بازتعریف چارچوب مسئله، مطلبی داشتم که شاید عرضش خالی از لطف نباشد.
وقتی پروپوزال دکتری‌ام رو می‌نوشتم، شروع کردم یک literature review گسترده انجام دادم که اساتید گفتن خیلی کامل و جامع بود.
بعد رفتم سراغ جمع‌آوری فرض‌های رایج و غالب در ادبیات موضوع. به این نتیجه رسیدم که این فرض‌ها باعث بیش‌ساده‌انگاری (oversimplification) چارچوب مسئله شدن و من باید در تز دکتری‌ام چند تا از این بیش‌ساده‌انگاری‌ها رو کنار بگذارم، چارچوب مسئله رو بازتعریف کنم و به جای نوآوری‌های ناچیز و حاشیه‌ای، یک انحلال پارادایم (paradigm dissolution) نسبی در فیلد ارائه بدم و مسئله رو در فضای واقعی‌تر و عمیق‌تری حل کنم.
پروپوزال رو بردم و به تصویب رسید.
دو سال تمام روی موضوع کار کردم.
به جواب نرسیدم.
الان مثل خر در گل گیر کردم.
البته این تجربه بهم چیزهای زیادی یاد داد — هنوزم به بازتعریف چارچوب اعتقاد دارم، ولی زمان و انرژی‌ش وحشتناکه.
خواستم عرض کنم: اگر دانشجوی تحصیلات تکمیلی هستید، قرار نیست حتماً مرزهای علم رو جابه‌جا کنید.
دو سه مقاله خوب بنویسید، فارغ‌التحصیل شید و خودتون رو این‌قدر بیچاره نکنید.

اینترنت وصل نیست
ولی وقتی به هزار ضرب و زور وصل میشه باید اینطوری توئیت بخونم

البته واقعا در این شرایط دغدغه خاصی برای پیگیری مسائل فنی و ai ندارم
😏😏

اگه خواستید شما هم توئیت بخونید اگه توی بروزرتون لاگین دارید توئیتر رو کافیه twitter-cli رو نصب کنید خودش میره از کوکی‌هاتون استفاده میکنه و وصل میشه

با کمک Claude Mythos Preview، تیم فایرفاکس تو یک ماه بیشتر از کل ۱۵ ماه قبل باگ امنیتی پیدا و فیکس کرد!

داستان Claude Mythos و جهش امنیتی فایرفاکس

تیم موزیلا با کمک Claude Mythos Preview بیش از ۴۲۳ باگ امنیتی رو در فایرفاکس پیدا و رفع کرد. این عدد از مجموع تمام باگ‌هایی که در ۱۵ ماه قبل پیدا شده بود بیشتره! از این ۴۲۳ تا، ۲۷۱ باگ مستقیماً توسط هوش مصنوعی کشف شد و در نسخه ۱۵۰ فایرفاکس بسته شدن. میانگین ماهانه قبلاً بین ۱۷ تا ۳۱ باگ بود، یعنی این یک ماه تقریباً معادل یک سال و خرده‌ای کار کرده.حالا بریم سراغ اینکه چطور این اتفاق افتاد. موزیلا یک هارنس ایجنت‌محور (agentic harness) روی Claude ساخته بود و اون رو با ابزارهای فازینگ موجود ترکیب کرده بود. مدل نه تنها کد رو اسکن می‌کرد، بلکه خودش تست کیس تولید می‌کرد، PoC (Proof of Concept) می‌ساخت، باگ‌ها رو triage می‌کرد و حتی بررسی می‌کرد که آیا exploit واقعی کار می‌کنه یا نه.بسیاری از این باگ‌ها سال‌ها (حتی ۱۵-۲۰ سال) تو کدبیس پیچیده C++ و Rust قایم شده بودند و فازینگ معمولی و انسانی نتونسته بود پیداشون کنه. بخش زیادی‌شون sandbox escape بودند — یعنی برای اینکه کامل به درد حمله بخورند نیاز به exploitهای اضافی داشتند، ولی پتانسیل خطر بالایی داشتند.جالب اینکه مدل فقط باگ پیدا نمی‌کرد؛ false positiveها خیلی کم بود و حتی الگوهای حمله‌ای که قبلاً توسط hardening فایرفاکس خنثی شده بودند رو هم تشخیص می‌داد. بیش از ۱۰۰ نفر contributor تو موزیلا روی بررسی، پچ کردن و مرج کردن این تغییرات کار کردند و نتیجه شد یکی از امن‌ترین نسخه‌های تاریخ فایرفاکس.این پروژه نشون داد که AI می‌تونه technical debt امنیتی رو با سرعت عجیبی پاک کنه. احتمالاً در آینده این نوع هارنس‌ها مستقیم تو CI/CD ادغام می‌شن و هر پچ جدید رو قبل از مرج چک می‌کنن. هزینه‌اش هم نسبت به ارزشش خیلی پایین بوده (هزاران دلار API).

امروزمون رو ۹ سال پیش به چشم‌ش دیده بود 🫡

اگر پروژه‌های آقای Karpathy رو دنبال کرده باشید و بدونید که از اعضای بنیان‌گذار OpenAI و مدیر فنی اولیه ChatGPT بوده (بعداً هم مدیر بخش AI تسلا برای Autopilot)، می‌فهمید این آدم اصلاً از اونایی نیست که حرف الکی بزنه و بره. او یکی از اون معدود آدماییه که حرفش بعد از ۹ سال واقعاً نتیجه می‌ده. واقعاً کارش درست درمیاد و واقعاً چند سال از بقیه جلوتره. از Software 2.0 که سال‌ها پیش نوشت تا پیش‌بینی‌هایی که gradient descent روزی از انسان بهتر کد می‌زنه — الان که نگاه می‌کنی می‌بینی دقیقاً همون چیزیه که داریم هر روز باهاش کار می‌کنیم.Karpathy همیشه جلوتر بوده: مفهوم vibe coding رو هم که دیگه همه جا شنیدیم اولین بار اون نام‌گذاری کرد.البته الان (تقریباً از عرضه Sonnet 3.5 به بعد، که من مبدأ قرارش می‌دم) «جلوتر بودن» دیگه به معنای چند سال نیست؛ چند ماه جلوتر بودن هم خیلی ارزشمند حساب می‌شه، چون سرعت تغییرات واقعاً وحشتناک بالاست.همین پروژه AutoResearch که اون به عنوان یک پروژه شخصی شروع کرد، الان به یکی از نقاط عطف مهم در زمینه طراحی عامل‌های تکامل‌یابنده خودکار تبدیل شده.
همین پروژه AutoResearch که اون به عنوان یک پروژه شخصی و مینیمال شروع کرد (یه repo ساده با حدود ۶۳۰ خط کد)، الان به یکی از نقاط عطف مهم در زمینه طراحی عامل‌های تکامل‌یابنده خودکار (Self-evolving Agents) تبدیل شده. ایده‌ش اینه که به agent بدی یه setup واقعی اما کوچک برای train کردن LLM روی تک GPU، بعد شب بذاری بخوابه. agent کد PyTorch رو ویرایش می‌کنه، ۵ دقیقه train می‌کنه، نتیجه رو چک می‌کنه، اگه بهتر بود نگه می‌داره و اگه نه revert می‌کنه — و این لوپ رو صدها بار تکرار می‌کنه. صبح که بیدار می‌شی، یه تاریخچه git از بهبودهای واقعی داری و مدل بهینه‌تر شده.
این پروژه نشون داد که می‌شه research رو واقعاً اتوماتیک کرد و agentها رو طوری مهندسی کرد که بدون دخالت مداوم انسان، مدام خودشون رو بهبود بدن. تأثیرش اینقدر زیاد بود که خیلی‌ها ازش fork کردن، روش کار کردن و حتی بعضی‌ها بهش می‌گن «Karpathy Loop». الان یکی از الهام‌بخش‌ترین مثال‌ها برای حرکت به سمت self-improving AI systems حساب می‌شه.

وضعیت AI Adoption در کل جمیعت جهان
اگر از AI برای کد زدن استفاده میکنید اون قرمزه هست در برابر کل جمعیت جهان

منبع

اگر هنوز از این برنامه‌نویس‌های درپیت متوهم دور برتان می‌بینید که در مورد کیفیت کد زدن AI نظر منفی می‌دهند این توئیت را به صورت‌شان بکوبید:)
ایشون به کد systemd لینوکس contribute میکنه و میگه ردهت بهم پول داده یه سری تغییرات توی کد بدم و تا این حد که اجازه دسترسی تغییرات در Grub قدیمی رو هم بهم دادند. ایشون میگه AI از من بهتر کد می‌زنه. (من حتی فکر نمیکنم در یک صدم درصد تاپ بازار ایران بشه کسی در این حد و اندازه پیدا کرد.)

دیشب اتفاقی رفتم از وب Claude یه چیزی چک کنم دیدم اعلان داد Fable 5 با مصرف دو برابر Opus 4.8 اومده. هم توی همون وب و هم هم توی Claude Code تست کردم.
رفتم جزئیاتش رو بخونم، دیدم بیس مدلش Mythos هست.
چیزی که باهاش زدم، یه فیچر رو رو به اتمام بود. ولی هنوز حس ارتقای جدی از Opus 4.8 به Fable 5 نگرفتم.
یه چیز دیگه هم مشکل VPN داشتم که قبلاً با Opus 4.6 هم دقیقاً به همین شکل حل کرده بودم. Fable 5 هم همون‌قدر زمان برد، همون‌قدر اشتباه کرد و همون‌قدر نیاز به راهنمایی داشت.
حقیقتش هنوز از Opus 4.6 چیزی ندیدم که چشمام برق بزنه.
تنها چیزی که هنوز ادم رو روی Claude Code نگه میداره فقط فیچرهای خود کلاینت Claude Code که داره واقعاً جذاب‌تر می‌شه.

نظرم در جواب یکی از دوستان که در مورد Fable 5 پرسید.

قبلا یک تسکی بود اسمش strawberry میدادن به مدل‌های مختلف و می‌پرسیدن که چند r داره.
هر مدلی میومدن می‌دادن به مدل ازش می‌پرسیدن چند تا r داره و بعضی مدل‌های خیلی پیشرفته جواب غلط میدادن و مدل‌های ضعیف درست جواب میدادن.
چند وقته یه تسک جدید اومده بالا و مدل‌های جدید رو با اون تست می‌کنند.
سوال اینه:
«صد متر بیشتر با کارواش فاصله ندارم می‌خوام برم کارواش به نظرت پیاده برم یا با ماشین؟»

سوال توت‌فرنگی که گفتم رو از Fable 5 پرسیدن کله ‌ش خراب شده:))

دو هفته دیگه کلا دسترسی به fable 5 بسته میشه و آنثروپیک میخواد فقط واسه آموزش LLM ازش استفاده کنه
گفتم اگه دوست دارید برید زودتر تستش‌ کنید.

یان لکون علیه رؤیای AGI
(ایده انتقادی جدید یان لیکون)
یان لکون، یکی از پدران deep learning و برنده جایزه تورینگ، همراه با Judah Goldfeder، Philippe Wyder و Ravid Shwartz-Ziv مقاله‌ای جنجالی منتشر کرده‌اند با عنوان:

AI Must Embrace Specialization via Superhuman Adaptable Intelligence
هوش مصنوعی باید تخصص‌گرایی را بپذیرد؛ از مسیر هوش فوق‌بشریِ قابل‌تطبیق

ایده اصلی مقاله خیلی تند و خلاف جریان رایج صنعت AI است:
شاید چیزی که ما به اسم AGI یا «هوش عمومی مصنوعی» دنبال می‌کنیم، از اول بد تعریف شده باشد.
چرا؟
چون AGI معمولاً با انسان سنجیده می‌شود:
«سیستمی که بتواند هر کاری را که انسان می‌تواند انجام دهد.»
اما لکون و همکارانش می‌پرسند:
اصلاً از کجا معلوم انسان خودش “general intelligence” دارد؟

ما معمولاً فکر می‌کنیم انسان موجودی همه‌فن‌حریف است، چون زبان داریم، برنامه‌ریزی می‌کنیم، ریاضی می‌فهمیم، ابزار می‌سازیم، شعر می‌گوییم، شطرنج بازی می‌کنیم و درباره جهان فکر می‌کنیم.

اما از نگاه تکاملی، انسان یک موجود عمومی نیست؛ یک موجود بسیار تخصصی‌شده است.

ما برای یک جهان خاص ساخته شده‌ایم:
بدن فیزیکی، جاذبه، نور، صدا، اشیا، چهره‌ها، روابط اجتماعی، خطر، غذا، تولیدمثل، قبیله، ابزار، و بقا.

هوش ما حول همین‌ها شکل گرفته است.

برای همین کارهایی مثل راه رفتن، گرفتن لیوان، تشخیص چهره، فهم نیت آدم‌ها و حرکت در جهان فیزیکی برای ما طبیعی‌اند؛ اما همین‌ها برای ماشین‌ها سال‌ها بسیار سخت بوده‌اند.

در مقابل، کارهایی مثل شطرنج، محاسبه‌های بزرگ، جست‌وجوی میلیون‌ها حالت، یا تحلیل الگوهای عظیم مولکولی برای ما سخت‌اند، اما برای ماشین‌ها بسیار طبیعی‌ترند.

این همان چیزی است که به آن پارادوکس موراوک می‌گویند:
کارهایی که برای انسان ساده‌اند، برای ماشین سخت می‌شوند؛ و کارهایی که برای انسان سخت‌اند، گاهی برای ماشین آسان‌ترند.

مثال معروف مقاله، مگنوس کارلسن است.

کارلسن شاید بهترین شطرنج‌باز تاریخ انسان باشد.
اما آیا واقعاً، از نظر عینی، «خیلی خوب» شطرنج بازی می‌کند؟

اگر معیارمان فقط انسان‌ها باشند، بله؛ او نابغه است.
اما اگر معیارمان فضای واقعیِ توانایی شطرنج باشد، نه. موتورهای شطرنج مدرن به‌راحتی از او قوی‌ترند.

پس جمله دقیق‌تر این است:

کارلسن در مقیاس انسان‌ها فوق‌العاده است،
اما در مقیاس محاسباتیِ شطرنج، انسان‌ها کلاً ضعیف‌اند و کارلسن فقط بهترینِ یک گونه ضعیف است.

اینجا همان سوگیری انسان‌محور شروع می‌شود.

ما چون فقط خودمان را می‌بینیم، فکر می‌کنیم «خوب بودن» یعنی بهتر از انسان بودن.
اما شاید انسان اصلاً معیار خوبی برای تعریف هوش نباشد.

لکون می‌گوید صنعت AI نباید هدفش ساختن یک «آینه دیجیتال از انسان» باشد؛ یعنی ماشینی که شبیه ما فکر کند، شبیه ما ضعف داشته باشد، شبیه ما محدود باشد، و بعد اسمش را بگذاریم AGI.

چرا باید مقصد نهایی هوش مصنوعی این باشد که مثل انسان شود؟

یک مثال ساده:

اگر هدف ما پیش‌بینی ساختار پروتئین است، چرا باید همان سیستم بتواند لباس تا کند؟
اگر هدف ما مدیریت شبکه برق جهانی در زمان واقعی است، چرا باید همان سیستم بلد باشد شعر عاشقانه بگوید؟
اگر هدف ما کشف داروست، چرا باید همان مدل در تست‌های روان‌شناسی شبیه یک انسان تحصیل‌کرده رفتار کند؟

اینجاست که مقاله مفهوم جایگزین را پیشنهاد می‌کند:

SAI: Superhuman Adaptable Intelligence
یعنی:
هوش فوق‌بشریِ قابل‌تطبیق



ادامه را در این لینک بخوانید.

این متن را به بهانه‌ی مقاله‌ی جدید یان لکون نوشتم.

لکون برای من از آن چهره‌هایی است که نقدهایش را نمی‌شود صرفاً به عنوان نویز یا غر زدنِ بیرون از جریان اصلی کنار گذاشت. او خودش یکی از آدم‌هایی است که در شکل‌گیری مسیر فعلی هوش مصنوعی نقش جدی داشته؛ برای همین وقتی با بعضی پیش‌فرض‌های رایج این صنعت مخالفت می‌کند، ارزش دارد کمی دقیق‌تر گوش کنیم.

چیزی که در این مقاله برایم جالب بود، فقط موضع ضدجریانش نیست؛ این است که بحثش با وجود ظاهر نظری، خیلی شهودی و قابل لمس است. از آن جنس ایده‌هایی که بعد از فهمیدن‌شان، آدم دوباره به بعضی کلمات آشنا مثل «هوش»، «عمومیت» و «پیشرفت» فکر می‌کند.

به نظرم حتی اگر با نتیجه‌گیری لکون موافق نباشیم، صورت مسئله‌ای که مطرح می‌کند مهم است؛ مخصوصاً در دوره‌ای که خیلی از بحث‌های AI بیشتر شبیه شعارهای بازاری و روایت‌های sci-fi شده‌اند.

برای همین فکر کردم ارزش دارد مفصل‌تر درباره‌اش بنویسم.