Dev Tweet
تست «اینشتین» برای تعریف AGI دمیس هاسابیس (بنیانگذار DeepMind) میگه: مدلی را روی تمام دانش بشری آموزش بده، اما دانش را در سال ۱۹۱۱ قطع کن، سپس ببین آیا این مدل میتواند به طور مستقل نظریه نسبیت عام را کشف کند (دقیقاً همانطور که اینشتین در سال ۱۹۱۵ انجام…
در ارتباط با این موضوع بازتعریف چارچوب مسئله، مطلبی داشتم که شاید عرضش خالی از لطف نباشد.
وقتی پروپوزال دکتریام رو مینوشتم، شروع کردم یک literature review گسترده انجام دادم که اساتید گفتن خیلی کامل و جامع بود.
بعد رفتم سراغ جمعآوری فرضهای رایج و غالب در ادبیات موضوع. به این نتیجه رسیدم که این فرضها باعث بیشسادهانگاری (oversimplification) چارچوب مسئله شدن و من باید در تز دکتریام چند تا از این بیشسادهانگاریها رو کنار بگذارم، چارچوب مسئله رو بازتعریف کنم و به جای نوآوریهای ناچیز و حاشیهای، یک انحلال پارادایم (paradigm dissolution) نسبی در فیلد ارائه بدم و مسئله رو در فضای واقعیتر و عمیقتری حل کنم.
پروپوزال رو بردم و به تصویب رسید.
دو سال تمام روی موضوع کار کردم.
به جواب نرسیدم.
الان مثل خر در گل گیر کردم.
البته این تجربه بهم چیزهای زیادی یاد داد — هنوزم به بازتعریف چارچوب اعتقاد دارم، ولی زمان و انرژیش وحشتناکه.
خواستم عرض کنم: اگر دانشجوی تحصیلات تکمیلی هستید، قرار نیست حتماً مرزهای علم رو جابهجا کنید.
دو سه مقاله خوب بنویسید، فارغالتحصیل شید و خودتون رو اینقدر بیچاره نکنید.
وقتی پروپوزال دکتریام رو مینوشتم، شروع کردم یک literature review گسترده انجام دادم که اساتید گفتن خیلی کامل و جامع بود.
بعد رفتم سراغ جمعآوری فرضهای رایج و غالب در ادبیات موضوع. به این نتیجه رسیدم که این فرضها باعث بیشسادهانگاری (oversimplification) چارچوب مسئله شدن و من باید در تز دکتریام چند تا از این بیشسادهانگاریها رو کنار بگذارم، چارچوب مسئله رو بازتعریف کنم و به جای نوآوریهای ناچیز و حاشیهای، یک انحلال پارادایم (paradigm dissolution) نسبی در فیلد ارائه بدم و مسئله رو در فضای واقعیتر و عمیقتری حل کنم.
پروپوزال رو بردم و به تصویب رسید.
دو سال تمام روی موضوع کار کردم.
به جواب نرسیدم.
الان مثل خر در گل گیر کردم.
البته این تجربه بهم چیزهای زیادی یاد داد — هنوزم به بازتعریف چارچوب اعتقاد دارم، ولی زمان و انرژیش وحشتناکه.
خواستم عرض کنم: اگر دانشجوی تحصیلات تکمیلی هستید، قرار نیست حتماً مرزهای علم رو جابهجا کنید.
دو سه مقاله خوب بنویسید، فارغالتحصیل شید و خودتون رو اینقدر بیچاره نکنید.
🤣4❤2👍2
اگر با claude code کار میکنید امروز متوجه شدم یه بیست روزی هست که اومده یک فیچر آزمایش ران کرده که خیلی جذابه به اسم agent team به این صورت که بهش میگی و خودش یک تیم از agent ها رو میسازه و این ایجنتها context هم رو میبینن و با هم و بصورت تعاملی رو اون تسک کار میکنند.
قبلا فیچر async subagent رو ران کرده بود که یک کار رو بین چندین agent از هم مستقل تقسیم میکرد و هر کدوم از اونها نتایج کارها رو به ایجنت اصلی برمیگردوندند و اون ایجنت مرکزی نتایج رو با هم جمع میکرد. تفاوت رو تو عکس بهتر متوجه میشید.
همچنین داخل عکس دیگر متوجه میشید چطوری این تنظیمات رو اعمال کنید.
قبلا فیچر async subagent رو ران کرده بود که یک کار رو بین چندین agent از هم مستقل تقسیم میکرد و هر کدوم از اونها نتایج کارها رو به ایجنت اصلی برمیگردوندند و اون ایجنت مرکزی نتایج رو با هم جمع میکرد. تفاوت رو تو عکس بهتر متوجه میشید.
همچنین داخل عکس دیگر متوجه میشید چطوری این تنظیمات رو اعمال کنید.
👍3🤯1
اینترنت وصل نیست
ولی وقتی به هزار ضرب و زور وصل میشه باید اینطوری توئیت بخونم
البته واقعا در این شرایط دغدغه خاصی برای پیگیری مسائل فنی و ai ندارم
😏😏
اگه خواستید شما هم توئیت بخونید اگه توی بروزرتون لاگین دارید توئیتر رو کافیه twitter-cli رو نصب کنید خودش میره از کوکیهاتون استفاده میکنه و وصل میشه
ولی وقتی به هزار ضرب و زور وصل میشه باید اینطوری توئیت بخونم
البته واقعا در این شرایط دغدغه خاصی برای پیگیری مسائل فنی و ai ندارم
😏😏
اگه خواستید شما هم توئیت بخونید اگه توی بروزرتون لاگین دارید توئیتر رو کافیه twitter-cli رو نصب کنید خودش میره از کوکیهاتون استفاده میکنه و وصل میشه
❤6👍1
Dev Tweet
با کمک Claude Mythos Preview، تیم فایرفاکس تو یک ماه بیشتر از کل ۱۵ ماه قبل باگ امنیتی پیدا و فیکس کرد!
داستان Claude Mythos و جهش امنیتی فایرفاکس
تیم موزیلا با کمک Claude Mythos Preview بیش از ۴۲۳ باگ امنیتی رو در فایرفاکس پیدا و رفع کرد. این عدد از مجموع تمام باگهایی که در ۱۵ ماه قبل پیدا شده بود بیشتره! از این ۴۲۳ تا، ۲۷۱ باگ مستقیماً توسط هوش مصنوعی کشف شد و در نسخه ۱۵۰ فایرفاکس بسته شدن. میانگین ماهانه قبلاً بین ۱۷ تا ۳۱ باگ بود، یعنی این یک ماه تقریباً معادل یک سال و خردهای کار کرده.حالا بریم سراغ اینکه چطور این اتفاق افتاد. موزیلا یک هارنس ایجنتمحور (agentic harness) روی Claude ساخته بود و اون رو با ابزارهای فازینگ موجود ترکیب کرده بود. مدل نه تنها کد رو اسکن میکرد، بلکه خودش تست کیس تولید میکرد، PoC (Proof of Concept) میساخت، باگها رو triage میکرد و حتی بررسی میکرد که آیا exploit واقعی کار میکنه یا نه.بسیاری از این باگها سالها (حتی ۱۵-۲۰ سال) تو کدبیس پیچیده C++ و Rust قایم شده بودند و فازینگ معمولی و انسانی نتونسته بود پیداشون کنه. بخش زیادیشون sandbox escape بودند — یعنی برای اینکه کامل به درد حمله بخورند نیاز به exploitهای اضافی داشتند، ولی پتانسیل خطر بالایی داشتند.جالب اینکه مدل فقط باگ پیدا نمیکرد؛ false positiveها خیلی کم بود و حتی الگوهای حملهای که قبلاً توسط hardening فایرفاکس خنثی شده بودند رو هم تشخیص میداد. بیش از ۱۰۰ نفر contributor تو موزیلا روی بررسی، پچ کردن و مرج کردن این تغییرات کار کردند و نتیجه شد یکی از امنترین نسخههای تاریخ فایرفاکس.این پروژه نشون داد که AI میتونه technical debt امنیتی رو با سرعت عجیبی پاک کنه. احتمالاً در آینده این نوع هارنسها مستقیم تو CI/CD ادغام میشن و هر پچ جدید رو قبل از مرج چک میکنن. هزینهاش هم نسبت به ارزشش خیلی پایین بوده (هزاران دلار API).
تیم موزیلا با کمک Claude Mythos Preview بیش از ۴۲۳ باگ امنیتی رو در فایرفاکس پیدا و رفع کرد. این عدد از مجموع تمام باگهایی که در ۱۵ ماه قبل پیدا شده بود بیشتره! از این ۴۲۳ تا، ۲۷۱ باگ مستقیماً توسط هوش مصنوعی کشف شد و در نسخه ۱۵۰ فایرفاکس بسته شدن. میانگین ماهانه قبلاً بین ۱۷ تا ۳۱ باگ بود، یعنی این یک ماه تقریباً معادل یک سال و خردهای کار کرده.حالا بریم سراغ اینکه چطور این اتفاق افتاد. موزیلا یک هارنس ایجنتمحور (agentic harness) روی Claude ساخته بود و اون رو با ابزارهای فازینگ موجود ترکیب کرده بود. مدل نه تنها کد رو اسکن میکرد، بلکه خودش تست کیس تولید میکرد، PoC (Proof of Concept) میساخت، باگها رو triage میکرد و حتی بررسی میکرد که آیا exploit واقعی کار میکنه یا نه.بسیاری از این باگها سالها (حتی ۱۵-۲۰ سال) تو کدبیس پیچیده C++ و Rust قایم شده بودند و فازینگ معمولی و انسانی نتونسته بود پیداشون کنه. بخش زیادیشون sandbox escape بودند — یعنی برای اینکه کامل به درد حمله بخورند نیاز به exploitهای اضافی داشتند، ولی پتانسیل خطر بالایی داشتند.جالب اینکه مدل فقط باگ پیدا نمیکرد؛ false positiveها خیلی کم بود و حتی الگوهای حملهای که قبلاً توسط hardening فایرفاکس خنثی شده بودند رو هم تشخیص میداد. بیش از ۱۰۰ نفر contributor تو موزیلا روی بررسی، پچ کردن و مرج کردن این تغییرات کار کردند و نتیجه شد یکی از امنترین نسخههای تاریخ فایرفاکس.این پروژه نشون داد که AI میتونه technical debt امنیتی رو با سرعت عجیبی پاک کنه. احتمالاً در آینده این نوع هارنسها مستقیم تو CI/CD ادغام میشن و هر پچ جدید رو قبل از مرج چک میکنن. هزینهاش هم نسبت به ارزشش خیلی پایین بوده (هزاران دلار API).
❤4
Dev Tweet
امروزمون رو ۹ سال پیش به چشمش دیده بود 🫡
اگر پروژههای آقای Karpathy رو دنبال کرده باشید و بدونید که از اعضای بنیانگذار OpenAI و مدیر فنی اولیه ChatGPT بوده (بعداً هم مدیر بخش AI تسلا برای Autopilot)، میفهمید این آدم اصلاً از اونایی نیست که حرف الکی بزنه و بره. او یکی از اون معدود آدماییه که حرفش بعد از ۹ سال واقعاً نتیجه میده. واقعاً کارش درست درمیاد و واقعاً چند سال از بقیه جلوتره. از Software 2.0 که سالها پیش نوشت تا پیشبینیهایی که gradient descent روزی از انسان بهتر کد میزنه — الان که نگاه میکنی میبینی دقیقاً همون چیزیه که داریم هر روز باهاش کار میکنیم.Karpathy همیشه جلوتر بوده: مفهوم vibe coding رو هم که دیگه همه جا شنیدیم اولین بار اون نامگذاری کرد.البته الان (تقریباً از عرضه Sonnet 3.5 به بعد، که من مبدأ قرارش میدم) «جلوتر بودن» دیگه به معنای چند سال نیست؛ چند ماه جلوتر بودن هم خیلی ارزشمند حساب میشه، چون سرعت تغییرات واقعاً وحشتناک بالاست.همین پروژه AutoResearch که اون به عنوان یک پروژه شخصی شروع کرد، الان به یکی از نقاط عطف مهم در زمینه طراحی عاملهای تکاملیابنده خودکار تبدیل شده.
همین پروژه AutoResearch که اون به عنوان یک پروژه شخصی و مینیمال شروع کرد (یه repo ساده با حدود ۶۳۰ خط کد)، الان به یکی از نقاط عطف مهم در زمینه طراحی عاملهای تکاملیابنده خودکار (Self-evolving Agents) تبدیل شده. ایدهش اینه که به agent بدی یه setup واقعی اما کوچک برای train کردن LLM روی تک GPU، بعد شب بذاری بخوابه. agent کد PyTorch رو ویرایش میکنه، ۵ دقیقه train میکنه، نتیجه رو چک میکنه، اگه بهتر بود نگه میداره و اگه نه revert میکنه — و این لوپ رو صدها بار تکرار میکنه. صبح که بیدار میشی، یه تاریخچه git از بهبودهای واقعی داری و مدل بهینهتر شده.
این پروژه نشون داد که میشه research رو واقعاً اتوماتیک کرد و agentها رو طوری مهندسی کرد که بدون دخالت مداوم انسان، مدام خودشون رو بهبود بدن. تأثیرش اینقدر زیاد بود که خیلیها ازش fork کردن، روش کار کردن و حتی بعضیها بهش میگن «Karpathy Loop». الان یکی از الهامبخشترین مثالها برای حرکت به سمت self-improving AI systems حساب میشه.
همین پروژه AutoResearch که اون به عنوان یک پروژه شخصی و مینیمال شروع کرد (یه repo ساده با حدود ۶۳۰ خط کد)، الان به یکی از نقاط عطف مهم در زمینه طراحی عاملهای تکاملیابنده خودکار (Self-evolving Agents) تبدیل شده. ایدهش اینه که به agent بدی یه setup واقعی اما کوچک برای train کردن LLM روی تک GPU، بعد شب بذاری بخوابه. agent کد PyTorch رو ویرایش میکنه، ۵ دقیقه train میکنه، نتیجه رو چک میکنه، اگه بهتر بود نگه میداره و اگه نه revert میکنه — و این لوپ رو صدها بار تکرار میکنه. صبح که بیدار میشی، یه تاریخچه git از بهبودهای واقعی داری و مدل بهینهتر شده.
این پروژه نشون داد که میشه research رو واقعاً اتوماتیک کرد و agentها رو طوری مهندسی کرد که بدون دخالت مداوم انسان، مدام خودشون رو بهبود بدن. تأثیرش اینقدر زیاد بود که خیلیها ازش fork کردن، روش کار کردن و حتی بعضیها بهش میگن «Karpathy Loop». الان یکی از الهامبخشترین مثالها برای حرکت به سمت self-improving AI systems حساب میشه.
👌6
اگر هنوز از این برنامهنویسهای درپیت متوهم دور برتان میبینید که در مورد کیفیت کد زدن AI نظر منفی میدهند این توئیت را به صورتشان بکوبید:)
ایشون به کد systemd لینوکس contribute میکنه و میگه ردهت بهم پول داده یه سری تغییرات توی کد بدم و تا این حد که اجازه دسترسی تغییرات در Grub قدیمی رو هم بهم دادند. ایشون میگه AI از من بهتر کد میزنه. (من حتی فکر نمیکنم در یک صدم درصد تاپ بازار ایران بشه کسی در این حد و اندازه پیدا کرد.)
ایشون به کد systemd لینوکس contribute میکنه و میگه ردهت بهم پول داده یه سری تغییرات توی کد بدم و تا این حد که اجازه دسترسی تغییرات در Grub قدیمی رو هم بهم دادند. ایشون میگه AI از من بهتر کد میزنه. (من حتی فکر نمیکنم در یک صدم درصد تاپ بازار ایران بشه کسی در این حد و اندازه پیدا کرد.)
👍9😭2❤1👎1
Forwarded from DevTweet Chat
دیشب اتفاقی رفتم از وب Claude یه چیزی چک کنم دیدم اعلان داد Fable 5 با مصرف دو برابر Opus 4.8 اومده. هم توی همون وب و هم هم توی Claude Code تست کردم.
رفتم جزئیاتش رو بخونم، دیدم بیس مدلش Mythos هست.
چیزی که باهاش زدم، یه فیچر رو رو به اتمام بود. ولی هنوز حس ارتقای جدی از Opus 4.8 به Fable 5 نگرفتم.
یه چیز دیگه هم مشکل VPN داشتم که قبلاً با Opus 4.6 هم دقیقاً به همین شکل حل کرده بودم. Fable 5 هم همونقدر زمان برد، همونقدر اشتباه کرد و همونقدر نیاز به راهنمایی داشت.
حقیقتش هنوز از Opus 4.6 چیزی ندیدم که چشمام برق بزنه.
تنها چیزی که هنوز ادم رو روی Claude Code نگه میداره فقط فیچرهای خود کلاینت Claude Code که داره واقعاً جذابتر میشه.
رفتم جزئیاتش رو بخونم، دیدم بیس مدلش Mythos هست.
چیزی که باهاش زدم، یه فیچر رو رو به اتمام بود. ولی هنوز حس ارتقای جدی از Opus 4.8 به Fable 5 نگرفتم.
یه چیز دیگه هم مشکل VPN داشتم که قبلاً با Opus 4.6 هم دقیقاً به همین شکل حل کرده بودم. Fable 5 هم همونقدر زمان برد، همونقدر اشتباه کرد و همونقدر نیاز به راهنمایی داشت.
حقیقتش هنوز از Opus 4.6 چیزی ندیدم که چشمام برق بزنه.
تنها چیزی که هنوز ادم رو روی Claude Code نگه میداره فقط فیچرهای خود کلاینت Claude Code که داره واقعاً جذابتر میشه.
👍5
DevTweet Chat
دیشب اتفاقی رفتم از وب Claude یه چیزی چک کنم دیدم اعلان داد Fable 5 با مصرف دو برابر Opus 4.8 اومده. هم توی همون وب و هم هم توی Claude Code تست کردم. رفتم جزئیاتش رو بخونم، دیدم بیس مدلش Mythos هست. چیزی که باهاش زدم، یه فیچر رو رو به اتمام بود. ولی هنوز حس…
نظرم در جواب یکی از دوستان که در مورد Fable 5 پرسید.
❤3
قبلا یک تسکی بود اسمش strawberry میدادن به مدلهای مختلف و میپرسیدن که چند r داره.
هر مدلی میومدن میدادن به مدل ازش میپرسیدن چند تا r داره و بعضی مدلهای خیلی پیشرفته جواب غلط میدادن و مدلهای ضعیف درست جواب میدادن.
چند وقته یه تسک جدید اومده بالا و مدلهای جدید رو با اون تست میکنند.
سوال اینه:
«صد متر بیشتر با کارواش فاصله ندارم میخوام برم کارواش به نظرت پیاده برم یا با ماشین؟»
هر مدلی میومدن میدادن به مدل ازش میپرسیدن چند تا r داره و بعضی مدلهای خیلی پیشرفته جواب غلط میدادن و مدلهای ضعیف درست جواب میدادن.
چند وقته یه تسک جدید اومده بالا و مدلهای جدید رو با اون تست میکنند.
سوال اینه:
«صد متر بیشتر با کارواش فاصله ندارم میخوام برم کارواش به نظرت پیاده برم یا با ماشین؟»
Dev Tweet
قبلا یک تسکی بود اسمش strawberry میدادن به مدلهای مختلف و میپرسیدن که چند r داره. هر مدلی میومدن میدادن به مدل ازش میپرسیدن چند تا r داره و بعضی مدلهای خیلی پیشرفته جواب غلط میدادن و مدلهای ضعیف درست جواب میدادن. چند وقته یه تسک جدید اومده بالا و مدلهای…
سوال توتفرنگی که گفتم رو از Fable 5 پرسیدن کله ش خراب شده:))
🤣10😁6
یان لکون علیه رؤیای AGI
(ایده انتقادی جدید یان لیکون)
یان لکون، یکی از پدران deep learning و برنده جایزه تورینگ، همراه با Judah Goldfeder، Philippe Wyder و Ravid Shwartz-Ziv مقالهای جنجالی منتشر کردهاند با عنوان:
AI Must Embrace Specialization via Superhuman Adaptable Intelligence
هوش مصنوعی باید تخصصگرایی را بپذیرد؛ از مسیر هوش فوقبشریِ قابلتطبیق
ایده اصلی مقاله خیلی تند و خلاف جریان رایج صنعت AI است:
شاید چیزی که ما به اسم AGI یا «هوش عمومی مصنوعی» دنبال میکنیم، از اول بد تعریف شده باشد.
چرا؟
چون AGI معمولاً با انسان سنجیده میشود:
«سیستمی که بتواند هر کاری را که انسان میتواند انجام دهد.»
اما لکون و همکارانش میپرسند:
اصلاً از کجا معلوم انسان خودش “general intelligence” دارد؟
ما معمولاً فکر میکنیم انسان موجودی همهفنحریف است، چون زبان داریم، برنامهریزی میکنیم، ریاضی میفهمیم، ابزار میسازیم، شعر میگوییم، شطرنج بازی میکنیم و درباره جهان فکر میکنیم.
اما از نگاه تکاملی، انسان یک موجود عمومی نیست؛ یک موجود بسیار تخصصیشده است.
ما برای یک جهان خاص ساخته شدهایم:
بدن فیزیکی، جاذبه، نور، صدا، اشیا، چهرهها، روابط اجتماعی، خطر، غذا، تولیدمثل، قبیله، ابزار، و بقا.
هوش ما حول همینها شکل گرفته است.
برای همین کارهایی مثل راه رفتن، گرفتن لیوان، تشخیص چهره، فهم نیت آدمها و حرکت در جهان فیزیکی برای ما طبیعیاند؛ اما همینها برای ماشینها سالها بسیار سخت بودهاند.
در مقابل، کارهایی مثل شطرنج، محاسبههای بزرگ، جستوجوی میلیونها حالت، یا تحلیل الگوهای عظیم مولکولی برای ما سختاند، اما برای ماشینها بسیار طبیعیترند.
این همان چیزی است که به آن پارادوکس موراوک میگویند:
کارهایی که برای انسان سادهاند، برای ماشین سخت میشوند؛ و کارهایی که برای انسان سختاند، گاهی برای ماشین آسانترند.
مثال معروف مقاله، مگنوس کارلسن است.
کارلسن شاید بهترین شطرنجباز تاریخ انسان باشد.
اما آیا واقعاً، از نظر عینی، «خیلی خوب» شطرنج بازی میکند؟
اگر معیارمان فقط انسانها باشند، بله؛ او نابغه است.
اما اگر معیارمان فضای واقعیِ توانایی شطرنج باشد، نه. موتورهای شطرنج مدرن بهراحتی از او قویترند.
پس جمله دقیقتر این است:
کارلسن در مقیاس انسانها فوقالعاده است،
اما در مقیاس محاسباتیِ شطرنج، انسانها کلاً ضعیفاند و کارلسن فقط بهترینِ یک گونه ضعیف است.
اینجا همان سوگیری انسانمحور شروع میشود.
ما چون فقط خودمان را میبینیم، فکر میکنیم «خوب بودن» یعنی بهتر از انسان بودن.
اما شاید انسان اصلاً معیار خوبی برای تعریف هوش نباشد.
لکون میگوید صنعت AI نباید هدفش ساختن یک «آینه دیجیتال از انسان» باشد؛ یعنی ماشینی که شبیه ما فکر کند، شبیه ما ضعف داشته باشد، شبیه ما محدود باشد، و بعد اسمش را بگذاریم AGI.
چرا باید مقصد نهایی هوش مصنوعی این باشد که مثل انسان شود؟
یک مثال ساده:
اگر هدف ما پیشبینی ساختار پروتئین است، چرا باید همان سیستم بتواند لباس تا کند؟
اگر هدف ما مدیریت شبکه برق جهانی در زمان واقعی است، چرا باید همان سیستم بلد باشد شعر عاشقانه بگوید؟
اگر هدف ما کشف داروست، چرا باید همان مدل در تستهای روانشناسی شبیه یک انسان تحصیلکرده رفتار کند؟
اینجاست که مقاله مفهوم جایگزین را پیشنهاد میکند:
SAI: Superhuman Adaptable Intelligence
یعنی:
هوش فوقبشریِ قابلتطبیق
ادامه را در این لینک بخوانید.
(ایده انتقادی جدید یان لیکون)
یان لکون، یکی از پدران deep learning و برنده جایزه تورینگ، همراه با Judah Goldfeder، Philippe Wyder و Ravid Shwartz-Ziv مقالهای جنجالی منتشر کردهاند با عنوان:
AI Must Embrace Specialization via Superhuman Adaptable Intelligence
هوش مصنوعی باید تخصصگرایی را بپذیرد؛ از مسیر هوش فوقبشریِ قابلتطبیق
ایده اصلی مقاله خیلی تند و خلاف جریان رایج صنعت AI است:
شاید چیزی که ما به اسم AGI یا «هوش عمومی مصنوعی» دنبال میکنیم، از اول بد تعریف شده باشد.
چرا؟
چون AGI معمولاً با انسان سنجیده میشود:
«سیستمی که بتواند هر کاری را که انسان میتواند انجام دهد.»
اما لکون و همکارانش میپرسند:
اصلاً از کجا معلوم انسان خودش “general intelligence” دارد؟
ما معمولاً فکر میکنیم انسان موجودی همهفنحریف است، چون زبان داریم، برنامهریزی میکنیم، ریاضی میفهمیم، ابزار میسازیم، شعر میگوییم، شطرنج بازی میکنیم و درباره جهان فکر میکنیم.
اما از نگاه تکاملی، انسان یک موجود عمومی نیست؛ یک موجود بسیار تخصصیشده است.
ما برای یک جهان خاص ساخته شدهایم:
بدن فیزیکی، جاذبه، نور، صدا، اشیا، چهرهها، روابط اجتماعی، خطر، غذا، تولیدمثل، قبیله، ابزار، و بقا.
هوش ما حول همینها شکل گرفته است.
برای همین کارهایی مثل راه رفتن، گرفتن لیوان، تشخیص چهره، فهم نیت آدمها و حرکت در جهان فیزیکی برای ما طبیعیاند؛ اما همینها برای ماشینها سالها بسیار سخت بودهاند.
در مقابل، کارهایی مثل شطرنج، محاسبههای بزرگ، جستوجوی میلیونها حالت، یا تحلیل الگوهای عظیم مولکولی برای ما سختاند، اما برای ماشینها بسیار طبیعیترند.
این همان چیزی است که به آن پارادوکس موراوک میگویند:
کارهایی که برای انسان سادهاند، برای ماشین سخت میشوند؛ و کارهایی که برای انسان سختاند، گاهی برای ماشین آسانترند.
مثال معروف مقاله، مگنوس کارلسن است.
کارلسن شاید بهترین شطرنجباز تاریخ انسان باشد.
اما آیا واقعاً، از نظر عینی، «خیلی خوب» شطرنج بازی میکند؟
اگر معیارمان فقط انسانها باشند، بله؛ او نابغه است.
اما اگر معیارمان فضای واقعیِ توانایی شطرنج باشد، نه. موتورهای شطرنج مدرن بهراحتی از او قویترند.
پس جمله دقیقتر این است:
کارلسن در مقیاس انسانها فوقالعاده است،
اما در مقیاس محاسباتیِ شطرنج، انسانها کلاً ضعیفاند و کارلسن فقط بهترینِ یک گونه ضعیف است.
اینجا همان سوگیری انسانمحور شروع میشود.
ما چون فقط خودمان را میبینیم، فکر میکنیم «خوب بودن» یعنی بهتر از انسان بودن.
اما شاید انسان اصلاً معیار خوبی برای تعریف هوش نباشد.
لکون میگوید صنعت AI نباید هدفش ساختن یک «آینه دیجیتال از انسان» باشد؛ یعنی ماشینی که شبیه ما فکر کند، شبیه ما ضعف داشته باشد، شبیه ما محدود باشد، و بعد اسمش را بگذاریم AGI.
چرا باید مقصد نهایی هوش مصنوعی این باشد که مثل انسان شود؟
یک مثال ساده:
اگر هدف ما پیشبینی ساختار پروتئین است، چرا باید همان سیستم بتواند لباس تا کند؟
اگر هدف ما مدیریت شبکه برق جهانی در زمان واقعی است، چرا باید همان سیستم بلد باشد شعر عاشقانه بگوید؟
اگر هدف ما کشف داروست، چرا باید همان مدل در تستهای روانشناسی شبیه یک انسان تحصیلکرده رفتار کند؟
اینجاست که مقاله مفهوم جایگزین را پیشنهاد میکند:
SAI: Superhuman Adaptable Intelligence
یعنی:
هوش فوقبشریِ قابلتطبیق
ادامه را در این لینک بخوانید.
Telegraph
یان لکون علیه رؤیای AGI
یان لکون، یکی از پدران deep learning و برنده جایزه تورینگ، همراه با Judah Goldfeder، Philippe Wyder و Ravid Shwartz-Ziv مقالهای جنجالی منتشر کردهاند با عنوان: AI Must Embrace Specialization via Superhuman Adaptable Intelligence هوش مصنوعی باید تخصصگرایی…
👍8❤5🤣1
Dev Tweet
یان لکون علیه رؤیای AGI (ایده انتقادی جدید یان لیکون) یان لکون، یکی از پدران deep learning و برنده جایزه تورینگ، همراه با Judah Goldfeder، Philippe Wyder و Ravid Shwartz-Ziv مقالهای جنجالی منتشر کردهاند با عنوان: AI Must Embrace Specialization via Superhuman…
این متن را به بهانهی مقالهی جدید یان لکون نوشتم.
لکون برای من از آن چهرههایی است که نقدهایش را نمیشود صرفاً به عنوان نویز یا غر زدنِ بیرون از جریان اصلی کنار گذاشت. او خودش یکی از آدمهایی است که در شکلگیری مسیر فعلی هوش مصنوعی نقش جدی داشته؛ برای همین وقتی با بعضی پیشفرضهای رایج این صنعت مخالفت میکند، ارزش دارد کمی دقیقتر گوش کنیم.
چیزی که در این مقاله برایم جالب بود، فقط موضع ضدجریانش نیست؛ این است که بحثش با وجود ظاهر نظری، خیلی شهودی و قابل لمس است. از آن جنس ایدههایی که بعد از فهمیدنشان، آدم دوباره به بعضی کلمات آشنا مثل «هوش»، «عمومیت» و «پیشرفت» فکر میکند.
به نظرم حتی اگر با نتیجهگیری لکون موافق نباشیم، صورت مسئلهای که مطرح میکند مهم است؛ مخصوصاً در دورهای که خیلی از بحثهای AI بیشتر شبیه شعارهای بازاری و روایتهای sci-fi شدهاند.
برای همین فکر کردم ارزش دارد مفصلتر دربارهاش بنویسم.
لکون برای من از آن چهرههایی است که نقدهایش را نمیشود صرفاً به عنوان نویز یا غر زدنِ بیرون از جریان اصلی کنار گذاشت. او خودش یکی از آدمهایی است که در شکلگیری مسیر فعلی هوش مصنوعی نقش جدی داشته؛ برای همین وقتی با بعضی پیشفرضهای رایج این صنعت مخالفت میکند، ارزش دارد کمی دقیقتر گوش کنیم.
چیزی که در این مقاله برایم جالب بود، فقط موضع ضدجریانش نیست؛ این است که بحثش با وجود ظاهر نظری، خیلی شهودی و قابل لمس است. از آن جنس ایدههایی که بعد از فهمیدنشان، آدم دوباره به بعضی کلمات آشنا مثل «هوش»، «عمومیت» و «پیشرفت» فکر میکند.
به نظرم حتی اگر با نتیجهگیری لکون موافق نباشیم، صورت مسئلهای که مطرح میکند مهم است؛ مخصوصاً در دورهای که خیلی از بحثهای AI بیشتر شبیه شعارهای بازاری و روایتهای sci-fi شدهاند.
برای همین فکر کردم ارزش دارد مفصلتر دربارهاش بنویسم.
❤4
Dev Tweet
یان لکون علیه رؤیای AGI (ایده انتقادی جدید یان لیکون) یان لکون، یکی از پدران deep learning و برنده جایزه تورینگ، همراه با Judah Goldfeder، Philippe Wyder و Ravid Shwartz-Ziv مقالهای جنجالی منتشر کردهاند با عنوان: AI Must Embrace Specialization via Superhuman…
یکی از دوستان کامنت جالب و مهمی در نقد ضد جریان و غیرعملگرایی لیکان زدند که منم هم جوابی نوشتم. شاید اگر شما هم به لیکون همان نقد را داریم خواندن آن جواب ارزشمند باشد.
خوشحال میشم اگر ذیل اون نکتهای دارید با هم گفتگو کنیم
خوشحال میشم اگر ذیل اون نکتهای دارید با هم گفتگو کنیم
Telegram
DevTweet Chat
به نظرم این نقد، خودش گرفتار همان چیزی است که میخواهد نقد کند: تقلیل علم به خروجی فوری محصولی.
«Talk is cheap, send pull requests» جمله قشنگی است، ولی برای همهچیز کار نمیکند. بنیانهای علم با منطق PR جلو نمیروند. قرار نیست هر ایدهی مهمی همان لحظه به…
«Talk is cheap, send pull requests» جمله قشنگی است، ولی برای همهچیز کار نمیکند. بنیانهای علم با منطق PR جلو نمیروند. قرار نیست هر ایدهی مهمی همان لحظه به…