با کمک Claude Mythos Preview، تیم فایرفاکس تو یک ماه بیشتر از کل ۱۵ ماه قبل باگ امنیتی پیدا و فیکس کرد!

داستان Claude Mythos و جهش امنیتی فایرفاکس

تیم موزیلا با کمک Claude Mythos Preview بیش از ۴۲۳ باگ امنیتی رو در فایرفاکس پیدا و رفع کرد. این عدد از مجموع تمام باگ‌هایی که در ۱۵ ماه قبل پیدا شده بود بیشتره! از این ۴۲۳ تا، ۲۷۱ باگ مستقیماً توسط هوش مصنوعی کشف شد و در نسخه ۱۵۰ فایرفاکس بسته شدن. میانگین ماهانه قبلاً بین ۱۷ تا ۳۱ باگ بود، یعنی این یک ماه تقریباً معادل یک سال و خرده‌ای کار کرده.حالا بریم سراغ اینکه چطور این اتفاق افتاد. موزیلا یک هارنس ایجنت‌محور (agentic harness) روی Claude ساخته بود و اون رو با ابزارهای فازینگ موجود ترکیب کرده بود. مدل نه تنها کد رو اسکن می‌کرد، بلکه خودش تست کیس تولید می‌کرد، PoC (Proof of Concept) می‌ساخت، باگ‌ها رو triage می‌کرد و حتی بررسی می‌کرد که آیا exploit واقعی کار می‌کنه یا نه.بسیاری از این باگ‌ها سال‌ها (حتی ۱۵-۲۰ سال) تو کدبیس پیچیده C++ و Rust قایم شده بودند و فازینگ معمولی و انسانی نتونسته بود پیداشون کنه. بخش زیادی‌شون sandbox escape بودند — یعنی برای اینکه کامل به درد حمله بخورند نیاز به exploitهای اضافی داشتند، ولی پتانسیل خطر بالایی داشتند.جالب اینکه مدل فقط باگ پیدا نمی‌کرد؛ false positiveها خیلی کم بود و حتی الگوهای حمله‌ای که قبلاً توسط hardening فایرفاکس خنثی شده بودند رو هم تشخیص می‌داد. بیش از ۱۰۰ نفر contributor تو موزیلا روی بررسی، پچ کردن و مرج کردن این تغییرات کار کردند و نتیجه شد یکی از امن‌ترین نسخه‌های تاریخ فایرفاکس.این پروژه نشون داد که AI می‌تونه technical debt امنیتی رو با سرعت عجیبی پاک کنه. احتمالاً در آینده این نوع هارنس‌ها مستقیم تو CI/CD ادغام می‌شن و هر پچ جدید رو قبل از مرج چک می‌کنن. هزینه‌اش هم نسبت به ارزشش خیلی پایین بوده (هزاران دلار API).

امروزمون رو ۹ سال پیش به چشم‌ش دیده بود 🫡

اگر پروژه‌های آقای Karpathy رو دنبال کرده باشید و بدونید که از اعضای بنیان‌گذار OpenAI و مدیر فنی اولیه ChatGPT بوده (بعداً هم مدیر بخش AI تسلا برای Autopilot)، می‌فهمید این آدم اصلاً از اونایی نیست که حرف الکی بزنه و بره. او یکی از اون معدود آدماییه که حرفش بعد از ۹ سال واقعاً نتیجه می‌ده. واقعاً کارش درست درمیاد و واقعاً چند سال از بقیه جلوتره. از Software 2.0 که سال‌ها پیش نوشت تا پیش‌بینی‌هایی که gradient descent روزی از انسان بهتر کد می‌زنه — الان که نگاه می‌کنی می‌بینی دقیقاً همون چیزیه که داریم هر روز باهاش کار می‌کنیم.Karpathy همیشه جلوتر بوده: مفهوم vibe coding رو هم که دیگه همه جا شنیدیم اولین بار اون نام‌گذاری کرد.البته الان (تقریباً از عرضه Sonnet 3.5 به بعد، که من مبدأ قرارش می‌دم) «جلوتر بودن» دیگه به معنای چند سال نیست؛ چند ماه جلوتر بودن هم خیلی ارزشمند حساب می‌شه، چون سرعت تغییرات واقعاً وحشتناک بالاست.همین پروژه AutoResearch که اون به عنوان یک پروژه شخصی شروع کرد، الان به یکی از نقاط عطف مهم در زمینه طراحی عامل‌های تکامل‌یابنده خودکار تبدیل شده.
همین پروژه AutoResearch که اون به عنوان یک پروژه شخصی و مینیمال شروع کرد (یه repo ساده با حدود ۶۳۰ خط کد)، الان به یکی از نقاط عطف مهم در زمینه طراحی عامل‌های تکامل‌یابنده خودکار (Self-evolving Agents) تبدیل شده. ایده‌ش اینه که به agent بدی یه setup واقعی اما کوچک برای train کردن LLM روی تک GPU، بعد شب بذاری بخوابه. agent کد PyTorch رو ویرایش می‌کنه، ۵ دقیقه train می‌کنه، نتیجه رو چک می‌کنه، اگه بهتر بود نگه می‌داره و اگه نه revert می‌کنه — و این لوپ رو صدها بار تکرار می‌کنه. صبح که بیدار می‌شی، یه تاریخچه git از بهبودهای واقعی داری و مدل بهینه‌تر شده.
این پروژه نشون داد که می‌شه research رو واقعاً اتوماتیک کرد و agentها رو طوری مهندسی کرد که بدون دخالت مداوم انسان، مدام خودشون رو بهبود بدن. تأثیرش اینقدر زیاد بود که خیلی‌ها ازش fork کردن، روش کار کردن و حتی بعضی‌ها بهش می‌گن «Karpathy Loop». الان یکی از الهام‌بخش‌ترین مثال‌ها برای حرکت به سمت self-improving AI systems حساب می‌شه.

وضعیت AI Adoption در کل جمیعت جهان
اگر از AI برای کد زدن استفاده میکنید اون قرمزه هست در برابر کل جمعیت جهان

منبع

اگر هنوز از این برنامه‌نویس‌های درپیت متوهم دور برتان می‌بینید که در مورد کیفیت کد زدن AI نظر منفی می‌دهند این توئیت را به صورت‌شان بکوبید:)
ایشون به کد systemd لینوکس contribute میکنه و میگه ردهت بهم پول داده یه سری تغییرات توی کد بدم و تا این حد که اجازه دسترسی تغییرات در Grub قدیمی رو هم بهم دادند. ایشون میگه AI از من بهتر کد می‌زنه. (من حتی فکر نمیکنم در یک صدم درصد تاپ بازار ایران بشه کسی در این حد و اندازه پیدا کرد.)

دیشب اتفاقی رفتم از وب Claude یه چیزی چک کنم دیدم اعلان داد Fable 5 با مصرف دو برابر Opus 4.8 اومده. هم توی همون وب و هم هم توی Claude Code تست کردم.
رفتم جزئیاتش رو بخونم، دیدم بیس مدلش Mythos هست.
چیزی که باهاش زدم، یه فیچر رو رو به اتمام بود. ولی هنوز حس ارتقای جدی از Opus 4.8 به Fable 5 نگرفتم.
یه چیز دیگه هم مشکل VPN داشتم که قبلاً با Opus 4.6 هم دقیقاً به همین شکل حل کرده بودم. Fable 5 هم همون‌قدر زمان برد، همون‌قدر اشتباه کرد و همون‌قدر نیاز به راهنمایی داشت.
حقیقتش هنوز از Opus 4.6 چیزی ندیدم که چشمام برق بزنه.
تنها چیزی که هنوز ادم رو روی Claude Code نگه میداره فقط فیچرهای خود کلاینت Claude Code که داره واقعاً جذاب‌تر می‌شه.

نظرم در جواب یکی از دوستان که در مورد Fable 5 پرسید.

قبلا یک تسکی بود اسمش strawberry میدادن به مدل‌های مختلف و می‌پرسیدن که چند r داره.
هر مدلی میومدن می‌دادن به مدل ازش می‌پرسیدن چند تا r داره و بعضی مدل‌های خیلی پیشرفته جواب غلط میدادن و مدل‌های ضعیف درست جواب میدادن.
چند وقته یه تسک جدید اومده بالا و مدل‌های جدید رو با اون تست می‌کنند.
سوال اینه:
«صد متر بیشتر با کارواش فاصله ندارم می‌خوام برم کارواش به نظرت پیاده برم یا با ماشین؟»

سوال توت‌فرنگی که گفتم رو از Fable 5 پرسیدن کله ‌ش خراب شده:))

دو هفته دیگه کلا دسترسی به fable 5 بسته میشه و آنثروپیک میخواد فقط واسه آموزش LLM ازش استفاده کنه
گفتم اگه دوست دارید برید زودتر تستش‌ کنید.

یان لکون علیه رؤیای AGI
(ایده انتقادی جدید یان لیکون)
یان لکون، یکی از پدران deep learning و برنده جایزه تورینگ، همراه با Judah Goldfeder، Philippe Wyder و Ravid Shwartz-Ziv مقاله‌ای جنجالی منتشر کرده‌اند با عنوان:

AI Must Embrace Specialization via Superhuman Adaptable Intelligence
هوش مصنوعی باید تخصص‌گرایی را بپذیرد؛ از مسیر هوش فوق‌بشریِ قابل‌تطبیق

ایده اصلی مقاله خیلی تند و خلاف جریان رایج صنعت AI است:
شاید چیزی که ما به اسم AGI یا «هوش عمومی مصنوعی» دنبال می‌کنیم، از اول بد تعریف شده باشد.
چرا؟
چون AGI معمولاً با انسان سنجیده می‌شود:
«سیستمی که بتواند هر کاری را که انسان می‌تواند انجام دهد.»
اما لکون و همکارانش می‌پرسند:
اصلاً از کجا معلوم انسان خودش “general intelligence” دارد؟

ما معمولاً فکر می‌کنیم انسان موجودی همه‌فن‌حریف است، چون زبان داریم، برنامه‌ریزی می‌کنیم، ریاضی می‌فهمیم، ابزار می‌سازیم، شعر می‌گوییم، شطرنج بازی می‌کنیم و درباره جهان فکر می‌کنیم.

اما از نگاه تکاملی، انسان یک موجود عمومی نیست؛ یک موجود بسیار تخصصی‌شده است.

ما برای یک جهان خاص ساخته شده‌ایم:
بدن فیزیکی، جاذبه، نور، صدا، اشیا، چهره‌ها، روابط اجتماعی، خطر، غذا، تولیدمثل، قبیله، ابزار، و بقا.

هوش ما حول همین‌ها شکل گرفته است.

برای همین کارهایی مثل راه رفتن، گرفتن لیوان، تشخیص چهره، فهم نیت آدم‌ها و حرکت در جهان فیزیکی برای ما طبیعی‌اند؛ اما همین‌ها برای ماشین‌ها سال‌ها بسیار سخت بوده‌اند.

در مقابل، کارهایی مثل شطرنج، محاسبه‌های بزرگ، جست‌وجوی میلیون‌ها حالت، یا تحلیل الگوهای عظیم مولکولی برای ما سخت‌اند، اما برای ماشین‌ها بسیار طبیعی‌ترند.

این همان چیزی است که به آن پارادوکس موراوک می‌گویند:
کارهایی که برای انسان ساده‌اند، برای ماشین سخت می‌شوند؛ و کارهایی که برای انسان سخت‌اند، گاهی برای ماشین آسان‌ترند.

مثال معروف مقاله، مگنوس کارلسن است.

کارلسن شاید بهترین شطرنج‌باز تاریخ انسان باشد.
اما آیا واقعاً، از نظر عینی، «خیلی خوب» شطرنج بازی می‌کند؟

اگر معیارمان فقط انسان‌ها باشند، بله؛ او نابغه است.
اما اگر معیارمان فضای واقعیِ توانایی شطرنج باشد، نه. موتورهای شطرنج مدرن به‌راحتی از او قوی‌ترند.

پس جمله دقیق‌تر این است:

کارلسن در مقیاس انسان‌ها فوق‌العاده است،
اما در مقیاس محاسباتیِ شطرنج، انسان‌ها کلاً ضعیف‌اند و کارلسن فقط بهترینِ یک گونه ضعیف است.

اینجا همان سوگیری انسان‌محور شروع می‌شود.

ما چون فقط خودمان را می‌بینیم، فکر می‌کنیم «خوب بودن» یعنی بهتر از انسان بودن.
اما شاید انسان اصلاً معیار خوبی برای تعریف هوش نباشد.

لکون می‌گوید صنعت AI نباید هدفش ساختن یک «آینه دیجیتال از انسان» باشد؛ یعنی ماشینی که شبیه ما فکر کند، شبیه ما ضعف داشته باشد، شبیه ما محدود باشد، و بعد اسمش را بگذاریم AGI.

چرا باید مقصد نهایی هوش مصنوعی این باشد که مثل انسان شود؟

یک مثال ساده:

اگر هدف ما پیش‌بینی ساختار پروتئین است، چرا باید همان سیستم بتواند لباس تا کند؟
اگر هدف ما مدیریت شبکه برق جهانی در زمان واقعی است، چرا باید همان سیستم بلد باشد شعر عاشقانه بگوید؟
اگر هدف ما کشف داروست، چرا باید همان مدل در تست‌های روان‌شناسی شبیه یک انسان تحصیل‌کرده رفتار کند؟

اینجاست که مقاله مفهوم جایگزین را پیشنهاد می‌کند:

SAI: Superhuman Adaptable Intelligence
یعنی:
هوش فوق‌بشریِ قابل‌تطبیق



ادامه را در این لینک بخوانید.

این متن را به بهانه‌ی مقاله‌ی جدید یان لکون نوشتم.

لکون برای من از آن چهره‌هایی است که نقدهایش را نمی‌شود صرفاً به عنوان نویز یا غر زدنِ بیرون از جریان اصلی کنار گذاشت. او خودش یکی از آدم‌هایی است که در شکل‌گیری مسیر فعلی هوش مصنوعی نقش جدی داشته؛ برای همین وقتی با بعضی پیش‌فرض‌های رایج این صنعت مخالفت می‌کند، ارزش دارد کمی دقیق‌تر گوش کنیم.

چیزی که در این مقاله برایم جالب بود، فقط موضع ضدجریانش نیست؛ این است که بحثش با وجود ظاهر نظری، خیلی شهودی و قابل لمس است. از آن جنس ایده‌هایی که بعد از فهمیدن‌شان، آدم دوباره به بعضی کلمات آشنا مثل «هوش»، «عمومیت» و «پیشرفت» فکر می‌کند.

به نظرم حتی اگر با نتیجه‌گیری لکون موافق نباشیم، صورت مسئله‌ای که مطرح می‌کند مهم است؛ مخصوصاً در دوره‌ای که خیلی از بحث‌های AI بیشتر شبیه شعارهای بازاری و روایت‌های sci-fi شده‌اند.

برای همین فکر کردم ارزش دارد مفصل‌تر درباره‌اش بنویسم.

یکی از دوستان کامنت جالب و مهمی در نقد ضد جریان و غیرعملگرایی لیکان زدند که منم هم جوابی نوشتم. شاید اگر شما هم به لیکون همان نقد را داریم خواندن آن جواب ارزشمند باشد.
خوشحال میشم اگر ذیل اون نکته‌ای دارید با هم گفتگو کنیم

#تجربه_نگار

نزدیک ۷۰۰ تا PDF مقاله داشتم که می‌خواستم به Markdown تبدیل کنم.
بهترین راهی که به ذهنم رسید این بود که یک GPU 3060 از vast.ai اجاره کنم. حدود ۴ تا ۵ ساعت زمان برد و با هزینه‌های سربار، فکر کنم کل ماجرا نزدیک ۱ دلار تمام شد.
برای تبدیل هم از MinerU استفاده کردم؛ ابزاری که برخلاف انتظار، هم مصرف GPU بالایی ندارد، هم مدل نسبتاً سبکی دارد، و هم خروجی‌اش برای متن، فرمول و جدول واقعاً قابل قبول است.
برای پروژه‌هایی که با حجم زیادی مقاله سروکار دارند، این مدل pipeline واقعاً می‌تواند نجات‌دهنده باشد.

من معمولا خرید‌های ارزی مثل خرید اکانت ChatGPT, Claude و OpenCode رو از ایرانیکارت انجام می‌دادم. سرعت پاسخگویی‌شون واقعا خوب بود. تا ۵ ساعت میتونی توقع داشته باشی زنگ بزنن یک ماهی هست افتضاح شده.
الان‌ هم دوبار زنگ زدم پشتیبانی گفتن ارجاع میدیم و هنوز علافم.

شما برای خرید ارزی‌تون از چه طریقی اقدام می‌کنید که سریع جواب بده و پشتیبانی خوب داشته باشه؟

«ارزان بودن یک مدل در قیمت توکن، الزاماً به معنی ارزان‌تر بودن در حل مسئله نیست.»
https://deepswe.datacurve.ai/

مدل‌های open-source می‌توانند از دو جهت ما را شگفت‌زده کنند.

یکی از جهت قیمت.
یکی هم از جهت اینکه open-source هستند و هر کسی می‌تواند آن‌ها را روی زیرساخت خودش اجرا کند.

اگر خبرهای جدید GLM-5.2 را دنبال کرده باشید، احتمالاً همین دو نکته زیاد تکرار شده: هم مدل باز است، هم نسبت به مدل‌های بسته هزینه‌ی جذابی دارد.

اما این نمودار از benchmark معروف DeepSWE یک نکته‌ی مهم‌تر را نشان می‌دهد.

DeepSWE فقط امتیاز مدل‌ها را نشان نمی‌دهد؛ هزینه‌ای را هم که هر مدل برای رسیدن به آن امتیاز داشته کنار همان امتیاز می‌گذارد. همین باعث می‌شود بشود بهتر فهمید یک مدل در عمل چقدر به‌صرفه است.

نکته‌ای که در نمودار دیده می‌شود این است که GLM در بهترین امتیازش هزینه‌ای دارد که با همان حوالی هزینه، مدل‌هایی مثل GPT-5.5 medium و Opus 4.8 medium امتیاز بالاتری می‌گیرند.

یعنی ارزان بودن یک مدل در قیمت توکن، الزاماً به معنی ارزان‌تر بودن در حل مسئله نیست.

ممکن است مدل توکن ارزان‌تری داشته باشد، اما برای حل یک تسک بیشتر دور بزند، بیشتر خروجی بدهد، یا قدم‌های بیشتری بردارد. در نهایت چیزی که مهم است هزینه‌ی واقعی حل مسئله است، نه فقط قیمت خام توکن.

برای همین به نظرم GLM-5.2 خبر مهمی برای مدل‌های باز است، اما این نمودار کمی روایت را دقیق‌تر می‌کند:

مدل‌های open-source دارند نزدیک می‌شوند،
ولی هنوز همیشه به‌صرفه‌تر از مدل‌های بسته نیستند.

کار را به ابزار تقلیل ندهیم

قبلا وقتی یک کار خوب می‌دیدند، زیاد پیش می‌آمد که بپرسند: «اینو از اینترنت برداشتی؟» حالا نسخه جدیدترش شده: «اینو دادی AI زده؟»

به نظرم مسئله اصلی خود این سؤال نیست؛ مسئله تصوری است که پشتش خوابیده. اینکه انگار وقتی یک ابزار قوی وارد کار می‌شود، سهم آدم در خروجی کم یا حتی حذف می‌شود. در حالی که خیلی وقت‌ها دقیقا همان‌جا معلوم می‌شود آدم چقدر مسئله را فهمیده، چقدر سلیقه دارد، چقدر می‌تواند خروجی خام را بسنجد، اصلاح کند و به چیزی قابل استفاده تبدیل کند.

ما هنوز برای فهمیدن کار فکری با ابزارهای جدید، گاهی از معیارهای قدیمی استفاده می‌کنیم. قدیم‌ها ارزش کار را با زحمت فیزیکی می‌سنجیدیم؛ حالا بعضی وقت‌ها ارزش کار فکری را با تعداد دکمه‌هایی که زده شده می‌سنجیم. برای همین اگر AI وسط بوده باشد، ناخودآگاه فکر می‌کنیم پس دیگر کاری انجام نشده.

در حالی که استفاده از ابزار با واگذار کردن عقل فرق دارد. چکش جای نجار را نمی‌گیرد؛ فقط اگر دست آدمی باشد که می‌داند چه می‌خواهد بسازد، نتیجه را بهتر و سریع‌تر می‌کند. AI هم همین است. ابزار مشترک است، اما فهم مسئله، انتخاب مسیر، اصلاح خروجی و تشخیص خوب از بد هنوز کار آدم است.