Out of Distribution
2.37K subscribers
473 photos
9 videos
9 files
276 links
Download Telegram
یکی از جنبه‌های جالب مقاله "Attention is All You Need" که به ابداع معماری ترنسفورمر انجامید و مسیر هوش مصنوعی رو متحول کرد، اینه که نویسنده‌هاش مدل ترنسفورمر رو صرفاً در حوزه ترجمه ماشینی اکسپریمنت گرفتند، اون هم فقط برای انگلیسی به فرانسوی و انگلیسی به آلمانی (متن پیپر رو ببینید بیشتر از دو سه تا تیبل نداره). در واقع، اون‌ها در حال کلنجار رفتن با حوزه‌ای فرعی از هوش مصنوعی، یعنی ترجمه ماشینی بودند و کل هدفشون این بود که با استفاده از مدلی که ارائه می‌دن، عملکرد اون را بهبود بدن. اما شاید هرگز تصور نمی‌کردند که این مدل به ستون فقرات تحولی بی‌سابقه در تمام کاربردهای دیگه مبدل بشه و پارادایم Seq2Seq را به شکلی گسترده رایج کنه.

مصداق بارز گاهی گمان نمی‌کنی ولی خوب می‌شود ...
افطار بود و فقدان رفیق

صبح یادم نیست چطور بیدار شدم. چند روزی است که خوابم به هم ریخته و تکه تکه هر وقت فرصت کنم می‌خوابم. وقتی هم که خوابت تکه تکه شود، دیگر عمیق نمی‌شود. وقتی خوابت عمیق نشود، آن وقت خواب نمی‌بینی. وقتی خواب نبینی، سیکل زندگی‌ات یک خط ممتد می‌شود با تعدای وقفه می‌شود. سرت را روی بالشت می‌گذاری و بعد بلند می‌شوی و ادامه ماجرا. آن چه این خط ممتد را می‌چرخاند و سیکلش می‌کند اما خواب‌‌دیدن است. باید این اواخر خواب عمیق دیده باشید تا بفهمید چه می‌گویم. خوابی متفاوت با زندگی روزمره. در خواب واقعیت‌هایی را تجربه می‌کنیم که در عالم واقع ناممکن اند. چیزهایی که دوست داریم یا می‌ترسیم تجربه‌شان کنیم ولی نمی‌شود. و اصلا مگر مهم است که این دنیا بیداری واقعی است یا دنیای خواب؟ تصور عامه این است که ما می‌خوابیم تا بیدار شویم و کار کنیم. از آن‌وری هم ولی می‌شود دید. آن قدر در بیداری خسته شویم تا در نهایت خواب ببینیم. برای خواب‌دیدن زندگی کنیم. برای تجربه چیزهایی که دوستشان داریم یا می‌ترسیم و خلاصه هر چه که به آن‌ها حس داریم ولی عالم زمخت واقعیت بی‌ربط به آن‌هاست. به کابوس بیداری دچار شده ام.

بلی از بحث دور نشوم. نای و رمقی برای پیاده‌رفتن به دانشگاه نداشتم. تپسی گرفتم. راننده سوژه جالبی برای پرکردن چند خط این پست بود. بزرگوار به مسیریاب اعتقاد داشت اما تا وقتی که به ترافیک نخورده بود. هر وقت پشت ترافیکی گیر می‌کرد کافر به مسیریاب می‌شد و در کوچه یا معبری رندوم می‌پیچید و دوباره به حرف مسیریاب گوش می‌کرد تا ترافیک بعدی. گویی صبری برای در ترافیک ماندن برایش باقی نمانده بود. بسیار شبیه من می‌زد.

چند روزی است که مشغول رنگ‌زدن آزمایشگاهمان هستند. ما و دانشجوهای رهبان، بی‌خانمان و آواره در دالان‌های دانشکده شده‌ایم. برای اسکان موقت، چند گزینه داشتم. سایت کوچک، لابی و سالن دکتراها. خیلی دوست دارم بدانم آن روزی که نقشه این دانشکده را طراحی می‌کردند با خود چه فکر می‌کردند. همش پرتی است. اوج هنرشان این جاست که هشت طبقه ساختمان ساختند ولی با این وجود جا برای آزمایشگاه‌ها کم دارد و سایتش هم کوچک است. عظمت بی‌معنا ساختند. نهایتا رفتم به سالن دکتراها. خالی‌تر از همیشه بود و راحت چند ساعتی تک و تنها در خلوت مشغول کدهای پروژه شرکت شدم. البته کد که نزدم، مشغول وررفتن با پرامپت بودم. ما مثلا روزگاری کلی ریاضی می‌خواندیم حالا اما کارمان از نظر فنی شبیه به سئوکارهاست.

امروز روز افطاری دانشکده بود. در صف طویلی منتظر ماندیم تا داخل شویم. هر چند صف طویل بود اما رفقا و آشنایان و هم‌کلامان و آدم‌های قابل معاشرت از سال‌های قبل کمتر شده بودند. یاد پارسای حقیقی بنده خدا افتادم. خدا بیامرزدش. حسنی باوفا نیز، به علت رنجوری و ناخوشی سرماخوردگی، در جمع غایب بود. رهبان و جعفری هم نبودند. حتی ملت آز ربیعی هم اثری ازشان نبود. می‌خواستم با احمد صحبت کنم که آن هم زودی رخت را بست و رفت. چشم‌انتظار شکری ماندم، که او نیز از راه نرسید. دنبال آرمان طهماسبی هم گشتم که پیدایش نکردم. آخی و غزنوی و هادی هم نیامده بودند. باز خدا را شکر بهرامی و فریدونی بودند که البته ۹۵ درصد تایم مشغول صحبت راجع به خاطرات بهشتی و سایر ماتعقلات و هم مسلکانشان نظیر پویا پاینده و علیدوستی و ... بودند. با مجتبی داشتم صحبت می‌ساختم که متاسفانه نوبت شام شد و با از هم دور شدن صحبتمان ناتمام ماند. آخر مراسم که می‌خواستند عکس بگیرند یادم افتاد مصیب هم نیست و کسی حواسش نبود. انگار که نسل و عصری به غروب رسیده بود.

باقی دینامیک جهان به مانند هر سال بود. ۹۹‌ای ها دیگر به آخرای داستان‌هایشان رسیده بودند و تک و توکی حاضر بودند. آن تک و توک هم مشغول گرفتن عکس‌های یادگاری آخر بودند. ۰۰ ای ها خسته می‌زدند و گوشه سالن ماوا گزیده بودند. فعلا دور دور خوشی ۰۲ ای‌هاست. چرخ روزگار اما برای آن‌ها هم ثابت نمی‌ماند و خیلی زود به پایان می‌رسند. بعد از افطاری با بهرامی کمی صحبت کردیم. حرفی زد هر دو افسرده شدیم و به ورطه اندوه افتادیم. سابقاها این شکلی نبود. متاسفانه بعضی حرف‌ها وجود دارند که کسی برای صحبت‌کردن در مورد آن‌ها وجود ندارند. فردا روز سختی است.

#روزمرگی
Tanha Mandam
Mohammad Esfahani
تنها ماندم با صدای محمد اصفهانی را گوش کنید.
Out of Distribution
Mohammad Esfahani – Tanha Mandam
تنها با دل بر جا ماندم

تنها ماندم
تنها ماندم
تنها با دل بر جا ماندم
چون آهی بر لب ها ماندم
رازِ خود ، به کس نگفتم
عشقت را به دل نهفتم
با یادت شبی که خفتم
چون غنچه‌ی سحر شکفتم

دلِ من ز غمت فغان برآرد
دلِ تو ز دلم خبر ندارد
دلِ تو ز دلم خبر ندارد
پس از این نخورم فریب چشمت
شررِ نگهت اگر گذارد
وصلت را ز خدا خواهم
از تو لطف و صفا خواهم
کز مهرت بنوازی جانم
عمر من به غمت شد طی
تو بی من ، من و غم تا کی
دردی هست نبود درمانم

تنها ماندم
تنها ماندم
تنها با دل بر جا ماندم
چون آهی بر لب‌ها ماندم
چون آهی بر لب‌ها ماندم

عبدالله الفت
Out of Distribution
می‌فرمود بسیاری از دلخوری‌ها و قهرها به خاطر miscommunication رخ می‌دهند و miscommunication را چاره‌ای جز over communication نیست. #تجارب
تکه امادار ماجرا اینه که نمیشه با آدمی که خواستار undercommunication هست overcommunicate کرد.
کفش‌های نو، زخم‌های کهنه
۱/۲

مایه تاسف است که تسلسل شب و روز در زندگی‌ام گم شده. امروز که در واقع دیروز بود نمی‌دانم چطور بیدار شدم فقط یادم است که نوتیف دیلی را دیدم. دیشبش (که در واقع پریشب بود) که می‌دانستم فردا مجبورم بروم دانشگاه، تا صبح بیدار ماندم تا بخشی از حجم وظایف پیش رو بکاهم و امروزم همین شد. بعد از دیلی خواستم بروم دانشگاه، فارغ از بهای گزاف اسنپ و تپسی، میزان زمان آن قدر زیاد بود که به حمل و نقل عمومی حریص شدم. کفش سابقم دیگر عاجی برایش نمانده بود و گام برداشتن با این رفیق چند ساله ناممکن شده بود. ناگزیر کفش نو را به پا کردم. اخبار را چک کردم. امروز هیات اماراتی نامه ترامپ را به ایرانی‌ها تحویل می‌دهند.

در مترو پشت سرم چند پسر با پیراهن‌های آبی کمرنگ که مشخص بود روپوش مدرسه‌شان است بودند. بر صورتشان تازه غبار سبیل نشسته بود و می‌شد حدس زد که دبیرستانی اند. وقتی شروع به بحث راجع به مشاورهای پایه‌شان و درصد هندسه و ... شدند مطمئن شدم. در دلم گذشت که اینها ابتدای مسیری اند که من انتهاش هستم. ده سال پیش من همین جاها بودم. بحثشان بیشتر روی مقایسه کمالی و درفشی بود که حدس می ‌زدم معلمی، یا مشاور پایه‌ای چیزی باشد. دو ایستگاه جلوتر، مشخص شد یکیشان دوازدهی است و برای دو تای دیگری که دهمی هستند فاز منتوری برداشته بود. گویی دنیا همه اش در همین درصد زدن هندسه خلاصه می‌شود. در اثنای بحثشان حرف از قضیه تالس شد. چند سال بود نشنیده بودمش؟ یاد چند وقت پیش افتادم یکی برگشت گفت این موسسات آموزشی که تبلیغ می‌کنند و همه جا مثل صداسیما بهشان بال و پر می‌دهند جنایت کارند. حوصله پاسخ نداشتم ولی درون خودم گفتم که حقیقت همین است. وقتی وضع کشوری خراب باشد، رقابت بقا در آن تشدید می‌شود و بخشی خوبی از برد و باخت ملت در بازی بقا هم با همین نتایج کنکور و المپیاد تعیین می‌شود. دلم نمی‌خواد بچه‌ام در این جو بیافتد. خودم وقتی به عقب نگاه می‌کنم باورم نمی‌شود چطور این مسیر پراسترس را جلو آمدم. اکنون برای کارهای کمتر استرس دار بسیار خسته‌ و رنجورترم. خواستم که از مترو پیاده شوم، از گفته‌هایشان فهمیدم که آن پسرها البرزی اند. وقتی اسم البرز می‌آید اولین خاطره‌ای که به ذهنم می‌آید سیاه است. تابستان ۸۹، وقتی هنوز نتایج حلی نیامده بود من ابتدا در البرز ثبت نام کرده بودم. روزی برای کاری رفتم مدرسه. تابستان بود و پیراهن مردانه آستین کوتاه پوشیده بودم. چنان در مدرسه، یکی از کادرهای مدرسه (فکر میکنم معاون بود) من را بابت پوشیدن آستین کوتاه توبیخ کرد که هنوز هم تلخی گزنده آن روز را به یاد دارم. خیلی دوست دارم بدانم این‌هایی که به پیراهن آستین کوتاه گیر می‌دادند اکنون کجایند و وضع خودشان و خانواده‌هایشان پس از ۱۴۰۱ چگونه است. خشمم برای لحظه‌ای متوجه یکی از دوستانم شد. اینها دنبال اتوپیایی هستند بی آن که به این حقایق دقت کنند. حقیقتی که در بهترین حالت ساختن جامعه‌ای دورو ریاکار است. حقیقتی که بارها من و امثال من را که اتفاقا نیمچه تم مذهبی داریم را هم تحقیر کرده وای به حال دیگران. اینها دروغ دوست دارند و به دل‌های شکسته‌شده کاری ندارند. چه بی‌ربط و چرت می‌گویم.

از مترو تا دانشکده فهمیدم که در انتخاب کفش به بیراهه رفته ام. تنگ بود و جای جای پایم را چون خنجر می‌زد. از همان سال‌های بچگی بابت خرید کفش استرس داشتم. مساله این است که تا کفش را به پا نکنی و با او چند صد قدم راه نروی نمی‌فهمی پایت را می‌زند یا نه. تازه سالهای که هنوز بلوغت کامل نشده بود و در رشد بودی باید حساب می‌کردی چه کفشی بخری که بعدا کفش پایت را نزند. خیلی مسائل زندگی مثل انتخاب کفش است. مثل ازدواج.

به لابی دانشکده که وارد شدم عده زیادی در حال رنگ کردن تخم مرغ بودند و سوار آسانسور شدم که به جلسه با استادم بروم. در آسانسور یاد جوکی افتادم که صبح در لینکدین دیده بودم و دکتر نجفی لایک کرده بود: چه می‌شد اگر دانشجویان دکترا به جای دفاع، حمله می‌کردند؟ بعد از جلسه خسته و پژمرده‌دل بودم با آسانسور که پایین میامدم فکر می‌کردم آیا می‌شود این آخرین سالی باشد که من اینجایم؟ دوست دارم تا اخر عمر مقاله بخوانم و بنویسم ولی بروکراسی دکترا پدردربیار است. به خوبی با آقای خامنه‌ای در قضیه برجام همذات‌پنداری دارم. دکترا برای من، مثل برجام برای ایران است. نه مزایایی داشت نه می‌توان از آن خارج شد و بند غروبش هم کابوس محتوم ایام پیش‌رو است. البته دکترا از وجه دیگری به من آموخت که چرا رستگاری کشور این قدر دور از انتظار است. هر چه قدر جلوتر رفتم هر چند شدت انتقادات سیاسی ام کم نشد اما جهتشان متفاوت شد. دکترا در بهترین و فنی‌ترین دانشکده کشور بود که به من فهماند چرا درست‌شدن و اصلاح وضع کشور بدیهی نیست. اخبار را چک کردم. رهبری فرمودند که هنوز نامه ترامپ به دستش نرسیده است.

#روزمرگی
Out of Distribution
کفش‌های نو، زخم‌های کهنه ۱/۲ مایه تاسف است که تسلسل شب و روز در زندگی‌ام گم شده. امروز که در واقع دیروز بود نمی‌دانم چطور بیدار شدم فقط یادم است که نوتیف دیلی را دیدم. دیشبش (که در واقع پریشب بود) که می‌دانستم فردا مجبورم بروم دانشگاه، تا صبح بیدار ماندم…
کفش‌های نو، زخم‌های کهنه
۲/۲

بعد از جلسه آزمایشگاه پیش دوستم، جواد فیض رفتم. کارمان طول کشید و افطار را مهمان آزمایشگاهشان بودم. این وسط هم کمی گپ و گفت‌های فقهی کردیم. از نظر مراجع راجع به احکام خمس و دستگردانی و رویت هلال و اسپرم اهدایی گرفته تا split brain و اینها (من این کارهای دستگردانی که آقایان بعضا در خمس انجام می‌دهند را نمی‌توانم متوجه شوم مگر آخر خدا بچه‌ است که با دستگردانی گولش بزنیم؟). هیچ وقت این قدر از نزدیک با اینها قاطی نشده بودم. آدم‌های خوب و ملوسی به نظر می‌رسیدند. یاد پارسای حقیقی افتادم. خدا بیامرزدش. فیض آدم خوبی به نظر می‌رسد. هوشی سرشار و دانشی فنی، اعتماد به نفس مثال‌زدنی، روحی شاداب و در یک کلام سلاله‌ای از جذابیت (گوگولی). دوست داشتم مثل فیض و مصطفی و عمران از این جنس‌ آدم‌های شاد و نایس باشم، ولی خب هجوم استرس‌های زندگی نمی‌گذارد.

امشب جشن آخر سال شرکت بود و برای اولین بار شک داشتم بروم یا نروم. حوصله و انگیزه‌ای نبود. سعید اصرار کرد و البته گفت که پک عید می‌دهند. نمی‌دانم به خاطر سعید بود یا پک عید، به هر صورت رفتم به سمت شرکت. برنامه‌های متنوعی بود. رصد و کارگاه آموزشی و موسیقی و اینها. من اما به هیچ کدام رغبتم نبود. البته موسیقی دوست دارم ولی برای شنیدن موسیقی‌های مورد علاقه‌ام باید بروم مجلس ختم. خدا رو شکر یار همیشگی، یعنی بهرامی را پیدا کردم و مثل همیشه با هم گپ زدیم. بهرامی هم آدم نسبتا شادی است. سر شام با عقیل و یکی دیگر هم میز شدیم. مقداری با این جوانان معاشرت کردیم. عقیل پسر خوبی می‌زد.به خانه برگشتم. فهمیدم دورتموند برده. اگر حذف می‌شدند ناراحت می‌شدم ولی خب بعد از رویس، دیگر شلعه شوقی برای پیروزی‌هایشان در جانم زبانه نمی‌کشد. اخبار را چک کردم، عراقچی گفت که نامه ترامپ را دریافت کرده‌اند.

#روزمرگی
Out of Distribution
بیکارشدن آکادمی با AI؟ دنیای علم و ریسرچ و آکادمی، با وجود تمام جذابیت‌هاش ولی وقتی تبدیل به یک بازار و صنعت و زمین بازی می‌شه و بروکراسی پیدا می‌کنه تبدیل به یک ابتذال می‌شه. عده‌ زیادی شغلشون این میشه که باید مقاله‌ای بنویسن که نوآوری داشته باشه ولو به…
سرانجام هوش مصنوعی تونست الف تا ی یک پیپر رو (شامل فرضیه‌سازی، پیشنهاد اکسپریمنت برای تست فرضیه، نوشتن کد و اجراش، آنالیزداده‌ها، ویژوالیزیشن داده‌ها و نوشتن کل مقاله) بدون دخالت انسانی، تولید کنه و با ارسالش به یکی از ورکشاپ‌های ICLR به رنک ۴۵ درصد برسند و پیپر رو به مرحله اکسپت برسونند.

دنیا در ۲۰۳۰ چه شکلی خواهد بود؟

لینک:
https://sakana.ai/ai-scientist-first-publication/
نه دین ما به جا و نه دنیای ما تمام

از حق گذشته‌ایم و به باطل نمی‌رسیم

صائب تبریزی
مدل‌های Text2Img ای همچنان نمیتونن یک تاس رو درست بکشن. تقصیر این بندگان خدا هم نیست کشیدن تاس درست، نیازمند درک و رسم درست تعداد نقطه‌هاست و هندل‌کردن این قضیه هم نیاز به reasoning داره. شاید و احتمال زیاد تا یک سال آینده مدل‌های Image Generation‌ای هم عرضه بشن که قابلیت Test Time Compute داشته باشند. گیر اساسی که ولی تو این راه هست اینه که سمت مسائل LLM‌ای خب با جواب‌نهایی یا با سنجیدن گام‌های میانی میشه برای TTC وریفایر یا ریوارد ساخت ولی سمت مثلا تولید تصویر چه طوری می‌شه؟
سخنی هست منتسب به امام حسن، که البته شاید هم واقعیت نداشته نباشه اما خود سخن، سخن جالبیه:

عقل چیست؟ جام اندوه را جرعه جرعه نوشیدن
یک تمپلیت کوتی هست که بنده دوستش دارم به این شرح:

اقتصاد مهم‌تر از آن است که آن را به دست اقتصاد‌دان‌ها بسپریم.
دین مهم‌تر از آن است که آن را به دست کشیش‌ها بسپریم.
جنگ مهم‌تر از آن است که آن را به دست نظامی‌ها بسپریم.
حقوق مهم‌تر از آن است که آن را به دست قاضیان و وکلا بپرسم.
سلامتی مهم‌تر از آن است که آن را به دست پزشکان بسپریم.
تکنولوژی مهم‌تر از آن است که آن را به دست مهندسان بسپریم.
علم مهم‌تر از آن است که آن را به دست آکادمی‌ها بسپریم.

و ...
از بورگ به بورژوا

بسیاری از ما وقتی کلمه "بورژوا" رو می‌شنویم معمولا یک حس درون مایه منفی و شبیه به سرمایه‌داری در ذهنمون شکل می‌گیره و شنیده یا نشیده، تحت تاثیر مارکس، معنی بورژوا رو مقابل پرولتاریا تصور می‌کنیم، در حالی که نحوه ظهور طبقه بورژوا و اصلا معنی و ریشه‌ کلمه بورژوا اون فاز استکباری رو نداره و بلکه حتی تا حدی برعکسه.

به لحاظ تاریخی، داستان این شکلیه که بعد از سقوط امپراطوری روم، نظام شهرنشینی و حکومت منظم تو اروپا کمرنگ می‌شه و در عوضش سیستم فئودالی رواج پیدا می‌کنه. در سیستم فئودالی سه طبقه وجود داشته: اشراف که صاحب زمین‌ها بودند، کشیش‌ها که نماینده سیستم پاپ بودند و گاها اونا هم زمین داشتند و سایر ملت که به عنوان رعیت روی زمین کار می‌کردند. در این جا زمین‌ها یا توسط پادشاه به اشراف داده می‌شده یا بهشون به ارث می‌رسیده و اشراف هم برای نگهداری زمین‌هاشون به نیروی‌های نظامی و شوالیه‌ها متکی بودند و رعیت‌ها هم شانسی برای رشد نداشتند چون مال و سرمایه‌ای از خودشون نداشتند. در واقع سرمایه‌ای نداشتند چون شکل اقتصادشون کاملا محدود بوده و چیز خاصی برای مبادله نداشتند، هر زمینی در حد معیشت خودش کار می‌کرده و محصولات به عمل میاورده. در واقع فرم اقتصادی هم علت و هم معلول نظام سیاسی اون شکلی بوده.

بعد از یک مدتی اما تحت اثر چندین فاکتور مختلف، کم کم تحت تاثیر گسترش تجارت، یک سری شهرها در حکم محل تجارت و بازار به وجود میان که طبعا هم مستقل از اشراف فئودال بودند. این بازارشهرها هم چون نیاز به تامین امنیت داشتند داخل قلعه‌ها با دیوارهای بزرگ که بهش در زبان آلمانی بورگ گفته می‌شه شکل گرفتند. این جا باز تحت تاثیر چندین فاکتور مختلف یک عده مردم از دهقان بودن خسته شدند به این شهرها پیوستند و روی به صنعتگری آوردند و به نوعی صاحبان شهر شدند. بعد در این برهه نظام خاص خودشون رو بنا کردند برای مثال قوانین صنفی هر حرفه‌ رو وضع کردند (روند شکل‌گیری بورژواها در مناطق مختلف اروپا دچار تنوع سناریو و زمانی مختلف بوده، ایتالیا، آلمان، هلند،‌انگلیس، اسپانیا ، روسیه و .... هر کدوم سناریو مختلف خودشون رو داشتند). در این جا حالا این‌ها تبدیل به طبقه‌ای سومی شدند که ازشون با عنوان بورژوا (از ریشه همون بورگ و به معنای بورگ‌نشین) نام برده می‌شه. بعدها در شطرنج قدرتی که بین پادشاهان، اشراف، پاپ و بورژواها شکل گرفت، بورژواها آروم آروم قدرتمندتر شدند و حتی حتی گاها پادشاهان ازشون حمایت کردند تا با اتحاد اونا از شر اشراف و پاپ خلاص بشن. در طی سالهای بعدی حالا با توجه به جذف اشراف و تضعیف پاپ، بورژواها به قدرت اصلی تبدیل شدند و با توجه به ماهیت طبقه‌شون باعث انقلاب‌های فرهنگی و سیاسی مختلفی در اروپا شدند که بحث جداییه.

در کل بورژواهای اولیه بندگان خدا خودشون مظلوم بودند و از سر ظلم نظام فئودالی تبدیل به بورژوا شدند ولی خب بعدها دیالیکتیک تاریخ و پیچیدگی نقش طبقاتی و منافع برای اینها این بار در جایگاهی متفاوت تکرار شد.
Out of Distribution
ضرب شست چینی‌ها:‌ R1 > O1 بی‌شک، رونمایی از مدل DeepSeek R1 داغ‌ترین اتفاق چند روز گذشته هوش مصنوعی بود. زلزله‌ای که لرزه‌هاش به هوش مصنوعی محدود نموند و پس‌لرزه‌هاش امروز باعث ریزش ۲۰ درصدی قیمت سهام nvidia در ۵ روز گذشته شده و این افت nvidia هم مثل یک دومینو…
نهضت ادامه دارد

بعد از این که DeepSeek R1 نشون داد که می‌شه با RL با ریواردهای ساده و البته تکیه بر GRPO، مدل زبانی رو آموزش داد و توانایی‌های ریزنینگی‌شون رو بهبود بخشید توجهات به این سمت، یعنی آموزش مدل‌ها با RL جلب شده. حالا یک کار اومده که مدل کوچولوی ۳ بیلیون پارامتری Qwen رو روی تسک Countdown با RL آموزش داده. این تسک این شکلیه که به شما چند تا عدد داده می‌شه و باید با ترکیب این اعداد با اپراتورهای ریاضی یک عدد خواسته شده دیگه رو به دست بیارید. حالا نکته جالب اینه که نشون داده وقتی مدلشون رو روی این تسک با RL آموزش دادند، عملکرد مدلشون روی سایر تسک‌ها ریزنینگی هم بهبود داشته! در واقع شاید حل‌کردن این تسک در واقع به یک جور مهارت‌های شبه backtracking و آها مومنت‌طور (خوداصلاحی در حین سرچ) نیاز داره و به خاطر همون مدل روی تسک‌های دیگه هم تعمیم پیدا می‌کنه . نکات جالب دیگه این که در فرآیند آموزش اینها هم پدیده شگفت‌انگیز Aha Moment دوباره مشاهده شده.

به زودی شاید و احتمالا این تکنیک آموزش RL به سایر حوزه‌ها و تسک‌ها هم تسری پیدا می‌کنه، مساله فقط پیدا کردن ریوارد فانکشن مناسبه.

لینک پیپر:
https://arxiv.org/abs/2503.09512

پی‌نوشت: بارها شده در جاهای مختلف مثل اینستا و لینکدین و توییتر و ... دیدم که آدم‌ها میان بر علیه دیپ‌سیک صحبت می‌کنند به این مضمون که مثلا قدرتش از GPT کمتره، یا مثلا هزینه ساختش دروغ گفته شده یا مثلا توش نوآوری وجود نداره. جدا از اهمیت ژئوپلتیکی و مهندسی دعوای آمریکا و چین که در ساخت دیپ سیک برجسته است، اما دیپ‌سیک از نقطه نظر علمی هم می‌تونه یک نقطه عطف به حساب بیاد. چرا که این نوآوری رو داشته که مدل رو با RL خالی ترین کنه و بهش امکان اکسپلوریشن موقع اینفرنس رو بده. همین.
برنامه آزاد، با حضور مهدی خراطیان و رحمان قهرمان‌پور در ۲۸ اسفند با موضوع کنش‌های جدید ترامپ برابر ایران و اتفاقات محتمل ۱۴۰۴ بود. شنیدنش به نظرم ارزشمند بود و فرازهای جالبی که به نظرم اومد رو می‌نویسم:

- به نظر می‌رسه این که ترامپ به سرعت سراغ پرونده ایران رفته اینه که لابی اسرائیل تونستند پرونده خاورمیانه رو اولویت اول ترامپ کنند. مساله خاورمیانه، نه مساله America First که مساله Israel First شده. و دیگه بحث معامله، صرفا نه بحث مساله هسته‌ای که بحث روابط منطقه‌ای و قدرت موشکی ایران هم هست. چیزی که مخصوصا از گفته‌ها لاوروف قابل کدگشایی بود اینه که آمریکا از ایران می‌خواد که دیگه در حد یک قدرت منطقه‌ای عمل نکنه.

- نکته عجیب دیگه برای اینها سطح ادبیات ترامپ بود، به طوریکه سابقه نداشته هیچ کدوم از روسای جمهور آمریکا و حتی خود ترامپ دوره قبلی، مستقیما رهبری ایران رو تهدید کنند.

- چرا این طوری شده؟ برآورد اسرائیل و آمریکا اینه که به قدرت آفندی و پدافندی ایران ضربه سنگینی در امسال وارد شده و برآوردشون اینه حتی در صورت درگیری نظامی، ایران نه توانایی دفاع و نه توانایی پاسخ پرهزینه متقابل رو نداره. مشابه این اتفاق برای حزب‌الله هم افتاد. برآورد اسرائیلی‌ها قبل از جنگ این بود که حزب‌الله می‌تونه در هر روز ۲۰۰۰ موشک شلیک کنه اما ناشی از ضرباتی که به زیرساخت‌هاش زدند، حزب‌الله در بهترین حالت تونست روزی ۳۰۰ موشک شلیک کنه.

- حدسی که می‌شه زد اینه که با توجه به این برآورد، اسرائیل و آمریکا در سال آینده در قبال ایران، قمار بیشتری رو انجام می‌دن. درگیری نظامی بدون پیش‌زمینه رخ نمی‌ده و پیش‌زمینه‌‌اش حرکات ترکیبیه. ترورهای هدفمند (نظیر آن چه در قبال حزب الله کردند)، فعال‌کردن گسل‌های طبقاتی (با توجه به اوضاع حاد اقتصادی)، گسل‌های قومیتی و البته گسل‌های نسلی و جنسیتی (مساله حجاب). خراطیان تعبیر جالبی داره میگه اگر هم نازی‌آباد و هم ولنجک بخوان با هم انقلاب کنند دیگه نمی‌شه قضیه رو جمع کرد. در مقایسه این گسل‌ها به نظر می‌رسه که کنترل گسل نسلی و جنسیتی(حجاب) نسبت به دو گسل دیگه راحت‌تره و برای همین احتمالا حتی هسته سخت حاکمیت در قبال پرونده حجاب فعلا دست به مصلحت‌سنجی بزنند. حرکت دیگه محتمل از سمت آمریکا و اسرائیل، اقدامات شوک‌آور نظیر اتفاق پیجرها در لبنانه.

- خراطیان معتقده که یکی از دلایل کم‌پروا و بی‌پرواشدن طرف مقابل در قضایای فعلی، شمرده‌شدن دندان‌های محور مقاومته. به این معنا که طرف مقابل از مجموعه اتفاقات یک سال اخیر، میزان خواست و توانایی و تحمل‌پذیری محور مقاومت به خوبی دستش اومده و برای همین دیگه راحت دست به اقدام می‌زنه.

- بحث دیگه‌ای سمت این می‌شه که اگر سمت بمب هسته‌ای بریم آیا ممکنه موازنه به نفعمون تغییر پیدا کنه؟ خراطیان این طور پاسخ می‌ده که ساخت بمب هسته‌ای فارغ از اراده‌اش دارای پیچیدگی‌های فنی چه در ساختش و چه در بعد حفاظتی‌اش هست. پشتوانه داشتن بمب هسته‌ای، اشراف به مسائل امنیتی هست و اتفاقات یک سال اخیر (مخصوصا ترور هنیه) نشون داد که چه حفره‌های بزرگی وجود دارند. خراطیان معتقده که در شرایط فعلی حتی شبکه پولی دورزن تحریم‌های ایران هم آسیب پذیره و حتی نسبت به دورزدن تحریم‌ها هم نمی‌شه امید داشت.

- در بخش دیگه‌ای بحث می‌کنند که مکانیزم ماشه قطعیه. اروپا با این که با آمریکا در اختلاف به سر می‌بره اما هرگز به خاطر ما نمیاد بهمون لطف کنه. در بهترین حالت ما رو تبدیل به کارت معامله با آمریکا می‌کنه و در قبال کلیدزدن مکانیزم ماشه، از آمریکا امتیاز می‌گیره. تازه به این هم باید فکر کرد که سر جنگ اوکراین، اروپا از ما کینه داره.

- در مورد این که چرا امارات واسطه پیام شده بحثشون بر این بوده که می‌تونسته قطر یا عمان باشند، ولی یا محتوای پیام تند بوده که این‌ها مایل به وساطت این نامه نبودند یا هم این که آمریکا می‌خواسته با واسطه قرار دادن امارات نقش این کشور در آینده منطقه رو به ایران نشون بده.

- در انتها خراطیان یک بحث جالبی داره. کارت‌های معامله بیرون از اتاق مذاکره باید ساخته بشن وگرنه می‌شه شبیه بلایی که سر زلنسکی اومد و ترامپ بهش گفت تو هیچ کارتی دستت نیست. این برآورد آمریکا از این که ایران توان پاسخ‌دهی و تحمیل هزینه رو از دست داده باید عوض بشه. این تغییر برآورد باید از طریق اقدامات عملی و موثر باشه و نه حرف‌های الکی که بهش عمل نمی‌شه. به موازات این اقدام، باید حرف‌های ایجابی در دیپلماسی‌مون داشته باشیم. ترامپ رو نباید باهاش مستقیم صحبت کرد و شخص خودش رو سر لج انداخت. هر چه قدر ترامپ بیشتر لج بیافته حتی اگر دست به اقدام عملی نزنه، با هر توییتش باعث التهابات داخلی ‌میشه. وضعیت وضعیت ۲۴ ساعته‌است. نهادهای تصمیم‌سازی چه نظامی چه اقتصادی چه اجتماعی باید ۲۴ ساعته کار کنند.

لینک:
https://www.youtube.com/live/voOLrfcNblY
تنها رضایت از روایت است که فایده دارد ...

شب داشتم بحث سیاسی می‌کردم یکی ازم پرسید این که به همچین چیزهایی فکر می‌کنی باعث نمی‌شود آرامشت را از دست بدهی؟ من پاسخ دادم ترجیح می‌دهم واقعیت تلخ را ببینم تا این که دلخوش باشم و در نهایت واقعیت شوکه‌ام‌ کند. بعد که متن را در کانال گذاشتم و یکی ازم در رپلای‌ها تشکر کرد من به عادت معمول نوشتم چه فایده و او هم همین جمله‌ای که چند ساعت قبل گفته بودم را گفت.

الان که فکر می‌کنم اما می‌بینم سوال با جواب واضحی نیست. دوست داریم به واقعیتی باور داشته باشیم که خوشحال‌کننده نیست یا دوست داریم یک روایت ساختگی اما خوشحال‌کننده را باور داشته باشیم؟ اقرار می‌کنم جوابی که خودم چند ساعت پیش دادم، خودش یک جوابی از روی احساسات بود. اگر کسی به واقعیت ساختگی باور دارد چون خوشحالش می‌کند من هم از آن طرف ماجرا دوست دارم به چیزی باور نداشته باشم که دو روز بعد با نقش برآب شدنش تو ذوقم بزند و شوکه‌ام کند. گویی او دنبال خوشحالی است و من دنبال فرار از شوکه‌شدن. آن قدرها فرقی با هم نداریم. و اصلا اگر قرار نباشد در نهایت بتوانیم بفهمیم که حقیقت چه بوده، آن وقت دیگر نظراتمان با هم چه فرقی داره؟ آن وقت حتی سود آن کسی که به روایت ساختگی باور داشته و زندگیش را با آن قابل تحمل و حتی لذت‌مند‌تر کرده بیشتر از منی است که به هیچ باور نداشته ام.

دنیا تهش تماما تبدیل به روایت‌های ساختگی می‌شود که هر کسی یکی از آن‌ها را برای خودش ساخته و تصمیم گرفته که آن را قبول کند. مادامی که روایت ساختگیش مطابق حدسش باعث رضایتش شود که سود است. مشکل ممکن است جایی رخ دهد که بفهمد روایت ساختگیش اشتباه بوده، اما این جا هم زیاد فاجعه نیست. یا می‌تواند همچنان با اندکی تغییر به روایت ساختگی قبلی جور دیگری وفادار بماند و باز احساس رضایت کند یا می‌تواند به کل روایتش را عوض کند و از این جا به بعد با روایت جدید احساس رضایت کند (تا قبل از این هم که با روایت قبلی به قدر کافی احساس رضایت کرده و خسرانی ندیده).

خلاصه که برای اغلب، باختی در کار نیست. هر کسی ،با هر روایت متنوعی، حتی شده از عقاید متضاد، تا وقتی احساس رضایت می‌کند برنده است. من اما یک بازنده‌ام ...

پی‌نوشت: بحث اصلا سیاسی نیست، منظور چیزهایی فراتر از عقاید سیاسی‌اند حتی.

#افکار_پریشان
یک روز شیخ ابوسعید قدس اللّه روحه العزیز در نشابور مجلس می‌گفت، خواجه بوعلی سینا از در خانقاه شیخ درآمد و ایشان هر دو پیش ازین یکدیگر را ندیده بودند اگرچه میان ایشان مکاتبه رفته بود. چون بوعلی از در درآمد شیخ روی بوی کرد و گفت حکمت دانی آمد. خواجه بوعلی درآمد و بنشست، شیخ با سر سخن رفت و مجلس تمام کرد و در خانه رفت، بوعلی سینا با شیخ در خانه شد و در خانه فراز کردند و با یکدیگر سه شبانروز بخلوت سخن گفتند بعد سه شبانروز خواجه بوعلی سینا برفت شاگردان او سؤال کردند کی شیخ را چگونه یافتی؟ گفت هر چه من می‌دانم او می‌بیند، و مریدان از شیخ سؤال کردند کی ای شیخ بوعلی را چگونه یافتی؟ گفت هر چه ما می‌بینیم او می‌داند

اسرارالتوحید
تا مدرسه و مناره ویران نشود

این کار قلندری به سامان نشود

تا ایمان کفر و کفر ایمان نشود

یک بنده حقیقتا مسلمان نشود

رباعیات نقل‌شده از ابوسعید از دیگر شاعران
یک پیپر جالب دیشب در توییتر دیدم که در ICLR 2025 هم پذیرفته شده بود. یک تسک جدید معرفی کرده به نام KoLMogorov Test. ایده پیپر در واقع از سمت مفهوم Kolmogorov Complexity اومده که اینه که می‌گه طول کوتاه‌ترین برنامه‌ای که می‌شه باهاش یک نمونه رو تولید کرد چه قدره. به این صورت که یک دنباله به LLM داده می‌شه و مدل باید یک برنامه‌ای تولید کنه که این دنباله رو بازتولید کنه. بعدش دقت مدل در تولید این دنباله‌ها و البته طول برنامه تولید شده رو می‌سنجند. بیس‌لاینی هم که قرار دادند روش فشرده‌سازی GZip هست.. نتیجه پیپر هم این شکلی شده که دیدن LLM‌ها روی دنباله‌های داده‌های طبیعی عملکرد جالبی نداره.

چندی است که پیپرهای مختلف از این مفهوم Kolmogorov Complexity زیاد استفاده می‌کنند.

لینک پیپر:
https://arxiv.org/abs/2503.13992