Hello World! Hello Cruel World!

کاش میشد زندگی رو جدی نگرفت.

بر ما گذشت نیک و بد اما تو روزگار

فکری به حال خویش کن این روزگار نیست

عماد خراسانی

کابوس دیدم.

در ایستگاه بهشتی در حین انتظار برای آمدن مترو به عادت مالوف این روزها یکی یکی پروکسی‌ها را امتحان می‌کردم. یکیشان وصل شد و متن این پست برایم آمد. اسم را که خواندم به سرم زد من این اسم مرادعلی را یک جای دیگر شنیده‌ام. یادم آمد. عکس پست اما باز نشد. سریع اسمش را سرچ کردم و بله last seen within a month.‌ خودش بود. شروع به خواندن چت‌ها و عکس پروفایل هایش کردم. یادم افتاد من ارشد که بودم پروژه کارشناسی‌اش را با آزمایشگاهی که من بودم برداشته بود. عکس اولش زن زندگی آزادی بود که از دو سال پیش مانده بود.‌ عکس سوم پروفایلی که داشت عکس یک آقای پیرمردی بود، یادم افتاد که آن سال پدربزرگش فوت کرده بود. عکسها هر چه به عقب تر می‌رفت عجیب تر میشد، یک عده عکس‌های مذهبی و البته عکس از امام موسی صدر. حالا این که بنده خدا در ارشد رفته بود الهیات بخواند عجیب نمی‌زد. برایم سوال شد که نسبت اعتقاداتی که آخر سر به عقاید مذهبی و سیاسی‌اش داشته چطور شده. به آخرین پیاممان که رسیدم دیدم تاریخ زده روز چندم ژانویه ۲۰۲۰. یک آن خشکم زد. رفتم چک کنم و مطمئن شوم. تاریخ شمسی‌اش دقیقا ۱۸ دی ۱۳۹۹ بود و دقیقا پنج سال بعد در همان روز آخرین پیام. کسی ۵ سال بعدش را چه می‌داند که چه می‌شود.

خدایش بیامرزد.

در مورد سوال دخالت خارجی

خیلی وقتها ما در تشخیص سوال درست دچار اشتباه می‌شویم و همین باعث گنگی نتیجه‌گیری‌ها می‌شود. یکی از ترندهای بحث‌های اخیر در شبکه‌های اجتماعی در ایامی که گذشت بحث در مورد این سوال بود که "حمله عامل خارجی به ایران خوب است یا بد" و کلی هم بحث حول ضرر و فایده حولش شکل گرفت. نظر مخالفین که مشخص است اما در نظر موافقین دخالت خارجی، به نظر یک پیش‌‌فرض فکرنشده وجود دارد که با خود خواسته‌هایشان جمع نمی‌شود.

این هفته دیدم یکی از دانشجوهای سابقم (که پسر خوبی هم هست) استوری گذاشته بود و نوشته بود که چون وضع قابل تغییر نیست، پس دیگر چاره‌ای جز حمله خارجی نمانده. ازش پرسیدم منظورش از حمله خارجی دقیقا چه اکشن‌هایی باید باشد و گفت نمیدانم هر چه که باعث تغییر در وضع موجود شود. پرسیدم تغییر نظام؟ پاسخ داد مثلا. گفتم خب آمریکا چند گزینه میتواند داشته باشد، گزینه اول مثلا میتواند رهبری و بقیه راس سیاسی ایران را بزند، گزینه دوم مثلا میتواند پایگاه‌های سپاه را بزند و گزینه سوم هم مثلا نیروی زمینی پیاده کند (مشابه کاری که در عراق کرد). در مورد گزینه اول با وجود آسیب به راس سیاسی اما نظام سقوط نخواهد کرد چون ده‌ها جانشین وجود دارند. در مورد گزینه دوم هم نیروی انسانی وسیع سپاه و بسیج چیزی نیستند که در چند ساختمان باشند بلکه در جای جای کشور پخش هستند. باز نهایتا صرف زدن چهار ساختمان نظام را سقوط نمی‌دهد. نظام تنها در یک حالت می‌تواند سقوط کند که آمریکا در ایران نیروی زمینی پیاده کند. فارغ از این که آمریکا بتواند و بخواهد این هزینه را بطلبد بعید میدانم براندازترین افراد هم بخواهند شاهد جنگ شهری داخل کوچه هایشان باشند. حتی حتی اگر این سناریو آخر هم نتیجه دهد، تجربه افغانستان همین بیخ گوش ماست که طالبان بعد بیست سال خیلی شیک و مجلسی برگشت. سقوط یک نظام به زور قدرت خارجی تغییر پایدار در نظم سیاسی را نتیجه نمی‌دهد. خلاصه که دخالت خارجی بعید است نتیجه مطلوبی که براندازان میخواهند را هم نتیجه دهد.

جمهوری اسلامی اگر همین امشب تسلیم آمریکا شود و موشکهایش را تحویل دهد و اسراییل را هم به رسمیت بشناسد، فردا صبح نشده ترامپ توییت میزند سیدعلی ایز مای داداش. حال ملت معترض داخل به خواسته هایشان رسیده باشند یا نه توسط آمریکا ول خواهند شد. آمریکا اگر حمله هم کند تهش یا سناریو مادورو (یعنی معامله با ساختار حاکم داخلی) میشود یا این که به جنگ داخلی ختم میشود. آن که ماچادو بود و نوبل صلح را برده بود تهش آمریکا چیزی حسابش نکرد اینها که واقعا دل به دخالت آمریکا بسته‌اند تا بازگردند و منصبی بگیرند جای خود دارند.

هزینه توصیف: خم‌شدن موضوع

چند وقت پیش (شاید قبل از قضایای اخیر، این قدر این ایام بی اینترنت کند میگذره که یادم نیست کی بود!) هنگام نهار با آقای بهرام خردمند هم‌میز شدیم. نمیدانم بحثمان از کجا شروع شد اما به یک جایی رسید که این دوست ما داشت یک مفهوم فیزیکی رو توضیح می‌داد. اگر اشتباه نکنم این شکلی بود که می‌گفت شما وقتی میخواید شدت و جهت یک جایی در یک میدانی رو اندازه‌گیری کنی، مجبوری یک ذره دارای بار (و نه خنثی) در آن مکان قراربدی تا از میزان واکنش اون ذره، بتونی شدت و جهت میدان رو اندازه‌گیری کنه. و البته پارادوکس اینجاست که شما وقتی اون ذره رو در میدان قرار میدی، به خاطر برهم‌نهی ذره بر میدان، از اون لحظه به بعد دیگه اون میدان، همون میدان سابق نیست. و اصلا پارادوکس کلی در اندازه‌گیری همینه که ناظر خودش در حین اندازه‌گیری بر سوژه اثر می‌ذاره.

حالا اگر فراتر از قضیه میدان‌های فیزیکی نگاه کنیم در جاهای دیگه هم به نظر میشه صادقش دید. شما وقتی یک ایده، یک اثر یا یک نظریه برای توصیف یک پدیده‌ای خلق می‌کنی و در میدان اون پدیده قرار میدی، از اون لحظه به بعد ایده شما هم روی اون پدیده اثر می‌گذاره و اون پدیده دیگه اون پدیده سابق نیست. و گویی فکر‌کردن و توصیف کردن رو میشه به شکل یک نوع اندازه‌گیری دید، از این جهت که شما برای توصیف اون منظور، مجبوری یک نظر جهت‌دار و نه خنثی ارائه بدی (چرا که نظر خنثی احتمالا منجر به اندازه‌گیری چیزی نمیشه). و خب اون حرف غیرخنثی و جهت‌دار نهایتا خودش هم جزوی از میدان میشه و اصلا میدان موضوع رو عوض می‌کنه.

هنگامی که حوادث و موضوعات شدت می‌گیرند (مخصوصا در موارد سیاسی) این اتفاق انگار بیشتر ملموس میشه. شما میای درباره موضوعی یک نظر غیربدیهی بدی، اون نظر به واسطه غیربدیهی بودنش باعث برانگیختگی واکنش‌هایی میشه و در مرحله بعدی خودش هم جزو موضوع قرار میگیره و حالا شما اگر بخوای به بحث و اندازه‌گیری ادامه بدی مجبوری در مورد مجموعه اون موضوع و نظر قبلی خودت هم نظر بدی که همین شکلی زنجیره نظراتی که درباره موضوع قرار می‌دیم اون موضوع رو عوض می‌کنه. شما اولش میخواستی درباره موضوع صحبت کنی ولی گام به گام بیشتر مجبور میشی درباره نظرات قبلی خودت هم صحبت کنی و ممکنه کار به جایی برسه که دیگه اصلا بحث همون بحث اول نبوده باشه و شما اصلا مجبور باشی در رد نظرات اولت صحبت کنی. به فرض مثال در میدان بحث در مورد دخالت خارجی، میگی دخالت خارجی بده و براش دلیل میاری. در مقابل این اتفاقات یک سری موافقت و مخصوصا مخالفت جلب می‌کنی. مخالفت‌هایی که حالا ممکنه بیشتر از موضوع اولیه روی دلیلها و یا خود موضوع شخص شما فشار وارد کنند.‌ از این لحظه بعد بحث فقط درباره دخالت خارجی نیست، بلکه درباره نظر شما، شما، نیت شما و میدانی که بهش نسبت داده میشی هم هست. حالا اگر دوباره حرف بزنی داری موضوع + اثر حرف قبلی واکنش نشون میدی. میدان دیگه اون میدان قبلی نیست.

در واقع فکر‌کردن، توصیف‌کردن و نظردادن نوعی اندازه‌گیری هستند. نظر خنثی مثل ذره‌ بی‌بار چیزی رو مشخص نمیکنه. در عین حال به محض این که یک نظر باردار میدی داری یک برهم‌کنش ایجاد می‌کنی. و از اون لحظه به بعد پدیده‌ای که در موردش حرف می‌زدی یک نسخه پس از اندازه‌گیری میشه. توصیف نه فقط یک کشف، که یک رخداده. توصیف بی‌هزینه نیست، هزینه‌اش تغییر خود چیزیه که می‌خواستیم توصیفش کنیم.

تو همدردی یا تو هم دردی؟

از هرات تا خارگ

امروز داشتم اخبار مربوط به حمله احتمالی آمریکا و احتمال اشغال خارگ و یا محاصره دریایی ایران رو می‌خوندم که یاد ماجرای هرات افتادم. ایران در زمان قاجار دو بار اقدام به حمله جدی برای تصرف هرات کرد. بار اول در ۱۸۳۷ و دوره محمدشاه قاجار، ایران سراغ هرات رفت. شهر محاصره شد و در آستانه سقوط بود که انگلستان تعدادی مستشار به داخل شهر فرستاد و حاکم شهر رو تشویق به مقاومت کردند. حالا چرا انگلستان؟ ماجرا این بود که انگلستان بزرگترین قدرت آن سالهای دنیا بود و از طرفی هندوستان هم که مستعمره‌اش بود، بزرگترین دارایی انگلیس بود. و اگر قدرت اروپایی دیگه ای قصد داشت از راه زمینی به هند حمله کنه راهی جز عبور از ایران و بعد افغانستان و سرانجام تنگه خیبر نداشت (از راه دریا هم که قدرت دریایی در حد انگلیس وجود نداشت). اگر حالا هرات و بعد هم کل افغانستان به دست ایران می‌افتاد معادل این بود که ایران، همسایه هند انگلیس شده بود و اون وقت قدرتهای دیگه میتونستند از طریق ایران به هند حمله کنند. برای همین انگلستان روی هرات حساس بود. خلاصه با وجود تشویق انگلستان، مقاومت تحلیل رفت و شهر در آستانه سقوط قرار گرفت. در اینجا انگلیسی‌ها از طریق دریا اقدام به حمله به جزیره خارگ کردند و محمدشاه رو تهدید کردند که اگر از هرات دست نکشه بیشتر پیشروی میکنند. محمدشاه هم کوتاه اومد و محاصره هرات رو ول کرد و برگشت.

دقیقا ۲۰ سال بعد، و در سال ۱۸۵۷، اینبار ناصرالدین شاه اراده کرد که هرات رو برگردونه. سپاه ایران مجددا به سمت هرات روانه شد و شهر رو محاصره کرد. عاقبت بعد از چند ماه ایران موفق شد وارد هرات بشه و اونجا رو تصرف کنه. در اینجا انگلیسی‌ها پا رو فراتر از ۲۰ سال قبل گذاشتند و این بار به بوشهر حمله کردند و اونجا رو تصرف کردند. انگلیسی‌ها حتی جلوتر از بوشهر تا محمره (خرمشهر) و اهواز هم پیش رفتند. نهایتا در اینجا هم ناصرالدین شاه با دیدن اوضاع کوتاه اومد و دستور عقب نشینی نیروهای ایرانی از هرات رو صادر کرد.

در کل قاجارها بندگان خدا آن قدر هم حکومت مقصر همه چیزی نبودند. حجم زیادی از قضاوت ما نسبت به قاجار، یک ناشی از نحوه روایت و مورخی یکی دوره پهلوی هست که طبیعتاً هر سلسله‌ای، سلسله قبل از خودش رو تماما سیاه نشون میده و یکی هم جمهوری اسلامی که تمامی حاکمیت‌های قبل از خودش رو نقد می‌کنه. قاجارهای بنده خدا در واقع در بدترین زمان، یعنی بازی بزرگ بین انگلیس و روسیه، گیر کردند و تحت همین فشارهای خارجی ناکامی‌های بسیار تجربه کردند. در خیلی از مسائل داخلی هم، ناشی از رقابت و دخالت قدرت‌های خارجی، حاکمیت قاجار ضربه دید و نتونست اونجوری که شاید مسائل رو به پیش ببره.

چرایی عدم قطعیت LLM حتی با تمپرچر صفر

وقتی یک LLM رو با سمپلینگ تمپرچر صفر هم کال کنیم باز گاها مشاهده می‌شه که خروجی LLM هر بار یکسان نیست و با وجود صفر بودن تمپرچر باز با عدم قطعیت در خروجی LLM مواجهیم. حالا اصلا چرا این اتفاق می‌افته؟

این بلاگ توضیح خوبی داده که چرا با وجود تمپرچر صفر باز قطعیت کامل به وجود نمیاد. اول توضیح میده که شما وقتی سه تا عدد رو در سیستم Floating Point با هم جمع می‌زنید، ترتیب جمع زدن در نتیجه نهایی اثر می‌کنه. یعنی مثلا این که اول A رو با B جمع کنید و بعد بیایم حاصلش رو با C جمع بزنیم نتیجه‌اش با این که اول B رو با C جمع بزنیم و بعد حاصلشون رو با A جمع بزنیم یکی نمیشه. اما اصلا چرا باید ترتیب جمع زدن در سخت افزار فرق داشته باشه؟ در صورتی که قرار باشه یک مجموعه از اعداد رو با هم جمع بزنیم و ترتیب زمانی حاضر شدن این اعداد با هم فرق کنه و سینک نباشه اون وقت ممکنه هر بار با یک ترتیب متفاوت رو به رو باشیم و در نتیجه جمع فرق کنه. خب اما پلات توییست داستان اینه که اصلا در معماری‌های دیپ لرنینگی در فوروارد پسشون هیچ بخشی وجود نداره که همچین جمع‌هایی بخواد. پس داستان چیه؟

داستان اینه که شاید یک فوروارد پس درش عناصر مزاحم قطعیت وجود نداشته باشند ولی پرووایدرهای LLM‌ها ریکوئست‌ها رو به صورت Batch انجام میدن. حالا ایا خود Batch باعث عدم قطعیت میشه؟ نه خیر. گویا چیزی که بیشتر باعث عدم قطعیت میشه سایز Batch های مختلفه. پرووایدرها بر حسب این که با چه لودی دارند بهشون ریکوئست زده میشه با سایز batch مختلفی اینفرنی می‌گیرند. حالا یک وقت هست نسبت سایز بچ به کرنل های سخت افزاری بهم می‌ریزه و در اون صورت برای بهینه اینفرنس گرفتن، داده شکسته میشه و به چند کرنل داده میشه و اون قضیه atomic add ابتدای داستان رخ میده.

لینک بلاگ:
https://thinkingmachines.ai/blog/defeating-nondeterminism-in-llm-inference

گویا در ایلام رفتند مجسمه خیام رو به تصور این که بزرگوار آخوندی چیزی بوده سر بریدن :)))) خیامی که بدبخت اومانیست‌تر ازش در ایران نداریم :)))

حالا اون که خیام بود و شهره انسان‌گرایی و اومنیسم در ایران هست در وسط شلوغی و عصبانیت سرش بریده می‌شه. آدم‌های امروزی با پیچیدگی بیشتر که جای خود دارند، احتمال رخ دادن سوبرداشت از آدم‌ها بیشتره. شما یک چیزی میگی یا اصلا چیزی نمی‌گی و طرف مقابل به شما برچسب یک میدانی رو می‌زنه و اون وقت تبدیل به رمی جمرات میشی.

در این هیری‌ویری، استاد پس از مدتی دوری از میادین برگشتند ❤️❤️❤️

مصداق بارز تهدید امنیت ملی

یکبار دیگه و مطابق انتظار صداسیما تپه تصور نشدنی دیگه ای رو فتح کرد. مجری که تکلیفش مشخصه، خداحافظی با اجرا که پیشکش، مدتی اصلا باید با حضور در اجتماع خداحافظی کنه. مدیر شبکه افق هم که طبق قاعده همیشگی عزل شد. یک قاعده همیشگی در صداسیما در حالی که اصلا مدیر بدبخت که نمیشینه تک تک برنامه‌ها رو ببینه که بابت پخششون مقصر باشه. میمونه اما نویسنده این برنامه و ناظر پخش و هر آدمی که این آیتم شنیع، چندش، نمک به زخم کن و ... رو دیده و دم برنیاورد. آدمهایی که احتمالا ما هم هویتشون رو نخواهیم فهمید و از قضا اونها بیشتر از مجری و مدیر سازنده این لجن بودند. مشکل صداسیما به نظر فراتر از سه چهار تا مجری و مدیر شبکه است. مشکل طرز تفکر جاخوش در دل این نهادهای فرهنگیه

اندازه‌گیری حال خوب

امروز در آسانسور هم‌مسیر محسن‌ خان غفوری شدیم. با همان سوال "حالت خوبه" وارد بحث شدیم که آیا اصلا این سوال معنی دارد یا نه. به این نتیجه رسیدیم که حال یک چیز آنی و متغیر هست. آدم صبح باانرژی و انگیزه شروع می‌کنه، بعد از ظهر یک اتفاق می‌افته پنچر می‌شه و افسرده؛ و دوباره آخر شب با یک اتفاق دیگه حالش دگرگون می‌شه. بعدش هم به این نظر رسیدیم که اصلا این پرسیدن "حالت خوبه" مشاهده بی‌تاثیر نیست، بلکه تاثیر می‌گذارد و در حال آدم تاثیر می‌گذارد. فکر کردن ( و یا حتی سعی‌کردن به فکر‌نکردن) به این سوال حالم خوبه یا نه حال آدم را تغییر می‌دهد. هیچ وقت حال آدم‌ها را نمی‌شود اندازه‌گیری کرد.

اکسیوس اسکل‌کن

امروز حول و حوش ساعت ۲۱، استاد باراک راوید خبرنگار اسرائیلی Axios خبر زد که مذاکره جمعه ایران و آمریکا لغو شده. در اثر این خبر نفت ۳ درصد بالا رفت. بعد دو ساعت استاد دوباره خبر زد که مذاکره جمعه دوباره برقرار شده و نفت دوباره پایین اومد. به همین راحتی با دو تا خبر اقتصاد دنیا رو اسکل خودش کرد مردک. البته که برای ما چیز زیاد تازه‌ای نیست. ۲۰ ساله که مندلک این اخبار شدیم.

پی‌نوشت: دارم فکر می‌کنم بنده هم اگر بتونم کانال رو مثلا به ۲ میلیون ممبر برسونم به لحاظ نظری می‌تونم درآمدزایی کنم از طریق نوسان‌گیری.