اندر بلاهت Gemini در Structured Output

امروز می‌خواستم که یکجایی از یک پروژه‌ای که از gpt-4o و structured output استفاده کرده بودیم رو به gemini تغییر بدم. فکر کردم خیلی اسم عوض می‌کنم و تمام اما زهی خیال باطل. اولا که schema ممکن gemini با schema مدل gpt4o یکی نیست. دوما از اون بدتر این که gemini وقتی می‌خواد مقدارهای خودش رو خروجی بده اون‌ها رو به ترتیب رندوم خروجی می‌ده! خب بزرگوار کل پوینت CoT به اینه که اولا توکن‌ها ریزنینگ رو تولید کنی و بعد مقادیر رو استنتاج کنی.

در نظر بگیرید که نیازی نیست حتما دو گروه از دو قومیت مختلف باشند تا با هم به مرحله نزاع برسند. جغرافیای خشک ایران و اقتصاد خشک‌ترش، کار رو به جایی می‌تونن برسونن که اصفهانی‌ها و یزدی‌ها هم با هم بر سر آب به جنگ برسند. در این دعوا واقعا نمی‌شه یک طرفه قضاوت کرد. یزدی‌ها به آب آشامیدنی نیاز دارند و از اونور هم کشاورز اصفهانی وقتی می‌بینه که با خشک‌سالی، رونق کارش گرفته شده، تحت فشار بحران اقتصادی به مرحله‌ای می‌رسه که حاضر می‌شه به چنین کار احمقانه‌ای دست بزنه. همین.

سَلامٌ للذين أحبُّهم عبثاً
سلام بر آنان که بیهوده دوستشان دارم.

محمود درویش

می ده که عمر در سرِ سودای خام رفت

ساقی بیار باده که ماهِ صیام رفت
دَردِه قدح که موسمِ ناموس و نام رفت

وقتِ عزیز رفت بیا تا قضا کنیم
عمری که بی حضور صُراحی و جام رفت

مستم کن آن چنان که ندانم ز بی‌خودی
در عرصهٔ خیال که آمد، کدام رفت

بر بوی آن که جرعهٔ جامت به ما رسد
در مَصطَبِه دعایِ تو هر صبح و شام رفت

دل را که مرده بود حیاتی به جان رسید
تا بویی از نسیمِ می‌اش در مشام رفت

زاهد غرور داشت، سلامت نبرد راه
رند از رهِ نیاز به دارالسلام رفت

نقدِ دلی که بود مرا صرف باده شد
قلبِ سیاه بود از آن در حرام رفت

در تابِ توبه چند توان سوخت همچو عود؟
می ده که عمر در سرِ سودای خام رفت

دیگر مکن نصیحتِ حافظ که ره نیافت
گمگشته‌ای که بادهٔ نابش به کام رفت

حافظ

باگ قانون اساسی آمریکا: سناریوی عجیب ۲۰۲۸

آمریکا و ایران با این که هر دو بر سیستم ریاست جمهوری متکی‌اند اما تفاوت‌های مهمی با هم دارند. یکی از این تفاوت‌ها در مورد شرایط اضطراری برای رییس جمهوره. به این معنی که مثلا اگر اتفاقی برای رییس جمهور افتاد (فوت، استعفا یا استیضاح) در اون صورت بعدش چه اتفاقی می‌افته؟ قانون اساسی ایران این شکلیه که ظرف مدت کوتاهی باید انتخابات ریاست جمهوری برگزار بشه و رییس جمهور بعدی انتخاب بشه، قانون اساسی آمریکا اما این شکلیه که معاون رییس جمهور تا پایان دوره ۴ ساله‌ای که قرار بوده اون رییس جمهور باشه، به عنوان رییس جمهور ادامه میده (به همین علت هم کاندیدای ریاست جمهوری موظفند که معاونشون رو قبل از انتخابات معرفی کنند)

یکی دیگه از تفاوت‌ها بر سر تعداد بار ریاست جمهوریه، در قانون اساسی ایران هر کسی می‌تونه هر چه قدر که شد رییس جمهور بشه با این شرط که نباید بیش از دو دوره متوالی بشه. در قانون اساسی آمریکا اما هر کس فقط می‌تونه دو بار "انتخاب" بشه. در نتیجه مثلا ترامپ طبق قانون اساسی نمی‌تونه برای ۲۰۲۸ کاندید بشه. اما یک لحظه مکث کنید و به پاراگراف اول فکر کنید. بله! قانون اساسی آمریکا به علت اون شرایط اضطراری پس از رییس جمهور یک باگی داره که ترامپ می‌تونه ازش استفاده کنه. میتونه سناریو محتمل این جوری باشه که ونس در سال ۲۰۲۸ کاندید ریاست جمهوری بشه و ترامپ هم به عنوان VP اش باشه و اون وقت بعد از بردن، ونس استعفا بده و ترامپ رییس جمهور بشه! این جا اما باز یک مانع قانونی می‌تونه وجود داشته باشه، متمم دوازده قانون اساسی آمریکا چنین جمله‌ای داره:

no person constitutionally ineligible to the office of President shall be eligible to that of Vice-President of the United States

هیچ فردی که از نظر قانون اساسی واجد شرایط ریاست جمهوری نباشه، واجد شرایط برای VP شدن هم نیست! در واقع مخالفین ترامپ به استناد همین بند می‌گن که ترامپ نمی‌تونه در سال ۲۰۲۸ VP بشه ولی حامیان ترامپ معتقدند که نص قانون در اینجا گفته که ترامپ به طور قانونی از خدمت به عنوان رئیس‌جمهور منع نشده، فقط از انتخاب شدن به عنوان رئیس‌جمهور منع شده. در واقع یک بحث زبانی اینجا بر سر تفسر قانون شکل می‌گیره!

اما این پایان ماجرا نیست. اگر ترامپ واقعا بخواد در ۲۰۲۸ چنین کاری کنه و به عنوان VP وارد رقابت‌های انتخاباتی بشه در اون صورت دموکرات‌ها که باختشون قطعیه مجبورند متوسل به آخرین مهره‌شون بشن و متناظر با ترامپ، اوباما رو به عنوان VP وارد گود کنند. اگر واقعا سه سال دیگه چنین سناریویی رخ بده خیلی عجیب و تماشایی خواهد بود.

پی‌نوشت: روح کارل اشمیت اکنون در قبر در حال خندیدنه.

من خود آن سیزدهم

یار و همسر نگرفتم که گرو بود سرم
تو شدی مادر و من با همه پیری پسرم

تو جگر گوشه هم از شیر بریدی و هنوز
من بیچاره همان عاشق خونین جگرم

خون دل میخورم و چشم نظر بازم جام
جرمم این است که صاحبدل و صاحبنظرم

منکه با عشق نراندم به جوانی هوسی
هوس عشق و جوانیست به پیرانه سرم

پدرت گوهر خود را به زر و سیم فروخت
پدر عشق بسوزد که در آمد پدرم

عشق و آزادگی و حسن و جوانی و هنر
عجبا هیچ نیرزید که بی سیم و زرم

هنرم کاش گره بند زر و سیمم بود
که به بازار تو کاری نگشود از هنرم

سیزده را همه عالم به در آیند از شهر
من خود آن سیزدهم کز همه عالم به درم

تا به دیوار و درش تازه کنم عهد قدیم
گاهی از کوچه معشوقه خود می گذرم

تو از آن دگری رو که مرا یاد تو بس
خود تو دانی که من از کان جهانی دگرم

از شکار دگران چشم و دلی دارم سیر
شیرم و جوی شغالان نبود آبخورم

خون دل موج زند در جگرم چون یاقوت
شهریارا چه کنم لعلم و والا گهرم

شهریار

بنده متاسفانه به چای دمی اعتیاد دارم. در روزهایی که خونه یا سر کار هستم متوسط چندین لیوان میخورم، ولی روزهایی که جاهای دیگه‌ای مثل دانشگاه هستم دسترسی‌ام به چای دمی صعبه. می‌خواستم اینجا بپرسم علم در این زمینه چه قدر پیشرفت کرده و خفن‌ترین گجتی که در این زمینه در بازار ایران هست چیه؟ (راهکاری پیشرفته‌تر و پورتال‌تر از چای‌سازهای رایج میخوام، در حالت اتوپیا مثلا وقتی در کلاس یا کتابخونه هستم چطور بتونم چند لیوان چای داغ دمی بخورم)

معماری و تریک‌های ترینینگ را ول کنید، سوپرویژن را بچسبید.

با این که این پست، حرف جدیدی نداره و bitter lessoon ساتن رو انگار بازتکرار کرده ولی نحوه بازتعریفش جالبه. فکت‌هایی که بهشون اشاره می‌کنه اینه:

- این تریک‌های ترینینگ و همچنین معماری‌هایی که امروزه ازشون در دیپ لرنینگ استفاده می‌کنیم چیزای جدیدی نیستند که این چند ساله بهشون رسیده باشیم بلکه پایه و اساس اینها از قبل ۲۰۰۰ وجود داشته.
- یک ادعای جالب می‌کنه می‌گه پارادایم شیفت‌هایی که در AI رخ داده و اثرگذار بودند، پارادایم شیفت در نحوه استفاده از دیتا بوده و نه ابداع معماری یا تریک‌های ترینینگ‌ جدید. اینجوری مثلا نگاه می‌کنه که ما در ۲۰۱۲ مدل‌مون رو روی حجم عظیمی از تصویر‌های لیبل خورده آموزش دادیم، بعدش مدل‌های زبانی‌مون رو دادگان اینترنت آموزش دادیم و بعد مثلا در پارادایم ریزنینگ به سراغ این رفتیم که مدل‌هامون رو با کمک verifier‌ها و هر چیزی که verifyپذیره آموزش بدیم. و میگه که اگر ترنسفورمر‌ها اختراع نمی‌شدن ما چند سال دیرتر بالاخره به سخت‌افزاری یا تریکی می‌رسیدیم که بتونیم rnn یا یک معماری دیگه رو روی داده‌های متنی اسکیل کنیم. البته به نظرم می‌شه اینجا به جای داده، از اصطلاح supervision استفاده کرد. ما هر سری انگار داریم پارادیم شیفت روی supervision می‌دیم
- یک جمله جالب داره که دوستش داشتم:

there is an upper bound to what we might learn from a given dataset

به این معنی که شما وقتی یک منبع داده (سوپرویژن) دارید، نهایتا یک حد بالایی برای یادگرفتن از این سوپرویژن دارید. اگر بخواید چیز متفاوت‌تر یاد بگیرید راهش این نیست که روی معماری کار کنید بلکه باید روی تغییر سوپرویژن کار کنید (خیلی به نظرم زیباست مفهومش)
- یک پرسش الحادی و اعتراضی هم مطرح می‌کنه که با این که داده (سوپرویژن) عنصر اصلی تغییر در یادگیری هست ولی ۹۵ درصد کامیونیتی وقتشون رو صرف ابداع معماری یا تریک‌های جدید ترینینگ می‌کنن. در حالی که ایده مهم‌تر اینه که فکر کنیم چه جوری می‌تونیم سوپرویژن‌های متفاوت‌تر و بهتری رو برای مدل‌هامون فراهم کنیم.

لینک:
https://substack.com/inbox/post/160974493

پی‌نوشت ۱: هر چه قدر بیشتر می‌گذره این مطلب در ذهنم پررنگ‌تر میشه که ابداعات دیپ لرنینگ در این ۲۰ سال اخیر نظیر اختراع ترنسفورمر‌ها یا چیزای دیگه زیاد هم اتفاق‌های خاص یونیکی نبودند. اینها انگار خودشون معلول یک جبر تاریخی در روند هوش مصنوعی بودند.

پی‌نوشت ۲: در واقع هنوز کلی سوپرویژن در طبیعت وجود داره که ازشون هنوز برای آموزش مدل‌هامون استفاده نمی‌کنیم.

پی‌نوشت ۳: نقش معماری و تریک‌های ترینینگ ( و کلا اینداکتیو بایاس‌ها) اینه که سعی می‌کنیم نهایت چیزی که می‌تونیم از یک سوپرویژن یاد بگیریم رو با نهایت کارایی یادگیری به دست بیاریم.

باغبان چو من زین جا بگذرم حرامت باد

وقت را غنیمت دان آن قدر که بتْوانی
حاصل از حیات ای جان این دم است تا دانی

کام‌بخشیِ گردون عمر در عوض دارد
جهد کن که از دولت دادِ عیش بستانی

باغبان چو من زین جا بگذرم حرامت باد
گر به جای من سروی غیر دوست بنشانی

زاهد پشیمان را ذوق باده خواهد کشت
عاقلا! مکن کاری کآورد پشیمانی

محتسب نمی‌داند این قدر که صوفی را
جنس خانگی باشد همچو لعل رمانی

با دعای شب‌خیزان ای شکردهان مستیز
در پناه یک اسم است خاتم سلیمانی

پند عاشقان بشنو و از در طرب بازآ
کاین همه نمی‌ارزد شغل عالم فانی

یوسف عزیزم رفت ای برادران رحمی
کز غمش عجب بینم حال پیر کنعانی

پیش زاهد از رندی دم مزن که نتوان گفت
با طبیب نامحرم حال درد پنهانی

می‌روی و مژگانت خون خلق می‌ریزد
تیز می‌روی جانا ترسمت فرومانی

دل ز ناوک چشمت گوش داشتم لیکن
ابروی کماندارت می‌برد به پیشانی

جمع کن به احسانی حافظ پریشان را
ای شکنج گیسویت مجمع پریشانی

گر تو فارغی از ما ای نگار سنگین‌دل
حال خود بخواهم گفت پیش آصف ثانی

حافظ

دیشب آخروقت به طرز نیمه رندومی به مصاحبه فراستی با مجله مهرنامه در سال ۹۴ رسیدم. متنش رو خوندم و به نظرم جالب بود. مصاحبه راجع به مجید مجیدی هست و فراستی خیلی زیبا نقدش می‌کنه. حرف کلیش اینه که فیلم‌های اول مجیدی مثل "به رنگ خدا" و مخصوصا "بچه‌های آسمان" فیلم‌های قوی و اثرگذاری هستند که به درد طبقات فرودست داره می‌پردازه. و نکته جالب اینه که مجیدی اتفاقا این اثرها رو نه با دانش سینمایی که به صورت حسی به وساطه زیستی که در طبقه فرودست داره تولید کرده. منتها اتفاقی که بعد از بچه‌های آسمان براش می‌افته اینه که اولا وقتی با استقبال خارجی‌ها مواجه می‌شه از این به بعد دیگه هدفش ساختن فیلم‌هایی می‌شه که بتونه مورد استقبال خارجی‌ها قرار بگیره. از طرف دیگه هم طبقه اجتماعی و اقتصادیش ترقی پیدا میکنه و پیکانش تبدیل به پراید و بعدا ماشین شاسی بلند می‌شه. دیگه از این جا به بعد به خاطر همین تغییر زیست همون حس سابق رو هم از دست می‌ده و برای همین دیگه نمی‌تونه چیزی مثل "بچه‌های آسمان" رو تکرار کنه.

فارغ از اون صحبت‌های جالبی می‌زنه فراستی و خوندنش ارزش داره، تکه‌هایی ازش رو میارم:

بچه‌های آسمان حاصل یک‌سری زندگی خود مجیدی است؛ زندگی جنوب‌شهری‌ای که حتماً کوچه‌های فیلمش هم از همان‌جا آمده‌اند. من دو تا مصاحبه‌ی مفصّل با مجیدی دارم که یکی‌شان ته کتاب بچه‌های آسمان چاپ شده و آن‌یکی هم ته کتاب رنگ خدا. این مصاحبه‌ها را که بخوانی می‌بینی مجیدی آدم همان فضا است. از همان جنس است. با بچه‌ها هم مأنوس است؛ انگار بچگی خودش همچنان برایش حاضر است

از این‌جا به بعد مشکلی را پیدا می‌کنیم که مجیدی را از پا می‌اندازد. بچه‌های آسمان و رنگ خدا می‌روند خارج. بچه‌های آسمان توی خارج گل می‌کند و کاندیدای اسکار می‌شود. جایزه‌ی کانادا را می‌گیرد. توی ژاپن سروصدا می‌کند. حتی فیلمی ژاپنی تحت تأثیرش ساخته می‌شود. توی ژاپن برایش کتاب درمی‌آورند. این‌جا به بعد تغییرات مجیدی شروع می‌شود.

گفت فیلم چه‌طور بود؟ گفتم خیلی بد. گفت چی؟ گفتم خیلی بد. عرق ریخت. کاملاً عرق کرد. گفت چی‌کار کنم؟ گفتم هیچ‌چی؛ دو تا فیلم خوب ساخته‌ای و یک فیلم بد. عیبش وقتی است که نتوانی از دستش خلاص شوی

بعضی وقت‌ها که از ناخودآگاهی به خودآگاهی می‌رسی انگار این ظرفیت را نداری و انگار همان ناخودآگاه، همان اندازه، کار خودش را می‌کند. امّا به‌محض این‌که منِ نوعی می‌گویم این چه‌قدر خوب است و معنی‌اش چه‌قدر زیاد است، کار خراب می‌شود. من و تو به‌عنوانِ بنویس یا فیلم‌ساز به‌عنوانِ بساز اگر از شر بدی‌مان خلاص نشویم دخل‌مان می‌آید. از شرّ خوبی‌مان هم باید خلاص شویم. فکر کن تو یک نوشته‌ی خیلی خوب داری و خودت هم می‌دانی و همه هم گفته‌اند. ولی از شر خوبی‌اش هم باید خلاص شوی. اگر از شرش خلاص نشوی درجا می‌زنی. حتی عقب می‌روی. وقتی را به طرف می‌گویی به‌جای این‌که جلو برود عقب می‌رود. امر به فیلم‌ساز مشتبه می‌شود که لابد خبری هست. پس هر جوری بسازم درست است. جشنواره‌ای فرنگی به‌سرعت شدند مسأله‌ی مجیدی و بیش‌ترین آسیب را هم از همین‌جا دید

چیزی که از مجیدی سراغ داشتم یک پیکان بود که توی «رنگ خدا» شده بود پراید.. خیلی هم دلخور بود که پیکان را داده و پراید گرفته. به‌جای بخشی از دستمزدش پراید را بهش داده بودند. یادم هست که شرمنده بود. این شرمندگی را دقیق یادم هست. کات. برسیم به آن جلسه‌ی انرژی اتمی. رفتیم توی پارکینگ. آخرین پلان من همان پراید بود. یک ماشین شاسی‌بلند خوشگل هم آن‌جا بود و مجیدی رفت سراغ بعد که نشستم راه افتادیم. خیلی بااحتیاط گفت مسعود، این ماشین خیلی برای فیلم‌سازی خوب است. توی کوه‌وکمر که می‌روم فیلم‌سازی خیلی کمکم می‌کند.

آن کارت‌پستال، شهرت، ثروت و لوکس شدنی که حرفش را می‌زدم این‌جا هم هست. فیلم از این نظر ادامه‌ی همان‌ها است؛ ولی در یک اشل خیلی گسترده‌تر، نه بزرگ‌تر. فیلمی برای خارجی‌ها از پیامبر ما. برای عرضه به آن‌ور

هیچ پیامبری به‌اندازه‌ی پیامبر اسلام پایش روی زمین نبوده. برای همین می‌‌گوید من بشری مثل شمایم. حتی وقتی هم پیامبر می‌شود نگاهش همین‌جور است. پیامبری که توی فیلم مجیدی می‌بینیم این‌طور نیست. اصلاً پایش روی زمین نیست.

این‌جور بیگ پروداکشن حجیم و پرخرج راهی به‌شدت انحرافی است برای سینمای ایران. ما احتیاج به سینمایی اندازه‌ی خودمان داریم. تکنولوژی ابزار نیست؛ ساختار است؛ فرهنگ است و ما وقتی جامعه‌مان تکنولوژیک نیست تولید تکنولوژی نمی‌کنیم؛ مصرفش می‌کنیم. آدم‌های تکنولوژی نیستیم و تکنولوژی بر ما حاکم می‌شود و ما را می‌بلعد

ممکن است مجیدی روزی دوباره به دوره‌ی بچه‌های آسمان برگردد؟ نه. برای برگشت احتیاج به زیست دارد و این زیست به عقب برنمی‌گردد. نمی‌‌گویم مجیدی نمی‌تواند فیلم خوب بسازد ولی چند فیلم آخر نشان می‌دهد که از دنیای مألوف زیست‌کرده‌اش فاصله‌ی زیادی گرفته

از اونجایی که بارها در موقعیت‌های حضوری و در اصلا کامنت‌های همین جا ازم پرسیدید چرا فیلم‌های درس سیستم ۲ رو آپلود نمی‌کنید، خواستم اطلاع بدم که ocw فیلم‌های تا جلسه ۱۲ رو آپدیت کرده:

https://ocw.sharif.ir/course/id/558