احتمالاً با استفاده از ابزارهای هوش مصنوعی تصاویری با ظاهر بسیار واقعی تولید کرده‌اید. تئوری پشت این ابزارها diffusion models است. در کانال یوتیوب، ویدیوهای شماره ۸۱ تا ۸۹ از پلی لیست یادگیری عمیق را به این موضوع اختصاص داده‌ام. اسلایدهایی را که به همین منظور آماده کرده بودم، برایتان پیوست کرده‌ام.

@golemcourse

تجربه سروش سارابی، مدیر هوش مصنوعی RADERON از دوره Machine Learning-based Algorithmic Trading

شخصا بسیار خوشحالم از اینکه تجربه خوبی بوده حتی برای متخصصینی مثل سروش که سال‌هاست در زمینه هوش مصنوعی با فیلدهای مختلف فعال هستند.

اینکه اصولا چرا این دوره برگزار شد خوب قبلا گفتم چون نیروی متخصصی نیاز داشتیم برای کار با سیستم (تخصص در پایتون و ابزار، فایننس و trade، ماشین لرنینگ و دیتاساینس) خصوصا که کوفاندرم هم الان پادگان در حال هک هوب هک در شرایط جنگی هست. اما اینکه چرا یک فریمورک کامل به دوستان ارائه شد (شامل ۳ کدبیس) به دلیل دیدگاه من درباره قدرت و مزیت open source و کلا share کردن به حالت all in بود. بعدا در این مورد بیشتر مینویسم.

حتما کانال سروش، دانش، آگاهی رو هم عضو باشید.

اطلاعات ثبت نام دوره

اگر لایک‌ها بالا بود تخفیف رو تا یک هفته مجدد فعال میکنیم.

تخیف برای یک هفته تمدید شد

قبول دارم شاید یکی از سخت‌ترین کارها باشه اما تا میتونید از انجام همزمان کارها و از اون مهم تر وجود یک گوشی هوشمند با نوتیفیکیشن در کنارتون در زمان کار اجتناب کنید. دلیل فقط تمرکز یا productivity نیست (که خوب این واضحا همیشه بوده و میدونیم)، دلیل حافظه است! زمانی که multitasking میکنیم یا در هنگام انجام یک کار (حتی تفریحی) تمام حواسمون روی کار نیست و یک گوشی که بالقوه نوتیفیکیشن داره هم هست، حافظه ضعیف تری به اون کار اختصاص پیدا میکنه و فراموشی اتفاق میفته چرا که حافظه در این حالت چند fragment خواهد شد که باهم در رقابت هستند. راه حل: حالت focus mode رو فعال کنید در گوشی و یا گوشی رو شارژ نکنید (کنترل محیط)

نکته بسیار جالب بعدی در رابطه با حافظه و فراموشی این هست که اگر سعی کنید تمامِ یک تجربه را عکس یا فیلم بگیرید (به اصطلاح over document کنید) اتفاقا در آینده اون عکس‌ها رو زود رد می‌کنید اما اگر عکس‌ها یا فیلم‌های کوتاهی بگیرید که به عنوان سرنخ برای یادآوری آن تجربه باشند، آن مستند برای شما ارزشمند خواهد بود و به تقویت حافظه بسیار کمک می‌کند.

پ.ن: طبق عادت پشت فرمون پادکست Hubermanlab گوش میکنم که در اپیزود اخیرش یک متخصص و دانشمند در حوزه حافظه و تمرکز صحبت میکرد. اپیزود بسیار جالبی بود.

پ.ن۲: معتقدم اگر حافظه ضعیفی در کارها و حتی امور روزمره داشته باشیم، شاید زمان نسبتا زیادی از عمرمون بگذره اما حس کنیم کمتر تجربه کردیم. این البته شروع یک بحث عمیق تر هست در کتاب ماشین تجربه که اینجا میتونید بررسی کنید.

این پست برای تازه واردها در بازار‌های مالی هست. خیلی اوقات دوستانی میگن که میخوان وارد این حوزه بشن. همیشه چند نکته رو میگم:

۱_ از Trading کوتاه مدت در صورت تازه کار بودن اجتناب کنید تا پولتون به باد نره مگر اینکه یک سیستم کامل (احتمالا به همراه یک تیم با تخصص کوئانت) داشته باشید که تمام اصول و جزئیات رو رعایت میکنه. این سیستم نیاز به زمان، کار و تخصص زیادی داره که میشه موضوع مورد بحث در دوره‌ای که در این خصوص داریم.

۲_ حتی اگر یک سیستم برای معاملات الگوریتمی کوتاه مدت دارید، سعی کنید یک پرتفو مثلا از USDT، طلا (XAUT) و بیتکوین داشته باشید و البته اگر دسترسی دارید صندوق سهام آمریکا. اینجا با توجه به میزان ریسک و علمی که دارید درصدهارو گاها جا به جا کنید و معامله کنید و صد البته به مرور یک سیستم نرم‌افزاری براش توسعه بدید. یاد بگیرید که صبور باشید و با نوسانات کوتاه مدت هیجانی معامله نکنید.

۳_ نیاز نیست لزوما علم بالایی داشته باشید تا بتونید یک پرتفو رو بگردونید و سود کنید. با مطالعه و تجربه بخشی از پرتفو رو معامله کنید که این بخش با کسب تجربه میتونه بیشتر بشه. برای مثال با مشخص شدن نتایج انتخابات میتونستید بیتکوینِ پرتفوتون رو اضافه کنید. این مسئله با توجه به اظهار نظرهای ترامپ درباره بیتکوین قبل از انتخابات کاملا واضح بود. بعضی موارد نسبتا پیچیده تر مثل این پست هم به مرور میتونه مبنای معامله‌گری در پرتفوی شما باشه.

پ.ن: دیدیم که پست قبل هم در واقع تاچ تابلو زده نشد و قانون پابرجا بود (تاچ تابلو رو نمیشه زد!) و یا اگر هم زده شد شاید در یک بازه کوتاه بود.

خداحافظ Adam
با معرفی ADOPT بهتره Optimizer مدل‌های Deep Learning و LLM رو تغییر بدیم. مشکل اساسی Adam در واقع عدم تضمین convergence در فرآیند آپدیت وزن‌ها بود که در ADOPT حل شده. اما این برتری فقط در تئوری نیست و در عمل هم در اکثریت مسائل از جمله pretraining در GPT-2 بهتر بوده.

ایده اصلی و راه حل برای تضمین هم‌گرایی هم دو مورد هست:

۱_ حذف گرادیان کنونی از تخمین momentum دوم
۲_ نرمالایز کردن گرادیان، قبل از آپدیت momentum

Paper
Github
کد:

from adopt import ADOPT
#optimizer = Adam(model.parameters(), lr=1e-3)
optimizer = ADOPT(model.parameters(), lr=1e-3)

توضیح درباره یکی از جالب‌ترین ابزارهای معاملات و سرمایه‌گذاری‌ یعنی Options Trading یا اختیار معامله و نحوه سود کردن از آپشن با ماشین لرنینگ
Straddle & Strangle Strategies

پیرو بحث این پست

آقای Emmanuel Candès استاد ریاضی و statistics استنفرد از افرادی هست که باید در زمینه Conformal Prediction دنبال کنید. اهمیت کار تیم ایشون به نظرم دو مقاله‌ای بود که کمک کرد تنها فرض Conformal Prediction که Exchangeability هست هم کنار بره تا برای سری زمانی هم استفاده بشه. حالا در مقاله اخیر ایشون شاهد استفاده از Gradient Boosting هستیم برای بالا بردن دقت Coverage و کاهش طول interval ها. روش بسیار جالبه و همچنان به صورت post training هست یعنی مدل پیشبینی کننده شما میتونه هر مدلی باشه و فقط نیاز به خروجیش دارین. نکته کلیدی شاید انتخاب mis-coverage level به عنوان loss function در درخت boosting هست.

Paper

به روش redundancy که قبلا به عنوان عوامل پیشرفت گفتیم، با یک (یا چند) لیوان چای سخنرانی 35 دقیقه‌ای ایشون رو ببینید.

در تایید پست محمد عباسی عزیز که اینجا اعلام کردن، دکتر نیما حبیب‌زاده یک سری ویدئو آموزش LLM رو شروع کردن که با توجه به storytelling عالی حتما پیشنهاد میکنم برای شروع یادگیری مباحثی مثل RAG، Langchain و ابزار و مفاهیم مختلف در زمینه LLM ها این ویدئوهارو که رایگان در یوتیوب هست ببینید. مطالبی در این سطح به طور رایگان رو کمتر میشه پیدا کرد.
Youtube Link

🎥 آموزش کوبرنتیز (Kubernetes)

کوبرنتیز یک بستر متن‌باز برای مدیریت کانتینرها در محیط عملیاتی است که به توسعه‌دهندگان و تیم‌های فنی کمک می‌کند برنامه‌هایشان را با مقیاس‌پذیری، پایداری و انعطاف بالا مستقر کنند.

در حال تهیه یک پلی‌لیست آموزشی جامع داخل کانال یوتیوب در این زمینه هستم. تا الان ۶ ویدیو ضبط کردم و تخمین می‌زنم این دوره در نهایت به حدود ۸۰ ویدیو برسد.

کدهای استفاده‌شده در آموزش‌ها را هم روی گیتهاب قرار دادم تا بتوانید از آن‌ها استفاده کنید.

🎬 مشاهده پلی‌لیست آموزشی در یوتیوب

💻 دسترسی به کدها در گیتهاب

@golemcourse

ظهور LLM Agent ها و توسعه اتومات یک سیستم Trading

شما در حال حاضر میتونید با استفاده از یکسری فریمورک‌ها یک تیم از مدل‌های زبانی بزرگ (LLMها) داشته باشید، براشون نقش تعریف کنید (با نوشته)، نوع ارتباطشون رو تعیین کنید، دسترسی به توابع، ابزار، Web و مستندات بهشون بدید و نوع خروجی رو با reasoning تعیین کنید. در واقع بکارگیری کامیپوترها با ترکیبی از زبان برنامه‌نویسی و زبان طبیعی در قالب Agent ها.

مثال: یک تیم از Agent های زبانی که مسئول توسعه و نگهداری از یک سیستم Trading هستند: یک LLM مدیر اجرایی، یکی متخصص گرفتن اخبار مهم و موثر بازار و سهام، یکی متخصص پردازش احساسات این اخبار، یکی متخصص فراخوانی مدل‌های پیشبینی کننده با توجه به جو بازار، یکی متخصص آپدیت مدل‌ها و استراتژی‌ها با توجه به توابع از پیش تعیین شده و ... . همچنین تعیین میکنید که خروجی‌ها و نوع ارتباطات باید به چه شکل باشه. شبیه یک شرکت کامل، اما همچنان باید صبر کرد تا ببینیم چقدر در حل مسائل واقعی و بزرگ این LLM Agent ها میتونن موثر باشن. و البته نیاز به Agentهای کوچک و efficient برای کارهای خاص و مشخص خواهد بود.

یادگیری: پیشنهاد میکنم کمی این فریمورک‌هارو یاد بگیرید. برای مثال AutoGen مایکروسافت گزینه خوبی هست. جالب این که Conversation Pattern هایی تعریف کردن که به کار میاد. یک مسئله جالب هم که در کورس آنلاین دانشگاه برکلی دیدم قرار میدم در پست‌های بعد که اگر خواستین با حل مسئله یاد بگیرید. البته اکثرا نیاز به API پولی از فرضا OpenAI هست.

فریمورک OpenHands هم جالبه بررسی کنید.

پ.ن: همیشه هم یکسری میگن hype اما دلیل بر یاد نگرفتن و کار نکردن با این ابزارها نیست.

همونطور که قبلا اینجا گفتم، یادگیری، تخصص و اعمال دانش از مواردی هست که بیشترین دوپامین و انگیزه رو ایجاد میکنه. حالا این یادگیری و توانایی تغییر مغز در واقع با مکانیزم نوروپلاستیسیتی انجام میشه که قابلیت مغز انسان برای ایجاد ارتباطات نورونی جدید هست. این توانایی برای تمام سنین هست اما از ۲۵ سالگی به بعد به پروتکل‌های خاصی نیاز هست تا مغز تغییر کنه و یادگیری اتفاق بیفته. در اصل دو ماده وجود دارن با دو کارکرد که اگر در مغز همزمان ترشح بشن قطعا نوروپلاستیسیتی اتفاق میفته.

۱_ ماده Epinephrine با کارکرد هشیاری (Alertness): که برای ترشحش دو راه مصرفی و رفتاری هست:
مصرفی: کافئین و Adrenal. شخصا هر روز قهوه میخورم.
رفتاری: عشق، ترس، لذت و ... برای مثال:
فرض کنید به این فکر میکنید که چقدر از متخصص شدن در ماشین لرنینگ و کوئانت لذت میبرید پس هشیاری ایجاد میشه برای مغز و آماده یادگیری. یا گاهی احساساتی مثل ترس و اشتیاق فرضا برای شرکت در مسابقات میتونن چالش های خوبی برای یادگیری و تثبیت در مغز باشن. اصولا ایجاد چالش مثبت باید یک روتین باشه. ترس از آلزایمر هم میتونه برای سنین بالا هشیاری کافی برای یادگیری رو ایجاد کنه.

۲_ ماده Acetylcholine با کارکرد تمرکز و توجه (Attention): برای ترشحش مجدد دو روش هست:
مصرفی: نیکوتین که ریسک سلامتی داره.
رفتاری: تمرکز بصری که در واقع مهم‌ترین و طبیعی ترین مکانیزمی تمرکز هست که همه باهاش به دنیا میایم. برای ایجاد این تمرکز بصری به شکل خیلی ساده کافیه ۶۰ الی ۱۲۰ ثانیه به یک نقطه نگاه کنیم.

نکته اساسی: نوروپلاستیسیتی در زمان بیداری تکمیل نمیشه و صرفا کانکشن های نورونی هایلایت میشن اما تثبیت در طول خواب اتفاق میفته که نیاز به خواب خوب در شب هست. اما یک مکانیزم که حتی از خواب شب بهتر عمل میکنه مکانزیم NSDR هست که در واقع نوعی مدیتیشن هست و البته میتونه یک چُرت هم باشه در حالت ساده. و حالت بهینه برای یادگیری ۹۰ دقیقه یادگیری و ۱۵ الی ۲۰ دقیقه NSDR

منبع: اپیزود Essentials: How to focus to change your brain از Hubermanlab که برای استاد نوروساینس استنفرد هست. اپیزودهای Essentials حدود ۴۰ دقیقه هستن و توصیه میکنم دنبال کنید.

دوستانی که از حوزه Software و ML/AI وارد حوزه کوئانت و Algorithmic Trading میشن عموما یک اشتباه اساسی دارن و اون هم این هست که از ابتدا فرآیند حل مسئله رو تماما در قالب داده، کد و نرم افزار میبینن و هیچوقت Trade دستی یا Discretionary Trading انجام ندادن و نتیجتا در تعریف مسئله و label، تعریف فیچر، بکتست، مدیریت سرمایه و به طور کلی توسعه سیستم Algorithmic Trading به مشکل میخورن. نیاز به domain expertise برای حوزه Quantitative Finance بالاست.

راه حل: بهتره اکثر افراد تیم (بجز دواپس و ...) اکانت با پول واقعی داشته باشن، بازار رو دنبال کنن و با روش‌هایی مثل price action ترید بزنن و از تحلیل‌ها و insight ها برای سیستمشون ایده بگیرن. تاکید میکنم که اکانت real با پول واقعی باشه تا skin in the game داشته باشید و نتایج واقعی بگیرید. برای مثال در فارکس میتونید حتی ۵۰ دلار اکانت داشته باشید با 0.01 لات ترید کنید.

پ.ن: در این پست قبلا گفته بودم ترید کوتاه مدت خطرناک هست. این بحث ماجراش متفاوته، در واقع اگر تخصص و تجربه باشه هیچ اشکالی نداره حتی HFT اما من افراد تازه کار زیادی دیدم که در ابتدا با پول زیاد و لورج بالا به علت نبود مدیریت ریسک و رفتار هیجانی (و گاها بروکر B-book) کال مارجین میشن.

این جالبه که Deepseek توسط یک Hedge Fund توسعه داده شده. اصولا Quantها علاوه بر اینکه در مهندسی و ریاضیات قوی هستن بیشترین skin in the game رو دارن چون اشتباهاتشون مستقیما باعث ضررهای سنگین برای شرکت‌های سرمایه‌گذاری میشه.

دو نکته دیگه:

آندره کارپاتی از مدت ها قبل همیشه میگفت که RLHF جواب نیست و باید از Pure RL استفاده بشه. این نکته‌ای بود که احتمالا برای Deepseek جواب داد اما به دلیل بهره گیری از روش درست برای گرفتن داده‌های با کیفیت. البته بعضا در مورد قدرت مدل پایه هم صحبت میشه.

ضمنا همه چیز رو به چین تقلیل ندیم. در واقعیت پیشرفت‌های AI از در هم تنیدگی آمریکا و چین هست. تکنولوژی AI داره عموما به صورت جمعی پیشرفت میکنه و مهد این پیشرفت در آمریکا بوده همیشه برای مثال ترنسفرمر که نقطه عطف پیشرفت مدل‌های زبانی و LLM بود توسط گوگل توسعه داده شد. و از طرفی آمریکا هم پر از استعدادهای چینی هست (عکس تیم‌های المپیاد آمریکا رو ببینید) و از اون طرف هم اگر دقیق دنبال کنید خیلی از متخصصین Deepseek تا یک سال قبلش در شرکت‌های آمریکا کار کردن و متخصص شدن.

این که بازار سهام آمریکا و خصوصا Nvidia در پی موفقیت شرکت چینی Deepseek شدیدا ریخت رو که همه میدونیم اما باید به Jevons Paradox هم توجه کرد. هر زمان بهره‌وری و افیشنسی ابزار و تکنولوژی در مصرف چیزی در تاریخ بشر بالا رفته، تقاضا برای کاربردش زیادتر شده. برای مثال اگر یک تکنولوژی با مصرف ذغال سنگ کمتری انرژی بیشتری تولید کرده، به طور متناقضی، مصرف ذغال سنگ افزایش پیدا کرده. پس پیشبینی میشه تقاضای computation و GPU افزایش پیدا کنه.

یک منبع بسیار کاربردی و مهم توسط Huggingface به صورت Open-Source منتشر شده که به شکل کامل نحوه بهینه training مدل‌‌های LLM رو با تعداد زیاد GPU آموزش میده و تکنینک‌های کاربردی برای Distributed Training رو ارائه میکنه:

The Ultra-Scale Playbook:
Training LLMs on GPU Clusters

زمان بذارید چند روز برای مطالعه و تمرینش و البته از طریق گوشی نخونید ترجیحا.

تافل قبلی ۱۰۳ شده بودم که بعد از دو سال منقضی شد. اینبار فقط حدود یک ماه بعضی روزا ۲ ۳ ساعت تمرین داشتم (کار اولویت بود) که عموما Neo TOEFL میزدم که همون TPO برای ورژن جدید تافل هست.

منابع خوب آموزشی در حوزه Quant عموما Advanced level و سنگین هستن و ویدئو آموزشی با کیفیت مثل حوزه نرم افزار برای مقدمات و کلیات کمتر هست. هج فاند WorldQuant یک سری ویدئو کوتاه در یوتیوب تحت عنوان Learn2Quant منتشر کرده که پیشنهاد میکنم ببینید:
YouTube playlist
بنیان‌گذار و مدیرعامل این هج فاند آقای Igor Tulchinsky هم کتابی دارن به نام Finding Alphas که ایده‌های جالبی برای ساخت آلفا مطرح میکنه. چهرش آدمو یاد گیتاریست افسانه‌ای Wolf Hoffmann میندازه که نسخه َAdagio in G Minor اون هم پیشنهاد میدم.

خوشحالم که در سال گذشته با وجود چالش‌ها به اهداف مهمی در استارتاپ رسیدیم. اگر یکسری اتفاقاتِ به ظاهر بد نبودن، به اینجا نمی‌رسیدیم.

پیشنهاد میکنم اگر تا الآن هم فرصت نکردید، یک قلم کاغذ و نوشتن اهداف رو شروع کنید. این کار ساده و به نوعی کلیشه‌ای تاثیر زیادی خواهد داشت. البته باید اون کاغذ رو هر روز روی میز ببینیم و مرتبا از خودمون بپرسیم چقدر برای موارد مختلفش وقت گذاشتیم.

پ.ن: با تاخیر نوروز رو تبریک میگم و امیدورام در سال جدید، بیش از قبل شاهد ذلت ظالمان باشیم و شادی مردم رو ببینیم.