خوشحالم که دوره
Machine Learning based Algorithmic Trading
با کیفیت بالایی برگزار شد.
ارائه فریمورک سیستم در قالب 3 کدبیس (از داده و فیچرسازی تا model experiment MLOPS و سیستم پروداکشن جهت trade) مهم ترین وجه تمایز دوره بود که در موردش توضیح خواهم داد.

ضمنا آشنایی با دوستان کاردرست در دوره برای تیم ما بسیار ارزشمند بود و به زودی همکاری‌هایی شکل خواهیم داد.

خبر خوب: دوره Machine Learning-based Algorithmic Trading

خوشبختانه با کمک دوستان، دوره در قالب SpotPlayer با حفظ امنیت در مقابل کپی، آماده ارائه است.

تا 6 آبان 40 درصد تخفیف. جهت ثبت نام به آیدی @TradeAI_admin پیام بدین.

وجه تمایز دوره: در این دوره علاوه بر پوشش دادن مسائل مربوط به آموزش ماشین لرنینگ، معاملات الگوریتمی، کاربرد ماشین لرنینگ در معاملات الگوریتمی و ... چند کدبیس و فریمورک کامل به همراه آموزش در اختیار دوستان قرار گرفت. یکی از کدبیس ها مربوط به آماده سازی داده و فیچر است. یکی مربوط به MLOps Walk Forward Experiment که شامل چند هزار خط کد هست اما به راحتی قابل استفاده هست و یک سیستم Realtime که عملا مدل ماشین لرنینگ انتخابی در کدبیس قبل رو جهت معامله در یک محیط production استفاده میکنید. تمامی کدها و موارد مربوط به docker و سرور هم حتی از بیس آموزش داده میشن تا هر کسی بتونه یک سیستم کامل رو پیاده کنه و ربات معامله‌گر هوش مصنوعی خودش رو داشته باشه.

دوستان دقت کنید که هیچ دوره ای (پولی، رایگان، کالا با کالا) از بهترین موسسات جهان یک سیستم کامل در این حوزه را در اختیار شما قرار نمیدهد. و مزیت اصلی وجود همچین سیستمی این هست که بزرگترین مشکل این حوزه یعنی گستردگی و پیچیدگی مهندسی برای شما حل میشه و شما تمرکز رو روی ارتقا سیستم و تیم سازی میذارین.

یک اصطلاحی در معاملات بازار هست که میگه شما اصولا نمیتونید "تاچ تابلو رو بزنید" یا "تاچ تابلو رو بگیرید" و در واقع به این معنی هست که احتمال خیلی ضعیفی داره که شما بتونید:
۱_ در پایین ترین قیمتی که بازار زده (تاچ شده)  یا مینیمم محلی خرید کنید
۲_ در بالاترین قیمتی که بازار زده (تاچ شده) یا ماکسیمم محلی بفروشید
۳_ هر دو کار برای یک دارایی انجام بدید

اما خوب مواردی هم پیش میاد که اینطور میشه با ترکیبی از فن و شانس. من باب مثال من از ۶۰ مجدد بیتکوین رو اضافه کردم (مینیمم محلی) و چون برای یکی دو ماه آینده نقد نیاز بود در ۶۸۳۰۰ خارج کردم (ماکسیمم محلی).
این که میگم ترکیبی از فن و شانس، قسمت فن همین درک از اهمیت قوانین تصویبی (پستی که بهش ریپلای شده) برای خرید بود و بحث جنگ و مقاومت تکنیکال و یکسری موارد دیگر برای فروش. البته که بیتکوین آینده خوبی داره خصوصا اگر درک درستی از فلسفش شکل بگیره. جدا از بحث trade باید یک بار در مورد فلسفه بیتکوین و تناقضی به نام آلتکوین صحبت کنیم!

KerasHub

حتما ببینید. همونطور که قبلا Keras3 و Keras Core معرفی شد، هدف KerasHub این هست که با استفاده از Keras3 و Kaggle مدل‌های pretrained از LLM برای training و Inference استفاده بشه. مزیت اساسی سینک بودن با Kaggle Models هست و البته همون مزیت جدید Keras یعنی قابلیت سوییچ بین Jax, Pytorch و TensorFlow. فقط نیاز به یک اکانت Kaggle و API Key هست.

برای مثال Stable Diffusion 3 رو ببینید.

تصمیم گرفتم تجربه دوستان شرکت کننده در دوره Machine Learning-based Algorithmic Trading رو اینجا به اشتراک بذارم. این ویدئو تجربه فرید هست.

احتمالاً با استفاده از ابزارهای هوش مصنوعی تصاویری با ظاهر بسیار واقعی تولید کرده‌اید. تئوری پشت این ابزارها diffusion models است. در کانال یوتیوب، ویدیوهای شماره ۸۱ تا ۸۹ از پلی لیست یادگیری عمیق را به این موضوع اختصاص داده‌ام. اسلایدهایی را که به همین منظور آماده کرده بودم، برایتان پیوست کرده‌ام.

@golemcourse

تجربه سروش سارابی، مدیر هوش مصنوعی RADERON از دوره Machine Learning-based Algorithmic Trading

شخصا بسیار خوشحالم از اینکه تجربه خوبی بوده حتی برای متخصصینی مثل سروش که سال‌هاست در زمینه هوش مصنوعی با فیلدهای مختلف فعال هستند.

اینکه اصولا چرا این دوره برگزار شد خوب قبلا گفتم چون نیروی متخصصی نیاز داشتیم برای کار با سیستم (تخصص در پایتون و ابزار، فایننس و trade، ماشین لرنینگ و دیتاساینس) خصوصا که کوفاندرم هم الان پادگان در حال هک هوب هک در شرایط جنگی هست. اما اینکه چرا یک فریمورک کامل به دوستان ارائه شد (شامل ۳ کدبیس) به دلیل دیدگاه من درباره قدرت و مزیت open source و کلا share کردن به حالت all in بود. بعدا در این مورد بیشتر مینویسم.

حتما کانال سروش، دانش، آگاهی رو هم عضو باشید.

اطلاعات ثبت نام دوره

اگر لایک‌ها بالا بود تخفیف رو تا یک هفته مجدد فعال میکنیم.

تخیف برای یک هفته تمدید شد

قبول دارم شاید یکی از سخت‌ترین کارها باشه اما تا میتونید از انجام همزمان کارها و از اون مهم تر وجود یک گوشی هوشمند با نوتیفیکیشن در کنارتون در زمان کار اجتناب کنید. دلیل فقط تمرکز یا productivity نیست (که خوب این واضحا همیشه بوده و میدونیم)، دلیل حافظه است! زمانی که multitasking میکنیم یا در هنگام انجام یک کار (حتی تفریحی) تمام حواسمون روی کار نیست و یک گوشی که بالقوه نوتیفیکیشن داره هم هست، حافظه ضعیف تری به اون کار اختصاص پیدا میکنه و فراموشی اتفاق میفته چرا که حافظه در این حالت چند fragment خواهد شد که باهم در رقابت هستند. راه حل: حالت focus mode رو فعال کنید در گوشی و یا گوشی رو شارژ نکنید (کنترل محیط)

نکته بسیار جالب بعدی در رابطه با حافظه و فراموشی این هست که اگر سعی کنید تمامِ یک تجربه را عکس یا فیلم بگیرید (به اصطلاح over document کنید) اتفاقا در آینده اون عکس‌ها رو زود رد می‌کنید اما اگر عکس‌ها یا فیلم‌های کوتاهی بگیرید که به عنوان سرنخ برای یادآوری آن تجربه باشند، آن مستند برای شما ارزشمند خواهد بود و به تقویت حافظه بسیار کمک می‌کند.

پ.ن: طبق عادت پشت فرمون پادکست Hubermanlab گوش میکنم که در اپیزود اخیرش یک متخصص و دانشمند در حوزه حافظه و تمرکز صحبت میکرد. اپیزود بسیار جالبی بود.

پ.ن۲: معتقدم اگر حافظه ضعیفی در کارها و حتی امور روزمره داشته باشیم، شاید زمان نسبتا زیادی از عمرمون بگذره اما حس کنیم کمتر تجربه کردیم. این البته شروع یک بحث عمیق تر هست در کتاب ماشین تجربه که اینجا میتونید بررسی کنید.

این پست برای تازه واردها در بازار‌های مالی هست. خیلی اوقات دوستانی میگن که میخوان وارد این حوزه بشن. همیشه چند نکته رو میگم:

۱_ از Trading کوتاه مدت در صورت تازه کار بودن اجتناب کنید تا پولتون به باد نره مگر اینکه یک سیستم کامل (احتمالا به همراه یک تیم با تخصص کوئانت) داشته باشید که تمام اصول و جزئیات رو رعایت میکنه. این سیستم نیاز به زمان، کار و تخصص زیادی داره که میشه موضوع مورد بحث در دوره‌ای که در این خصوص داریم.

۲_ حتی اگر یک سیستم برای معاملات الگوریتمی کوتاه مدت دارید، سعی کنید یک پرتفو مثلا از USDT، طلا (XAUT) و بیتکوین داشته باشید و البته اگر دسترسی دارید صندوق سهام آمریکا. اینجا با توجه به میزان ریسک و علمی که دارید درصدهارو گاها جا به جا کنید و معامله کنید و صد البته به مرور یک سیستم نرم‌افزاری براش توسعه بدید. یاد بگیرید که صبور باشید و با نوسانات کوتاه مدت هیجانی معامله نکنید.

۳_ نیاز نیست لزوما علم بالایی داشته باشید تا بتونید یک پرتفو رو بگردونید و سود کنید. با مطالعه و تجربه بخشی از پرتفو رو معامله کنید که این بخش با کسب تجربه میتونه بیشتر بشه. برای مثال با مشخص شدن نتایج انتخابات میتونستید بیتکوینِ پرتفوتون رو اضافه کنید. این مسئله با توجه به اظهار نظرهای ترامپ درباره بیتکوین قبل از انتخابات کاملا واضح بود. بعضی موارد نسبتا پیچیده تر مثل این پست هم به مرور میتونه مبنای معامله‌گری در پرتفوی شما باشه.

پ.ن: دیدیم که پست قبل هم در واقع تاچ تابلو زده نشد و قانون پابرجا بود (تاچ تابلو رو نمیشه زد!) و یا اگر هم زده شد شاید در یک بازه کوتاه بود.

خداحافظ Adam
با معرفی ADOPT بهتره Optimizer مدل‌های Deep Learning و LLM رو تغییر بدیم. مشکل اساسی Adam در واقع عدم تضمین convergence در فرآیند آپدیت وزن‌ها بود که در ADOPT حل شده. اما این برتری فقط در تئوری نیست و در عمل هم در اکثریت مسائل از جمله pretraining در GPT-2 بهتر بوده.

ایده اصلی و راه حل برای تضمین هم‌گرایی هم دو مورد هست:

۱_ حذف گرادیان کنونی از تخمین momentum دوم
۲_ نرمالایز کردن گرادیان، قبل از آپدیت momentum

Paper
Github
کد:

from adopt import ADOPT
#optimizer = Adam(model.parameters(), lr=1e-3)
optimizer = ADOPT(model.parameters(), lr=1e-3)

توضیح درباره یکی از جالب‌ترین ابزارهای معاملات و سرمایه‌گذاری‌ یعنی Options Trading یا اختیار معامله و نحوه سود کردن از آپشن با ماشین لرنینگ
Straddle & Strangle Strategies

پیرو بحث این پست

آقای Emmanuel Candès استاد ریاضی و statistics استنفرد از افرادی هست که باید در زمینه Conformal Prediction دنبال کنید. اهمیت کار تیم ایشون به نظرم دو مقاله‌ای بود که کمک کرد تنها فرض Conformal Prediction که Exchangeability هست هم کنار بره تا برای سری زمانی هم استفاده بشه. حالا در مقاله اخیر ایشون شاهد استفاده از Gradient Boosting هستیم برای بالا بردن دقت Coverage و کاهش طول interval ها. روش بسیار جالبه و همچنان به صورت post training هست یعنی مدل پیشبینی کننده شما میتونه هر مدلی باشه و فقط نیاز به خروجیش دارین. نکته کلیدی شاید انتخاب mis-coverage level به عنوان loss function در درخت boosting هست.

Paper

به روش redundancy که قبلا به عنوان عوامل پیشرفت گفتیم، با یک (یا چند) لیوان چای سخنرانی 35 دقیقه‌ای ایشون رو ببینید.

در تایید پست محمد عباسی عزیز که اینجا اعلام کردن، دکتر نیما حبیب‌زاده یک سری ویدئو آموزش LLM رو شروع کردن که با توجه به storytelling عالی حتما پیشنهاد میکنم برای شروع یادگیری مباحثی مثل RAG، Langchain و ابزار و مفاهیم مختلف در زمینه LLM ها این ویدئوهارو که رایگان در یوتیوب هست ببینید. مطالبی در این سطح به طور رایگان رو کمتر میشه پیدا کرد.
Youtube Link

🎥 آموزش کوبرنتیز (Kubernetes)

کوبرنتیز یک بستر متن‌باز برای مدیریت کانتینرها در محیط عملیاتی است که به توسعه‌دهندگان و تیم‌های فنی کمک می‌کند برنامه‌هایشان را با مقیاس‌پذیری، پایداری و انعطاف بالا مستقر کنند.

در حال تهیه یک پلی‌لیست آموزشی جامع داخل کانال یوتیوب در این زمینه هستم. تا الان ۶ ویدیو ضبط کردم و تخمین می‌زنم این دوره در نهایت به حدود ۸۰ ویدیو برسد.

کدهای استفاده‌شده در آموزش‌ها را هم روی گیتهاب قرار دادم تا بتوانید از آن‌ها استفاده کنید.

🎬 مشاهده پلی‌لیست آموزشی در یوتیوب

💻 دسترسی به کدها در گیتهاب

@golemcourse

ظهور LLM Agent ها و توسعه اتومات یک سیستم Trading

شما در حال حاضر میتونید با استفاده از یکسری فریمورک‌ها یک تیم از مدل‌های زبانی بزرگ (LLMها) داشته باشید، براشون نقش تعریف کنید (با نوشته)، نوع ارتباطشون رو تعیین کنید، دسترسی به توابع، ابزار، Web و مستندات بهشون بدید و نوع خروجی رو با reasoning تعیین کنید. در واقع بکارگیری کامیپوترها با ترکیبی از زبان برنامه‌نویسی و زبان طبیعی در قالب Agent ها.

مثال: یک تیم از Agent های زبانی که مسئول توسعه و نگهداری از یک سیستم Trading هستند: یک LLM مدیر اجرایی، یکی متخصص گرفتن اخبار مهم و موثر بازار و سهام، یکی متخصص پردازش احساسات این اخبار، یکی متخصص فراخوانی مدل‌های پیشبینی کننده با توجه به جو بازار، یکی متخصص آپدیت مدل‌ها و استراتژی‌ها با توجه به توابع از پیش تعیین شده و ... . همچنین تعیین میکنید که خروجی‌ها و نوع ارتباطات باید به چه شکل باشه. شبیه یک شرکت کامل، اما همچنان باید صبر کرد تا ببینیم چقدر در حل مسائل واقعی و بزرگ این LLM Agent ها میتونن موثر باشن. و البته نیاز به Agentهای کوچک و efficient برای کارهای خاص و مشخص خواهد بود.

یادگیری: پیشنهاد میکنم کمی این فریمورک‌هارو یاد بگیرید. برای مثال AutoGen مایکروسافت گزینه خوبی هست. جالب این که Conversation Pattern هایی تعریف کردن که به کار میاد. یک مسئله جالب هم که در کورس آنلاین دانشگاه برکلی دیدم قرار میدم در پست‌های بعد که اگر خواستین با حل مسئله یاد بگیرید. البته اکثرا نیاز به API پولی از فرضا OpenAI هست.

فریمورک OpenHands هم جالبه بررسی کنید.

پ.ن: همیشه هم یکسری میگن hype اما دلیل بر یاد نگرفتن و کار نکردن با این ابزارها نیست.

همونطور که قبلا اینجا گفتم، یادگیری، تخصص و اعمال دانش از مواردی هست که بیشترین دوپامین و انگیزه رو ایجاد میکنه. حالا این یادگیری و توانایی تغییر مغز در واقع با مکانیزم نوروپلاستیسیتی انجام میشه که قابلیت مغز انسان برای ایجاد ارتباطات نورونی جدید هست. این توانایی برای تمام سنین هست اما از ۲۵ سالگی به بعد به پروتکل‌های خاصی نیاز هست تا مغز تغییر کنه و یادگیری اتفاق بیفته. در اصل دو ماده وجود دارن با دو کارکرد که اگر در مغز همزمان ترشح بشن قطعا نوروپلاستیسیتی اتفاق میفته.

۱_ ماده Epinephrine با کارکرد هشیاری (Alertness): که برای ترشحش دو راه مصرفی و رفتاری هست:
مصرفی: کافئین و Adrenal. شخصا هر روز قهوه میخورم.
رفتاری: عشق، ترس، لذت و ... برای مثال:
فرض کنید به این فکر میکنید که چقدر از متخصص شدن در ماشین لرنینگ و کوئانت لذت میبرید پس هشیاری ایجاد میشه برای مغز و آماده یادگیری. یا گاهی احساساتی مثل ترس و اشتیاق فرضا برای شرکت در مسابقات میتونن چالش های خوبی برای یادگیری و تثبیت در مغز باشن. اصولا ایجاد چالش مثبت باید یک روتین باشه. ترس از آلزایمر هم میتونه برای سنین بالا هشیاری کافی برای یادگیری رو ایجاد کنه.

۲_ ماده Acetylcholine با کارکرد تمرکز و توجه (Attention): برای ترشحش مجدد دو روش هست:
مصرفی: نیکوتین که ریسک سلامتی داره.
رفتاری: تمرکز بصری که در واقع مهم‌ترین و طبیعی ترین مکانیزمی تمرکز هست که همه باهاش به دنیا میایم. برای ایجاد این تمرکز بصری به شکل خیلی ساده کافیه ۶۰ الی ۱۲۰ ثانیه به یک نقطه نگاه کنیم.

نکته اساسی: نوروپلاستیسیتی در زمان بیداری تکمیل نمیشه و صرفا کانکشن های نورونی هایلایت میشن اما تثبیت در طول خواب اتفاق میفته که نیاز به خواب خوب در شب هست. اما یک مکانیزم که حتی از خواب شب بهتر عمل میکنه مکانزیم NSDR هست که در واقع نوعی مدیتیشن هست و البته میتونه یک چُرت هم باشه در حالت ساده. و حالت بهینه برای یادگیری ۹۰ دقیقه یادگیری و ۱۵ الی ۲۰ دقیقه NSDR

منبع: اپیزود Essentials: How to focus to change your brain از Hubermanlab که برای استاد نوروساینس استنفرد هست. اپیزودهای Essentials حدود ۴۰ دقیقه هستن و توصیه میکنم دنبال کنید.

دوستانی که از حوزه Software و ML/AI وارد حوزه کوئانت و Algorithmic Trading میشن عموما یک اشتباه اساسی دارن و اون هم این هست که از ابتدا فرآیند حل مسئله رو تماما در قالب داده، کد و نرم افزار میبینن و هیچوقت Trade دستی یا Discretionary Trading انجام ندادن و نتیجتا در تعریف مسئله و label، تعریف فیچر، بکتست، مدیریت سرمایه و به طور کلی توسعه سیستم Algorithmic Trading به مشکل میخورن. نیاز به domain expertise برای حوزه Quantitative Finance بالاست.

راه حل: بهتره اکثر افراد تیم (بجز دواپس و ...) اکانت با پول واقعی داشته باشن، بازار رو دنبال کنن و با روش‌هایی مثل price action ترید بزنن و از تحلیل‌ها و insight ها برای سیستمشون ایده بگیرن. تاکید میکنم که اکانت real با پول واقعی باشه تا skin in the game داشته باشید و نتایج واقعی بگیرید. برای مثال در فارکس میتونید حتی ۵۰ دلار اکانت داشته باشید با 0.01 لات ترید کنید.

پ.ن: در این پست قبلا گفته بودم ترید کوتاه مدت خطرناک هست. این بحث ماجراش متفاوته، در واقع اگر تخصص و تجربه باشه هیچ اشکالی نداره حتی HFT اما من افراد تازه کار زیادی دیدم که در ابتدا با پول زیاد و لورج بالا به علت نبود مدیریت ریسک و رفتار هیجانی (و گاها بروکر B-book) کال مارجین میشن.

این جالبه که Deepseek توسط یک Hedge Fund توسعه داده شده. اصولا Quantها علاوه بر اینکه در مهندسی و ریاضیات قوی هستن بیشترین skin in the game رو دارن چون اشتباهاتشون مستقیما باعث ضررهای سنگین برای شرکت‌های سرمایه‌گذاری میشه.

دو نکته دیگه:

آندره کارپاتی از مدت ها قبل همیشه میگفت که RLHF جواب نیست و باید از Pure RL استفاده بشه. این نکته‌ای بود که احتمالا برای Deepseek جواب داد اما به دلیل بهره گیری از روش درست برای گرفتن داده‌های با کیفیت. البته بعضا در مورد قدرت مدل پایه هم صحبت میشه.

ضمنا همه چیز رو به چین تقلیل ندیم. در واقعیت پیشرفت‌های AI از در هم تنیدگی آمریکا و چین هست. تکنولوژی AI داره عموما به صورت جمعی پیشرفت میکنه و مهد این پیشرفت در آمریکا بوده همیشه برای مثال ترنسفرمر که نقطه عطف پیشرفت مدل‌های زبانی و LLM بود توسط گوگل توسعه داده شد. و از طرفی آمریکا هم پر از استعدادهای چینی هست (عکس تیم‌های المپیاد آمریکا رو ببینید) و از اون طرف هم اگر دقیق دنبال کنید خیلی از متخصصین Deepseek تا یک سال قبلش در شرکت‌های آمریکا کار کردن و متخصص شدن.

این که بازار سهام آمریکا و خصوصا Nvidia در پی موفقیت شرکت چینی Deepseek شدیدا ریخت رو که همه میدونیم اما باید به Jevons Paradox هم توجه کرد. هر زمان بهره‌وری و افیشنسی ابزار و تکنولوژی در مصرف چیزی در تاریخ بشر بالا رفته، تقاضا برای کاربردش زیادتر شده. برای مثال اگر یک تکنولوژی با مصرف ذغال سنگ کمتری انرژی بیشتری تولید کرده، به طور متناقضی، مصرف ذغال سنگ افزایش پیدا کرده. پس پیشبینی میشه تقاضای computation و GPU افزایش پیدا کنه.