مدل‌های برنده مسابقات ماشین لرنینگ برای Tabular Data رو اینجا با رنگ دسته بندی کردم. البته این مربوط به گزارش 2022 هست که قبلا هم در کانال بود.
Link

دقت کنید در یکسری روش‌های برنده، مدل‌های Tree-based و Deep Learning ترکیب شدن. تعداد بالای LightGBM بسیار جالب هست. روش split در LightGBM برخلاف XGboost به شکل leaf-wise هست. در XGboost روش depth-wise داریم. مواردی که ستاره زدم مسابقات فایننس هستن. البته طبق گزارش خیلی به نتیجه مسابقه JPX نمیشه اتکا کرد چون کل بازه تست یک بازه 90 روزه و طبعا biased بوده.

@deeptimeai

مقاله مروری 150 صفحه‌ای درباره ماشین لرنینگ در فایننس
Financial Machine Learning

Link

@deeptimeai

چطور اول صبح در یک سخنرانی خواب رو از سر دانشجوها بپرونیم؟
جذب دانشجوها به یادگیری یک تخصص جدید (هوش مصنوعی)

اردیبهشت ۱۴۰۱
دانشگاه صنعتی شریف

@deeptimeai

پیشبینی بازه‌ای بجای پیشبینی نقطه‌ای، و سنجش عدم قطعیت در حوزه‌هایی که رسیک بالا دارند (مثل حوزه انرژی، سلامت یا معاملات بازار مالی) بسیار مهم هست. قطعا بهترین روش Conformal Prediction است.

در قسمت statsforecast از کتابخانه Nixtla که برای مدل‌های سری زمانی مثل ETS و ARIMA هست، Conformal Intervals پیاده شده و صرفا باید import کنید.
مزیت هم مشخصه برای مثال گارانتی میکنه (برخلاف interval های دیگه که گارانتی ندارن) که ۹۵ درصد جواب در فلان محدوده هست و ریسک تصمیم‌گیری کنترل میشه.

from statsforecast.utils import ConformalIntervals

البته Conformal Prediction رو روی هر مدلی میتونید پیاده کنید.

منبع: دکتر Valery Manokhin که در حال حاضر اصلی ترین فرد در زمینه Conformal Prediction هستند لطف کردند و نسخه رایگان این پست رو برای بنده فرستادن تا در این کانال به فارسی در موردش بنویسم. سعی میکنم مطالب بیشتری از Medium ایشون بگیرم و اینجا ترجمه کنم.

@deeptimeai

مثل بسکتبال و بازیگری، یک مایکل جردن هم تو کامپیوتر ساینس و هوش مصنوعی داریم خدا!

استاد برکلی و MIT و استاد دوره دکتری بزرگانی مثل Andrew Ng، Yoshua Bengio و بسیاری افراد تاثیر گذار دیگه که خودتون ببینید.
در حال حاضر lab ایشون داره روی Conformal Prediction کار میکنه و مبحث جالبی به نام Conformal Decision Theory که در تصاویر هم کاربرد داره. لینک زیر رو ببینید.

Conformal Decision Theory:
Safe Autonomous Decisions Without Distributions

حالا اینکه یک کانال فارسی میاد با نقل از یک نفر دیگه مینویسه که conformal نتونسته بره نون بخره رو دیگه خودتون تحلیل کنید. ضمنا هیچوقت قانون NFL رو نباید فراموش کرد. هیچ جادویی وجود نداره.

به قول جرج باکس:
All models are wrong, but some are useful


@deeptimeai

کاش همه مقالات این ویژگی رو داشته باشن

چند محقق از آکسفورد اخیرا مقاله‌ای در مجله International Journal of Forecasting چاپ کردن که نتایج توسط ویراستار مجله باز تولید شدن. این اصولا ژورنال خوبی هست برای زمینه Forecasting

این کار یعنی شفافیت، اعتبار و جلوگیری از داده سازی. از این بهتر هم اون مقالاتی هستند که کدشون در گیتهاب هست و عموما در کنفرانس‌های ماشین لرنینگ معروف چاپ میشن.

@deeptimeai

Large Models for Time Series and Spatio-Temporal Data: A Survey and Outlook

Github: Awesome Time Series LLM

روند تحقیقاتی جدید در مدل‌های سری زمانی استفاده از LLM هاست. قبلا در مورد TimeGPT صحبت شد. این هم مقاله جالبی هست که کارهای مختلف رو در زمینه LLM برای سری زمانی تجمیع کرده. خصوصا که میتونید به تفکیک application مقالات رو ببینید و مشخصا یکی از اونا finance هست که بررسی شده (۴ مقاله در شکل ۳ و ۴ مرجع دیتاست در شکل ۴)
برای سنجش کارایی واقعی البته باید ببینید این مدل‌ها در عمل چقدر به بیزینس شما کمک میکنه یا چقدر میتونن در مسابقات موفق باشن.

@deeptimeai

حالا فرض کنید به زودی دنیای بازی و سینما چقدر تغییر خواهدکرد. بازی‌ها یا فیلم‌ها خاص هر فرد realtime render میشن و شما به معنای واقعی میتونید در بازی یا فیلمی باشید که در ذهنتون طراحی شده (یا ذهن دوستتون که براتون یک سکانس ترسناک طراحی کرده!)

Link

@deeptimeai

افزایش 41 درصدی سرعت و افزایش دقت در PyTorch 2.0 با استفاده از optimizer بهتر و compile:

torch_compile = True
optim = "adamw_torch_fused"

این نسخه جدید از adam رو برای train یا fine-tuning استفاده کنید.

Pytorch 2.0 and Hugging Face Transformers
PyTorch Conference 2023

@deeptimeai

درباره پست موقت هفته پیش که برای کارآموزی با حقوق بود

۱_ ممنون از تمام دوستانی که رزومه فرستادن.

۲_ موقعیت کارآموزی برای شرکتِ یکی از دوستان من بود. من تمام رزومه هارو ارسال کردم ولی طبیعتا از مصاحبه و ... خبری ندارم. اما چون تعداد نسبتا بالا بود قطعا نمیرسن با همه مصاحبه کنن.

۳_ احتمالا در آینده نزدیک همچین مواردی برای بازار مالی (FX) و ماشین لرنینگ در تیم خودمون بخوایم.

ML-based Forex Trading System

قصد دارم در یکسری پست تخصصی درباره سیستم پیشبینی و تریدینگ در فارکس بر مبنای Machine Learning مواردی رو بگم. چند نکته:

0- اینجا یکی از تپه‌های درآمد دلاری و رویافروشی نیست! در مورد فارکس تا دلتون بخواد دوره فروش و دروغ و کلاه برداری و ... زیاد هست. اما اینجا رویکرد ما علمی و کاربردی خواهد بود.

1- اینجا آموزش‌های basic که همه جا بهترش هست گفته نمیشه پس فقط موارد تخصصی در این حوزه خاص بررسی میشن. بنابراین فرض بر این هست که شما به طور کلی یا با Machine Learning و Forex آشنایی دارید و یا اگر آشنا نیستید از جایی مثل chatGPT مفاهیمی رو که متوجه نمی‌شید بپرسید. برای مثال مفاهیمی مثل precision و overfitting در ماشین لرنینگ یا pip و lot در فارکس.

2- در صورت عدم آشنایی با ماشین لرنینگ، پایتون، مهندسی نرم‌افزار و یا بازار مالی نیاز نیست نگران باشید. چون اولا مفاهیم رو میتونید با کمک chatGPT آشنا شید و ثانیا منابع و کورس‌هایی برای این حوزه‌ها معرفی خواهند شد.

3- هدف در نهایت اصلا این نیست که شما لزوما بخواید با همچین سیستمی پول دربیارید. برای پول درآوردن شما به سیستم خیلی دقیقی نیاز دارید که ساختنش زمان بره و احتمال زیاد تیم متخصص میخواد. البته در این بازارها سرمایه‌گذاری و جریان مالی خیلی بزرگی وجود داره و شما میتونید به یک شرکت یا سرمایه‌گذار خوب وصل بشید و سیستم‌های اونارو (که اصلا به پیشبینی قیمتی محدود نمیشه) بهینه‌تر کنید.

4- از ابزار گرفته تا زمینه‌های تحقیقاتی مورد بحث قرار میگیره. احتمالا بعضی موارد در قالب ویس یا ویدئو صحبت بشن که مهمان‌هایی برای بحث‌ها هم خواهیم داشت.
#ML_Forex

@deeptimeai

ML-based Forex 01

یک سیستم پیشبینی در بازار مالی در درجه اول باید information advantage یا مزیت اطلاعاتی داشته باشه. فیچرسازی، مدل‌های هوش مصنوعی، بک تست، استراتژی و ... همه روی یک داده خوب میتونن جواب بدن.
طبق efficient market hypothesis یک بازار efficient قابل پیشبینی نیست و در هر لحظه عرضه تقاضا قیمت رو تعیین میکنه. اما مارکت‌های واقعی efficient نیستن و همیشه نقاطی وجود داره که میشه با داشتن داده مناسب یک تحرک، Anomaly یا موقعیت cross-sectional رو پیشبینی کرد.

شما باید ۲ منبع داده کلی برای سیستمتون در نظر داشته باشید. اول منبع historical که داده‌های تاریخی رو برای آموزش مدل‌های ماشین لرنینگ و بکتسک و ... میگیرید و دوم منبع داده real-time که به صورت مداوم داده ازش میگیرید و به realtime pipeline میدین. این پایپلاین شامل پیش‌پردازش، فیچرسازی، پیشبینی با مدل ماشین لرن و استراتژی هست و این پایپلاین در نهایت به ترید ختم میشه.

نکته‌ بسیار مهم:
گرچه احتمالا مزیت اطلاعاتی زیادی در داده‌هایی با فرکانس بالا و HFT وجود داره، اما مادامی که از منابع اطلاعاتی رایگان و بروکرهای معمولی  استفاده میشه اصلا نباید به سمت HFT و تایم فریم زیر ۵ دقیقه رفت.

علت: نویز بسیار بالا و کیفیت پایین در داده رایگان یا ارزون و در نتیجه از بین رفتن مزیت اطلاعاتی.

اما منابع رایگان معتبری وجود داره که به شما داده دقیقه‌ای یا گاها تیک مارکت میده که میتونید به ۵ دقیقه‌ای aggregate کنید و از این تایم‌فریم و تایم‌فریم بزرگتر فیچرهاتون رو بسازید.

شرکت‌هایی که روی HFT کار میکنن عموما پول زیادی بابت اطلاعات با کیفیت با فرکانس بسیار بالا میدن. چرا که وندورهای داده‌ای وجود داره که کارشون تجمیع اطلاعات دقیق و فرکاسن بالا از تمامی بازار و فروش این داده‌هاست.
#ML_Forex

@deeptimeai

ML-based Forex 02

بعد از گرفتن داده‌ها نوبت میرسه به پیش پردازش و رفتن به سمت فیچرسازی. در بازار‌هایی مثل فارکس و کریپتو حتما باید فیچرها با کندل‌ها سینک باشن چراکه تعداد بالایی از معامله‌گر ها با توجه به این معیارها معامله میکنن.

نکته اساسی در این پیش‌پردازش ساخت realtime candle هست. شما باید در هر تایم (در هر data point) بتونید داده‌های کندل‌های مختلف رو با توجه به همون تایم داشته باشید.

مثال:
اگر در یک سطر از دیتاست شما ساعت ۵:۱۰ هست کندل ۴ ساعتی در واقع یک کندل یک ساعت و ده دقیقه‌ای هست که هنوز کامل نشده. کندل یک ساعتی هم یک کندل ۱۰ دقیقه‌ای از ۵ تا ۵:۱۰. مثال برای تایم زونی هست که اول هفته بازارو از ساعت ۱۲ شب شروع میکنه.

کندل‌ها چیزی نیستن جز یک time aggregation که قیمت شروع، پایان، ماکس و مین رو در یک بازه زمانی مشخص نشون میدن. نکته دیگه این هست که شما میتونید از روش‌های time aggregation دیگه مثل ramp هم استفاده کنید که فیچرهای بهتری بسازید.

دقت کنید هنوز وارد فیچرسازی نشدیم و فعلا پیش‌پردازش در داده خام داره انجام میشه.

#ML_Forex

@deeptimeai

در هر زمانی از روز ما یک انتخاب داریم. انجام کار سخت (فرضا گذروندن یک دوره یا نوشتن کد یا خوندن کتاب) که معمولا شروعش سخته اما بعدش دوپامین ممتدی داره؛ و انجام کار ساده (چرخیدن در اینستا و توییتر و لینکدین و ...) که پیک اولیه دوپامین داره اما با crash دوپامین همراه است.

علم نوروسایننس نشون داده که بخشی از مغز که مسئول اراده است با تلاش برای انجام کار سخت یا مقاومت در برابر یکسری تحریکات انگیزشی فعال میشه. این بخش از مغز با انجام مستمر کارهایی که (عموما شروعشون) سخته رشد میکنه.
یک نکته مهم مقاومت در برابر اینستاگرام، یوتیوب و حتی لینکدین هست. بحث procrastivity (در ظاهر مفید) هم میتونه خیلی خطرناک باشه.

در زمانی از روز که قصد تفریح داریم هم به نظرم باید کتاب/سریال طنز جایگزین ۱۰ ها کلیپ یا مطلب در اینستا و توییتر بشه. تفریح درست حسابی هم حس به مراتب بهتری داره و گذر تایم در این فضاهارو باید کمینه کرد.

مستند the social dilemma رو حتما ببینید اگر ندیدین. مدیران اسبق شبکه‌های اجتماعی اینستا و توییتر و ... ببینید چی میگن. و یادمون باشه

if you are not paying for the product YOU are the product

@deeptimeai

یک کانال تلگرام خیلی خوب:
Dev Tweet
خصوصا این دو مطلب اخیرش رو ببینید:
Post 1
Post 2

@deeptimeai

یک بنیاد متن باز درست حسابی در فایننس اگر باشه همین AI4Finance Foundation هست. ریپوهای زیر خصوصا خیلی مهم هستن.

FinRL: Financial Reinforcement Learning 8.3k stars

FinGPT: Open-Source Financial Large Language Models 9.3k stars

خصوصا مدل‌های زبانی و RL مهمه که open source باشن. چراکه آموزش و finetune کردن مدل‌های زبانی به پردازش وحشتناکی نیاز داره و نحوه تعریف environment در RL برای trade و ... گاها خیلی چالشی هست که اینجا انجام دادن.

برای RL از طرف ACM مسابقه هم گذاشتن.
Link

@deeptimeai

ML-based Forex 03
Features 01

ساخت فیچر قطعا یکی از اساسی‌ترین قسمت‌ها در Quantitative Finance است. علت: ساخت فیچر به صورت فول اتومات امکان‌پذیر نیست‌ و فیچر‌های معنی‌دار باید توسط متخصصین تولید شود. دقت کنیم که ساخت فیچر در فایننس قبل از هوش مصنوعی و هوش طبیعی، به Domain Expertise نیاز دارد که در این پست هم صحبت شد.

برخلاف داده تصویر و متن، دیپ لرنینگ توانایی ساخت فیچر‌های کارساز از داده‌های خام بازار مالی را ندارد‌ (فول اتومات). این مسئله بزرگترین اشتباه افراد تازه‌کار در این حوزه هست. بهترین، حجیم‌ترین و با کیفیت‌ترین داده خام با LSTM و Transformer و MLP هیچ آورده‌ای برای شما ندارد اگر فیچر‌های اولیه معنی‌دار تعریف نشوند. بماند که کارایی این مدل‌ها در این حوزه زیر سوال هست و بعدا بحث میشه. پس چطور در بعضی مسابقات بازار مالی و Tabular با دیپ‌لرنینگ فیچر می‌سازند:
اگر از داده‌خام یکسری فیچر‌های معنی‌دار اولیه تعریف کنیم می‌توان فیچر‌های خوبی با دیپ لرنینگ Supervised و Unsupervised تعریف کرد. اینجا نمونه وجود دارد. البته در صورت وجود داده بسیاز زیاد می‌توان فیچر از داده خام هم تولید کرد ولی تا به امروز (۱۵ نوامبر ۲۰۲۳) این روش کارساز نیست و قطعا best practice هم نیست.

ساخت فیچر‌های اولیه در پست بعدی بحث میشه. در مورد ساخت فیچر مطلب زیاد هست‌ و به مرور اضافه میشه. یک بحث فاندامنتال درباره فیجرها، Latent Space و SciML در حوزه‌های مختلف و خصوصا فایننس به صورت ویس میریم به زودی.

#ML_Forex

@deeptimeai

شرکت Nvidia کل دانش ساخت چیپش، شامل دیزاین‌ها، codebase ها و داکیومنت‌ها و حتی log و bug report هارو در یک مدل Generative AI (با ۲۴ میلیارد توکن) به نام ChipNeMo خلاصه کرد.

Blog post

توانایی‌هایی مثل ارائه Electronic Design Automation که خصوصا برای GPU ها انجام میشه و chatbot دستیار مهندس‌ها، code generator و ابزار آنالیز.

نسل جدید محصولات نرم‌افزاری همین LLM‌های متخصص خواهند بود. این یک امکان فوق‌العادس که شما اگر در زمینه‌ای تخصص و داکیومنت‌های خاص دارید میتونید LLM خودتون رو با pretraining و finetune کردن یا به سادگی با GPT Builder بسازید و بفروشید.

پ.ن: البته Nvidia این رو برای فروش قرار نداده مشخصا😁

@deeptimeai

ML-based Forex 04
Features 02

برای ساخت فیچر از داده خام قیمتی باید به دو مسئله دقت کرد. اول domain expertise و دوم شناخت کامل نوع مدل ML که قرار هست فیچرهارو ببینه. مسئله دوم رو بعدا بیشتر صحبت می‌کنیم.
در مورد domain expertise مسئله اصلی اینجاست که اصولا شما نمی‌توانید مثل یک مسئله فیزیکی معادلات حاکم یا governing equation مشخصی برای بازاری مثل فارکس متصور بشید. مزیتِ دانش شما از بازار به واسطه trade کردن، مطالعه و ... در نهایت فقط و فقط این خواهد بود که متوجه بشید چه عواملی احتمالا، به نوعی باعث پیشبینی حرکتِ یک/چند جفت ارز در جهت/جهات خاص میشن. بعد باید همگی این عوامل رو تجمیع کنید، به صورت فیچر بسازید و در نهایت آنالیز کنید.

در مورد تحلیل تکنیکال: از نظر data science معیار‌های تکنیکال ابزار پیشبینی با نقاشی (و بعدش احتمالا به فاک رفتن) نیستن، بلکه صرفا فیچر هستند.

بحث بعدی به صورت ویس یا live stream با یکی از متخصصین خواهد بود.

#ML_Forex

@deeptimeai

پیرو مقاله بحث قبل، یان لکن هم نوشته که مدل‌های LLM (مثل chatGPT) با خوندن متونی که برای انسان ۲۰ هزار سال طول میکشه، بازم‌ نمیفهمن که اگر A همون B هست، B هم همون A هست.

نکته: منظور یان لکن از این بحث این نیست که این مدل‌ها بدرد نمیخورن بلکه منظور این هست که اولا زمینه تحقیقات باید به سمت ساخت هوش از جنس و efficiency انسان یا حیوان بره و ثانیا انقد فاز بد ندید که انسان نابود میشه با هوش مصنوعی! (شایدم بشه ها!)

البته یک طرف دیگه قضیه هم این هست که همین chatGPT تونست یک سندروم خاص رو از یک بچه تشخیص بده (منجر به درمان) وقتی مادرش علائم رو برای chatGPT نوشت. چیزی که کلی پزشک در مدت زیادی نتونسته بودن تشخصی بدن. پس این همه کتاب خوندن توسط این مدل‌ها بدرد نخور نیست.

نتیجه: با توجه به این بحث و بحث یان لکن، (تا مدت زیادی) به انسان‌های متخصصی نیاز است که به هوش مصنوعی مجهز هستند.

@deeptimeai

اگر سال‌ها پای چارت بازار دنبال الگو بودید، استفاده از Shapelet روش کاربردی و علمی برای الگویابی است.
از Shapelet Transform یا Subsequence Transform برای ساخت فیچر و الگویابی در مسائل سری زمانی و خصوصا Classification استفاده میشه. البته Shapelet برخلاف Fourier و Wavelet از حوزه فرکانس استفاده نمیکنه. خود این مسئله، به خصوص در مسائلی که فیزیک مشخصی ندارند (مثل فایننس) یک مزیت است.
نکته مهم هزینه محاسباتی بالا برای استخراج این الگوهاست. به تازگی در ژورنال معتبر Pattern Recognition مقاله جدیدی که نتیجه یک پایان‌نامه دکتری هست، روش سریع و Scaleable ارائه کرده:
Scalable and accurate subsequence transform for time series classification

Code on Github

حتما کد گیتهاب رو بررسی کنید و star بزنید. نکته اساسی استفاده از decorator‌های Numba روی Numpy برای افزایش سرعت هست یعنی:

@njit

البته مهم هست که از آرگومان‌های مختلف fastmatch و parallel چه زمانی استفاده کنیم. ضمنا نحوه استفاده از Scikit Learn برای نوشتن یک پکیج compatible هم دقت کنید. مواردی مثل:

check_array, check_X_y, check_is_fitted

@deeptimeai