Deep Time
3.78K subscribers
101 photos
10 videos
7 files
298 links
Machine Learning 💻 Quantitative Finance💲Time Series 📈 Artificial Intelligence 🤖Data Science 📚 Startup 🚀
Download Telegram
Forwarded from MetaPage
این کانال با هدف هم‌خوانی کتاب‌های حوزه فناوری، به‌ویژه کتاب‌های مرتبط با هوش مصنوعی ایجاد شده است. گاهی یک کتاب را به‌طور کامل و فصل‌به‌فصل مطالعه می‌کنیم و نکات مهم و ارزشمند آن را در اینجا منتشر می‌کنیم. گاهی هم ممکن است تنها یک فصل از یک کتاب به دلیل اهمیتش بررسی و هم‌خوانی شود.


مدیریت کانال در حال حاضر بر عهده دو نفر است و احتمال دارد در آینده افراد دیگری نیز به این مجموعه بپیوندند:

۱. محمد طلایی
۲. علیرضا آقامحمدی

برای سهولت در جست‌وجوی کتاب‌ها و فصل‌های هم‌خوانی شده، از هشتگ‌هایی با الگوی زیر استفاده می‌کنیم


NNN_AA_CH_XXX

در این الگو:

بخش NNN شامل حروف اختصاری نام کتاب است (برای مثال Agentic Design Patterns به شکل ADP نوشته می‌شود).
بخش AA حروف ابتدایی نام و نام خانوادگی نویسنده کتاب
بخش CH مخفف کلمه فصل.
بخش XXX شماره فصلی است که هم‌خوانی شده است.

@metapageai
17👍7
بهبود استراتژی‌های Rule-based در Algorithmic Trading

عموما معامله‌گرهای خرد (retail traders) از استراتژی‌های Rule-based که ترکیبی از یکسری شرط هست استفاده میکنن.
اشکال کجاست؟ این استراتژی‌‌ها اکثرا نقاط ضعف زیادی دارن که بحث جداگانه‌ای داره اما میشه در اجزاء همین استراتژی‌ها با استفاده از data science عملکرد استراتژی‌ رو بهبود داد و نواقص رو برطرف کرد.

سریعا نباید سراغ پیاده‌سازی یک مدل هوش مصنوعی برید. قدم اول تحلیل داده و visualization هست. ابتدا نیاز به EDA و بررسی توزیع آماری در نتایج و بکتست‌هاست‌. مصورسازی رو حتما باید وقت گذاشت و جدی گرفت. Plotly و چارت‌های Interactive اش فوق‌العادست.

حالا که احتمالا یک یا چند مسئله تعریف شده، نیاز به مدلسازی با داده دارید. طبیعتا باید از مدل‌های ساده و خطی آماری شروع کنید و بعد مدل‌های Machine Learning و هوش مصنوعی مدرن‌تر بنا به نیاز مسئله استفاده بشه. اینجا هم مباحث پایه Model Selection مثل بایاس وایریانس، تسلط روی تئوری و فرضیات مدل‌ها، و تجربه کار با مدل‌های tabular data خصوصا در فایننس هست. مثال در پست بعدی.
👍1312
در استراتژی مربوط به یک پروژه‌ کریپتو، یک بخشی نیاز به یک تخمین دست بالا وجود داشت. این تخمین در ابتدا با یک شرط بر پایه شهود انجام می‌شد که کارا نبود. اینجا کار ما شروع شد.

به عنوان قدم اول بعد از EDA و Visualization، از یکسری داده‌ها برای این تخمین استفاده شد. اما نتیجه محافظه‌ کارانه شد که سود رو کم می‌کرد. با بررسی متوجه شدیم جنس این کار پیچیدگی‌هایی داره که بجای تخمین نیاز به یک مدل پیشبینی هست.

از اونجایی که مدل پیشبینی قرار بود بالادست رو پیشبینی کنه از Quantile Regression استفاده کردیم. نتیجه راضی کننده بود. در قدم بعد اگر نیاز باشه با توجه به حساسیت موضوع و وجود عدم قطعیت ذاتی، میتونیم از یک مدل UQ مثل Conformal Prediction برای پیشبینی بازه‌ای و کالیبره کردن پیشبینی‌ها استفاده کنیم.

دقت کنید این فقط یک بخش از یک استراتژی Rule-based بود که یک فرآیند کامل Data Science و مدلسازی ML براش انجام شد.
11👍7
ماجرای مدل‌های Tabular Machine Learning و معرفی یک بنچمارک

بیزینس‌ها در حوزه‌های مختلف به شکل گسترده به مدل‌های ماشین لرنینگ Tabular وابسته هستن اما انتخاب مدل در Tabular Data همیشه بحث برانگیز بوده. بحث بین مدل‌های Tree-based و Deep Learning یا مفید بودن Foundational Model ها در این حوزه زیاد دیده میشه. اما نکته اساسی اینجاست که نمیشه یک گزاره صفر یا صدی در مورد این نوع مدل‌ها گفت و فرآیند انتخاب یا ترکیب مدل‌ها پیچیده تر هست.

- در پست مربوط به نتایج مسابقات Kaggle دیدیم که یکسری از مدل‌های برنده ترکیبی از مدل‌های Tree-based و Deep Learning بودن.
- در پست GRANDE در مورد یک ایده جالب برای ترکیب بنیادین الگوریتم‌های شبکه عصبی و Tree-based boosting و عملکرد عالیش صحبت شد.
- در پست TabPFN دیدیم که یک مدل‌ Foundational در شرایطی بهترین عملکرد رو بین مدل‌ها داشته.

اخیرا یک بنچمارک فعال در HuggingFace به نام TabArena شکل گرفته که موارد جالبی داره و مباحث گفته شده رو تایید میکنه. البته مدل‌های مدرنی مثل GRANDE هم پوشش داده نشدن که جای کانتریبیوت کردن رو باز میذاره. برای دقیق تر شدن روی موضوع مقاله رو ببینید. در شکل یک به عملکرد Default که بدون tune شدن و Ensemble هست دقت کنید چراکه بهترین و بی دردسرترین انتخاب شماست. اما پتانسیل اصلی در Ensemble انواع این مدل هاست:
We argue that the battle between GBDTs and deep learning is a false dichotomy, as both model families contribute to ensembles that strongly outperform individual model families.
خط بنفش در شکل 6 رو ببینید. نکته جالب اینکه خود تک مدل‌ها هم معمولا روش‌های جالبی از Stack یا Ensemble دارن و بنابراین Ensemble of Ensemle بهترین عملکرد رو داره. بد نیست با بعضی مدل‌های صدرنشین Leaderboard آشنا بشیم، ایده های جالبی دارن:
RealMLP:
Better by Default: Strong Pre-Tuned MLPs and Boosted Trees on Tabular Data (NeuroIPS 2024) , GitHub
TabM (by Yandex):
TabM: Advancing Tabular Deep Learning with Parameter-Efficient Ensembling (ICLR 2025) , GitHub
👍94
یک بایاس عجیب مغز هم این هست که از بین دو تجربه سخت، اونی که سخت تر و دردناک تر هست رو انتخاب میکنه!
👍154💯21
Deep Time
یک بایاس عجیب مغز هم این هست که از بین دو تجربه سخت، اونی که سخت تر و دردناک تر هست رو انتخاب میکنه!
سوال: آیا هر چیز سخت تر ارزمشند تر هست؟ یا اگر سختی بیشتری بکشیم لزوما بعدا به ارزش یا فرضا درآمد بالاتری می‌رسیم؟ همین سوال رو برای هر بُعدی بپرسیم. مثلا اگر استراتژی معاملات الگوریتمی خیلی پیچیده با مدل‌های پیچیده طراحی کنیم و کد نویسی سخت داشته باشیم به آلفا نزدیک‌تر میشیم؟ جواب قطعی و خطی وجود نداره. خیلی اوقات سختی میتونه ضامن ارزش باشه اما گاهی افراد خودشون رو به سختی و رنج بی اساس گرفتار می‌کنن.

حالا چرایی موضوع: ما دو خود ذهنی داریم: خودِ تجربه‌گر و خودِ یادآور که خودِ یادآور گاهی خودِ تجربه‌گر رو به دردسر میندازه. فصل پنج کتاب Thinking Fast and Slow اثر ارزشمند Daniel Kahneman برنده نوبل موضوع رو باز میکنه (تصویر پست قبل).

این مورد البته در حیوانات هم هست و ریشه‌ی بقایی داره. فرضا اگر حیوانات فقط به غذای نزدیک و در دسترس اکتفا میکردن و سختیِ در ظاهر بی دلیل رو برای جستجوی غذا در جاهای دور و سخت تحمل نمی‌کردن، احتمالا در شرایط کاهش منابع در دسترس به سرعت منقرض می‌شدن. به همین دلیل یک مورچه برای یک دانه که بالا صخره هست فرومون بسیار بیشتری ترشح میکنه تا همون دانه در نزدیکیش. این البته همون ترم mutation یا exploration در الگوریتم‌های بهینه‌سازی متاهیوریستک مثل Ant Colony هم هست (برای آنان که می‌اندیشند).

اما نکته اینجاست که خیلی مواردی که در مغز ریشه‌‌ای عمیق دارن، هزاران سال پیش به دلیلی به وجود اومدن که حالا ممکنه بی معنی باشه.
20👍71
اسیر مارکتینگ یا بختانگی (Randomness) نشیم

یکسری افراد این مدت در مورد nof1.ai یا همون AlphaArena خیلی هیجانی شدن که واقعا باعث تعجب هست. حتی دوستی اومد گفت فلان جا گفتن معاملاتش رو کپی کنیم. Good luck

این وب‌سایت خودش رو اولین بنچمارک سنجش AI در سرمایه‌گذاری معرفی میکنه (انگار که AI فقط LLM هست!) در واقع یکسری LLM ها مثل ChatGPT و Deepseek برای Trade در بازار کریپتو سنجیده می‌شن.

مسئله اول: بنچمارکی که شفافیت نداره به هیچ عنوان بنچمارک نیست! شما هیچ اطلاعی از ورودی مدل ها یعنی مواردی مثل prompt ها یا وجود RAG و ... ندارید. این مدل‌ها با ورودی متفاوت رفتار کاملا متفاوتی دارن.

مسئله دوم: ۶ تا مدل به جون بازار افتادن خوب کاملا طبیعی هست که دو مدل شانسی سود ده شدن (البته با Max dd ناامید کننده) و ۴ مورد خنثی و یا ضررده بد. شما همینطوری ۴ استراتژی آبکی ساده رو لایو بذاری یکی دو مورد سود ده میشه. با این همه صحبت در مورد اثر شانس و survivorship bias و ... باز هم این الگو همونجایی هست که سرمایه ملت رو همیشه به باد داده. شما ۲ بار پارامتر بکتست هم عوض کنی سودده میشه.

در نهایت به عنوان یک تفریح، دیدن رقابت یکسری مدل شاید جالب باشه اما به دلیل نبود اطلاعات ورودی به مدل‌ها، و خصوصا اطلاعات backtest استاندارد، امکان نداره بتونید آلفا رو از شانس و randomness تشخیص بدید (اگر بخواد آلفایی باشه).
یادتون نره کسی که بحران مالی ۲۰۰۸ رو پیشبینی کرد، یک کتاب داره تحت این عنوان:
Fooled by Randomness
30👍7🔥1
Deep Time
اسیر مارکتینگ یا بختانگی (Randomness) نشیم یکسری افراد این مدت در مورد nof1.ai یا همون AlphaArena خیلی هیجانی شدن که واقعا باعث تعجب هست. حتی دوستی اومد گفت فلان جا گفتن معاملاتش رو کپی کنیم. Good luck این وب‌سایت خودش رو اولین بنچمارک سنجش AI در سرمایه‌گذاری…
در همون تاریخی که پست گذاشته شد (و در ظاهر نتایج خوب بود)، اگر پولتون رو روی بهترین مدل پیشبینی کننده این سایت یعنی DeepSeek میذاشتین، ظرف ۳ روز صفر می‌شد. یعنی بالای ۱۰۰۰۰ دلار ضرر با فرض ۱۰۰۰۰ دلار پول اولیه (طبق اطلاعات سایت). بقیه مدل‌هاش که هیچ.
👍14🔥42💯1
بی‌دلیل نیست که ۹۰ الی ۹۹ درصد معامله‌گران خرد در بازارهای مالی در بلند مدت پول میبازن! (سرچ بزنید) بسیار بسیار زیاد هست دلایل جالبی که آدم‌ها به دام میفتن.
واقعیت trade در بازارهای مالی خیلی پیچیده‌تر از این هست که فرضا با LLM در بلند مدت موفق بمونید. برای احتمال موفقیت و سوددهی با ثبات و رسیک کنترل شده به طور خلاصه:

۱_ به یک استراتژی و ایده اولیه نیاز هست که همون بحث تعریف مسئله، مناطق پیشبینی پذیر و inefficiency در مارکت هست (بحثش گستردس)

۲_ نمیتونید به بررسی ایده‌تون با چشم در گذشته چارت اکتفا کنید و حتی بکتست‌های متاتریدر فقط احتمالا شما رو در چاه خواهد انداخت (این پست)

۳_ به شبیه‌سازی الگوریتم و بکتست استراتژی به صورت استاندارد و اجتناب از تله‌های بکتست و بایاس‌ها نیاز دارید که معمولا اینجا باگ زیاد پیدا خواهید کرد

۴_ حتی اگر استراتژی اساسا rule-based (یعنی ترکیب یکسری شرط مشخص) هست باید با data science و آمار احتمالات تحلیل و بررسی دقیق بشه در مرحله اول.

۵_بعد با ML و DS تا جای ممکن بهینه‌سازی و یا حتی یکسری مدل بخصوص برای آنالیز و پیشبینی حرفه‌ای تر. خیلی استراتژی‌ها تازه در این مرحله پایدار و سودده می‌شن.

۶_ بکتست استراتژی نهایی روی Holdout Set بدون تکرار یا با حداقل تکرار

۷_ پیاده سازی سیستم Trade Execution

۸_ ابتدا Paper Trade برای تست نرم‌افزار و استراتژی و بعد Live Trade با افزایش تدریجی سرمایه و مانیتورینگ عملکرد سیستم
16👍8🔥1
چطور وقتی انقدر نرخ باخت trader ها بالاست باز هم انگار همه ادعا دارن از اون درصد جزئی هستن که در بلند مدت برنده میشن (و به باخت ادامه میدن)؟

جواب سادس. اگر کسی در مجموع ۱۰ سال‌ اخیر ۸۰ درصد به حجم بالا ضرر کرده و در چند ماه اول امسال ۱۰ درصد سود با حجم پایین داشته هیچوقت به شما از اون باخت بزرگ و پایدار نمیگه و فقط برد اخیرش رو مطرح میکنه و از اون statement میده.

آیا این به قصد کلاهبرداری و دروغ از عمد هست؟ همیشه اینطور نیست. خیلی اوقات افراد ناخودآگاه به خودشون هم دروغ میگن و حافظه عمدا روی خاطرات ناگوار سرپوش میذاره. چرا؟ چون هدف مغز حفاظت از روان هست، نه کشف واقعیت. این باگ ذهنی دهه هاست که میلیاردها دلار به نفع بروکر‌ها، اکسچنج‌ها، کازینوها، پکیج فروش‌ها و رویافروش‌ها تموم شده.

نکته: خیلی از ایده‌ها که اکثر تریدرایِ خرد مثل جونشون ازش محافظت میکنن، بدون موارد پست قبل بسیار ریسکی هستن یا حتی هیچ ارزش ذاتی ندارن و اگر بتونید واقعا همه استیتمنت‌هارو باهم ببینید یا استراتژی رو اتومات کنید، هر پولی رو صفر میکنن.
16👍11👌1🆒1👾1
چی بهتر از اینکه کدها و سیستم‌ها مستقل از سخت‌افزار عمل کنن اون هم وقتی Chris Lattner این کار رو انجام بده.

زبان Mojo احتمالا میتونه بازی بین شرکت‌های سخت‌افزار و طراح GPU رو کاملا متحول کنه.
آقای Chris Lattner سازنده Mojo و فریمورک Max در واقع موارد زیر رو هم ساخته:
تکنولوژی LLVM
زبان Swift
زیرساخت کامپایلر MLIR
و ...

علت اصلیِ ترجیح GPU‌های Nvidia وجود CUDA بوده که مخصوص سخت‌افزار این شرکت هست و بسیار هم توسط برنامه‌نویس‌ها به بلوغ رسیده. اما علاوه بر بحث محدودیت سخت‌افزاری، یادگیری CUDA هم برای مهندسین زمان‌بر هست. حالا Mojo با سینتکس شبیه Python و نگاه Multi-platform، به شکل مستقل از سخت‌افزار، بر روی CPU, GPU, TPU سوار میشه و عملکردی نزدیک به CUDA داره. 

چنین قابلیتی مدیون سال‌ها تلاش برای LLVM و MLIR:
Multi-Level Intermediate Representation
بوده که در عمل به عنوان لایه‌ای واسط، بین کد شما و زبان ماشین قرار میگیرن.

همونطور که سال ۲۰۲۱ به خیلی دوستان گفتم سهام Nvidia بررسی کنن، الان پیشنهاد میکنم اگر دسترسی به شبکه‌های سرمایه‌گذاری خصوصی دارین روی
Modular
تحقیق کنید که اخیرا هم ۲۵۰ میلیون دلار raise کردن.
👍134🔥2
یک سریال آمریکایی دنبال می‌کنم که هفته‌ای یک قسمت میاد. اما زمان انتشار رسمی با زمانی که واقعا میشه دانلودش کرد بین یک ساعت تا یک روز متغیر بوده. دیدم که یکشنبه‌ها ممکن هست چندین بار در چند مقطع بخوام رفرش کنم که ببینم قسمت جدید آپلود شده یا نه و بازم شاید دوشنبه بیاد.
گفتم باید یک کد بزنم اتومات بشه کار.

تو چند دقیقه یک بات تلگرام نوشتم که وقتی اپیزود جدید اومد پیام بده و چند کار دیگه. معمولا اینطور سایت‌ها چون dynamic نیستن کار با bs4 انجام میشه و خیلی سادس. اما برای وبسایت‌های داینامیک مثل فروشگاه‌ها میتونید Selenium یا Playwright رو به صورت headless automation کار کنید.

نیازی به هزینه سرور هم نیست و میشه مجانی از Kaggle استفاده کنید که containerized میکنه. با همون تلگرام هم مانیتور کنید که هر زمان پایین اومد مجدد راه‌اندازی کنید.

نکته: با وجود LLM ها، حتی اگر دانش برنامه نویسی خیلی کمی دارید، باید بتونید زیر یک ساعت چنین رباتی رو بنویسید. به عنوان یک چالش انجام بدید: "Just Do It Mentality".
👍339
Forwarded from MetaPage
در ادامه‌ی پست‌های کانال، قصد داریم کتاب

Build A Robo-Advisor with Python: Automate Your Financial and Investment Decisions

را همراه با هم بخوانیم و بررسی کنیم. این کتاب توسط انتشارات Manning منتشر شده و تمرکز آن بر شیوه‌های مدیریت سرمایه‌گذاری مالی است. نگاه کتاب به سرمایه‌گذاری بلندمدت است و وارد مباحث مربوط به ترید نمی‌شود.

نویسندگان تلاش کرده‌اند به پرسش‌های زیر پاسخ دهند:

۱. چطور یک سبد سرمایه‌گذاری مناسب تشکیل دهیم؟ چه مقدار از دارایی در بورس باشد؟ چه مقدار در رمزارزها؟ و هر سهم بورسی چه وزنی در کل سبد داشته باشد؟

۲. سطح ریسک‌پذیری ما چقدر است؟ و برای هر میزان ریسک، بهترین استراتژی کدام است؟

۳. چگونه میزان مالیات را به حداقل برسانیم؟ و چطور برای دوران بازنشستگی یک برنامه‌ریزی بلندمدت انجام دهیم؟

۴. چطوری مدیریت سرمایه‌گذاری را به صورت خودکار برنامه‌نویسی کنیم؟

از آن‌جا که نویسندگان کتاب در آمریکا زندگی می‌کنند، مثال‌ها و مفاهیم مربوط به حساب‌های بانکی، مالیات و قوانین سرمایه‌گذاری مبتنی بر ساختار آمریکا است، اما به‌گونه‌ای ارائه شده‌اند که بتوان معادل آن‌ها را در سایر کشورها نیز پیدا کرد.

این کتاب مجموعه‌ای گسترده از مباحث را پوشش می‌دهد. از الگوریتم‌های آماری و یادگیری تقویتی (RL) گرفته تا موضوعات مالی و برنامه‌نویسی. از آنجا که مطالب هر فصل نسبتاً سنگین است، پست‌های همخوانی کتاب جزئی‌تر خواهند بود. بنابراین ممکن است هر فصل به جای یک پست، در چند پست (چهار یا پنج) تقسیم شود تا درک مفاهیم آسان‌تر شود.

#BRP_RR

@metapageai
17👍4🤩1
کنفرانس NeurIPS 2025 یک بخش ویژه فایننس داره که میتونید ببینید:
NeurIPS 2025 Workshop on Generative AI in Finance

اولین سخنرانی که معرفی شده آقای Rama Cont استاد ریاضی فایننس و هوش مصنوعی فایننس از دانشگاه Oxford هست. نکته مهم اینکه ایشون ایرانی هستن و اتفاقا بسیار عرق ملی دارن. من از طریقی ایشون رو میشناسم و شاید فرصت شد یکبار در کانال بیان صحبت کنیم.
24👍6
روح کشته شدگان شجاع وطنم که در راه آزادی و با دست خالی برای ایرانی بهتر سینه سپر کردند و جان دادن شاد و آرزوی صبر برای بازماندگان.
ظلم پایدار نخواهد بود
خونشون پایمال نخواهد شد
121👾9💯2🔥1🆒1
دوستانی که به دنبال موقعیت PhD فول فاند در زمینه Distributed Systems و ML هستن، این موقعیت عالی رو اقدام کنید:

🎓 𝐄𝐱𝐜𝐢𝐭𝐢𝐧𝐠 𝐏𝐡𝐃 𝐎𝐩𝐩𝐨𝐫𝐭𝐮𝐧𝐢𝐭𝐲 𝐢𝐧 𝐃𝐢𝐬𝐭𝐫𝐢𝐛𝐮𝐭𝐞𝐝 𝐒𝐲𝐬𝐭𝐞𝐦𝐬, 𝐒𝐲𝐬𝐭𝐞𝐦𝐬 𝐟𝐨𝐫 𝐌𝐋, 𝐚𝐧𝐝 𝐌𝐋 𝐟𝐨𝐫 𝐒𝐲𝐬𝐭𝐞𝐦𝐬 𝐚𝐭 𝐌𝐨𝐧𝐚𝐬𝐡 𝐔𝐧𝐢𝐯𝐞𝐫𝐬𝐢𝐭𝐲! 🎓⁣⁣
⁣⁣
𝐟𝐮𝐥𝐥𝐲 𝐟𝐮𝐧𝐝𝐞𝐝 𝐏𝐡𝐃 𝐩𝐨𝐬𝐢𝐭𝐢𝐨𝐧 (2026) is available in the Faculty of Information Technology at 𝐌𝐨𝐧𝐚𝐬𝐡 𝐔𝐧𝐢𝐯𝐞𝐫𝐬𝐢𝐭𝐲!⁣

More information
14👍2