تلخی و ظلمت‌ این روزها در یاد ما خواهد ماند🖤

لایو دوم با دکتر علی حبیب‌نیا
درباره استارتاپ‌های Quantitative Finance صحبت می‌کنیم.

در قسمت اول درباره کلیات مدلسازی Quantitative در بازار مالی و سیستم‌های الگوتریدینگ بر مبنای ماشین لرنینگ صحبت شد. در این لایو میخواهیم درباره استارتاپ‌های این حوزه صحبت کنیم.

شنبه ساعت ۹:۳۰ شب به وقت تهران

@deeptimeai

ممنون از همراهی‌تون🌹 2k شدیم🤩

ویس ضبط شده لایو دوم با دکتر علی حبیب‌نیا استاد دانشگاه ویرجینیا تک

استارتاپ‌های هوش مصنوعی و یادگیری ماشین در بازارهای مالی و الگوتریدینگ

AI & Machine Learning Startups in Quantitative Finance, Dr. Ali Habibnia, Mohammad Talaei

در مورد این مسئله صحبت کردیم که استارتاپ‌ها و شرکت‌های موفق این حوزه روی چه مواردی تمرکز میکنن و محصول میسازن. البته فقط درباره استارتاپ صحبت نشد و مباحث مختلفی مطرح شد خصوصا در قسمت آخر که مربوط به سوالات بود.

@deeptimeai

یه تعداد کتاب در زمینه الگوریتمیک تریدینگ و HFT رو اینجا میزارم، برای استفاد دوستان بنظرم توی آرشیو چنل باشه خیلی خوبه. بعضی هاشون سطح اش advance تر هست مثل کتاب پرفسور cartea ولی اکثرا نیاز به دانش بیس زیادی نداره،

برای دانلود کتاب‌ها به کانال دکتر براک برید

پکیج aeon برای time series رو کنار دستتون داشته باشید. مدل‌های متعددی رو پوشش میده و دسته بندی موضوعی خوبی داره. مواردی مثل shapelet یا DTW هم که قبلا در کانال صحبت کردیم داره.
link

@deeptimeai

نکتاتی از تجربیات ما در موضوع پیشبینی حرکات قیمتی با ماشین لرنینگ در فارکس

۰_ دیتا با کیفیت و زیاد نیاز هست.

۱_ فریم کردن مسئله به شکل دیتاست برای آموزش ماشین لرنینگ کار ساده‌ای نیست. ریپریزنتیشن دیتاست مهمه. تعریف و مهندسی فیچر اهمیت اساسی داره. و اصولا به یک سیستم دقیق نیاز هست که معمولا یک تیم میتونه توسعه بده.
نکته مهم: این تیم علاوه بر دانش دیتاساینس باید حتما در ترید، کوئانت و مفاهیم بازار تجربه داشته باشه. دقیقا همین قضایا باعث میشه که دیتاساینتیست‌ها در الگوتریدینگ با ماشین لرن موفق نباشن. domain expertise در این حوزه، بر خلاف متن و تصویر خیلی تعیین کنندس. حتی داده جدولی ریتیل یا مسائلی با معادلات حاکم (فیزیک) مشخص خیلی دنیاشون با فایننشیال مارکت فرق داره

۲_ تعریف مسئله مهمه. مثلا باید ریسک به ریوارد طوری تنظیم بشه که ماشین لرنینگ بتونه یاد بگیره.

۳_ ریسک به ریوارد برای آموزش ماشین لرنینگ و label زدن، لزوما بهترین ریسک به ریوارد برای اعمال معاملات نیست!

۴_ مدلسازی باید با سختگیری در تعریف معیار انجام بشه. برای مثال میتونید تا ۲۰ فولد برای cross validation داشته باشید و ترجیحا با گپ بین ترید و تست

۵_ بکتست باید روی بازه طولانی (حداقل ۲ سال) انجام بشه و مقاطع ضررده و drawdown کوچیک باشن

۶_ طبق تحربه ما: لزوما به پرسیژن و winning rate بالا نیاز ندارید و روی سود متمرکز باشید. شما میتونید مدلی داشته باشید که فقط ۳۰ درصد اوقات درست میگه یعنی از ۱۰۰ سیگنال ۷۰ تا غلط اما همون ۳۰ تا کارو میسازه

@deeptimeai

این چند روز این ویدئو درباره Option Trading و Dynamic Hedge و معادله مهمش ترند شده. البته پیشنهاد میکنم حتما ویدئو رو ببینید به چند دلیل:

- داستان و عقبه علمی معادله مهم Black-Scholes/ Merton گفته شده. معادله بسیار مهمی که البته دیگه استفاده چندانی نداره و ورژن های جدید ترش برای قیمت گذاری/ پیشبینی در بازار Option استفاده میشه.
- میبینیم که چطور ایده‌ها و مدل‌های ارزشمند در فایننس سالها به شکل عجیبی برای افرادی سودآوری میکنن و بعد با ایده‌ها و مدل‌های جدید جایگزین میشن
- و آقای Andrew Lo استاد فایننس MIT که قبلا هم در کانال ازشون صحبت شده بود در ویدئو صحبت میکنن و موارد مهمی میگن

پ.ن: حتی اگر به این مفاهیم یا ریاضیاتش مسلط نیستین این موارد رو دنبال کنید. اگر علاقه باشه، پازل دانش شما بعدا تکمیل میشه. حداقل مزیتش redundacy: یکی از موارد ساده و مهم برای پیشرفت و یادگیری در یک حوزه بحث redundancy هست. یعنی تاریخ، اسامی افراد و داستان پشت ایده‌های مهم رو بدونید. در ویدئو درباره افراد زیر صحبت میشه:

Edward O. Thorp
Louis Bachelier
Albert Einstein
Robert Brown
Fischer Black
Myron S. Scholes
Robert K. Merton
Jim Simons

@deeptimeai

با هیجان فراوان اعلام می‌کنم که دوره آموزشی یادگیری عمیق (deep learning) را در یوتیوب شروع کرده‌ام. تاکنون چهار ویدیو ضبط و منتشر کرده‌ام که همگی از امروز برای عموم قابل دسترسی است (لینک).

با جدیت و اصرار زیادی قصد دارم تا در اسرع وقت تعداد بیشتری ویدیو در این زمینه ضبط و منتشر کنم.

پیش‌بینی می‌کنم که این دوره در نهایت بیشترین تعداد ویدیو در کانالم خواهد داشت (بیش از ۱۰۰ ویدیو). در نظر دارم که زمان قابل توجهی را صرف کیفیت و تعداد ویدیوها کنم تا یک کار ماندگار ایجاد شود.

همچنین قصد دارم موضوعات جدید و مهم در این حوزه مانند Diffusion Models و LLM ها را نیز آموزش دهم.

این دوره هم جنبه‌های نظری و هم عملی دارد و من از منابع زیر استفاده کرده‌ام:
1. Understanding Deep Learning
2. Mathematics for Machine Learning
3. Understanding Machine Learning: From Theory to Algorithms
4. Dive into Deep Learning
5. Probabilistic Machine Learning: An Introduction


@golemcourse

مدل ۳۱۴ میلیاردی شرکت X به نام Grok-1 اوپن سورس شد.
Github
Blog
مدل عملکرد بسیار خوبی داشته و البته همچنان در حال رشد هست.
اما نکته جالبش به نظرم Stack تکنولوژی هست که استفاده میکنن:
Rust
JAX
Kubernetes
برای یادگیری JAX، اگر با Pytorch کار کردید، بهترین راه اینجاست.

@deeptimeai

تحقیق اخیر MIT نشون داده که ما بدون "زبان" هم قادر به تفکر هستیم و زبان صرفا راهی برای بیان افکار هست و نه منشاء افکار در مغز. در واقع تحقیق نشون میده مناطقی از مغز که مربوط به دلیل آوری، یادآوری، برنامه ریزی، یکدلی و ساخت تصویر از خود هست (اصولا هر چیزی مربوط به هوش)، ربطی به زبان نداره.
نکته اساسی اینجاست که هوش مصنوعی کنونی عموما بر پایه زبان ساخته شده و فرضش بر این بوده که زبان خواستگاه مهمی از هوش هست. البته وجود داده از زبان هم مزید بر علت بوده. مدل‌های میلیارد دلاری LLM مثل chatgpt و سخت افزارهایی مخصوص پردازش زبان (LPU) در حال توسعه هست و سرمایه گذاری‌های عظیمشون ادامه دارن. احتمالا زبان به دلیل ساختارش و همچنین داده‌های زیادش در اینترنت، کتاب‌ها و ... سریعترین راه برای بیان دانش و پیشرفت هوش مصنوعی بوده. ولی احتمالا راه دقیقی نیست و مشکلات زیادی داره (بحث قبلی رو ببینید) همچنان تحقیقات برای ساخت هوش مصنوعی که شبیه به نوزاد انسان به درکی از world model برسه ادامه دارن.

@deeptimeai

دیشب مهم ترین رویداد تکنولوژی و هوش مصنوعی سال یعنی Nvidia GTC شروع شد. در keynote شما صرفا سخنرانی مدیرعامل Nvidia آقای Jensen Huang رو نمیبینید بلکه یک فیلم فوق العاده جذاب از پیشرفت‌های هوش مصنوعی در شرکت‌ها و صنایع مختلف، از اقلیم و انرژی تا digital twin و LLM میبینید. و اصولا دید بسیار خوبی درباره روندها و سرمایه‌گذاری‌ها هم میده.

اگر دیشب لایو ندیدین پیشنهاد میکنم ببینید. میشه برنامه اصلی نوروز:
YouTube
موارد زیادی بود ولی اگر بخوام چند نکته بگم:
- معرفی پلتفرم و ابَر GPU به نام Blackwell به یاد David Blackwell ریاضی دان. در مقایسه با GPU قبلی یعنی Hopper مزایای بسیاری وجود داره. در نظر بگیرید که برای آموزش یک GPT با 1.8 میلیارد پارامتر در 90 روز، Hopper به 8000 GPU نیاز داره و 15MW مصرف میکنه در حالی که Blackwell فقط با 2000 GPU و 4MW مصرف برق کارو درمیاره. برای اینکه عدد دستمون بیاد، مصرف برق ایران (از جنس توان) حدودا 60000MW هست. کلا قدرت اصلی در دنیای امروز قدرت پردازش به صورت energy efficient هست.

- نکته اصلی در پیشرفت قدرت پردازش GPU، روی نحوه صحبت هزاران GPU باهم هست. اینجاست که NV Link Switch وارد میشه که هسته اصلی برای سینک اطلاعات به صورت بهینه بین هزاران GPU در Blackwell هست.

- در کنفرانس پارسال که کاملا مجازی بود Omniverse خیلی تاکید میشد و امسال روی Digital Twin و شبیه‌سازی کامل هر چیز به صورت دیجیتالی صحبت شد و به عنوان نمونه Nvidia نشون داد که چطور یک کارخونه ساخت chip رو اول کاملا مجازی، با تمام عملیات و ...، شبیه سازی کردند و بعد ساختن. فیلم‌های نمایش داده شده هم انیمیشن نبودن و در واقع شبیه سازی Omniverse بودن.

- اگر قبلا در نیروگاه برق الکتریسیته تولید میشد، حالا کارخونه‌های هوش مصنوعی، هوش تولید میکنن و این انقلاب صنعتی جدید هست.

- سرمایه‌گذاری عظیم روی Healthcare، رباتیک، انرژی و اقلیم. و این نکته که احتمالا chatgpt moment برای رباتیک نزدیک هست.

- هر کسب و کاری که دارید سعی کنید Copilot هوش مصنوعیش رو بسازید. همون مفهوم GPT Store رو Nvidia هم داره در NeMo میاره. مدل‌های pre-trained در هر حوزه و فضای پردازش ابری و ... برای اینکه شما با دادن داده، دانش و داکیومنت خاص، هوش مصنوعی خودتون رو درست کنید که اینجا هم بحث کرده بودیم. فرضا برای Trade ما داریم به این سمت میریم.

آپدیت:
بتی وجود نداره و به Nvidia هم انتقاداتی هست. مثل این مورد. البته در نظر بگیرید که نویسنده این توییت از شرکت Meta هست.

کنفرانس‌های GTC تازه شروع شدن و به صورت مجازیش رایگان هستن:
Link

@deeptimeai

عید نوروز مبارک. آرزو میکنم در سال جدید، در حد ممکن، "وطن جایی شود برای ماندن" و امیدوارم آزادی جای ظلم و فساد رو بگیره.

@deeptimeai

Full Stack FastAPI Template

تمپلیت توسط سازنده FastAPI نوشته شده.

- از React برای frontend استفاده شده.
- از SQLModel به عنوان دیتابیس پایه استفاده شده. اصولا چون SQLModel هم خود سازنده FastAPI ساخته و بر مبنای  Pydantic هست بهترین گزینه برای FastAPI هست.
- از Docker برای دیپلوی، از Pytest برای تست نویسی و از Github Actions برای CI/CD استفاده شده.
- موارد مربوط به User authentication و Email-based Password Recovery هم به کار میاد.

@deeptimeai

اگر بتونیم مزیت الگوریتم یادگیری شبکه عصبی (gradient backpropagation) رو با الگوریتم مدل‌های boosting بر مبنای درخت تصمیم مثل XGboost که پادشاهان Tabular Data هستند به صورت بنیادی ترکیب کنیم به چه مدلی میرسیم؟

مدل قدرتمند جدیدی در Tabular Dataبه نام GRANDE که بر اساس ایده Gradient Decision Tree ساخته شده و تونسته در اکثر دیتاست‌ها، از جمله Numerai (مسابقه معروف در پیشبینی بازار مالی با دیتاساینس) از XGboost و Catboost که تا به حال بهترین بودن عملکرد بهتری داشته باشه.
پکیج GRANDE رو میتونید با pip نصب کنید.
GRANDE: Gradient-Based Decision Tree Ensembles

کمی عمیق تر:
مسئله اصلی این هست که الگوریتم‌های درخت تصمیم و الگوریتم ترکیب درخت‌ها در boosting ها به صورت greedy هست که باعث ایجاد محدودیت در فضای جستجو و همچنین overfitting میشه. به همین دلیل نیاز هست تا فرآیند‌هایی مثل split به صورت differentiable بشه و بعضی موارد non-differentiable مدیریت بشن. بعد از این امکان بهینه کردن بنیادی پارامترهای درخت تصمیم و ensemble رو خواهیم داشت. و حتی میتونیم برای split values، split indices، leaf weights و leaf به طور جداگانه learning rate داشته باشیم. برای فهم دقیق الگوریتم مقاله‌های اصلی رو بخونید:
GRANDE paper : ICLR 2024
GradTree paper : NeurIPS 2023

@deeptimeai