بدون Docker و یک فریمورک مثل fastAPI عملا هیچ کاری قابل deploy نیست. چه بهتر که هر دو رو در قالب یک آموزش برای ساخت یک اپلیکیشن AI یاد بگیرید.

پیشنهاد میکنم این آموزش رو از دست ندید چون خود سازنده fastAPI یکی از ارائه دهنده هاست.

Link

@deeptimeai

علت صعود قیمت بیتکوین: رای دادگاه به نفع شرکت Grayscale (یک شرکت سرمایه‌گذاری کریپتو) در مقابل SEC (آژانس تنظیم‌گری کمیسیون بورس اوراق بهادار آمریکا)، که به نوعی اجازه راه‌اندازی ETF رو برای بیتکوین دادن.
خبر مهمیه و به نظرم قیمت خیلی بالاتر هم میره.
link

@deeptimeai

چون خیلی پیام گرفتم یک نکته راجع به ترید کردن بگم:
اگر قصد دارید از اخبار هم در ترید استفاده کنید ترجیحا به یک سیستم نیاز دارید که تاریخ اخبار مهم رو براتون نگه داره و اثر قبل و بعدش رو در دیتاست بذارید و سیستم ماشین لرنینگتون رو ترین کنید. فرضا استفاده از Future Covariate ببینید.
نکته مهم البته اینجاست که خیلی اوقات بازار از قبل خبر رو پیشبینی کرده (در این مثال بازار از قبل جواب دادگاه رو پیشبینی کرده) و واکنشش رو نشون داده و قیمت بالا رفته. اما این به این معنی نیست که بعد دیگه نمیشه سود گرفت. فرضا من خبر رو روی ۲۷۰۰۰ دیدم و قیمت تا بالای ۲۸۰۰۰ رفت. با یک سیستم میشد سود گرفت.

اما اینجا کانال سیگنال گذاشتن نیست و سیگنال صرفا وقتی مورد پذیرش هست که خروجی یک سیستم درست حسابی باشه.
چیزی که اهمیت داره اخباری مثل عمومی تر شدن استفاده از بیتکوین در سیستم مالی آمریکاس و اینجا ETF شدن بیتکوین میتونه آینده خوبی داشته باشه برای کریپتو.

@deeptimeai

برای Tabular Data هم میتونید در Huggingface مدل ترین کنید.
اگر CPU استفاده کنید رایگان خواهد بود. البته برای ابزار رایگان ترجیح خودم فعلا استفاده از Kaggle
هفته‌ای ۳۰ ساعت GPU P100 رایگان برای هر اکانت.

پ.ن: ابتدای رشته توییت در لینک بالا جالب اشاره شده که با اینکه این روزها همش صحبت از LLM هست اما بیشتر پروژه‌ها و پول در کار Tabular هست.

@deeptimeai

#OFF_TIME

موسیقی Gary Moore و ترکیب استثنایی بلوز و راک با سولوهای جادویی. اینجا بخشی از آهنگ The Loaner رو زدم.

پ.ن: پست های OFF TIME همونطور که از اسمش مشخصه، خارج از بحث اصلی کانال هستن.
@deeptimeai

ثبت احوال هم هک شده
و متأسفانه این گروه هکری برای اثبات در حال توسعه سایتی برای ایجاد دسترسی به دیتا هست (هرچند فقط بخشی از دیتا)

این اتفاق اصلا خوب نیست، حتی اگر اطلاعات ۱ نفر به اشتراک گذاشته بشه
این گروه هکری اسم خودش رو
anti_mullah
ضد آخوند گذاشته، ولی متأسفانه داره به مردم عادی ضربه میزنه، ازین گروه‌ها حمایت نکنید.

شخصاً:
من به شخصه به این هک‌ها مشکوک هم هستم، چون تمام هکرها می‌دونند چه دیتایی به دولت‌ها ضربه میزنه و کسی با این هدف اطلاعات مردم عادی رو به اشتراک نمی‌ذاره، هک‌های اخیر فقط بهونه سازی میشه برای محدود سازی اینترنت.
ازین تکنیک کشورهای دیگری هم قبل از ما برای محدود کردن دسترسی و اینترنت استفاده کردند که نمونه موفق اون چین بوده.

قبلا در این پست دیدیم که هوش مصنوعی chatGPT واقعا هوش نداره! اتفاقا همون زمان این پست رو برای جادی فرستادم و تو رادیوگیک بررسیش کرد.
حالا اینجا میبینیم که هوش مصنوعی از A = B نمیتونه استدلال کنه که B = A
Paper PDF

فعلا این دو پست رو داشته باشید اگر جایی بحث شد در مورد توانایی و هوش LLM ها.

@deeptimeai

XGBOOST 2.0 (stable release)
Link
نسخه 2 یکی از محبوب ترین مدل‌های Machine Learning منتشر شده. علاوه بر یکسری بهینه سازی و رفع یکسری مشکل (خصوصا مشکلات Memory که ما رو هم خیلی اذیت میکرد)، مواردی خیلی جالبی اضافه شده:
- Quantile Regression
- Multi-Target
- Vertical Federated Learning
- Learning to Rank

بحث Quantile Regression بسیار مهم و کاربردی هست. در واقع استفاده از میانه و بقیه quantile ها باعث میشه زمانیکه outlier داریم یا زمانی که residualهای خطا از توزیع نرمال نیستن ( فرض مهم رگرسیون معمولی)، بتونیم از این روش distribution-free استفاده کنیم که هم نسبت به داده پرت مقاوم هست (مهم در مسائل با ریسک بالا مثل finance و سلامت) و هم اینکه برای توزیع‌های skewed انتخاب معقول تری هست. علاوه بر این گاهی در مسائلی دقیقا نیاز داریم از quantile ها و loss متناظرشون استفاده کنیم.

بحث Multi-Target و FederatedLearning هم برام جالب بود چون تو هردوش مقاله دارم.
مباحث آموزش مدل با GPU هم خیلی کارشدن و بسیار کاربردی هست. خصوصا که ما همیشه از GPUهای Kaggle برای ران گرفتن XGBOOST استفاده میکنیم.

در نهایت به قول بزرگان Kaggle:
XGBOOST is all you need!

@deeptimeai

TimeGPT
Paper: Link
API & Docs: Link

خوب Nixtla مقاله TimeGPT رو منتشر کرد که نتایج خیلی خوبی داشته. فعلا برای دسترسی و استفاده از این مدل باید درخواست بدید.
خلاصه‌ای از این مدل و مقاله:

0- کار اصلی مقاله و این مدل این هست که تونستن با دادن حجم بالایی از انواع داده سری زمانی ( 100 میلیارد datapoint) ، و همچنین طراحی یک معماری Transformer مخصوص سری زمانی (با در نظر گرفتن فرکانس، ترند، stationarity و ...)، نتیجه خیلی خوبی از این مدل‌های پیشرفته برای داده سری زمانی بگیرن.
1- پیشبینی سری زمانی به صورت Zero-shot. یعنی مدلی توسعه دادند که بدون نیاز به فاز آموزش، هر سری زمانی رو با دقت بالایی پیشبینی میکنه.
2- قابلیت Fine-tuning که باعث افزایش دقت پیشبینی میشه.
3- طبق ادعای مقاله مدل در تمامی افق‌های پیشبینی عالی عمل کرده و در بعضی افق‌ها از تمامی مدل‌های قوی سری زمانی (از آماری و بر مبنای درخت مثل LGBM گرفته تا شبکه عصبی) بهتر عمل کرده.
4- یک مزیت اصلی کاهش پایپلاین‌های پردازش داده و مهندسی فیچر هست.
5- سنجش uncertainty با روش conformal prediction که قبلا اینجا در موردش صحبت شده بود.

در نهایت افراد متخصصی از این مدل تعریف کردن اما باید ببینیم در عمل، در صنعت و مسابقات چقدر موفق خواهد بود. در این پست درباره بهترین‌ مدل‌ها برای پیشبینی سری زمانی صحبت شد.

#گزارش

گزارش هوش مصنوعی کگل ۲۰۲۳

▫️از بخش های مختلف این گزارش که به بررسی ترندها و دیدگاه های بزرگان کگل در حوزه های مختلف ماشین لرنینگ پرداخته، بخش ۴ که در مورد داده های جدولی و سری های زمانیه، کاربردی ترین برای فایننسی هاست. اگرچه همه فایننس داده های جدولی نیست و اگر با داده های آلترناتیو کار میکنید، سایر بخش ها هم میتونه براتون مفید واقع بشه، اما زمان ویژه ای برای مطالعه نکات بخش ۴ و نوتبوک های مربوطه که لینک اش در گزارش گنجانده شده، بزارید. برای سهولت مراجعه به نوتبوکها، میتونید از لیست زیر هم استفاده کنید:

- Learnings From the Typical Tabular Modelling Pipeline
- AI Report - Time Series and Tabular Data
- Tabular Data in the Age of AI

▫️فایل گزارش رو میتونید از اینجا دانلود کنید. قبلا هم کتاب The Kaggle Book رو اینجا معرفی کردیم.

@FinPy

مدل‌های برنده مسابقات ماشین لرنینگ برای Tabular Data رو اینجا با رنگ دسته بندی کردم. البته این مربوط به گزارش 2022 هست که قبلا هم در کانال بود.
Link

دقت کنید در یکسری روش‌های برنده، مدل‌های Tree-based و Deep Learning ترکیب شدن. تعداد بالای LightGBM بسیار جالب هست. روش split در LightGBM برخلاف XGboost به شکل leaf-wise هست. در XGboost روش depth-wise داریم. مواردی که ستاره زدم مسابقات فایننس هستن. البته طبق گزارش خیلی به نتیجه مسابقه JPX نمیشه اتکا کرد چون کل بازه تست یک بازه 90 روزه و طبعا biased بوده.

@deeptimeai

مقاله مروری 150 صفحه‌ای درباره ماشین لرنینگ در فایننس
Financial Machine Learning

Link

@deeptimeai

چطور اول صبح در یک سخنرانی خواب رو از سر دانشجوها بپرونیم؟
جذب دانشجوها به یادگیری یک تخصص جدید (هوش مصنوعی)

اردیبهشت ۱۴۰۱
دانشگاه صنعتی شریف

@deeptimeai

پیشبینی بازه‌ای بجای پیشبینی نقطه‌ای، و سنجش عدم قطعیت در حوزه‌هایی که رسیک بالا دارند (مثل حوزه انرژی، سلامت یا معاملات بازار مالی) بسیار مهم هست. قطعا بهترین روش Conformal Prediction است.

در قسمت statsforecast از کتابخانه Nixtla که برای مدل‌های سری زمانی مثل ETS و ARIMA هست، Conformal Intervals پیاده شده و صرفا باید import کنید.
مزیت هم مشخصه برای مثال گارانتی میکنه (برخلاف interval های دیگه که گارانتی ندارن) که ۹۵ درصد جواب در فلان محدوده هست و ریسک تصمیم‌گیری کنترل میشه.

from statsforecast.utils import ConformalIntervals

البته Conformal Prediction رو روی هر مدلی میتونید پیاده کنید.

منبع: دکتر Valery Manokhin که در حال حاضر اصلی ترین فرد در زمینه Conformal Prediction هستند لطف کردند و نسخه رایگان این پست رو برای بنده فرستادن تا در این کانال به فارسی در موردش بنویسم. سعی میکنم مطالب بیشتری از Medium ایشون بگیرم و اینجا ترجمه کنم.

@deeptimeai

مثل بسکتبال و بازیگری، یک مایکل جردن هم تو کامپیوتر ساینس و هوش مصنوعی داریم خدا!

استاد برکلی و MIT و استاد دوره دکتری بزرگانی مثل Andrew Ng، Yoshua Bengio و بسیاری افراد تاثیر گذار دیگه که خودتون ببینید.
در حال حاضر lab ایشون داره روی Conformal Prediction کار میکنه و مبحث جالبی به نام Conformal Decision Theory که در تصاویر هم کاربرد داره. لینک زیر رو ببینید.

Conformal Decision Theory:
Safe Autonomous Decisions Without Distributions

حالا اینکه یک کانال فارسی میاد با نقل از یک نفر دیگه مینویسه که conformal نتونسته بره نون بخره رو دیگه خودتون تحلیل کنید. ضمنا هیچوقت قانون NFL رو نباید فراموش کرد. هیچ جادویی وجود نداره.

به قول جرج باکس:
All models are wrong, but some are useful


@deeptimeai

کاش همه مقالات این ویژگی رو داشته باشن

چند محقق از آکسفورد اخیرا مقاله‌ای در مجله International Journal of Forecasting چاپ کردن که نتایج توسط ویراستار مجله باز تولید شدن. این اصولا ژورنال خوبی هست برای زمینه Forecasting

این کار یعنی شفافیت، اعتبار و جلوگیری از داده سازی. از این بهتر هم اون مقالاتی هستند که کدشون در گیتهاب هست و عموما در کنفرانس‌های ماشین لرنینگ معروف چاپ میشن.

@deeptimeai

Large Models for Time Series and Spatio-Temporal Data: A Survey and Outlook

Github: Awesome Time Series LLM

روند تحقیقاتی جدید در مدل‌های سری زمانی استفاده از LLM هاست. قبلا در مورد TimeGPT صحبت شد. این هم مقاله جالبی هست که کارهای مختلف رو در زمینه LLM برای سری زمانی تجمیع کرده. خصوصا که میتونید به تفکیک application مقالات رو ببینید و مشخصا یکی از اونا finance هست که بررسی شده (۴ مقاله در شکل ۳ و ۴ مرجع دیتاست در شکل ۴)
برای سنجش کارایی واقعی البته باید ببینید این مدل‌ها در عمل چقدر به بیزینس شما کمک میکنه یا چقدر میتونن در مسابقات موفق باشن.

@deeptimeai

حالا فرض کنید به زودی دنیای بازی و سینما چقدر تغییر خواهدکرد. بازی‌ها یا فیلم‌ها خاص هر فرد realtime render میشن و شما به معنای واقعی میتونید در بازی یا فیلمی باشید که در ذهنتون طراحی شده (یا ذهن دوستتون که براتون یک سکانس ترسناک طراحی کرده!)

Link

@deeptimeai

افزایش 41 درصدی سرعت و افزایش دقت در PyTorch 2.0 با استفاده از optimizer بهتر و compile:

torch_compile = True
optim = "adamw_torch_fused"

این نسخه جدید از adam رو برای train یا fine-tuning استفاده کنید.

Pytorch 2.0 and Hugging Face Transformers
PyTorch Conference 2023

@deeptimeai

درباره پست موقت هفته پیش که برای کارآموزی با حقوق بود

۱_ ممنون از تمام دوستانی که رزومه فرستادن.

۲_ موقعیت کارآموزی برای شرکتِ یکی از دوستان من بود. من تمام رزومه هارو ارسال کردم ولی طبیعتا از مصاحبه و ... خبری ندارم. اما چون تعداد نسبتا بالا بود قطعا نمیرسن با همه مصاحبه کنن.

۳_ احتمالا در آینده نزدیک همچین مواردی برای بازار مالی (FX) و ماشین لرنینگ در تیم خودمون بخوایم.

ML-based Forex Trading System

قصد دارم در یکسری پست تخصصی درباره سیستم پیشبینی و تریدینگ در فارکس بر مبنای Machine Learning مواردی رو بگم. چند نکته:

0- اینجا یکی از تپه‌های درآمد دلاری و رویافروشی نیست! در مورد فارکس تا دلتون بخواد دوره فروش و دروغ و کلاه برداری و ... زیاد هست. اما اینجا رویکرد ما علمی و کاربردی خواهد بود.

1- اینجا آموزش‌های basic که همه جا بهترش هست گفته نمیشه پس فقط موارد تخصصی در این حوزه خاص بررسی میشن. بنابراین فرض بر این هست که شما به طور کلی یا با Machine Learning و Forex آشنایی دارید و یا اگر آشنا نیستید از جایی مثل chatGPT مفاهیمی رو که متوجه نمی‌شید بپرسید. برای مثال مفاهیمی مثل precision و overfitting در ماشین لرنینگ یا pip و lot در فارکس.

2- در صورت عدم آشنایی با ماشین لرنینگ، پایتون، مهندسی نرم‌افزار و یا بازار مالی نیاز نیست نگران باشید. چون اولا مفاهیم رو میتونید با کمک chatGPT آشنا شید و ثانیا منابع و کورس‌هایی برای این حوزه‌ها معرفی خواهند شد.

3- هدف در نهایت اصلا این نیست که شما لزوما بخواید با همچین سیستمی پول دربیارید. برای پول درآوردن شما به سیستم خیلی دقیقی نیاز دارید که ساختنش زمان بره و احتمال زیاد تیم متخصص میخواد. البته در این بازارها سرمایه‌گذاری و جریان مالی خیلی بزرگی وجود داره و شما میتونید به یک شرکت یا سرمایه‌گذار خوب وصل بشید و سیستم‌های اونارو (که اصلا به پیشبینی قیمتی محدود نمیشه) بهینه‌تر کنید.

4- از ابزار گرفته تا زمینه‌های تحقیقاتی مورد بحث قرار میگیره. احتمالا بعضی موارد در قالب ویس یا ویدئو صحبت بشن که مهمان‌هایی برای بحث‌ها هم خواهیم داشت.
#ML_Forex

@deeptimeai