شبکه KAN که توسط محققین MIT و Caltech معرفی شده به نظرم یکی از پیشرفت‌های جالب در مدل‌سازی یادگیری ماشین هست که بر اساس تئوری Kolomogorov-Arnold و به عنوان جایگزینی برای شبکه عصبی مرسوم (MLP) معرفی شده. تصویر رو ببینید.

ایده اساسی: آپدیت قسمت غیرخطی مدل‌ها یعنی activation function هست که قبلا در طول یادگیری ثابت بود و بجای اون وزن‌ها (بخش خطی) آپدیت میشدن. ضمنا شبکه KAN قابلیت تفسیر پذیری داره که با شکل‌های خوبی نشون داده شده در مقاله و گیتهاب.

در یادگیری بسیار قدرتمند تر عمل کرده نسبت به MLP که میتونید در گیتهاب ببینید. کمی باید در آینده سرعت آموزشش رو افزایش بدن.

Github
Paper

@deeptimeai

گزارشی از سری ویدیوهای آموزشی یادگیری عمیق


در گذشته، قصدم را برای ارائه مجموعه‌ای از ویدیوهای آموزشی یادگیری عمیق اعلام کرده بودم.


امروز، اعلام می‌کنم که ۲۲ ویدیو به پلی‌لیست یوتیوبم اضافه شده‌اند که در مجموع بیش از ۶ ساعت محتوای ویدیویی را تشکیل می‌دهند.

شاید ندانید که چقدر فرآیند تولید ویدیو دشوار است، اما آنچه می‌بینید، تنها بخش کوچکی از این فرآیند است. اغراق نمی‌کنم اگر بگویم که برای ضبط فقط این ۲۲ ویدیو، بیش از ۱۰۰ ساعت زمان صرف کرده‌ام.


همان‌طور که قبلاً قول داده بودم، هدف این سری از آموزش‌ها، ضبط بیش از ۱۰۰ ویدیوی باکیفیت است تا مجموعه‌ای ماندگار برای شما ارائه دهم.

این دوره آموزشی، هم مباحث نظری یادگیری عمیق را پوشش می‌دهد و هم با پروژه‌های عملی، شما را در پیاده‌سازی همراهی می‌کند. تمامی اسلایدها و کدهای پروژه‌ها در گیت‌هاب منتشر شده‌اند تا بتوانید همزمان با تماشای ویدیوها، کدها را نیز اجرا کنید.

@golemcourse

بعد از بیتکوین و اتریوم که سال‌ها قبل برای سرمایه‌گذاری خریدم و اکثرا نگه داشتم، حالا بسیار TON که کوین تلگرام هست رو خوشم اومده و چند ماه قبل در قیمت پایین خریدم. در واقع زمانی کوین رو خریدم که خبر اومد تلگرام قصد داره نیمی از پاداش تبلیغات در هر کانال بالای هزار نفر رو به ادمین کانال‌ها بده و اصولا تبلیغات رو بیشتر فعال کنه (در پرانتز بگم که پاداش تبلیغات برای کانال‌های کوچک مثل اینجا که واقعا عایدی نداره و بیشتر شاید مزاحم اعضای کانال باشه. ضمنا من نمیتونم تبلیغات رو ببینم یا حذف کنم. تا سطح ۵۰ boosting دسترسی برای خاموش کردن تبلیغات نیست) البته دلیل خرید TON برای من فقط این خبر نبود بلکه عقبه تلگرام و سطح کیفیت بالای تلگرام در انواع سرویس‌ها در این سال‌ها بود.

اما علت اینکه در قیمت بالا نفروختم و احتمالا اگر حتی قیمت ریزش شدید کنه هم hold میکنم، نحوه مدیریت تلگرام و زندگی بنیان‌گذار، مدیرعامل و تنها سهامدار تلگرام آقای پاول دوروف هست. کافیه مصاحبه اخیر Pavel Durov رو ببینید. کل تلگرام رو فقط و فقط ۳۰ نفر آدم (گلادیاتور) میچرخونن و نحوه استخدام جالبی هم دارن. این شخص به معنای واقعی آزادی خواه هست و باید صحبت‌هاش خصوصا زیر بار زور نرفتن و ترک از روسیه رو بشنوید. وقتی هم اسم کوین The Open Network هست واقعا باید به Open بودنش ایمان داشت. حتما مصاحبه رو ببینید.

پ.ن: این به هیچ عنوان توصیه به خرید و فروش یا سرمایه‌گذاری نیست. پیچیدگی‌ها و نوسانات بازارهای مالی بالاست و باید با اطلاعات کامل انجام بشه.

پ.ن ۲: زمانی که کلاب‌هاوس مد شده بود میگفتم که این قابلیت در تلگرام هم هست و خوب اون زمان خیلی کسی گوش نکرد ولی کلاب‌هاوس تقریبا کنار رفته و تلگرام همچنان هست و لایو برگزار میشه در کانال‌ها. چند بار هم اینجا لایو رفتیم در تلگرام اما بعد از اینکه WARP از کار افتاد متأسفانه دیگه اینترنت فیلتری ایران پایدار نبود در حالی که چند مهمان عالی دیگه رو هماهنگ کرده بودم با مباحث جالب.

@deeptimeai

آقای Jim Simons کبیر هم درگذشت. یک از مهم‌ترین چهره‌های Quantitative Finance که در دهه ۸۰ میلادی و در ۴۰ سالگی، یک hedge fund میلیارد دلاری رو با معاملات الگوریتیمی بر مبنای ریاضی و هوش مصنوعی ساخت. آقای سایمنز الهام‌بخش افراد زیادی در این حوزه بود و هست. ریاضی‌دانی از MIT که بعد از ساخت امپراطوریش در بازار سرمایه بنیاد سایمنز هم بنیان‌گذاری کرد تا به پژوهش‌های مختلف به مقدار زیاد کمک مالی کنه.

بخاطر موفقیت طولانی مدت در سرمایه‌گذاری وال استریت و صندوق Medallion، سایمنز به عنوان موفق‌ترین مدیر صندوق تاریخ شناخته شده. از مصاحبه‌هاش میتونید تفکر و نحوه مدیریت در Renaissance رو ببینید.

@deeptimeai

یک منبع خوب برای ایده‌های هوش مصنوعی و کوئانت فایننس که توسط یک استاد از اسپانیا نوشته میشه:
Weekly quantitative investment research ideas applying the latest Machine Learning techniques. Your free source of quant investment ideas, directly from the best academic papers.

The AI Finance Frontier

@deeptimeai

نقشه راه Andrej Karpathy برای اینکه بتونیم مثل خودش یک GPT رو با زبان C و CUDA به صورت Parallel بنویسیم (llm.c) و البته CUDA و Parallel Programming هم یاد بگیریم:

۱_ کتاب Programming Massively Parallel Processors: A Hands-on Approach
که ویرایش چهارمش هم میتونید در اینترنت پیدا کنید.

۲_ بلاگ
How to Optimize a CUDA Matmul Kernel for cuBLAS-like Performance: a Worklog

@deeptimeai

آقای نیما شهبازی که جایزه 1 میلیون دلاری پیشبینی مارکت با ماشین لرنینگ هم برده بود اخیرا کد راه حل برنده مسابقه اخیر Optiver رو ارائه کرده. مدل ترکیبی از شبکه عصبی، بوستینگ بر مبنای درخت و CNN یک بعدی هست. کد در حالت نوتبوک هست و ایده‌های جالبی داره.
Full winning solution
چند سال قبل هم یک مسابقه دیگه از Optiver رو تو کانال گذاشته بودم. به نظر در این زمینه زیاد مسابقه برگزار میکنن.
@deeptimeai

مقالات Medium از Valeriy Manokhin کاملا رایگان شدن که مطالب خوبی داره برای مثال این پست به درستی مواردی رو گفته:

10 Red Flags in Hiring Data Scientists

درباره مورد چهارم (انتخاب معیار Forecasting) فرضا نباید به هیچ عنوان از معیار MAPE استفاده بشه. این ویدئو در این مورد رو ببینید.

@deeptimeai

از این مسابقه 3000 دلاری پیشبینی کریپتو هشت روز باقی مونده. اگر دوست داشتین شرکت کنید و برای هم‌تیمی پیدا کردن بخش کامنت رو فعال می‌کنم. هدف از مسابقه در درجه اول یادگیری و بکارگیری ابزار و فان هست. Ensemble فراموش نشه

@deeptimeai

از قبل قرار بود درباره عوامل رشد و یادگیری مطلبی بنویسم. البته این زمینه پست‌هارو من در بهترین حالت از منابع معتبر گردآوری و به سبک خودم بازگو میکنم چرا که در حیطه تخصصی من نیست.
مشخصا وقتی دسترسی به دانش و منابع یادگیری تقریبا برای همه فراهم است، رقابت اساسی بر روی نحوه یادگیری و رشد ایجاد می‌شود. البته شدیدا معتقدم قبل از این موارد، باید مسائل مربوط به تمرکز و اهمال‌کاری رو حل کرد.

اولین ابزار در واقع ذهنیتی هست به نام Just Do It Mentality که حرفش سادست: از گود ناآگاهی در مفاهیم یا حوزه‌ها نترسید و وارد گود شوید. استعدادها و علایق (حتی نیمه گمشده!) ذاتی نیستند و ساخته می‌شوند. جرئت کن و به عمق برو.

اثری به نام Matthew Effect در رشد سریع و تغییر لیگ شما تاثیر دارد: افراد وقتی فکر کنند در چیزی داناتر هستند و جلوتر هستند، انگیزه می‌گیرند، پس باز هم جلوتر می‌روند و دانا و داناتر می‌شوند. برای همین فرضا اگر دانشجویی در زبان انگلیسی قوی باشد، این یک Matthew Effect برای او ایجاد میکند. شما باید به این سوال جواب بدید که چه موردی میتونه براتون این اثر رو ایجاد کنه یا قبلا چه مواردی این تاثیر رو گذاشتن.

مورد بعدی بسیار جالب است: Being Bored. خسته شدن چیز خوبی است به شرطی که تفسیر ما از این موضوع درست باشد. چرا که اصولا خسته شدن، نامیدی و افسردگی در واقع مکانیزم‌های بقایی برای تغییر و کشف راه‌های جدید است. حتی حیوانات گاها این احساسات را تجربه می‌کنند تا از راه جدیدی به دنبال غذا و شکار بروند.

باقی موارد مثل اثر محیط و Deliberative Practice در پست‌ بعد بحث میشن.

@deeptimeai

#موقت
در سکانسی از فیلم "پول رو بردار و فرار کن" از اولین ساخته‌های وودی آلن، دو دسته سارق مسلح بدون هماهنگی باهم و از روی اتفاق با فاصله زمانی وارد بانکی می‌شوند. هر کدام از این دو گروه سارق حق خود می‌دانند که بانک و مشتریان را غارت کنند. در نهایت مجبور می‌شوند که این مشکل را به رای عمومی بگذارند و گروگان‌ها خودشان انتخاب کنند که کدام گروه از سارقان آن‌ها را چپاول کنند.

احتمال اینکه ۴ عدد همزمان ضریبی از ۳ باشن چند درصد است؟ به عنوان نمونه اعداد رأی‌ نهایی رو در نظر بگیرید.

عدد ۱: ۱۰.۴۱۵.۹۹۱
عدد ۲: ۹.۴۷۳.۲۹۸
عدد ۳: ۳.۳۸۳.۳۴۰
عدد ۴: ۲۰۶.۳۹۷

جواب با آمار دبیرستان:
(1/3)^4 = 0.012 ~ 1.2%

دنیای ریاضیات جای سوتی دادن نیس

پ.ن: این رابطه رو من کشف نکردم، بعضی توییت‌ها و خبرگزاری‌ها اعلام کردن. من صرفا چک کردم و احتمال رو حساب کردم

یک نفر در Stackoverflow سوال کرده بود "چطور میشه گپ بین دقت داده train و test رو در مدل‌های Machine Learning حل کرد"؟ سوال برای یک مسئله سری زمانی بود. اول با خودم گفتم آقا خسته نباشی ملت صبح و شب در تلاش برای همین کار هستن تا هوش مصنوعی بهتر یاد بگیره. اما خوب تصمیم گرفتم به سوالش جواب بدم و حتی vote منفی سوالش رو که بقیه داده بودن خنثی کردم. روند توسعه مدل Machine Learning خیلی اوقات خوب انجام نمیشه و موارد پایه‌ای دیتاساینس و ماشین لرن رعایت نمیشه. مواردی مثل مانیتور کردن bias variance، شروع با مدل ساده و ارتقا با توجه به بایاس واریانس، experiment tracking و MLOps , بعضی روش‌های Advanced رو در 8 مورد نوشتم.
پ.ن: تمامی LLM ها و چت جی پی تی از منابعی مثل Stackoverflow کار و ریزه کاری کدزنی رو یاد گرفتن و باهوش شدن. پس مشارکت در Stackoverflow فراموش نشه.
آپدیت: یک مشارکت کننده رده بالا اومد گفت آقا چرا همچین سوالی رو جواب دادی و این سوال افزایش پرفورمنس در model dev هست نه سوال برنامه نویسی و اینجا off topic محسوب میشه. منم گفتم آره طرف باید این سوال رو در کامیونیتی مثل Cross Validated میپرسید (از زیرمجموعه های stackexchange هست اگر ندیدین حتما سر بزنید). اما طرف خوشش نیومد در کل و یک رای منفی هم داد و رفت! اما قصد نوشتن اون مطلب بود که اینجا میارم کاملش رو
@deeptimeai

In theory, the gap between train and test sets' error can not be less than what is called Bayes error, which is sometimes equivalent to human-level intelligence/error in fields where human natural perception is high (such as NLP and Vision). However, in Time Series, it is difficult to predict how far we can minimize this gap. The following steps are what I suggest and they are all basically about using model's bias & variance in each experiment and then use some techniques to improve the model:

0. Use an experiment tracking tool: Start by organizing all your experiments using MLOps tools such as WandB and MLflow that let you log metadata (such as cross-validation results) and save models as artifacts. I prefer Weights&Biases which lets you do multiple experiments using Sweep and Grid Search or Bayesian Optimization to maximize a defined metric on your cross-validation for HPO. Note: Do not waste your time by overly tuning the models' parameters when doing HPO. It is wise to work on data centric approaches instead

1. Start with simple models: Avoid starting with irrelevant or overly complicated models. Begin with simple models and monitor their bias and variance. If you observe underfitting, you might want to use models that can capture non-linear relationships and work well with tabular time series data, such as Random Forest and XGBoost. Avoid jumping directly to complicated RNN models like LSTM, which were initially developed for NLP applications and have not performed well in time series competitions.

2. Address overfitting: Once you solve the underfitting problem, you may reach a model that can learn non-linear relationships in the training data. At this point, your model might exhibit high variance and overfitting on the training data. There are several ways to mitigate overfitting:

Add more training data or use data augmentation techniques. For example, a 2017 Kaggle winning solution for tabular data augmentation and representation learning used DAE. Regularization techniques: Apply L1 and L2 regularization (known as reg_lambda and reg_alpha in XGBoost) to penalize large weights and coefficients. Early stopping, Dropout, and Reduce Learning Rate on Plateau are other techniques commonly used for neural networks.

3. Use ensemble methods: Combine multiple models using techniques like soft voting.

4. Blending & stacking: Implement blending and stacking techniques to leverage the strengths of different models.

5. Advanced time series representations: Explore advanced methods such as signature kernels and wavelets to create better features and representations of your data.

6. Advanced tabular ML models: Look into new models like GRANDE, which combines the advantages of tree-based models and neural networks. Note that if you want to use models such as RF, XGB or GRANDE for time series problems you should do some shape transform first.

7. Improved time-series CV: You can use more advanced time-series Cross-Validation techniques like Embargo & Purge which usually used in quantitative finance.

@deeptimeai

از ابتدا انگلیسی نوشته شد و عوضش نکردم. سه مورد اول بیشترین اهمیت رو در روند توسعه یک مدل Machine Learning دارن. رایج ترین اشتباهات هم مربوط به انتخاب اولین مدل هست. در واقع مدل اول باید یک مدل ساده و مورد پذیرش در اون حوزه باشه و با مشاهده underfitting به مرور پیچیدگی اضافه میشه: مدل‌های دقیق‌تر یا پارامترهایی که پیچیدگی اضافه میکنن. مثلا اضافه کردن لایه در شبکه عصبی یا max_depth در tree-based models
مورد اول هم حتما به کارتون اضافه کنید. یادگیری mlflow یا wandb واقعا سادس اما مزیت بالایی برای سیستمی که میسازید داره.
بالا اشاره نکردم اما کالیبره کردن مدل‌ها با با روش‌های Uncertainty Quantification خیلی کمک کنندس. برای مثال Conformal Prediction در Classification کمک میکنه False Positive کمتری داشته باشید. در این مورد بیشتر مینویسم.

@deeptimeai

برای ارتقا سطح خودتون در هوش مصنوعی و نرم‌افزار پیشنهاد میکنم حتما کانال‌های دوست خوبم محمد عباسی رو دنبال کنید.

کانال Pyhints برای مباحث پایتون پیشرفته بسیار مفید هست. از اول شروع کنید مباحثش رو ببینید و کتابخوانی Fluent Python هم حتما دنبال کنید (لایو و یوتوب).

کانال هوش مصنوعی هم بسیار مفید هست برای مباحث روز و تکنینک‌های مهندسی در LLM‌ها و ... .

این expose شدن به کانال‌های تخصصی که مطالبش از تجربیات کار در بزرگترین شرکت‌های tech دنیا میاد یکی از اون موارد تنظیم محیط برای یادگیری و رشد هست.

در این پست مثلا درباره اهمیت زبان Rust در کنار پایتون در توسعه و سرعت LLM‌ها صحبت شده که میشه برای آینده سرمایه‌گذاری کرد و یاد گرفت. این مدل Moshi کلا توسط یک تیم ۸ نفره مهندس فرانسوی (این فرانسوی ها تو خونشونه، یان لکن و فرانس شوله هم فرانسوی هستن) در ۴ ماه بالا اومده و شبیه GPT 4o کار میکنه اما Open-Source.

به همین مطلب اضافه کنم که یک نفر اومده و یک سیستم micrograd و اینفرنس GPT-2 رو کامل با Rust پیاده کرده. کدهاش رو میتونید ببینید.
Link

کلا هم بحث مشتق‌پذیر کردن ماتریس و اعداد هست که Pytorch هم دقیقا کارش همین هست و در این باره این پست هم از همین فرد جالبه که میاد سعی میکنه این فرآیند‌های Pytorch رو از اول بنویسه که بعدش تونسته روی Rust پیاده کنه.

ادامه بحث درباره عوامل رشد، یادگیری و پروداکتیویتی:
فرض کنید به رغم تلاش و اهتمام برای رشد و پیشرفت، موارد مطرح شده مثل Just Do It Mentality کمک چندانی به شما نکرد. در این حالت باید به سراغ بزرگترین یافته علوم شناختی رفت، یعنی

اثر محیط و شبکه ارتباطی یا Network & Environment:

بنابراین راه حل این چنین است: محیطت را عوض کن. احتمالا این جمله‌ی "ما میانگین چند نفر آدم نزدیکمان هستیم" درست ترین جمله کلیشه‌ای باشد اما حالا در عصر حاضر یک نکته بسیار مهم وجود دارد: این چند نفر اطراف ما لزوما دوستان یا نزدیکان فیزیکی ما نیستند. کامیونیتی‌ها، شبکه افراد، فروم‌ها، توییتر، پادکست‌ها و یوتوب و لایوها همگی می‌توانند نقش همان چند نفر اطراف را بازی کنند. قبلا راه پیشرفت برای کسی که دانشگاه شریف می‌رفت هموارتر بود چرا که دانشگاه همین محیط و شبکه را ایجاد می‌کرد. اما حالا شما اگر دانشگاه آزاد و پیام نور هم باشید ولی صبح و شب توییتر و یوتیوب آندره کارپاثی ببینید انگار او همان فرد نزدیک شماست و حالا شما در حد بالاترین سطح دانشگاهی و صنعتی محیطی غنی و پیش‌برنده دارید. تاثیر محیط انقدر بالاست که اگر دیدید کیفیتی در زندگی شما بالا و پایین شده ابتدا در تغییرات محیطی (مجازی و فیزیکی) دنبال جواب باشید. یک موسیقی خوب هم محیط خوبی ایجاد میکند و حال و هوا را عوض می‌کند.

فرآیند Deliberative Practice یا Deliberative Thinking:

تمرین تامل‌گونه یعنی یادگیری با فیدبک گرفتن از کارکرد خودمان و به دنبال آن بهینه کردن راندمان. باید ببینیم چه عواملی برای شخص ما اثر بالا روی راندمان دارد و سعی کنیم آن موارد را به عنوان یک بخش مهم خودشناسی بشناسیم و بهینه کنیم. اصولا هیچ سبک یادگیری بهینه کلی وجود ندارد مثلا روزی فلان ساعت از ساعت فلان و ... و این سبک یادگیری خاصِ هر فرد کشف می‌شود‌.

در این پست نسبتا قدیمی هم درباره اثر محیط و همچنین Redundancy نوشتم که به نوعی این بحث را تکمیل می‌کند.

حدود 9 ماه قبل بعد از سختی‌های پروژه بورس تهران به دلیل حجم پایین، یک طرفه بودن بازار و قوانین و دستکاری‌ها و ...، پروژه Tradeset برای بازار فارکس و کریپتو استارت خورد و ما الان مدل‌های ماشین لرنینگ USDJPY رو برای فارکس رو حالت کاملا اتومات گذاشتیم برای paper trading. در چند هفته اول به طور میانگین روی 5 الی 10 درصد سود بودیم و از swap هم سود کردیم. البته مدل‌ها همچنان پر ریسک محسوب میشن و باید موارد بیشتری رو هم معامله کرد. اما آلفایی وجود داره و این برای ما کافیه. سرویس اصلی ما جدا از این tradeها هست و اصولا قرار بر hedge fund بودن نداشتیم. نسخه بتا هم بیش از یک ماه هست که لانچ شده و بالاست. یک پلتفرم برای ساخت یک سیستم ML-based trading . به دلایلی اعلام عمومی نکردیم و یکی از دلایل اصلی این بود که احتمالا بجای یک سرویس تخصصی برای متخصصین (مثلا data scientist ها) جامعه بیشتری رو هدف قرار بدیم و محصول رو high-level و ساده کنیم.
این مدت تجربیات و سختی‌های زیادی داشتیم اما از همه مهم ترش در طول این چند سال سربازی بوده و حالا بیشتر به مشکل نیروی انسانی خوردیم. این سربازی اجباری چقدر میخواد صدمه بزنه به نسل ما؟

استارتاپ ما همچنان مثل تمام این سال‌ها با bootstrapping و بدون سرمایه‌گذار پیش میره. البته حالا به دلیل نیاز به نیروی متخصص برای کار روی قسمت‌های مختلف این سیستم، آماده همکاری با سرمایه گذارها هستیم که خوشحال میشم در لینکدین استارتاپ یا لینکدین شخصی با افراد این حوزه آشنا بشیم و صحبت کنیم.

هوش مصنوعی که شی تشخیص میده یا کتاب‌ها و اینترنت رو حفظ میکنه یک طرف، هوش مصنوعی که بازار پیشبینی میکنه trade میزنه یک طرف دیگه. ادعای این رو ندارم که سیستم ما همیشه درست و بدون ریسک کار خواهد کرد یا نیازی به بهبود نداره اما ادعا میکنم که به طور کلی مسئله‌ای سخت تر از NLP و Computer Vision رو حل میکنه و دیدنش خیلی جذابه

نه آقا اینجا جای survivorship bias نیست که فقط در زمان سود بیایم جار بزنیم و روزی مثل امروز که مدل ضررده بوده چیزی نگیم.

اما چرا؟
علت در سیستم:
برای تست موارد فنی صرفا همین مدل که برای حالت long در USDJPY هست روی پروداکش قرار گرفته. مشکل چیه؟ در Algorithmic Trading نه تنها trade کردن تنها روی یک asset بسیار ریسک داره، بلکه اگر فقط یک حالت (long اینجا) باشه و حالت دیگه (short اینجا) نباشه ریسک بالاتر هم هست و این خودش یک بایاس اساسی هست. پس باید روی تعداد بالایی جفت ارز/کریپتو و در همه جهات trade کرد تا ضررده بودن یک یا چند مورد روی کل سیستم اثر نکنه.

علت در مدل long USDJPY:
این مدت با فیدبک‌های paper trading موارد متعددی رو به سیستم اضافه کردیم و قرار شده به پروداکشن اضافه بشن تا سوددهی تک مدل‌ها هم بالا برن.