آیا ارزش داره مسابقات Kaggle شرکت کنیم؟
این مسئله از نظر شغلی (برای مثال پیدا کردن شغل در کمپانی‌های بزرگ مثل گوگل و انودیا) و مهارت در حوزه چقدر اهمیت داره؟
یک استاد Kaggle اینو توضیح میده.

@deeptimeai

#توصیه_به_استارتاپ‌ها
بحث پادالگوها

داشتن منتور باسواد و قوی برای هر استارتاپ حیاتیست. قطعا یکی از بهترین منتور‌های استارتاپ‌ ما، دوست خوبم آقای علیرضا آقامحمدی (استاد مدعو دانشکده کامپیوتر دانشگاه شریف. کانال @golemcourse) هستند.
در یک جلسه ایشان بحث anti-patterns (پادالگوها) را برای ما روشن کرد. پادالگوها در واقع رویه‌ها و اعمالی هستند که گاها در طی ایجاد نرم‌افزار انجام می‌شوند اما انجام آنها بسیار اشتباه است و برای ایجاد نرم‌افزار مشکلات فراوانی به‌وجود می‌آورد.
پادالگوها در سه سطح ایجاد، معماری و مدیریت تعریف می‌شوند. علم به پادالگوها و روش‌های مقابله با آن برای مهندسین و مدیران یک استارتاپ بسیا مفید است.

مثال پادالگو سطح Development:
برای مثال بحث پادالگوی Lava Flow و راه حل آن به ما کمک کرد refactoring، بازنگری و مرور مکرر کد را جدی بگیریم و بین functionality کد و maintainability آن تمایز قائل باشیم. بحث refactoring و تمیز کردن کد در متودولوژی‌های چابک به شکل سخت‌گیرانه انجام می‌شود و این حاصل تجربه سال‌های سال ایجاد نرم‌افزار است. داشتن معماری درست مهم‌ترین راه حل برای جلوگیری از بوجود آمدن Dead Code و Lava Flow است. جلوگیری از همین پادالگو می‌تواند کیفیت سیستم و عملکرد تیم را بسیار افزایش دهد‌.

منبع خوبی که ایشان به من معرفی کردند، چند جلسه آخر از درس "الگو‌ها در مهندسی نرم افزار" دکتر رامان رامسین (هیئت علمی دانشکده مهندسی کامپیوتر دانشگاه شریف) است.‌ این درس در مقطع ارشد ارائه می‌شود.
توصیه میکنم چند جلسه آخر این درس که مربوط به پادالگوهاست را ببینید. می‌توانید سرعت ویدئو را روی ۱.۵ تنظیم کنید.
Ocw.sharif Link

@deeptimeai

🍀🍀🍀🍀

پرزنت فصل ۱۷ به استفاده ار مدلهای دیپ لرنینگ در ترید خواهد پرداخت 🌺🌺

زمان: دوشنبه ۱۶ خرداد ساعت ۲۰

Time: 6th June 2022

Topic: Deep Learning for Trading

لینک ورود زوم
Meeting ID: 899 2864 0090

لطفا با پسورد ۱۲۳۴۵ وارد شوید.

برای اطلاعات بیشتر به وبسایت مراجعه کنید.
Ml4trading.ir

لینک گروه:
https://xn--r1a.website/machinelearningnet
لینک کانال :
https://xn--r1a.website/machinelearningnet2
‎‌‏
————————————————————

لطفا دوستانتان را دعوت کنید...

امروز ساعت 20 در خدمت دوستان هستم
شبکه عصبی و دیپ لرنینگ رو از پایه صحبت میکنیم و کد میزنیم

نمونه یک کار Data Storytelling قوی برای تغییرات دمای کره زمین و تغییر اقلیم که در کانال انرژی هم اشتراک گذاشتم.
یک قسمت مهم دیتاساینس همین storytelling هست.

Credit NASA
The 'climate spiral' is a visualization designed by climate scientist Ed Hawkins from the National Centre for Atmospheric Science, University of Reading.

@deeptimeai

Time-series Transformer Generative Adversarial Networks

مقاله جالبی برای تولید داده مصنوعی سری زمانی که با ترنسفورمر انجام شده. مدل مشخصا طوری عمل میکنه که توزیع احتمالاتی و روابط پیچیده در داده ها حفظ شن.
کاربرد مهم این مدل‌ها در بازار مالی هست که همیشه نیاز به داده بیشتر برای یادگیری و شبیه سازی هاست که دیشب هم بحثش با آقای دکتر براک بود در جلسه ارائه کتاب.
دو مورد پست دیگه هم در این مورد داشتیم تو کانال اگر دوستان خاطرشون باشه.
این مقاله ادعا میکنه که از مدل‌های SOTA قبلی نتایج بهتری داره.
@deeptimeai

لینک‌های یوتوب و آپارات
در بخش اول جلسه من در مورد دیپ لرنینگ و شبکه عصبی عصبی مصنوعی حرف زدم. نحوه کار و یادگیری و حتی کد زنی از صفر (بدون کتابخونه کمکی) برای بالا آوردن یک شبکه عصبی بررسی شد و درباره مواردی از دیپ لرنینگ به اندازه وقتی که داشتیم صحبت شد.

در بخش دوم جلسه جناب آقای دکتر جماعت موارد پیاده‌سازی با کمک Keras رو بررسی کردن.

@deeptimeai

یک کار خیلی جالب دیدم که از روش کاهش ابعاد (بر اساس decomposition مقادیر ویژه، همون روشی که در PCA هست) در فرآیند آپدیت وزن‌ها استفاده کرده تا در Few-Shot Learning استفاده کنه. و خوب اتفاقی که افتاده عین PCA اون المان‌های اساسی استخراج شدن از گرادیان.
روند یادگیری خیلی بهینه تر شده. خصوصا مسیر رسیدن به نقطه مینیمم. اسم روش subGD هست.

ایده اصلی البته برای این کار دانشگاه استنفرد هست که به صورت کلی اومده درجه آزادی مورد نیاز برای آموزش یک شبکه عمیق رو بحث کرده. به این روش رسیده که باید از ماتریس autocorrelation مربوط به توالی مقادیر آپدیت وزن، مقادیر ویژه برای کاهش ابعاد استخراج بشه و بر این مبنا آپدیت وزن ها انجام بشه.
Link

@deeptimeai

دوره Machine Learning Specialization آقای Andrew Ng با همکاری دانشگاه استنفرد و Deeplearning.AI در Coursera با محتوای جدید اخیرا آپدیت شده.

این دوره برای شروع یاد گرفتن ماشین لرنینگ هم قطعا مناسبه و همچنین برای دوستانی که تجربه دارن مطالب جدید داره و میتونه برای سنجش دانش خوب باشه. بر خلاف Deep Learning Specialization، در این Specialization سرفصل‌هایی مثل XGBoost , Random Forest کاور شدن که برای دوستانی که روی داده‌های Tabular کار میکنن واجب هست. البته پایه Deep Learning یعنی شبکه عصبی و gradient decent هم تدریس میشه. همچنین در course سوم Deep Reinforcement Learning، روش‌های Unsupervised و Recommender Systems آورده شده.

برخلاف خیلی شرکت‌ها که ایرانی‌ها رو تحویل نمیگیرند، در کورسرا شما میتونید با ذکر اینکه برای پرداخت‌ها در ایران تحریم هستیم و ارزش پول پایینی داریم یا دانشجو هستیم، دوره رو کاملا برای خودتون رایگان کنید و مدرکش رو بگیرید. البته به نظرم اسم ایران رو نیارید ولی قطعا کلمه sanction یا تحریم رو در درخواست ذکر کنید. در واقع با درخواست financial aid بعد از 15 روز دوره برای شما رایگان باز میشه و 6 ماه فرصت دارید دوره رو بگذرونید. بهتره با فیلترشکن وارد سایت کورسرا بشید.
برای Specialization ها که شامل چند دوره هستند پیشنهاد میشه تک تک هر دوره رو بگذرونید و بعد دوره بعد رو درخواست بدید تا وقت کم نیارید و فرصت 6 ماهه بگذره. البته اگر هم از ددلاین 6 ماهه گذشت میتونید مجدد درخواست بدید. برای آشنایی با نحوه درخواست دادن برای رایگان شدنِ دوره، لینک رو ببینید.

با تجربه‌ای که شخصا از گذروندن 5 دوره Deep Learning Specialization دارم، مطمئنا دوره‌ها Machine Learning Specialization رو پیشنهاد میکنم. کیفیت تدریس بالاست و عمق الگوریتم و ریاضی مدل‌ها ارائه میشه و همچنین تکالیف کد نوشتن هم با کمک کتابخانه‌ها و هم از صفر وجود داره.

@deeptimeai

موسسه ریاضی دانشگاه آکسفورد یکی از قوی ترین موسسات در پیشبرد تحقیقات مربوط به سری زمانی هست. قبلا هم کارهایی از این موسسه که منجر به دریافت جایزه Quant در همکاری با JP Morgan در فعالیت های عظیم بازار مالی شده بود در کانال پست شد.
دوستانی که علاقه به هسته مباحث ریاضی و لبه علم در این حوزه دارن مقاله زیر رو بخونن.
Link
Github

@deeptimeai

این پست رو برای دوستانی که ازتون میپرسن (یا قبلا پرسیدن) ماشین لرنینگ (که بخشیش دیپ لرنینگ هست) و کد زنیش رو چطور استارت بزنیم بفرستید تا از یک منبع معتبر و با کیفیت شروع کنن. خوب البته کورس به زبان انگلیسی هست.

LSTM is Back!
لزوما مدل‌های جدید در هوش مصنوعی مدل‌های قوی تری نیستن و مدل‌های قدیمی رو منسوخ نمیکنن.

چند وقت پیش در یکی از گروه‌های یادگیری عمیق بحثی داشتیم که LSTM میتونه به صورت Bidirectional برای تصاویر از چپ به راست و بالا به پایین پردازش کنه و شاید نتایجش خوب بشه.
جدیدا مقاله‌ای اومده که دقیقا از BiLSTM به همین صورت برای Image Classification استفاده شده که نتایج از Vision Transformer ها که انقدر ترند شده بود بهتره.

مدل LSTM یا Long Short Term Memory یک شبکه یادگیری عمیق برای پردازش اطلاعات به صورت زمانی (توالی) هست.
Link

@deeptimeai

چشم انداز جدید پدرخوانده برای آینده هوش مصنوعی

چه مسیری هوش مصنوعی را به سطح هوش انسان نزدیک خواهد کرد و توانایی‌هایی مثل دلیل‌آوری شهودی و Common Sense را برای هوش مصنوعی فراهم می‌کند؟

مشکل اساسی هوش مصنوعی نداشتن یک مدل از دنیاست. این مشکل تحت عنوان Common Sense مطرح است. مدلی که کودک انسان و خیلی از حیوانات در دوران نوزادی یاد می‌گیرند و به آنها قدرت دلیل آوری برای وقایع را می‌دهد. مدلی از جهان که کودکان به واسطه آن تشخیص می‌دهند چه اتفاقی در این دنیای فیزیکی ممکن و چه اتفاقی ناممکن است. این توانایی در آخر به تشخیص و پیشبینی اتفاقات منجر می‌شود. توانایی که تا به حال هوش مصنوعی بدست نیاورده است.

اخیرا Yann LeCun، مدیر هوش مصنوعی Meta که به عنوان یکی از پدرخوانده‌های هوش مصنوعی شناخته می‌شود و بخاطر کارهاش در زمینه Deep Learning جایزه آلان تورینگ رو برنده شد، مسیر و چشم انداز جدیدی را برای آینده هوش مصنوعی ترسیم کرده و می‌گوید مواردی مثل شبیه‌سازی فرآیند‌های مغز انسان (که یکی از آنها پایه یادگیری عمیق بود) قبل از ظهور یادگیری عمیق مطرح بود اما بعد از شکوفایی یادگیری عمیق، این موارد فراموش شد. یان لکن معتقد است باید به آن ایده‌ها برگشت و بر خلاف روند‌های تحقیقاتی، آموزش مدل‌های سنگین NLP و یا حتی Reinforcement Learning راه حل و آینده هوش مصنوعی نیست.
مثال جالب یان لکن این است: کودک انسان (یا حیوان) در چند ماه اول نوزادی یاد می‌گیرد که اگر توپی به هوا پرتاب شود در آخر به زمین خواهد افتاد. یعنی درک از جاذبه را متوجه می‌شود‌. ولی کودک محل دقیق فرود آمدن توپ را نمی‌داند. در حالی که اگر این مسئله را به مدل‌های هوش مصنوعی کنونی بدهیم بیشتر به این جزئیات مثل محل فرود توپ توجه میکنند اما مدل فیزیکی جاذبه را نمی‌فهمند. یان لکن می‌گوید راه حل این است که یک Configurator در مدل‌های هوش مصنوعی وجود داشته باشد که کار آن تعیین سطح جزئیات مورد نیاز برا آموزش مدل اصلی باشد. چیزی که مغز انسان دارد. مهم نیست شبکه CNN بگوید توپ دقیقا کجا فرود می‌آید. مهم این است که مفهوم جاذبه را درک کند.
همچنین انسان متوجه می‌شود اگر یک شیء از صحنه خارج می‌شود ناپدید نشده. انسان مسیر حرکت را برای اشیا پیشبینی میکند. انسان تشخیص می‌دهد اگر صدایی از آشپزخانه بیاید احتمالا کسی یک قابلمه را انداخته چرا که این صدای قابلمه است. و در آخر انسان قادر است تکه های ناقصی از اطلاعات را به یکدیگر متصل کند و کلیات را متوجه شود.

این مدل از دنیا و بحث دلیل آوری شهودی موضوع اصلی مورد بحث در محافل هوش مصنوعی است. گرچه این مقاله مروری ديدگاه‌های بزرگان دیگری را نیز مطرح کرده که لزوما با دیدگاه یان لکن موافق نیستند. مقاله مروری (MIT Technology Reviews) بسیار جالب نوشته شده است و خواندن آن پیشنهاد می‌شود.

مقاله کامل Yann LeCun

@deeptimeai

این هم توضیح مقاله یان لکان برای دوستانی که وقت یا حوصله خوندن مقاله رو ندارن میشه تو یک ساعت ویدئوی توضیحات رو دید
YouTube Link

@deeptimeai

Self-Supervised Contrastive Pre-Training For Time Series via Time-Frequency Consistency

کار جدید محققین هاروارد روی پیش آموزش سری زمانی با استفاده از ثبات در فضای زمان-فرکانس

@deeptimeai

گاهی با اطلاعات کمتر یادگیری سریع‌تر و دقیق‌تر میشه!

با استفاده از Representation Learning اگر فقط 25 درصد از هر تصویر رو به هوش مصنوعی آموزش بدی:
1_ فرآیند آموزش 3 برابر سریع تر میشه
2_ عملکرد مدل بهبود پیدا میکنه

اخیرا Representation Learning در همه حوزه‌های ماشین لرنینگ بیشتر مورد توجه قرار گرفته. در کار جدیدی که محققین انجام دادن از Transformer برای بخشAuto-Encoder استفاده کردن. یعنی چی؟ یعنی بجای اینکه کل تصویر رو به عنوان ورودی به مدل بدیم برای آموزش، صرفا 25 درصد تصویر رو میدیم (باقی به صورت Masked). ورودی Auto-Encoder تصویر ناقص هست و باید بتونه تصویر اصلی رو در نهایت تولید کنه. و بعد در مسئله Classification لایه آخر Decoder برای Fine-Tuning برداشته میشه و لایه سافتمکس میذاریم. عملکرد در ImageNet از مدل‌هایی که در ورودی از ابتدا تصویر اصلی رو دیدن بالاتر شده. و البته مهم ترین مسئله اینکه آموزش 3 برابر سریع تر.
سوال: در سری زمانی و فایننس چه مطالبی درباره Representation Learning نوشتیم تو کانال؟

@deeptimeai

Practical Deep Learning for Coders v5

با اینکه دوره‌های زیادی در زمینه یادگیری ماشین گذروندم، نحوه تدریس هیچکدوم مثل Jeremy Howard بهم نچسپید. و خوب ایشون یکی از شناخته شده ترین دیتاساینتیست هاست که به کمپانی‌ها خیلی کمک کرده و از قهرمانان قدیم Kaggle هست و البته خالق اصلی کتابخانه محبوب FastAI که واقعا جالب کار کرده. یکی از اصلی ترین دلایل علاقم به کلاس‌هاش مثال‌های واقعی و راه حل‌هایی هست که میاره.

حالا دوره ایشون آپدیت شده و در 9 قسمت 90 دقیقه ‌ای به صورت رایگان هست بر اساس کتاب رایگان و محبوبش. دوره روی کاوش تعاملی تمرکز داره و مواردی مثل:
PyTorch,
Hugging Face,
DeBERTa,
ConvNeXt,
Gradio , ...
کاور شدن. با اینکه عنوان دوره یادگیری عمیق عملی هست جلسه ششم به Random Forest اختصاص داره که درستشم همینه.
احتمالا شهریور امسال در دانشگاه شریف یادگیری ماشین با پایتون تدریس کنم و الآن با وجود وقتی که ندارم شوق پیدا کردم دوره آپدیت شده رو کامل با سرعت بالا ببینم که اگر مطلب جالبی داشت (که قطعا داره) یادداشت کنم برای کلاس. پیشنهاد میکنم کمی ببینید از ویدئوها.

@deeptimeai

دوره سوم هم به Specialization اضافه شد. در دوره سوم مباحث زیر تدریس میشن:
Unsupervised Learning
Recommender Systems
Reinforcement Learning

نکته مهم این هست که شما این امکان رو دارید که این کورس‌های coursera رو جداگانه هم ثبت نام کنید یعنی نیاز نیست تمام ۳ دوره Specialization رو بگذرونید. به خصوص برای شروع Reinforcement Learning قطعا گزینه خوبی هست که این کورس سوم رو به همون شکلی که در پست قبل گفته شد درخواست بدید برای ثبت نام و به صورت رایگان بگذرونید.

توضیحی درباره یادگیری تقویتی و یک منبع

یک توضیح در مورد یادگیری تقویتی یا Reinforcement Learning بدم. کلا یادگیری ماشین به سه دسته الگوریتم کلی تقسیم میشه:
Supervised Learning
Unsupervised Learning
Reinforcement Learning (RL)
که یادگیری تقویتی اصولا مسئله خیلی سخت‌تری رو نسبت به دو الگوریتم قبلی حل میکنه. یادگیری تقویتی در واقع سعی میکنه "تصمیم گیری در یک توالی" یا Sequential Decision Making رو بهینه انجام بده. این با انجام یک پیشبینی در دسته بندی خیلی متفاوت هست و درجه سختی بالاتری داره. چرا؟ چون نه تنها باید یک پیشبینی از آینده و محیط وجود داشته باشه بلکه هر تصمیم عواقبی داره که پیچیدگی حل مسئله رو زیاد میکنه. البته Self-Supervised Learning هم درجه سختی بالایی داره (به نوعی ترکیب دو دسته الگوریتم اول) که آقای یان لکن روش کار میکنه.
اصولا هرجا دیدید میگن RL در صنعت جواب نمیده و ... سعی کنید انقدر راحت قبول نکنید چون اصولا RL در حال حل مسائلی به شدت سخت تر و نزدیک تر به هوش انسان هست. اینکه کاربردها در صنعت کم هست (که واقعا نیست! منبع پایین رو بخونید) نباید مارو از این الگوریتم جالب دور کنه.

اگر دوست دارید به صورت خیلی واضح با کاربردهای RL و الگوریتم‌های جدید Decision Making در مسائل واقعی و آکادمیک آشنا بشید، پیشنهاد میکنم پروفسور Warren Powell استاد پرینستون رو دنبال کنید. کتاب ایشون به صورت بنیادی بحث تصمیم گیری در توالی و عدم قطعیت رو بررسی میکنه و الگوریتم‌های RL رو معرفی و دسته بندی میکنه.
Reinforcement Learning and Stochastic Optimization: A Unified Framework for Sequential Decisions

این کتاب فراتر از RL هست و مباحث بهینه‌سازی و تصمیم گیری خیلی جامع و به صورت کاربردی بحث میشن.
در این ویدئو آقای Powell رو ببینید.

در مورد کاربرد RL در بازار مالی و سری زمانی در پست بعد توضیح میدم.

@deeptimeai

مطالبی که کمی عمیق ترند و در قالب ویس بحث شدند🎤💻📊📈

همه رکوردها را پیشبینی نکن! معرفی روش ۲ لایه مبتنی بر دیتاساینس در مدلسازی بازار مالی

همه چیز را همگان دانند اما با کمی بلاکچین و ماشین لرنینگ: معرفی ساختار پیشبینی بازار سهام توسط یکی از موفق ترین شرکت‌های سرمایه‌گذاری NumerAI

چند نکته از مسابقات ماشین لرنینگ برای پیشبینی بازار مالی

بررسی چند کلاهبرداری مرسوم و حرفه‌ای در بازارهای مالی

بررسی یک راه حل برنده مسابقه Kaggle: استفاده از representation learning برای tabular data

در مورد روابط بین متغیرها در سری زمانی و اینکه چرا همبستگی اکثر اوقات بدرد نخور است

بعضی روش‌های مدلسازی سری زمانی

@deeptimeai