Deep Time
3.78K subscribers
101 photos
10 videos
7 files
298 links
Machine Learning 💻 Quantitative Finance💲Time Series 📈 Artificial Intelligence 🤖Data Science 📚 Startup 🚀
Download Telegram
حتما این رشته توییت را درباره Generalization و مفهوم Flat Minima ببینید.
بهینه ساز (optimizer) SGD ذاتا به دنبال flat minima میره و ازین نظر generalization بهتری نسبت به Adam داره. ولی دقیق به flat minima نمیرسه که خوب بهینه ساز هایی مثل SAM و SWA ساخته شدن جدیدا. بهینه ساز SWA خیلی قدرتمند عمل کرده و به صورت رسمی در Pytorch نسخه 1.6 وجود داره.

#generalization
👍1
Forwarded from Golem Course
Stop_Starting_Start_Finishing_Justin.pdf
785.2 KB
کتاب شروع کردن را متوقف کنید، تمام کردن را شروع کنید:
این کتاب توسط خانم ریحانه جعفری ترجمه شده است و ترجمه خوبی هم دارد و برای هر فردی که می‌خواهد کارهای خود را مدیریت کند مناسب است.

محتوا
کتاب خیلی کم حجم است و روش کانبان را به ساده‌ترین شکل آموزش می‌دهد. ایده اصلی کانبان این است که حجم کار در جریان را محدود کنیم. یعنی هر فرد به صورت همزمان فقط روی تعداد محدودی از کارها تمرکز کند و تا زمانی که آن‌ کارها تمام نشده است حق شروع کار جدیدی ندارد.

در کانبان کارها را معمولا به سه دسته انجام شده، در حال انجام و باید انجام بشود تقسیم بندی می‌کنند. به طوری که کارهای در حال انجام ظرفیت محدودی دارد (مثلا ۵ تا). از این روش در مدیریت پروژه در شرکت‌های نرم‌افزاری بسیار استفاده می‌شود.

جمع‌بندی
خواندن کتاب نیم ساعت هم وقت نمی‌گیرد اما هم اطلاعات ارزشمندی در اختیارتان قرار می‌دهد و هم نوع نگارش آن جذاب است.
👍1
Deep Time
First session YouTube Kaggle Notebook
کمی عمیق بشیم روی نکات این جلسات.
عیب اصلی stationary کردن در Time Series چیست؟
Final Results
63%
Information loss
21%
Scaling problems
17%
Doesn't compatible with ETS models
0%
It has no disadvantage
This media is not supported in your browser
VIEW IN TELEGRAM
فاکتور Freak Out چیست؟
از زبان Andrew W.Lo استاد فایننس دانشگاه MIT
وقتی بازارها شرایط بحرانی پیدا می‌کنند، سرمایه‌گذاران زیادی پولشان را نقد می‌کنند. اما آیا این به نفعشان است؟

تصمیم اشتباه:
1_ خارج نشدن به موقع از بازار وقتی شرایط بحرانیست.
2_ خیلی مهم تر: بازنگشتن به بازار و نگه داشتن پول نقد.
به خط آبی در هر دو نمودار نگاه کنید.

تصمیم درست:
1_ خروج سریع از بازار وقتی شرایط واقعا بحرانی است. مثال: مرداد 99 در بورس. همه چیز گویا بود که دولت برای جبران کسری بودجه و نفت نفروختن، بازار را باد کرده بود. و بعد همه چیز قرمز.
2_ برگشت به بازار وقتی شرایط مناسب است. مثال: در حال حاظر خیلی از سهام شرکت های خوب در بورس ایران به دید سرمایه گذاری ارزشمند هستند و زیر قیمت. گرچه با این حد از دخالت حکومتی و قوانین بد، بازارهای جهانی امن تر هستند.

این پژوهش روی 650000 پرتفو از سال 2003 تا 2015 انجام شده.
ارائه مربوط به سال 2019 است ولی مقاله 10 روز پیش در The Journal of Financial Data Science چاپ شده.

PDF: When Do Investors Freak Out? Machine Learning Predictions of Panic Selling

@deeptimeai
Deep Time
فاکتور Freak Out چیست؟ از زبان Andrew W.Lo استاد فایننس دانشگاه MIT وقتی بازارها شرایط بحرانی پیدا می‌کنند، سرمایه‌گذاران زیادی پولشان را نقد می‌کنند. اما آیا این به نفعشان است؟ تصمیم اشتباه: 1_ خارج نشدن به موقع از بازار وقتی شرایط بحرانیست. 2_ خیلی مهم…
#تجربه_شخصی

یکی از بهترین تصمیمات سرمایه گذاریم این بود که تابستان ۱۳۹۹ در بهترین روز های بورس (یا شاید اوج جنایت دولت)، سهام فروختم و بیتکوین (با قیمت وقت ۱۰۰۰۰ دلار) و اتریم (با قیمت وقت ۵۰۰ دلار) خریدم.
در حال حاظر بیتکوین ۴۲۰۰۰ دلار و اتریم ۲۸۰۰ دلار است.


این روز ها هم به نظرم همه چیز در کشور گران شده است، جز سهام شرکت های بورسی. سهامی از بورس ایران با p/e پایین و ارزش بنیادی بالا که زیر قیمت هستند می‌توانند به عنوان بخشی از سبد سرمایه‌گذاری بررسی شوند.

عامه مردم همیشه دیر به روندهای شارپ بازارها وارد می‌شوند.
👍1
Deep Time
آیا نیاز هست که حتما از حفظ کردن داده‌های آموزشی و overfitting دوری کنیم تا یادگیری واقعی و generalization به وجود بیاد؟ بخش اول احتمالا یکی از مهم ترین مقالات هوش مصنوعی که اخیرا منتشر شده، مقاله OpenAI در مورد پدیده Grokking باشه. قابلیت تعمیم یا generalization…
آیا نیاز هست که حتما از حفظ کردن داده‌های آموزشی و overfitting دوری کنیم تا یادگیری واقعی و generalization به وجود بیاد؟

بخش دوم

هدف از این نوشته‌ها این است که به تحقیقاتی اشاره کنیم که بعضی باورهای رایج در مورد deep learning را به چالش میکشد و راه حل متفاوتی ارائه می‌دهد. یکی از تلاش های مهم دانشمندان برای پدید آوردن "هوش مصنوعی جامع" در ده ها سال اخیر، توسعه مدل‌های پردازش زبان طبیعی بوده است، چرا که زبان یک خواستگاه (یا نمایش) اساسی از هوش انسان است.

تحقیقات نشان می‌د‌هند مدل‌های معروف NLP مثل BERT و RoBERTa می‌توانند محل تولد یک شخص معروف یا نام صاحب یک شرکت رسانه‌ای را به خاطر بسپارند. اما این اطلاعات به صورت abstract و ضمنی (غیر صریح) در قالب وزن‌ها و پارامترهای شبکه وجود دارند. اما آیا این روش برای به خاطر سپردن اطلاعات بهینه است؟ از طرفی اگر نیاز به اطلاعات بیشتری باشد به شبکه‌ای به مراتب بزرگ تر نیاز است، در حالی که این شبکه‌ها در حالت عادی هم بسیار بسیار سنگین هستند. همچنین در این مدل‌ها تعیین اینکه چه دانشی وجود دارد و در کجا ذخیره شده است بسیار سخت است.

بنابراین سوالی که مطرح شد این بود که آیا بهتر نیست مدل‌ها اطلاعات را حفظ کنند؟ یعنی برخلاف روش ضمنی، اطلاعات به صورت صریح برای مدال های زبانی حفظ شوند؟
این سوالات منجر به توسعه مدل REALM: Retrieval-Augmented Language Model Pre-Training توسط تیم GoogleAI شد. این مدل بجای اجبار برای حفظ کردن تمام دانش در پارامترها، دانش را را از متون و مستندات خام به صورت صریح بازیابی می‌کند. دقت کنید که این مدل به منظور Pre-Training، که یکی از مهم ترین قسمت‌های توسعه مدل‌های پردازش زبان است، به کار گرفته می‌شود.

اما مغز انسان چگونه یاد میگیرد؟ آیا همه یادگیری، یادگیری به صورت قوانین abstract است؟ یا حفظ و بازیابی برخی اطلاعات و دانش نیز در هوش نقش اساسی داشته است؟ سهم هر یک از این دو چگونه است و چه مکانیزیمی وجود دارد؟

@deeptimeai
1
FourCastNet: A Global Data-driven High-resolution Weather Model using Adaptive Fourier Neural Operators abs: https://arxiv.org/abs/2202.11214
👍1
خیلی جالبه که ببینیم برنده جایزه Quant سال از چه تکنولوژی برای JP Morgan استفاده کرده تا این سیستم قدرتمند رو توسعه داده؟
از ابزاری که پاتریک کیدگر و کریسوفر سلوی و استادشون تری لایونز در موسسه تورنگ دانشگاه آکسفورد برای دینامیک‌های سنگین سری زمانی با تئوری ریاضیRough Path و روش Signature توسعه دادن.

اولین پست این کانال هم از پاتریک کیدگر هست.

برای بهینه‌سازی از Reinforcement Learning استفاده شده اما نکته اساسی در تولید و شبیه سازی داده توسط signature kernel بوده.

این روش اصلی بوده که البته در این لینک به اون اشاره نشده و یکی از محققین آکسفورد درباره این همکاری توییت کرده بود:
Signatures + VAE = generative model for time series

از بالاترین حقوق‌ها در هج فاند های بزرگ برای افرادی هست که بتونن با رو‌ش‌های ریاضی داده زمانی مالی تولید کنن‌. برای بالابردن دقت شبیه‌سازی‌ها و تولید سناریو‌های دقیق برای سنجش ریسک پرتفو در آینده.
👍1
مهم: پیشرفت انقلابی تکنولوژی تولید انرژی پاک در همجوشی هسته‌ای با هوش مصنوعی (یادگیری تقویتی) توسط تیم DeepMind گوگل و دانشگاه EPFL

Post

Nature Paper: Magnetic control of tokamak plasmas through deep reinforcement learning
👍1
نسخه PDF و کدهای کتاب مورد انتظار مورفی، به طور رایگان در دسترس قرار گرفت.
Link

PDF

#DeepGenerativeModels #BayesianInference #Causality #ReinforcementLearning #DistributionShift, etc
👍1
آقای Ray Dalio موسس یکی از موفق ترین شرکت‌های سرمایه‌گذاری آمریکا، Bridgewater ،چند سالی هست محتوای بسیار ارزشمندی برای تحلیل، سرمایه‌گذاری و توسعه فردی/استارتاپی تولید میکنن (کتاب، کانال یوتوب و ...)

این ویدئو از ایشون دیروز منتشر شد که واقعا تحلیل جالبی از تغییرات روند قدرتی و ارز مبنا در دنیا انجام داده.
جدا از اون کیفیت محتوا خییلی خوبه
👍1
#فراخوان
مسابقه Optimizer2022


◀️مسابقه Optimizer !هر سال با تمرکز بر موضوع بهینه‌سازی توسط آزمایشگاه SOAL در هسته پژوهشی بهینه‌سازی و کاربردهای دانشکده علوم ریاضی در دانشگاه صنعتی شریف برگزار می‌شود و توانایی تشکیل تیم مناسبی که بتواند از جنبه‌های مختلف علمی، نظیر دانش نظری، طراحی الگوریتم و توسعه نرم‌افزار با هم‌افزایی و هماهنگی مناسب در این مسابقه به موفقیت دست یابد، از جنبه‌های کلیدی در این مسابقه است. این مسابقه در مرزهای علم بهینه‌سازی و معمولا با نگاه خاص به کاربردها برگزار می‌شود.
📆زمان برگزاری: مرداد ماه ۱۴۰۱


برای مشاهده اطلاعات بیشتر به وبسایت مسابقه مراجعه کنید.
http://optimizer.math.sharif.edu


🆔@sharif_prm
Audio
همه چیز را همگان دانند! اما با کمی بلاکچین و ماشین لرنینگ

داستان شرکتی که یکی از بهترین ترکیب‌هارو از دو تکنولوژی بلاکچین (قرارداد هوشمند) و هوش مصنوعی ساخته تا بازار سهام رو پیشبینی کنه.


تو این پست در این مورد صحبت میکنیم که شرکت Numer.ai که اخیرا بسیار رشد کرده، چطور از قرارداد هوشمند بر مبنای staking و مفهوم پوست در بازی (skin in the game) در کنار هوش مصنوعی و کامیونیتی استفاده کرده تا انقلابی در شرکت‌های سرمایه‌گذاری و پیشبینی بازار سهام بوجود بیاره.

@deeptimeai