در برنامه‌نویسی و دیتاساینس یکی از مهم ترین موارد برای بهینه کد نوشتن این است که از نوشتن حلقه پرهیز شود و اردر محاسباتی کم باشد. مواردی مثل انتخاب درست ساختار داده، حل ماتریسی، Broadcasting، استفاده از متدهای Pandas، متد هایی مثل rolling برای کار سری زمانی در Pandas و ... می‌تواند راه حل جایگزین حلقه باشد.

اما اگر محبور بودیم از حلقه استفاده کنیم سریع ترین راه حل چیست؟
فرض کنید یک دیتافریم با میلیون‌ها سطر و صدها ستون داریم و میخواهیم روی روی چند ستون کار کنیم و روی سطر ها حلقه بزنیم. در این حالت سریع‌ترین روش استفاده از zip است. به این شکل که آن چند ستون مد نظر به فرمت Numpy تبدیل شده و zip شوند و حلقه زده شود:

For c1, c2, c3 in zip(df.column1.to_numpy(), df.column2.to_numpy(), df.column3.to_numpy()):
...

این روش می‌تواند تا ۳۰۰ برابر سرعت حلقه زدن را نسبت به روش‌های معمول افزایش دهد.

#سریع_تر
@deeptimeai

https://xn--r1a.website/golemcourse

💰 می‌خواهید وارد بازار کار شوید؟
📕 می‌خواهید دانش و مهارت ضروری صنعت کامپیوتر را بلد باشید؟
🧠 عاشق یادگیری هستید؟

اگر پاسخ شما به سه سوال بالا منفی است، این کانال مناسب شما نیست!

لینک دسترسی به تمام ویدیو‌ها به صورت رایگان:

🥉 مسیر یادگیری و تقویت زبان انگلیسی

🎯 آموزش زبان انگلیسی: (۳۰:۳۷ ساعت - به اتمام رسیده)

🔗 https://www.youtube.com/playlist?list=PLnEg28Nx10WFfZIvLeAqWegVlPRc_twmL

==================
🥈مسیر برنامه‌نویس شدن:

🎯 دوره آموزشی پایتون: (۱۲:۳۴ ساعت - در حال ضبط)

🔗 https://www.youtube.com/playlist?list=PLnEg28Nx10WFuBHjDLlYEJ4JboPIp55Yr


🎯 دوره آموزشی گیت: (۴:۰۶ ساعت - به اتمام رسیده)

🔗 https://www.youtube.com/playlist?list=PLnEg28Nx10WFSSv9VK_sgrbMvqZTzgUKP

🎯 دوره تست نرم‌افزار با پایتون: (۱:۲۰ ساعت - به اتمام رسیده)

🔗 https://www.youtube.com/playlist?list=PLnEg28Nx10WH3aIJt3FytieIygLnvCxg0

==================

🥇 مسیر کار تیمی و ایجاد نرم‌افزار

🎯 دوره آموزشی اسکرام: (۲:۳۰ ساعت - به اتمام رسیده)

🔗 https://www.youtube.com/playlist?list=PLnEg28Nx10WHQdWRdMscMD49gd9QuYeMT


🎯 دوره مهندسی نیازمندی‌ها: (۴:۱۸ ساعت - به اتمام رسیده)

🔗 https://www.youtube.com/playlist?list=PLnEg28Nx10WHwY6vOlnFYAQWC-SYXl6Uy

🎯 دوره مدیریت پروژه: (۳:۱۶ ساعت - در حال ضبط)

🔗 https://www.youtube.com/playlist?list=PLnEg28Nx10WFS6QLqLvPtWouy1uQ05BZP

==================

معرفی کتاب صفر به یک

در خیلی از مصاحبه‌های لکس فریدمن با افراد برجسته شرکت‌های موفق و یا نوپای دنیا، احتمالا نام یک کتاب را در آخر پادکست از مصاحبه شونده می‌شنوید. این کتاب از یک دوره آموزشی در دانشگاه استنفرد برای استارتاپ‌ها که در سال ۲۰۱۲ برگزار شده، نشأت می‌گیرد.

یکی از مهم‌ترین کتاب‌های حوزه فناوری و کسب و کار که خصوصا برای استارتاپ‌ها اهمیت دارد، کتاب صفر به یک اثر پیتر تیل است‌.
پیتر تیل بنیانگذار PayPal و از اولین سرمایه‌گذاران فیسبوک، اسپیس اکس و بسیاری شرکت‌ دیگر است.

"تقلید از یک الگو آسانتر از خلق چیزی نو است. انجام دادن کاری که می‌دانیم چگونه آن را انجام دهیم، جهان را از 1 به n می‌برد و چیزی آشنا به آن خواهد افزود. اما هرگاه چیزی نو خلق می‌کنیم، از «صفر به یک» می‌رویم.
عمل خلق، منحصر به فرد است، همانند خلق کردن چیزی بااهمیت! و نتیجه چیزی تازه و غریب است."

هنوز کتاب را کامل مطالعه نکرده ام اما کتاب ته تنها بسیار آموزنده و جذاب است، بلکه نگاه بسیار جامع و دقیقی دارد‌‌.
@deeptimeai

"کتاب «صفر به یک» آنقدر بین کارآفرینان و استارتاپ‌ها محبوب است که مجله فوربز گفته که خواندن آن به شما احساس قدرت فرابشری می‌دهد. این کتاب از زمان انتشار همواره جزو پرفروش‌ترین کتاب‌های حوزه نوآوری، کارآفرینی و استارتاپ‌ها بوده است و در اغلب لیست‌های «کتاب‌هایی که حتما باید مطالعه کرد» قرار دارد."

متن از سایت نشر نوین

کار جالب MIT در پیشبینی Multivariate TimeSeries که نتایج بهتری در قیاس با مدل‌های قبلی و ماشین لرنینگ در مسائل مختلف (از جمله بازار سهام) داشته است.
هرچند الگوریتم پیچیده‌ای به کار گرفته شده، اما مدل بسیار سبک است و کار با آن ساده است.
چند ویژگی:
۱_ مدل علاوه بر پیشبینی، احتمال و confidence را نیز گزارش میکند.
۲_ این مدل Missing Values را نیز به شکل ویژه‌ای مدیریت می‌کند.
۳_ مدل از دیتابیس مخصوصی به نام tspDB استفاده می‌کند که توسط همین گروه تحقیقاتی در سال ۲۰۱۸ توسعه داده شده است.
Link
@deeptimeai

این هفته در خصوص کاربرد علوم کامپیوتر و هوش مصنوعی در بازارهای مالی در دانشگاه ارائه ای دارم. دوستان دانشگاه شریف اگر میخواین در این جلسه شرکت کنید، ایمیل cw.sharif تون رو برای من بفرستید تا در این کلاس اضافه بشید.

JPX Tokyo Stock Exchange Prediction 63000$
مسابقه بازار سهام توکیو در کگل چند روز پیش شروع شده. تیم ‌ها در آخر باید سهام رو به ترتیب از بهترین (خوب برای خرید) به بدترین (خوب برای فروش) رنک کنند.
#Kaggle
#Quantitative_Finance
@deeptimeai

Transfer Learning for Time Series
پیشرفت جالبی در زمینه یادگیری انتقالی در سری زمانی اتفاق افتاده.
Link
@deeptimeai

Time Series with Konrad session 5
TS-5: Automatic for the people

Abstract: In this episode we focus on the idea of a one stop shop for time series analysis: in the last few years, several packages have appeared that position themselves in such a fashion.We will take them for a test drive and have a look at how close they come to fulfilling the promise.

چهارشنبه 24 فروردین ساعت 19
@deeptimeai

آنچه در فینپای خواهید دید:

▫️مستند و کتب تخصصی بازارهای مالی
▫️فیلم های آموزنده از بزرگان بازارهای مالی
▫️دریافت و پردازش اطلاعات مالی با پایتون
▫️معاملات الگوریتمی و علم داده مالی با پایتون

فینپای، توسعه دهنده ماژول پایتونی finpy-tse برای دسترسی به داده های بورس تهران

@FinPy

فرض کنید یک مدل خوب برای پیشبینی Stock Market ساختید و Back-Test استراتژی رو هم با ملاحظات فنی انجام دادید و جواب خوب هست. مدل و استراتژی رو در Real Time توسط یک ربات معامله‌گر برای معامله کردن اجرا می‌کنید. اما معاملات طبق پیشبینی شما پیش نمیرن و موفق نیستن.
علتش چیه؟
مدل نکردن پاسخ بازار به سفارشات و معاملات خودتون! شما بازار رو شبیه سازی نکردید و صرفا از داده های گذشته (که شما در اون هیچ معامله یا سفارشی با این مدل اعمال نکردید) به عنوان شبیه سازی محیط معامله استفاده کردید. این یکی از مهم ترین موارد هست. دقت کنید که در بازار شما با بسیاری ربات طرف هستید که به محض اینکه سفارش قرار میدین (هرچند کوچک) واکنش نشون میدن و اون رو سیگنال تلقی میکنن حتی اگر سرخط معامله بزنید.

راه حل:
شبیه‌سازی بازار با وجود سفارشات و استراتژی معاملات خودتون. اما چطور؟ قبلا عموما با استفاده از مدل های multi-agent بازار شبیه سازی میشده اما این نوع شبیه سازی صرفا تلاشی برای تقلید یک فضای بازار با حضور معامله گرانی با استراتژی های diverse هست و اطلاعات تاریخی سطح agent هم برای عموم (یا حتی خرید) وجود نداره.
برای پاسخ به این مشکل در روش جدید این مقاله، بازار با استفاده از تکنیک Conditional Generative Adversarial Networks شبیه سازی میشه. این مدل به خوبی پاسخ واقعی بازار رو شبیه سازی میکنه و نتایج بهتری نسبت به مدل های قبل داره.
سوال:
مورد مشابه این کار برای تولید دیتای بازار که در پست های کانال هست چی بود؟
@deeptimeai

این نوشته "سم آلتمن" درباره زندگی رو هر کسی به نظرم باید یه نگاه بندازه.
The days are long but the decades are short
سم آلتمن مدیرعامل OpenAI، یکی از پیشرو ترین شرکت‌های هوش مصنوعی دنیاست. قبل از این هم مدیر شتاب دهنده معروف Y Combinator بوده.

همه چیز را پیشبینی نکن!

در این ویس روش مدلسازی ۲ لایه در بازارهای مالی معرفی می‌شود.
در روش‌های پیشبینی سری زمانی و بازار مالی ما عموما سعی میکنیم تمام سری را پیشبینی کنیم. اما بازار در اکثر موارد اساسا قابل پیشبینی نیست و وقتی به مدل هوش مصنوعی تان داده‌هایی با اکثریت پیشبینی ناپذیر بخورانید، نتیجه لزوما مطلوب نیست.
پس ابتدا با یک مدل یا فیلتر، مناطق پیشبینی پذیر مشخص می‌شوند و داده‌های این منطقه به عنوان دیتاست نهایی به مدلسازی (ماشین لرنینگ) داده می‌شوند.

لایه ۱: شناسایی مناطق پیشبینی پذیر
لایه ۲: مدل پیشبینی (هوش مصنوعی)

پ.ن ۱: روش گفته شده از هیچ منبع یا کتابی گرفته نشده و به تجربه بدست آمده. این روش در استارتاپ ما عملا مورد استفاده است و نتایج سودسازی دارد.

پ.ن ۲: این روش لزوما بهترین روش برای تمامی تایم فریم ها، مقادیر پول و ... نیست.

@deeptimeai

ساختار کلی سیستم از زیرساخت داده تا ترید، ۴ لایه است.

لایه ۱: زیرساخت اطلاعات شامل دیتابیس، کرالینگ و scheduling و ...

لایه ۲: مدلسازی که به انواع روش‌های ماشین لرنینگ، آماری، rule-based و یا Meta-model ها

لایه ۳: بهینه سازی استراتژی، بک تست و مدیرت ریسک و پرتفو

لایه ۴: پیاده سازی معاملات خودکار به شکل reliable

در ویس در مورد یک روش در لایه مدلسازی صحبت شد که خودش ۲ بخشی (۲ لایه‌ای) هست.

آیا نیاز هست که حتما از حفظ کردن داده‌های آموزشی و overfitting دوری کنیم تا یادگیری واقعی و generalization به وجود بیاد؟

بخش اول

احتمالا یکی از مهم ترین مقالات هوش مصنوعی که اخیرا منتشر شده، مقاله OpenAI در مورد پدیده Grokking باشه.
قابلیت تعمیم یا generalization یکی از مهم ترین مباحث در هوش مصنوعی هست. این مقاله نشون میده generalization بسیار بعد از overfitting اتفاق میفته و اون هم با تعداد پارامتر خیلی زیاد(overparameterization)! چیزی که همیشه دقیقا برعکسش مورد کاربرد بوده یعنی معمولا یادگیری با دیدن اولین نشانه های overfitting متوقف میشه و ادامه پیدا نمیکنه.
یکم تاریخ:
در گذشته هم ریاضیات و آمار بر این تاکید داشتن که شبکه underparametrized (به طور خاص منظور اینکه تعداد پارامتر ها از تعداد داده ها کمتر باشه) میتونه بجای حفظ کردن داده قوانین رو یاد بگیره. و حتی در یادگیری ماشین کلاسیک هم بحث کاهش ابعاد مهم بود. اما یادگیری عمیق اومد و گفت نیازی به کاهش ابعاد و یا کاهش تعداد پارامتر نیست. شبکه رو با پارامتر خیلی زیاد درست میکنیم اما رگولاریزیشن استفاده میکنیم. که خوب به شدت جواب داد.

اما حالا پدیده ای که مطرح میشه اینه که اجازه بدیم تعداد اپوک خیلی زیادی بعد از overfitting یادگیری ادامه پیدا کنه اما از چیزی مثل weight decay استفاده کنیم. نکته هم در همین weight decay loss هست. پیشنهاد میکنم حتما ویدئو توضیح مقاله را ببینید که بحث ساده سازی و smoothing هم جالب مطرح میشه.

پ.ن 1: دیتاست آزمایشی بوده و خیلی موارد باید بررسی بشه. این پدیده بسیار جای کار داره.

پ.ن 2: کلا داستان این کشف این بوده که یکی از نویسندگان مقاله یادش رفته آموزش مدل رو متوقف کنه و به تعطیلات میره وقتی برمیگرده: دوووبس GENERALIZATION!

@deeptimeai

امروز وقتی یک سورس کد دیپ لرنینگ توی گیتهاب مربوط به یکی از محققین دانشگاه هاروارد میخوندم با notation عملیات ضرب تنسور و ماتریس از آلبرت انیشتین مواجه شدم به نام einsum. کد هم برای چند ماه پیش بود بنابراین این روش رایج هست.
به طور خیلی جالب تمامی انواع ضرب و عملیات (ضرب ماتریسی، داخلی، خارجی، trace، ضرب element-wise، جمع سطری، ستونی و ...) و هر نوع ضرب تنسوری و ماتریسی عجیب یا خاصی که مد نظرتون باشه فقط با نیم خط و با یک notation جامع توسط این روش انیشتین ساپورت میشه.
تمام کتابخونه های اصلی پایتون هم این ضرب رو دارن. قبل از اینکه ازش بترسید این ویدئو رو ببینید.
Numpy:
np.einsum

TensorFlow:
tf.einsum

Pytorch:
torch.einsum

مثال:

ضرب ماتریسی دو ماتریس a و b با numpy:
np.einsum("ik,kj->ij", a, b)

ضرب به صورت batch matrix multiplication وقتی a و b تنسور های ۳ بعدی به صورت batch باشن:
np.einsum("ijk,ikl->ijl", a, b)

کاربرد های اساسی این روش در انجام عملیات خاص تنسور و یا انجام مجموعه‌ای از عملیات به صورت یکجاست.
آلبرت انيشتين این notation رو در سال ۱۹۱۶ برای حوزه فیزیک ارائه کرد.

@deeptimeai