Time Series XAI

مدل‌های ماشین لرنینگ عموما وقتی میتونن مبنای تصمیم‌گیری در شرکت‌ها قرار بگیرن که Explainable باشن. بحث Explainable AI چیز جدیدی نیست ولی به شدت ترند هست. اما برای سری زمانی کمتر در این مبحث کار انجام شده، خصوصا Multivariate TimeSeries. کار جالبی در این زمینه با استفاده از تبدیل Shapelet برای سری زمانی چند متغیره انجام شده.

Shapelet-Based Counterfactual Explanations for Multivariate Time Series

@deeptimeai

ماه گذشته دو بار با یکی از مدیران دیتاساینس شرکت Walmart میتینگ داشتم. والمارت بزرگترین Retailer دنیاست و گسترده‌ترین پیش‌بینی‌هارو انجام میده. موارد خیلی جالبی صحبت شد که فرصت بشه با اجازه ایشون اینجا پست میکنم. یک نکته جالبی که ایشون مطرح کرد این بود که ضرورتا مدل های پیشبینی باید Explainable باشن چرا که هر محصولی (حتی محصولاتی که برای بار اول هست که تولید میشن) بر مبنای پیشبینی این مدل‌ها تخمین تقاضا زده میشن و با توجه به حجم بالای پول، مسئولیت و ریسک به شدت بالاست.

نکته جالب دیگه این بود که دیتاست مسابقه M5 توسط تیم ۵۰ نفری ایشون تهیه شده بود.

Beyond Jupyter Notebooks: MLOps Environment Setup & First Deployment

این وبینار رایگان هست. در عمل deployment خیلی مهمه. کار با ِdocker، دیتابیس‌های خاص، celery و ... . مفهوم MLOps حالا سعی میکنه دیپلویمنت برای ML رو به طور خاص بررسی کنه.

آپدیت: ویدئو ضبط شده وبینار در یوتوب

@deeptimeai

پیشبینی این سری زمانی به هوش مصنوعی نیازی ندارد و اعداد دروغ نمی‌گویند، خصوصا وقتی با خون نوشته شده باشند.

#مهسا_امینی

@deeptimeai

معرفی یک اصل اساسی برای تغییر

کلید اساسی تغییر چیست؟ چه مسئله ای باعث می‌شود با وجود تنفر از وضع موجود، تغییر صورت نگیرد؟

یک اصل اساسی که در کتاب پیرو‌زی‌های تجربه اثر جرج ولنت مطرح شده بیان میکند:
صرف نارضایتی از وضع موجود حتی با بالاترین تنفر، باعث تغییر وضع موجود نمی‌شود. شرط اصلی برای تغییر وضع موجود، وجود چشم‌انداز، هدف و آلترناتیو است.

این ویدئو رو از این قسمت تا ۵ دقیقه بعدش ببینید.

نظر شخصی:
این اهداف در اعتراضات اخیر کشور با "برای..." ها کمی مطرح شد. اما از نظر من اصلا سازماندهی مورد نیاز را ندارد. این چشم‌اندار می‌تواند توسط یک اعتلاف با حضور افراد برجسته خارج از کشور (که دستگیر نشوند!) مثل کاوه مدنی و ... سامان داده شده و بیان شود.

پ.ن : حتی اگر میخواهید یک تغییر در زندگی شخصی ایجاد کنید این مسئله بسیار مهم است. ویدئو را ببینید.

@deeptimeai

ویدیو اول دوره طراحی سیستم‌ها بر روی یوتیوب قرار گرفت.

https://youtu.be/v9VdLLBETK8

در شرایطی که #جادی یک زندانی هست واقعا سخته در زمینه کامپیوتر و تکنولوژی مطلب نوشتن. ولی همیشه یاد جمله آخری میفتم که جادی تو رادیوگیک بعد از اخبار بد مثل صیانت میگفت: انرژیا رو حفظ کنید و لبخند بزنید که این تنها چیزیه که داریم...

هرچند به راحتی نمیشه لبخند زد، مطالب رو آروم آروم شروع میکنیم‌.

به امید آزادی جادی

@deeptimeai

در ادامه مسابقات سری زمانی M Competition، در دور ششم مسابقات حالا نوبت پیشبینی finance و بازارهای مالی هست.

M6 Competition
برای شرکت در مسابقات:
Participate in M6

به سایت forecasters هم سری بزنید. مسابقه M5 در این پست بررسی شد.

@deeptimeai

باید از این انرژی همیشگی جادی درس بگیریم🤩

جادی به قید وثیقه‌ آزاد شد.

یادگیری از مسابقات و ۱۱۰۰ دلار!

خیلی از دوستان میخوان برای ورود به بازار کار یا مقاله دادن ماشین لرنینگ یاد بگیرن ولی با دیدن چند تا کورس انگیزه رو از دست میدن مشکل کجاست؟ اینکه هدفی نیست. هدف چیه (قبل از کارآموزی و ...)؟

۱_ تعریف یک پروژه شخصی که براتون جالبه که باید از دیتا کرال کردن و مهندسی داده تا آخرِ مدلسازی با ماشین لرنینگ رو طی کنید و شاید یک تیم بشید و جلو برید.

۲_ شرکت در مسابقات. در این راه حل اگرچه شما خیلی موارد مهندسی داده، دیتابیس، سروینگ و داکر و ...(که ۸۰ درصد وقتی رو میگیرن) رو شاید اسکیپ کنید و دیتاست‌های نسبتا آماده تحویل یگیرید، اما انگیزه اولیه رو پیدا میکنید و به یک کامیونیتی پر انرژی وصل میشید. تا پارسال برای تفریح مدتی آخر هفته‌ها روی مسابقه crunchdao.com پیشبینی میزدم و چند باری جز ۱۰ نفر شدم. اخیرا چک کردم دیدم هر توکن کرانچ(بر مبنای اتریوم) شده نزدیک ۴ دلار که از طریق uniswap به اتریوم تبدیل کردم و بعد به ریال. حدود ۱۱۰۰ دلار شد! اما نکته اصلی هیجانی بود که مسابقه داشت و واقعا نمیدونستم کوین شون ارزشمند میشه. و البته با دوستان زیادی در ایران و خارج آشنا شدم که شرکت میکردن تو مسابقه‌.

شما هم میتونید شرکت کنید این مسابقه رو اما فک کنم باید stake کنید مقداری کوین و ازین نظر دارن خیلی شبیه numer.ai میشن.

@deeptimeai

تو ترمینال پایتون بزنید
import this

که Zen of Python بالا میاد. همین چیزی که روی لباس جادی نوشته شده.

در حال حاضر در حال refactoring یکی از سیستم‌های خودمون هستم و گفتم بد نیست توضیحی درباره اهمیت refactoring بدم.

یکی از مهم ترین پادالگوها (anti-patterns) در ایجاد نرم‌افزار Lava Flow (جریان مواد مذاب) هست که به حالتی گفته میشه که Dead Code داریم. در واقع وقتی برنامه‌نویس‌های تیم شما یک کد رو می‌نویسن و میبینن کار هم میکنه (functional هست) احتمالا کار رو تموم شده بدونن و این جریان مذاب کد رو بیخیال بشن که باعث میشه فریز بشه و کلی اذیت کنه بعدا. خصوصا وقتی مدتی از نوشتن کد بگذره نه تنها افراد جدید نمیتونن کد رو بفهمن بلکه خود کسی هم که کد رو نوشته دیگه نمیفهمه و کد قابل نگهداری نخواهد بود.

برای همین تعریف Dead Code کدی هست که اتفاقا میتونه functional هم باشه اما maintainable نیست.

علت چیه:
در تیم شما Refactoring به شکل سخت‌گیرانه انجام نمیشه. دقت کنید که در تمامی متولوژی‌های چابک Refactoring اجباری هست.

راه حل:
ساده‌سازی و refactoring باید در پروژه‌های شما اجبار باشن. دقیقا مثل اون اصل Invent and Simplify در شرکت آمازون. هرچقدر کار بزرگتر بشه اهمیت ساده‌سازی بالاتر خواهد بود. ساده سازی باید به شکل مداوم انجام بشه.

باید دقت کنیم که تعریف Done یا تمام شده یک تعریف بسیار مهم در توسعه چابک و روش‌های agile هست و باید حتما یکسری المان در نظر گرفته بشه. اینکه ددلاین یک تسک نزدیک باشه و کدی که کار میکنه رو تمام شده فرض کنیم و بگیم بعدا برمیگردیم اصلاح میکنیم بزرگترین اشتباه هست.

@deeptimeai

در عصری زندگی کردیم که #جادی بودن ۶ سال حبس داشت…

🌐 Ehsan N
📅 1401/10/20

شکسته نفسی به سبک chatGPT

این مدل ماشین لرنینگ شعر مینویسه، کد میزنه، مقاله مینویسه و اگر یه گیتار الکتریک بشه به دستش رسوند احتمالا در حد اسلش سولو بزنه
و به دلیل همین قدرت بالا، کنفرانس معروف ماشین لرنینگ ICML استفاده از chatGPT رو برای تولید متون مقاله ممنوع کرده!

توضیح: از chatGPT پرسیده شده آیا هوش مصنوعی میتونه جای برنامه نویس هارو بگیره؟
جواب میده نه بابا ما کی باشیم و ...
بعد از chatGPT میخواد همین جوابشو به صورت شعر بنویسه که 🤯

مدل GPT-4 هم در راهه و باید ببینیم چقدر قوی‌تر خواهد بود.

@deeptimeai

آیا فرآیند پیر شدن (aging) برگشت پذیر شد؟

پژوهش بلندمدتی که اخیرا در دانشگاه هاروارد به سرپرستی دکتر David Sinclair انجام شده نشون میده علت پیر شدن (aging) در پستانداران یک دلیل نرم‌افزاری هست و نه سخت افزاری. یعنی اگر genetic و DNA رو سخت افزار بدوینم و epigenetic، که مسئول روشن و خاموش کردن رشته‌هایی از DNA رو داره، نرم افزار بدونیم، مسئول فرآیند aging تغییرات epigenetic هست که در طول زمان به دلیل فرآیند ادامه‌ دارِ شکست و ترمیم DNA اتفاق میفته. نکته جالب این هست که این تغییرات نرم‌افزاری رو میشه reboot کرد به تعبیر خودشون. دکتر Sinclair در این رشته توییت با ویدئو و متن توضیح میده.
پژوهش دیگری هفته اخیر از همین مسئله استفاده کرده و عمر موش رو در زمان پیریش (مطابق با 70 80 سالگی انسان)، 2 برابر کرده! و برای انسان هم فرآیندهایی age reversal مربوط به epigenetic گزارش شده.

خلاصه در حالی که جهان داره برای جلوگیری از سرعت پیری کار میکنه کشور ما پیشرفت‌های قابل توجهی در افزایش سرعت پیری داشته ...

@deeptimeai

وبسایت slideslive.com ارائه‌ کنفرانس‌های معروف مثل NeurIPS و ICML رو در قالب خوبی به صورت رایگان داره. قابلیت‌های خاصی هم در رابطه با تنظیم ویدئو و اسلاید متناظرش داره که قطعا برای دیدن کنفرانس‌های علمی از یوتیوب بهتره.

برای مباحث عدم قطعیت در سری زمانی سرچ زدم Conformal Time-Series Forecasting و ارائه‌های خوبی آورد برای مثال این ارائه از دانشگاه کمبریج.

@deeptimeai

عمیقا باور دارم که دنبال کردن #علوم_شناختی و راهکارهای عملیش برای همه افراد یک ضرورت هست. چرا؟ به این دلیل که دنیای کنونی در اوج چالش‌های شناختی و روانی برای افراد هست. برای مثال اگر ما فرضا راهکار مناسبی برای مشکل کمبود تمرکز نداشته باشیم قطعا به شدت ضرر میکنیم و از سمت دیگه، اگر راهکارها و فرآیندهای #علوم_شناختی و #علوم_اعصاب رو بشناسیم حتما با بهینگی بیشتری کار میکنیم و رضایت از زندگی بیشتری خواهیم داشت.

البته خوشبختانه در این دنیا به راحتی (البته در ایران و با این اینترنت به سختی) به منابع درجه یک علمی وصل میشیم. یکی از بهترین منابع برای مباحث علوم شناختی و روانشناسی، همونطور که قبلا گفتم، ویدئوهای دکتر آذرخش مکری هیئت علمی دانشگاه علوم پزشکی هست که البته در کانال تلگرامی به صورت ویس هم قرار میدن. ایشون به پژوهش‌ها و مباحث این حوزه تسلط بالایی دارن.

در ویدئو اخیرشون در مورد بحث کمبود تمرکز و ADHD صحبت میکنن که به نظرم مهمه دیده بشه. در این ارائه با کلمه procrastivity آشنا شدم که فکر کنم حالتی هست که خیلی از افراد با مطالعه هم درگیش هستن. حداقل شخصا جا داره خیلی روی این موضوع کار کنم. در واقع در کنار کلمه procrastination یا اهمال‌کاری، کلمه procrastivity هست که یعنی شما بجای انجام کار اصلی که در اولویته، کار مفید دیگری انجام میدی. مثلا بجای اینکه پروژه کاریت رو انجام بدی یک مقاله غیر مرتبط میخونی و ... . این موارد و راهکارها در ویدئو بحث میشه.

@deeptimeai

Deep Learning Tuning Playbook: A playbook for systematically maximizing the performance of deep learning models
اصولا به نظرم هر کتابی که به طور خاص در یک موضوع متمرکز میشه ارزش خوندن داره. این کتاب هم که توسط افرادی از تیم Google Brain و محققین هاروارد نوشته شده، روی موضوع hyper parameter tuning تمرکز کرده و موارد جالبی مطرح میکنه که در عمل به کار میاد. هرچند به نظرم tuning باید در مراحل آخر مدلسازی انجام بشه و اولویت نیست اما باید تا حد ممکن استاندارد و دقیق انجام بشه.
@deeptimeai

داشتم ویدئو کد زدن GPT رو میدیدم و خب کی بهتر از
Andrej Karpathy
برای آموزش دادن ؟ ( هدفم بیشتر مدل کد زدن - و نحوه تفکر و توضیح دادنش بود)

بعد رفتن ی سری به بخش play list کانال یوتیوبش زدم دیدم به به :
Neural networks: Zero to Hero

و برای آموزش دیدن کی بهتر از مدیر قبلی تیم vision و autopilot شرکت Tesla
کی فکرشو میکرد ی روزی از تسلا بیاد بیرون و بصورت کاملا رایگان دوره آموزش هوش مصنوعی بذاره (پیشنهاد ویژه میدم این دوره رو از دست ندید)
برای اونهایی که سطح Advance هستند هم پیشنهاد می‌کنم این رو ببینید حتما :
Let's build GPT: from scratch, in code, spelled out.

امیدوارم ازین آموزش‌ها لذت ببرید 🌹

خیلی اوقات بعضی ایده‌ها underated هستند و بهشون اونقدری که باید توجه نمیشه. این مورد قطعا یکی از اونهاست (پست مربوط به بیش از یک سال پیش هست!). شاید حالا که صحبت از توسعه مدل‌های زبانی بزرگ هست وقتش رسیده تا به این پژوهش توجه بشه. خصوصا که دیدم دوستم حمیدرضا مازندرانی در این مورد مطلبی در لینکدین گذاشته بود.

#distributed_intelligence
#large_language_models

@deeptimeai

خلاصه پیشرفت‌های اخیر سری زمانی:

• ترنسفورمر ها در forecasting سری زمانی (داده جدولی) همچنان عملکرد چندان خوبی ندارند. البته در موارد خاصی برتری دارند.
• اما ترنسفورمر ها representation داخلی بسیار خوبی از داده سری زمانی میسازند که احتمال عدم ارتباط مناسب بین پیشبینی نهایی و representaion های میانی را افزایش میدهد.
• قدرت خوب ترنسفورمر ها در representation باعث شده Transformer for Time Series Anomaly Detection و همچنین Universal Representation of Time Series بسیار قوی باشن.
• پیشنهاد میکنم مقاله مروری (لینک اول) رو کامل بخونید. تنها نقدی که بهش دارم این هست که Ireegular Time Series (سری زمانی که معمولا در فایننس و بازار مالی دیده میشه) جداگانه بررسی نشده. در انتهای مقاله هم چند مرجع دیتاست و بنچمارک خوب معرفی شده.
• ریپوی گیتهاب Awesome Time Series رو هم داشته باشید که مقالات معتبر این حوزه رو دسته بندی کرده.

@deeptimeai