Beyond Jupyter Notebooks: MLOps Environment Setup & First Deployment

این وبینار رایگان هست. در عمل deployment خیلی مهمه. کار با ِdocker، دیتابیس‌های خاص، celery و ... . مفهوم MLOps حالا سعی میکنه دیپلویمنت برای ML رو به طور خاص بررسی کنه.

آپدیت: ویدئو ضبط شده وبینار در یوتوب

@deeptimeai

پیشبینی این سری زمانی به هوش مصنوعی نیازی ندارد و اعداد دروغ نمی‌گویند، خصوصا وقتی با خون نوشته شده باشند.

#مهسا_امینی

@deeptimeai

معرفی یک اصل اساسی برای تغییر

کلید اساسی تغییر چیست؟ چه مسئله ای باعث می‌شود با وجود تنفر از وضع موجود، تغییر صورت نگیرد؟

یک اصل اساسی که در کتاب پیرو‌زی‌های تجربه اثر جرج ولنت مطرح شده بیان میکند:
صرف نارضایتی از وضع موجود حتی با بالاترین تنفر، باعث تغییر وضع موجود نمی‌شود. شرط اصلی برای تغییر وضع موجود، وجود چشم‌انداز، هدف و آلترناتیو است.

این ویدئو رو از این قسمت تا ۵ دقیقه بعدش ببینید.

نظر شخصی:
این اهداف در اعتراضات اخیر کشور با "برای..." ها کمی مطرح شد. اما از نظر من اصلا سازماندهی مورد نیاز را ندارد. این چشم‌اندار می‌تواند توسط یک اعتلاف با حضور افراد برجسته خارج از کشور (که دستگیر نشوند!) مثل کاوه مدنی و ... سامان داده شده و بیان شود.

پ.ن : حتی اگر میخواهید یک تغییر در زندگی شخصی ایجاد کنید این مسئله بسیار مهم است. ویدئو را ببینید.

@deeptimeai

ویدیو اول دوره طراحی سیستم‌ها بر روی یوتیوب قرار گرفت.

https://youtu.be/v9VdLLBETK8

در شرایطی که #جادی یک زندانی هست واقعا سخته در زمینه کامپیوتر و تکنولوژی مطلب نوشتن. ولی همیشه یاد جمله آخری میفتم که جادی تو رادیوگیک بعد از اخبار بد مثل صیانت میگفت: انرژیا رو حفظ کنید و لبخند بزنید که این تنها چیزیه که داریم...

هرچند به راحتی نمیشه لبخند زد، مطالب رو آروم آروم شروع میکنیم‌.

به امید آزادی جادی

@deeptimeai

در ادامه مسابقات سری زمانی M Competition، در دور ششم مسابقات حالا نوبت پیشبینی finance و بازارهای مالی هست.

M6 Competition
برای شرکت در مسابقات:
Participate in M6

به سایت forecasters هم سری بزنید. مسابقه M5 در این پست بررسی شد.

@deeptimeai

باید از این انرژی همیشگی جادی درس بگیریم🤩

جادی به قید وثیقه‌ آزاد شد.

یادگیری از مسابقات و ۱۱۰۰ دلار!

خیلی از دوستان میخوان برای ورود به بازار کار یا مقاله دادن ماشین لرنینگ یاد بگیرن ولی با دیدن چند تا کورس انگیزه رو از دست میدن مشکل کجاست؟ اینکه هدفی نیست. هدف چیه (قبل از کارآموزی و ...)؟

۱_ تعریف یک پروژه شخصی که براتون جالبه که باید از دیتا کرال کردن و مهندسی داده تا آخرِ مدلسازی با ماشین لرنینگ رو طی کنید و شاید یک تیم بشید و جلو برید.

۲_ شرکت در مسابقات. در این راه حل اگرچه شما خیلی موارد مهندسی داده، دیتابیس، سروینگ و داکر و ...(که ۸۰ درصد وقتی رو میگیرن) رو شاید اسکیپ کنید و دیتاست‌های نسبتا آماده تحویل یگیرید، اما انگیزه اولیه رو پیدا میکنید و به یک کامیونیتی پر انرژی وصل میشید. تا پارسال برای تفریح مدتی آخر هفته‌ها روی مسابقه crunchdao.com پیشبینی میزدم و چند باری جز ۱۰ نفر شدم. اخیرا چک کردم دیدم هر توکن کرانچ(بر مبنای اتریوم) شده نزدیک ۴ دلار که از طریق uniswap به اتریوم تبدیل کردم و بعد به ریال. حدود ۱۱۰۰ دلار شد! اما نکته اصلی هیجانی بود که مسابقه داشت و واقعا نمیدونستم کوین شون ارزشمند میشه. و البته با دوستان زیادی در ایران و خارج آشنا شدم که شرکت میکردن تو مسابقه‌.

شما هم میتونید شرکت کنید این مسابقه رو اما فک کنم باید stake کنید مقداری کوین و ازین نظر دارن خیلی شبیه numer.ai میشن.

@deeptimeai

تو ترمینال پایتون بزنید
import this

که Zen of Python بالا میاد. همین چیزی که روی لباس جادی نوشته شده.

در حال حاضر در حال refactoring یکی از سیستم‌های خودمون هستم و گفتم بد نیست توضیحی درباره اهمیت refactoring بدم.

یکی از مهم ترین پادالگوها (anti-patterns) در ایجاد نرم‌افزار Lava Flow (جریان مواد مذاب) هست که به حالتی گفته میشه که Dead Code داریم. در واقع وقتی برنامه‌نویس‌های تیم شما یک کد رو می‌نویسن و میبینن کار هم میکنه (functional هست) احتمالا کار رو تموم شده بدونن و این جریان مذاب کد رو بیخیال بشن که باعث میشه فریز بشه و کلی اذیت کنه بعدا. خصوصا وقتی مدتی از نوشتن کد بگذره نه تنها افراد جدید نمیتونن کد رو بفهمن بلکه خود کسی هم که کد رو نوشته دیگه نمیفهمه و کد قابل نگهداری نخواهد بود.

برای همین تعریف Dead Code کدی هست که اتفاقا میتونه functional هم باشه اما maintainable نیست.

علت چیه:
در تیم شما Refactoring به شکل سخت‌گیرانه انجام نمیشه. دقت کنید که در تمامی متولوژی‌های چابک Refactoring اجباری هست.

راه حل:
ساده‌سازی و refactoring باید در پروژه‌های شما اجبار باشن. دقیقا مثل اون اصل Invent and Simplify در شرکت آمازون. هرچقدر کار بزرگتر بشه اهمیت ساده‌سازی بالاتر خواهد بود. ساده سازی باید به شکل مداوم انجام بشه.

باید دقت کنیم که تعریف Done یا تمام شده یک تعریف بسیار مهم در توسعه چابک و روش‌های agile هست و باید حتما یکسری المان در نظر گرفته بشه. اینکه ددلاین یک تسک نزدیک باشه و کدی که کار میکنه رو تمام شده فرض کنیم و بگیم بعدا برمیگردیم اصلاح میکنیم بزرگترین اشتباه هست.

@deeptimeai

در عصری زندگی کردیم که #جادی بودن ۶ سال حبس داشت…

🌐 Ehsan N
📅 1401/10/20

شکسته نفسی به سبک chatGPT

این مدل ماشین لرنینگ شعر مینویسه، کد میزنه، مقاله مینویسه و اگر یه گیتار الکتریک بشه به دستش رسوند احتمالا در حد اسلش سولو بزنه
و به دلیل همین قدرت بالا، کنفرانس معروف ماشین لرنینگ ICML استفاده از chatGPT رو برای تولید متون مقاله ممنوع کرده!

توضیح: از chatGPT پرسیده شده آیا هوش مصنوعی میتونه جای برنامه نویس هارو بگیره؟
جواب میده نه بابا ما کی باشیم و ...
بعد از chatGPT میخواد همین جوابشو به صورت شعر بنویسه که 🤯

مدل GPT-4 هم در راهه و باید ببینیم چقدر قوی‌تر خواهد بود.

@deeptimeai

آیا فرآیند پیر شدن (aging) برگشت پذیر شد؟

پژوهش بلندمدتی که اخیرا در دانشگاه هاروارد به سرپرستی دکتر David Sinclair انجام شده نشون میده علت پیر شدن (aging) در پستانداران یک دلیل نرم‌افزاری هست و نه سخت افزاری. یعنی اگر genetic و DNA رو سخت افزار بدوینم و epigenetic، که مسئول روشن و خاموش کردن رشته‌هایی از DNA رو داره، نرم افزار بدونیم، مسئول فرآیند aging تغییرات epigenetic هست که در طول زمان به دلیل فرآیند ادامه‌ دارِ شکست و ترمیم DNA اتفاق میفته. نکته جالب این هست که این تغییرات نرم‌افزاری رو میشه reboot کرد به تعبیر خودشون. دکتر Sinclair در این رشته توییت با ویدئو و متن توضیح میده.
پژوهش دیگری هفته اخیر از همین مسئله استفاده کرده و عمر موش رو در زمان پیریش (مطابق با 70 80 سالگی انسان)، 2 برابر کرده! و برای انسان هم فرآیندهایی age reversal مربوط به epigenetic گزارش شده.

خلاصه در حالی که جهان داره برای جلوگیری از سرعت پیری کار میکنه کشور ما پیشرفت‌های قابل توجهی در افزایش سرعت پیری داشته ...

@deeptimeai

وبسایت slideslive.com ارائه‌ کنفرانس‌های معروف مثل NeurIPS و ICML رو در قالب خوبی به صورت رایگان داره. قابلیت‌های خاصی هم در رابطه با تنظیم ویدئو و اسلاید متناظرش داره که قطعا برای دیدن کنفرانس‌های علمی از یوتیوب بهتره.

برای مباحث عدم قطعیت در سری زمانی سرچ زدم Conformal Time-Series Forecasting و ارائه‌های خوبی آورد برای مثال این ارائه از دانشگاه کمبریج.

@deeptimeai

عمیقا باور دارم که دنبال کردن #علوم_شناختی و راهکارهای عملیش برای همه افراد یک ضرورت هست. چرا؟ به این دلیل که دنیای کنونی در اوج چالش‌های شناختی و روانی برای افراد هست. برای مثال اگر ما فرضا راهکار مناسبی برای مشکل کمبود تمرکز نداشته باشیم قطعا به شدت ضرر میکنیم و از سمت دیگه، اگر راهکارها و فرآیندهای #علوم_شناختی و #علوم_اعصاب رو بشناسیم حتما با بهینگی بیشتری کار میکنیم و رضایت از زندگی بیشتری خواهیم داشت.

البته خوشبختانه در این دنیا به راحتی (البته در ایران و با این اینترنت به سختی) به منابع درجه یک علمی وصل میشیم. یکی از بهترین منابع برای مباحث علوم شناختی و روانشناسی، همونطور که قبلا گفتم، ویدئوهای دکتر آذرخش مکری هیئت علمی دانشگاه علوم پزشکی هست که البته در کانال تلگرامی به صورت ویس هم قرار میدن. ایشون به پژوهش‌ها و مباحث این حوزه تسلط بالایی دارن.

در ویدئو اخیرشون در مورد بحث کمبود تمرکز و ADHD صحبت میکنن که به نظرم مهمه دیده بشه. در این ارائه با کلمه procrastivity آشنا شدم که فکر کنم حالتی هست که خیلی از افراد با مطالعه هم درگیش هستن. حداقل شخصا جا داره خیلی روی این موضوع کار کنم. در واقع در کنار کلمه procrastination یا اهمال‌کاری، کلمه procrastivity هست که یعنی شما بجای انجام کار اصلی که در اولویته، کار مفید دیگری انجام میدی. مثلا بجای اینکه پروژه کاریت رو انجام بدی یک مقاله غیر مرتبط میخونی و ... . این موارد و راهکارها در ویدئو بحث میشه.

@deeptimeai

Deep Learning Tuning Playbook: A playbook for systematically maximizing the performance of deep learning models
اصولا به نظرم هر کتابی که به طور خاص در یک موضوع متمرکز میشه ارزش خوندن داره. این کتاب هم که توسط افرادی از تیم Google Brain و محققین هاروارد نوشته شده، روی موضوع hyper parameter tuning تمرکز کرده و موارد جالبی مطرح میکنه که در عمل به کار میاد. هرچند به نظرم tuning باید در مراحل آخر مدلسازی انجام بشه و اولویت نیست اما باید تا حد ممکن استاندارد و دقیق انجام بشه.
@deeptimeai

داشتم ویدئو کد زدن GPT رو میدیدم و خب کی بهتر از
Andrej Karpathy
برای آموزش دادن ؟ ( هدفم بیشتر مدل کد زدن - و نحوه تفکر و توضیح دادنش بود)

بعد رفتن ی سری به بخش play list کانال یوتیوبش زدم دیدم به به :
Neural networks: Zero to Hero

و برای آموزش دیدن کی بهتر از مدیر قبلی تیم vision و autopilot شرکت Tesla
کی فکرشو میکرد ی روزی از تسلا بیاد بیرون و بصورت کاملا رایگان دوره آموزش هوش مصنوعی بذاره (پیشنهاد ویژه میدم این دوره رو از دست ندید)
برای اونهایی که سطح Advance هستند هم پیشنهاد می‌کنم این رو ببینید حتما :
Let's build GPT: from scratch, in code, spelled out.

امیدوارم ازین آموزش‌ها لذت ببرید 🌹

خیلی اوقات بعضی ایده‌ها underated هستند و بهشون اونقدری که باید توجه نمیشه. این مورد قطعا یکی از اونهاست (پست مربوط به بیش از یک سال پیش هست!). شاید حالا که صحبت از توسعه مدل‌های زبانی بزرگ هست وقتش رسیده تا به این پژوهش توجه بشه. خصوصا که دیدم دوستم حمیدرضا مازندرانی در این مورد مطلبی در لینکدین گذاشته بود.

#distributed_intelligence
#large_language_models

@deeptimeai

خلاصه پیشرفت‌های اخیر سری زمانی:

• ترنسفورمر ها در forecasting سری زمانی (داده جدولی) همچنان عملکرد چندان خوبی ندارند. البته در موارد خاصی برتری دارند.
• اما ترنسفورمر ها representation داخلی بسیار خوبی از داده سری زمانی میسازند که احتمال عدم ارتباط مناسب بین پیشبینی نهایی و representaion های میانی را افزایش میدهد.
• قدرت خوب ترنسفورمر ها در representation باعث شده Transformer for Time Series Anomaly Detection و همچنین Universal Representation of Time Series بسیار قوی باشن.
• پیشنهاد میکنم مقاله مروری (لینک اول) رو کامل بخونید. تنها نقدی که بهش دارم این هست که Ireegular Time Series (سری زمانی که معمولا در فایننس و بازار مالی دیده میشه) جداگانه بررسی نشده. در انتهای مقاله هم چند مرجع دیتاست و بنچمارک خوب معرفی شده.
• ریپوی گیتهاب Awesome Time Series رو هم داشته باشید که مقالات معتبر این حوزه رو دسته بندی کرده.

@deeptimeai

مواردی به ریپوی Awesome Time Series اضافه کردم خصوصا بخش کتابخونه‌ها و بنچمارک‌ و دیتاست‌ شاید مفید باشه. هرچند همچنان موارد زیادی باید اضافه بشه. این ریپو برای کار پیشبینی خصوصا در مواردی مثل انرژی و خرده فروشی و ... (فایننس نه چندان!) یا برای نوشتن مقالات مروری احتمالا کمک کنندس. نقطه شروع رو حتما از کتابخونه‌های قوی بذارید و البته به نظرم مهمه الگوریتم‌ها از صفر و from scratch کد بشن.

چرا بعضی افراد با وجود شوق اولیه به یادگیری دیتاساینس (یا هر تخصص دیگری) و حتی گذراندن دوره‌های معتبر نمیتوانند مسیرشان را ادامه دهند؟ یا در واقع چرا بعضی افراد به سرعت در یک تخصص رشد میکنند اما بعضی افراد از جایی به بعد دلسرد میشوند؟ (بخش اول)
نکته اینجاست که گذراندن دوره‌های متعدد و انجام پروژه‌های آنها به هیچ عنوان متخصص شدن و ادامه شوق به یادگیری را تضمین نمیکند و موارد بسیار مهم دیگری مطرح است که با توجه به مفاهیمی از علوم شناختی (خصوصا بعضی موارد که دکتر آذرخش مکری مطرح کردند) و تجربه شخصی مینویسم. به خصوص این مطلب را به این دلیل مینویسم که افراد زیادی را از نزدیک میشناسم که با این مسئله مواجه شدند.

1- محیط، شبکه ارتباطی و اضافات
در تمامی پژوهش‌های علوم شناختی اثر محیط و شرایط بسیار بالاست به حدی که تئوری situationism بیان میکند که همه چیز از شرایط و محیط اثر میگیرد و شخصیت (personality) به طور مستقل توهمی بیش نیست. پس اگر هدف برای مثال متخصص شدن در دیتاساینس و ماشین لرنینگ است، باید محیط را برای همین هدف تنظیم کرد. چطور؟ اینترنت بهترین بستر است. دیدن لایو متخصصین این حوزه در یوتیوب، اینستاگرام و ... . دنبال کردن افراد سرآمد این حوزه در یک اکانت توییتر مجزا تا هر روز در معرض منبع با کیفیتی از مطالب این حوزه قرار بگیرید . ارتباط فردی با متخصصین هم طبیعتا خیلی کمک میکند.
نکته مهم این است که اگر کلمات و مباحثی را متوجه نمیشوید اصلا اشکالی ندارد. بعد از مدتی خود به خود مباحثی/کلماتی را که زیاد شنیده باشید پیگیری میکنید تا مسلط شوید.
بحث Redundancy (شاخه و اضافات) هم همینجا مطرح میشود که اهمیت بالایی در ایجاد کشش و شوق دارد. شما باید مثل اساتید دانشگاه و متخصصین، داستانهای مرتبط با حوزه تخصصی خودتان را بدانید. مثلا در هوش مصنوعی داستان آلان تورینگ را بلد باشیم، داستان تاریخی زمستان هوش مصنوعی و رفع آن را بدانیم، مدیرعامل OpenAI را بشناسیم و دنبال کنیم و مواردی از این دست.

2- مسئله‌ای برای حل کردن
بهترین حالت این است که حتی قبل از شروع به یادگیری، مسئله‌ای ذهن را قلقلک دهد. این مسئله برای من پیشبینی بازار بود. یک مسئله جذاب و سخت همیشگی از همان جنسی که پیتر تیل در کتاب صفر به یک مطرح میکند. در این صورت وقتی در دوره ماشین لرنینگ میگویند x و y، شما سریعا x را نسبت قیمت یورو به دلار در فارکس میبینید و y را درصد حرکت در روز بعد! شرکت در مسابقات هم میتواند همین اثر را داشته باشد. اگر مسئله‌ای در ذهنتان نیست پروژه خودتان را استارت بزنید؛ از پیشبینی نرخ‌های فارکس شروع کنید و البته بدانید که این مسئله قرار نیست به راحتی حل شود و فعلا به این منظور است که زمین بازی خوبی برای یادگیری باشد: از یک رگرسیون ساده شروع کنید و به مرور مدل‌های قوی و قوی تری پیاده کنید. دیتاهای پیچیده را کرال کنید، سرعت کد را بیشتر و بیشتر کنید و چه بهتر که در این میان با یکی دو نفر همراه باشید.

3- نوشتن، مشارکت و تدریس
اگر میخواهید واقعا چیزی را یاد بگیرید در موردش بنویسید، سعی کنید به افراد دیگر توضیحش دهید، یا در مراحل بالاتر، تدریسش کنید. وقتی کتاب یا مطلبی مطالعه کنید متوجه میشوید که در آخر فقط بخشی از کتاب یا مطلب را عمیقا می‌آموزید که در جایی مکتوب کرده باشید یا برای دوستی توضیح داده باشید. در سطح بالاتر، تدریس به علت نیاز به تسلط بسیار اثربخش است.
جرمی هاوارد از بهترین دیتاساینتیس‌ها و کارآفرینانی که میشناسم، در خیلی سخنرانی‌ها میگوید که از همان جلسه اول درس یادگیری ماشینی که میگذرانید شروع به بلاگ کردن و نوشتن کنید. قطعا در ابتدا نه به عنوان یک متخصص بلکه به عنوان کسی که تجربه‌اش را به اشتراک میگذارد و شبکه ارتباطی‌اش را گسترش میدهد. مشارکت در توسعه کدها در گیتهاب و به طور کلی هرنوع مشارکت و عمل داوطلبانه به طور اساسی کمک کننده است.

در آخر مهم است بدانیم طبق تحقیقات علوم شناختی، استعدادها و علایق ذاتی نیستند و ساخته میشوند (شرایط آنها را میسازد). همچنین هیچ سبک یادگیری یا نقشه راهی بهترین یا وحی مُنزل نیست.

@deeptimeai