الگویی که در طول تاریخ به طور مستمر تکرار شده

ظهور کشاورزی و یکجانشینی، اختراع صنعت چاپ، انقلاب صنعتی و اتوماسیون و در آخر ظهور کامپیوتر و اینترنت صنایع و مشاغل رو متحول کرد، حالا انقلاب هوش مصنوعی با شدت زیادی همه چیز رو متحول خواهد کرد.

اینجا در پنل تخصصی نمایشگاه بین‌المللی صنعت مالی با آرش سروری درباره فایننس، هوش مصنوعی و بازار مالی صحبت کردم. غرفه ما در سالن ۳۵ هست.

لینک گفتگوی کامل

@deeptimeai

مسیر تحصیل رایگان و خودخوان computer science دانشگاه MIT

Path to a free self-taught education in Computer Science!

لینک توییت

حتما یک سر به این ریپو بزنید توش موارد جالبی هست. مثل این بحث یادگیری ابزار دانشگاه MIT که قبلا هم اشاره شد.

The Missing Semester of Your CS Education

@deeptimeai

دوران نوجوانی مثل خیلیا شاید فکر میکردم که دوست دارم عضو یک تیم فوتبال خفن باشم البته کم کم که بزرگ شدم خیلی زود ذهنیتم از فوتبال یا والیبال برای زندگی حرفه‌ای شخص خودم فاصله گرفت. و جذابیت یک کار تیمی خلاقانه و ساختن چیزی که شبیهش نبوده برام بیشتر شد.

حالا در استارتاپمون بیشتر از همیشه این حسو دارم که تیم خیلی خوبی هستیم. خصوصا خوشحالم که این چند ماه سهیل هم از دیجیکالا بهمون اضافه شد و ترکیب فوق‌العاده‌ای شکل گرفت.

طبق پژوهش‌ها تجربیات افراطی‌ای که در زندگی داریم در نهایت تعیین کننده میزان رضایت ما از زندگی هستن. یعنی وقتی در زمان پیری از شما سوال کنن که "آیا خوب زندگی کردی؟" ذهن شما به خاطرات افراطی مراجعه میکنه. تجربه افراطی مثل یک سفر اکتشافی، مثل هزاران ساعت تمرین موسیقی و اجرای یک آهنگ سخت، مثل از شب تا صبح با یک دوست در خیابان قدم زدن و ... . از همه مهم‌تر تجربه افراط در یک مهارت و کار در یک تیم خوب و ساختن چیزی که بدون افراط نمیشه بدستش آورد.

به قول محمدرضا شعبانعلی، دستاورد حاصل عدم تعادل هست‌. که در واقع این هم به افراط اشاره داره. یا همونطور که لوریس چکناواریان بزرگ در این ویدئو میگه:
آدم نرمال به جایی نمیرسه و هیچ چیزی خلق نمیشه بدون دیوونه شدن!

@deeptimeai

چت با ویدئو‌ها و یادگیری سریع! Ortus

یکی از بهترین کاربردهایی که از LLMها دیدم این هست که نرم‌افزارهایی نوشته شده که به واسطش شما میتونید با محتوای ویدئوها چت کنید. این مسئله به شدت کاربردی هست و صرفه‌جویی زمانی بالایی داره. میتونید بپرسید ویدئو یا گفتگو درباره چی بود، خلاصه رو بگه یا مثلا بپرسید در این ویدیو درباره فلان موضوع چه مطلبی گفته شد. جالبیش اینه که حتی میگه جواب رو از چه دقیقه‌ای از ویدئو پیدا کرده که میتونید کلیک کنید و چک کنید.

افزونه کروم Ortus برای چت با محتوای ویدئویی یکسری کانال‌های خاص یوتیوب نوشته شده. کانال‌هایی که در حال حاضر ساپورت میکنه و همشون هم عالین (خصوصا huberman):

Lex Fridman
Huberman Lab
3Blue1Brown
Yanic Kilcher
Kurzgestagt
Alexa Gordic
Y Combinator
Andrej Karpathy
Petar Velickovic
Alex the Analyst
Ken Jee

و حالا با ۲۰۰ ویدئو Jeremy Howard هم میتونید چت کنید و سوالات Deep Learning بپرسید. خصوصا از این کورس. این هم ویدئو معرفی Ortus در یوتوب.

حالا اگر سوال دیپ لرنینگ هم ندارید اما مطمئن باشید از چت با ویدیو‌های کانال Hubermanlab سود میکنید. این استاد نوروساینس استنفرد درباره متابولیسم، خواب، یادگیری، تغذیه، ورزش، هورمون‌ها ... ویدئو‌های تخصصی داره و ابزار کاربردی میگه.
ضمنا میتونید کانال‌ها و ویدئوهایی که فکر میکنید خوبه ساپورت بشه رو براشون علامت بزنید که در آینده اضافه کنن.

@deeptimeai

Keras Core
به لطف تیم Francois Chollet حالا میتونید از اجزاء Tensorflow، Pytorch و JAX به صورت یکجا در Keras Core استفاده کنید. تجمیع سیستم‌های مفید در سطح این سه framework به نظرم کار بسیار ارزشمندی هست. علت اصلی این هست که این چند سال خیلی از افراد مشکل انتخاب framework داشتند. در آینده اگر سیستم‌های بر مبنای Julia هم اضافه کنن، طوری که فقط نیاز داشته باشید API doc خود Keras Core رو بخونید، فوق العاده خواهد بود.

مزایای اصلی:
1- بدون تغییر کد میتونید با یک خط backend رو به JAX، Tensorflow یا Pytorch تغییر بدید و نتیجه رو ببینید
2- میتونید از قسمت‌های خفن هر فریمورک (مثلا dataloader در پایتورچ و serving در Tensorflow یا استفاده گسترده TPU در JAX) استفاده کنید و همه رو یکجا در یک model.py توی Keras Core داشته باشید.
3- قبلا در بهترین حالت هر مدل شما میتونست برای نصف کامیونیتی ML قابل استفاده باشه(تنسورفلو یا پایتورچ). اما الان این مشکل هم وجود نداره. حتی اگر افرادی که میخوان استفاده کنن، با Keras آشنا نباشن.

@deeptimeai

مغز به عنوان ماشین پیشبینی کننده
(بررسی کتاب ماشین تجربه اثر اندی کلارک)

صرف نظر از هر کاری که بهش مشغول هستین شدیدا توصیه میکنم این دو ویدئو (ویدئو1 ویدئو2) رو کامل بین کارهاتون ببینید. اگر وقت ندارید سرعت ویدئو رو بالا ببرید.

نکته اساسی:
مغز ما دقیقا شبیه یک مدل ماشین لرنینگ، بعد از فاز یادگیری (تجربه)، خیلی بیشتر از تکیه بر ادراک و واقعیت بیرون، به پیشبینی ها اتکا میکنه و قسمت ترسناک یا شگفت انگیز ماجرا اینجاست که این پیشبینی ها (که حاصل تجربیات، وضع بدن، جهان اطراف و البته خود مغز هست) میتونن واقعیت رو شکل بدن تا حدی که حتی دردی ایجاد کنند یا دردی رو از بین ببرند و به طور کلی تمام زندگی مارو تحت تاثیر قرار بدن.

@deeptimeai

افت عملکرد GPT-3.5 و GPT-4 در زمان

این مقاله‌ از پژوهشگران استنفرد و برکلی نشون میده GPT-3.5 و GPT-4 در ۴ تسک نشون داده شده در تصویر که از جنس حل مسئله هستن در زمان کوتاهی (بین مارچ و جون ۲۰۲۳) افت عملکرد عجیب داشته خصوصا GPT-4.
این روزها بازار مدل‌های زبانی بزرگ (LLM ها) داغه و الان هم متا llama 2 رو معرفی کرده و خوب بخاطر لایسنس اپن سورسش که اجازه استفاده تجاری رو به همه میده بسیار مورد تحسین قرار گرفته و جالبه. ولی نکته اینجاست که فکر نکنیم هرچیزی جدیدتر اومد به طور پیشفرض بهتر هست و باید این مدل‌ها در زمان مانیتور بشن.

@deeptimeai

ادب از که آموختی از بی ادبان!

برای طراحی یک Meta learner با تکنیک stacking، شما میتونید حتی مدل‌هایی با پرفرمنس بد رو دخیل کنید و متالرنر از اون هم یاد میگیره. مثل ایده weak learner. در واقع چیزی که اهمیت داره این هست که مدل‌های مختلف در جاهای متفاوتی اشتباه کنن. و این باعث میشه که مدل نهایی ادب خفنی رو از بی ادبان یاد بگیره و در واقع Generalization اتفاق میفته.

نکته مهم: با توجه به مطلب بالا توصیه میشه که خیلی تک‌مدل‌های موجود در stacking تون رو بهینه نکنید!

پ.ن: ایده Stacked Generalization توسط Wolpert سال ۱۹۹۲ در کتابش مطرح شد اما همین ۲۰۱۹ بود که بعد از نتایج مسابقات Kaggle متوجه قدرت این مدل برای حل مسائل پیچیده شدند و در Scikit-Learn هم آورده شد. مطلب برگرفته از کتاب The Kaggle Book هست.

@deeptimeai

#معرفی_کتاب

عنوان فارسی: صراحت تمام عیار (انتشارات آریانا قلم)
عنوان انگلیسی:
Radical Candor: Be a Kick-Ass Boss Without Losing Your Humanity

نویسنده کتاب سال‌ها یکی از مدیران ارشد گوگل بوده و تیم‌های بزرگی در یوتیوب و گوگل ادسنس را مدیریت کرده است. ایده کلی کتاب ساده است: چگونه به عنوان مدیر صراحت داشته باشیم و در عین حال به افراد اهمیت بدهیم.
ارزش اصلی کتاب به نظرم به ایده کتاب نیست بلکه به داستان‌ها و تجربیاتی است که نویسنده تعریف می‌کند: از اخراج کردن کارمند مستقیم گرفته تا بازخورد دادن به کارمند مستقیم تا انتقاد از رئیس. هر یک از این خاطره‌ها موقعیتی را شرح می‌دهد که برای من نحوه مدیریت کردن آن خیلی جالب بود.
جزء کتاب‌های مورد علاقه من شد و قطعاً چند بار دیگر آن را خواهم خواند. حتی برخی از جملات کتاب ارزش حفظ کردن هم دارد.
@golemcourse

functime: Time-series machine learning and embeddings at scale

کتابخانه نسبتا جدید و تحسین شده برای Time Series و ML هست که به نظر موارد جالبی نسبت به Prophet، Nixtla و Darts داره. حتما بررسی کنید. از polars استفاده کردن و البته اگر نمیکردن عجیب بود. ما هم در کار خودمون برای feature eng و پردازش داده سری زمانی از polars استفاده میکنیم که شدیدا سرعت بالاتری نسبت به pandas داره. پیشنهاد میکنم حتما کار با polars رو یاد بگیرید.

Github

@deeptimeai

کار جدید تیم Deep Mind گوگل بسیار جالبه RT-2
ترکیب مدل‌ زبانی، مدل تصویری و رباتیک!
یک مدل هوش مصنوعی که داده text و image رو از اینترنت یاد گرفته و بعد روی داده رباتیک fine tune شده

ایده اصلی به گفته اعضای تیم ساده بوده ولی جواب داده. مشخصا برای کنترل یک ربات باید action های رباتیک به عنوان خروجی مدل باشن. ایده این بوده که این action ها به صورت token، مشابه توکن مدل‌های زبانی، در خروجی مدل باشن. مدل از RT-1 برای pretraining استفاده کرده. مدل عملکرد خیلی خوبی در تبدیل یک دستور زبانی پیچیده به حرکت‌های رباتیک داره و در این زمینه نسبت به شرایط و اشياء و ... دیده نشده، عملکرد خوبی داشته.

مطالب و ویدئو‌هارو ببینید:

RT-2: New model translates vision and language into action

@deeptimeai

%%ai

در نسخه‌های جدید Jupyter میتونید با استفاده از مجیکِ %%ai پرامپت بنویسید و بگید براتون کد، تصویر، فرمول ریاضی و یا HTML رو با موتور Generative AI مشخص تولید کنه. مثلا با chatgpt کد تولید کنه یا با یک مدل Stable Diffusion از Huggingface تصویر تولید کنه.
Post

@deeptimeai

خلاصه که copilot تو جوپیتر👌

کتابخانه Pydantic یکی از کتابخانه‌های معروف پایتونی برای اعتبارسنجی داده و اطمینان از مقید بودن فیلد‌های کلاس به type مشخص‌شده است. این کتابخانه در چهارچوب معروفی با نام fastAPI نیز برای serialization و unmarshalling استفاده می‌شود.

برای یادگیری این کتابخانه می‌توانید ویدیو یک ساعت و ۳۷ دقیقه‌ای مرا در یوتیوب تماشا کنید:
https://youtu.be/Da5F_OVxvUo

پلتفرم بزرگ بعدی: تحولی در کسب و کار و شروع جاودانگی!

اینجا دیدیم که به لطف مدل‌های زبانی بزرگ (LLM) میشه با ویدئو‌ها چت کرد و ازشون درباره محتوای صحبت شده در ویدئو سوال کرد. همچنین با مدل‌های Generative تصویری مثل Diffusion میشه تصویر و ویدئو خلق کرد. چه نتیجه‌ای میگیرید؟ در واقع به نظرم تکه‌های پازل جمع شدن تا پلتفرم بزرگ بعدی در دنیای مجازی عملی بشه.

پلتفرمی رو فرض کنید که آدم‌ها میتونن ورژنی از خودشون رو اونجا آپلود کنن. همون ایده متاورس اما لزوما نیاز نیست خودمون هم اونجا باشیم! هر فرد یکسری مدل هوش مصنوعی اختصاصی برای خودش خواهد داشت‌. صرفا کافیه افراد ویدئو، متن، استوری، عکس، اکانت سوشال مدیا و ... خودشون رو به این مدل به عنوان ورودی بدن و یا گاهی باهاش باهاش حرف بزنن. اینطوری یک نسخه دیگه از ما در متاورس خواهد بود که هرچقدر از خودِ ما داده بیشتری داشته باشه، به ما شبیه تر خواهد بود. اما نکته اساسی اینکه احتمالا این مدل‌ با داده کافی لایه‌های بالقوه پنهانی از مارو بشناسه که قابلیت‌هایی فراتر از ما دارن. اونوقت شاید هنر ما بشه ایده دادن به نسخه نرم‌افزاریمون و بعد این نسخه‌ نرم‌افزاری آدم‌ها خواهند بود که مسائل مختلف رو در عمل حل میکنن و پول درمیارن. ما بیکار نمیشیم اتفاقا به شدت هر فرد باید در حوزه تخصصی خودش فعالانه تمرکز، تفکر و مطالعه کنه و به نسخه هوش مصنوعی خودش در متاورس ایده بده.

نوآوری این ایده مطابق با تعریف نوآوری کتاب صفر به یک از پیتر تیل هست.

ضمنا پیشنهاد میکنم تا میتونید از نزدیکانتون (خصوصا مادربزرگ، پدربزرگ) هم داده جمع کنید (ویدئو، متن و ...). اگر میتونید در ویدئوها ازشون سوالات متنوع بپرسید. آدم‌ها با شخصیت منحصر به فردشون جاودانه وجود خواهند داشت. شما همین الان هم از چت جی پی تی بپرسید مثل مولانا (Rumi) درباره گرمایش زمین شعر بگه براتون مینویسه و البته چت جی پی تی یک مدل مخصوص مولانا نیست و صرفا شعرهاشو دیده.

با این تکنولوژی بدون شک به یک ورژن اولیه از جاودانگی نرم‌افزاری رسیدیم و فقط باید کمی صبر کنیم تا این ایده پیاده بشه و یا شاید از اعضای همین کانال هم بتونن استارتاپی در این زمینه شروع کنن.

@deeptimeai

ورژن وصیت‌های آینده اینطوری میشه:

وصیت میکنم تمام داراییم به ورژن هوش مصنوعیم در متاورس برسه که بتونه روی ایده هاش سرمایه‌گذاری کنه و در راهی که فکر میکنه درسته (که در واقع مطابق فکر منه) پولشو خرج/سرمایه‌گذاری کنه.

اینجاس که قرارداد هوشمند‌های بلاکچین به کار میاد‌.

@deeptimeai

همش که هوش مصنوعی نیست، هوش طبیعی و استعدادم میخواد😂

@deeptimeai

به لطف این مدل واقعا دیگه نیازی به
Midjourney
نیست (۱۶ گیگ یا بالاتر اگر کارت گرافیک داشته باشید خروجی با سرعت خوبی ساخته می‌شه)

Stable diffusion 1.0

MLOps: Weights & Biases

سه ویژگی از WandB که برای استارتاپ ما خیلی مفید بوده:

1- انجام دسته اکسپریمنت Sweep (شکل) و بررسی به صورت ویژوئال. میشه فیلتر هم گذاشت. سوییپ رو میشه به صورت Grid Search یا Bayesian Optimization و ... انجام داد.
2- آپلود فایل (نتایج، مدل و ...) به صورت Artifact با metadata
3- قابلیت فیلتر روی متادیتا و نتیجتا دانلود Artifact های مورد نظر با زبان کوئری MongoDB

@deeptimeai

ساده ترین راه برای finetune کردن مدل‌ها خصوصا LLM ها:
AutoTrain: Huggingface

فقط کافیه فایل data.csv برای finetune داشته باشید. اگر تعداد سمپل پایین باشه مجانی هست. پروژه اولی هم که میزنید تا جایی که یادمه مجانی بود کلا.
Link
از طریق colab هم میتونید انجام بدید.
Colab

توضیح برای دوستانی که آشنایی کمتری دارن:

با مفهومی به نام transfer learning شما میتونید مدل‌های هوش مصنوعی بزرگی که با تعداد بسیار بالای داده، صرف پردازش خیلی بالا و هزینه بالا آموزش داده شدن رو برای تسک خاص خودتون آموزش بدین. اینطور مدلی که برای یک تسک کلی یا عمومی آموزش دیده میتونه سریع و با هزینه کم برای تسک خاص مد نظر شما آموزش ببینه. فرضا شما میخواین مدلی شبیه chatGPT داشته باشید که کار اصلیش جواب دادن به سوالات روانشناختی هست. پس یک مدل متن باز مثل llama 2 رو انتخاب میکنید و با داد‌ه‌های روانشناختی که شامل prompt و answer هست مدل رو مجدد با hyperparameter مد نظرتون آموزش میدین. این مسئله برای آنالیز احساسات و پردازش تصویر و ... هم استفاده میشه.

@deeptimeai