پلتفرم بزرگ بعدی: تحولی در کسب و کار و شروع جاودانگی!

اینجا دیدیم که به لطف مدل‌های زبانی بزرگ (LLM) میشه با ویدئو‌ها چت کرد و ازشون درباره محتوای صحبت شده در ویدئو سوال کرد. همچنین با مدل‌های Generative تصویری مثل Diffusion میشه تصویر و ویدئو خلق کرد. چه نتیجه‌ای میگیرید؟ در واقع به نظرم تکه‌های پازل جمع شدن تا پلتفرم بزرگ بعدی در دنیای مجازی عملی بشه.

پلتفرمی رو فرض کنید که آدم‌ها میتونن ورژنی از خودشون رو اونجا آپلود کنن. همون ایده متاورس اما لزوما نیاز نیست خودمون هم اونجا باشیم! هر فرد یکسری مدل هوش مصنوعی اختصاصی برای خودش خواهد داشت‌. صرفا کافیه افراد ویدئو، متن، استوری، عکس، اکانت سوشال مدیا و ... خودشون رو به این مدل به عنوان ورودی بدن و یا گاهی باهاش باهاش حرف بزنن. اینطوری یک نسخه دیگه از ما در متاورس خواهد بود که هرچقدر از خودِ ما داده بیشتری داشته باشه، به ما شبیه تر خواهد بود. اما نکته اساسی اینکه احتمالا این مدل‌ با داده کافی لایه‌های بالقوه پنهانی از مارو بشناسه که قابلیت‌هایی فراتر از ما دارن. اونوقت شاید هنر ما بشه ایده دادن به نسخه نرم‌افزاریمون و بعد این نسخه‌ نرم‌افزاری آدم‌ها خواهند بود که مسائل مختلف رو در عمل حل میکنن و پول درمیارن. ما بیکار نمیشیم اتفاقا به شدت هر فرد باید در حوزه تخصصی خودش فعالانه تمرکز، تفکر و مطالعه کنه و به نسخه هوش مصنوعی خودش در متاورس ایده بده.

نوآوری این ایده مطابق با تعریف نوآوری کتاب صفر به یک از پیتر تیل هست.

ضمنا پیشنهاد میکنم تا میتونید از نزدیکانتون (خصوصا مادربزرگ، پدربزرگ) هم داده جمع کنید (ویدئو، متن و ...). اگر میتونید در ویدئوها ازشون سوالات متنوع بپرسید. آدم‌ها با شخصیت منحصر به فردشون جاودانه وجود خواهند داشت. شما همین الان هم از چت جی پی تی بپرسید مثل مولانا (Rumi) درباره گرمایش زمین شعر بگه براتون مینویسه و البته چت جی پی تی یک مدل مخصوص مولانا نیست و صرفا شعرهاشو دیده.

با این تکنولوژی بدون شک به یک ورژن اولیه از جاودانگی نرم‌افزاری رسیدیم و فقط باید کمی صبر کنیم تا این ایده پیاده بشه و یا شاید از اعضای همین کانال هم بتونن استارتاپی در این زمینه شروع کنن.

@deeptimeai

ورژن وصیت‌های آینده اینطوری میشه:

وصیت میکنم تمام داراییم به ورژن هوش مصنوعیم در متاورس برسه که بتونه روی ایده هاش سرمایه‌گذاری کنه و در راهی که فکر میکنه درسته (که در واقع مطابق فکر منه) پولشو خرج/سرمایه‌گذاری کنه.

اینجاس که قرارداد هوشمند‌های بلاکچین به کار میاد‌.

@deeptimeai

همش که هوش مصنوعی نیست، هوش طبیعی و استعدادم میخواد😂

@deeptimeai

به لطف این مدل واقعا دیگه نیازی به
Midjourney
نیست (۱۶ گیگ یا بالاتر اگر کارت گرافیک داشته باشید خروجی با سرعت خوبی ساخته می‌شه)

Stable diffusion 1.0

MLOps: Weights & Biases

سه ویژگی از WandB که برای استارتاپ ما خیلی مفید بوده:

1- انجام دسته اکسپریمنت Sweep (شکل) و بررسی به صورت ویژوئال. میشه فیلتر هم گذاشت. سوییپ رو میشه به صورت Grid Search یا Bayesian Optimization و ... انجام داد.
2- آپلود فایل (نتایج، مدل و ...) به صورت Artifact با metadata
3- قابلیت فیلتر روی متادیتا و نتیجتا دانلود Artifact های مورد نظر با زبان کوئری MongoDB

@deeptimeai

ساده ترین راه برای finetune کردن مدل‌ها خصوصا LLM ها:
AutoTrain: Huggingface

فقط کافیه فایل data.csv برای finetune داشته باشید. اگر تعداد سمپل پایین باشه مجانی هست. پروژه اولی هم که میزنید تا جایی که یادمه مجانی بود کلا.
Link
از طریق colab هم میتونید انجام بدید.
Colab

توضیح برای دوستانی که آشنایی کمتری دارن:

با مفهومی به نام transfer learning شما میتونید مدل‌های هوش مصنوعی بزرگی که با تعداد بسیار بالای داده، صرف پردازش خیلی بالا و هزینه بالا آموزش داده شدن رو برای تسک خاص خودتون آموزش بدین. اینطور مدلی که برای یک تسک کلی یا عمومی آموزش دیده میتونه سریع و با هزینه کم برای تسک خاص مد نظر شما آموزش ببینه. فرضا شما میخواین مدلی شبیه chatGPT داشته باشید که کار اصلیش جواب دادن به سوالات روانشناختی هست. پس یک مدل متن باز مثل llama 2 رو انتخاب میکنید و با داد‌ه‌های روانشناختی که شامل prompt و answer هست مدل رو مجدد با hyperparameter مد نظرتون آموزش میدین. این مسئله برای آنالیز احساسات و پردازش تصویر و ... هم استفاده میشه.

@deeptimeai

بدون Docker و یک فریمورک مثل fastAPI عملا هیچ کاری قابل deploy نیست. چه بهتر که هر دو رو در قالب یک آموزش برای ساخت یک اپلیکیشن AI یاد بگیرید.

پیشنهاد میکنم این آموزش رو از دست ندید چون خود سازنده fastAPI یکی از ارائه دهنده هاست.

Link

@deeptimeai

علت صعود قیمت بیتکوین: رای دادگاه به نفع شرکت Grayscale (یک شرکت سرمایه‌گذاری کریپتو) در مقابل SEC (آژانس تنظیم‌گری کمیسیون بورس اوراق بهادار آمریکا)، که به نوعی اجازه راه‌اندازی ETF رو برای بیتکوین دادن.
خبر مهمیه و به نظرم قیمت خیلی بالاتر هم میره.
link

@deeptimeai

چون خیلی پیام گرفتم یک نکته راجع به ترید کردن بگم:
اگر قصد دارید از اخبار هم در ترید استفاده کنید ترجیحا به یک سیستم نیاز دارید که تاریخ اخبار مهم رو براتون نگه داره و اثر قبل و بعدش رو در دیتاست بذارید و سیستم ماشین لرنینگتون رو ترین کنید. فرضا استفاده از Future Covariate ببینید.
نکته مهم البته اینجاست که خیلی اوقات بازار از قبل خبر رو پیشبینی کرده (در این مثال بازار از قبل جواب دادگاه رو پیشبینی کرده) و واکنشش رو نشون داده و قیمت بالا رفته. اما این به این معنی نیست که بعد دیگه نمیشه سود گرفت. فرضا من خبر رو روی ۲۷۰۰۰ دیدم و قیمت تا بالای ۲۸۰۰۰ رفت. با یک سیستم میشد سود گرفت.

اما اینجا کانال سیگنال گذاشتن نیست و سیگنال صرفا وقتی مورد پذیرش هست که خروجی یک سیستم درست حسابی باشه.
چیزی که اهمیت داره اخباری مثل عمومی تر شدن استفاده از بیتکوین در سیستم مالی آمریکاس و اینجا ETF شدن بیتکوین میتونه آینده خوبی داشته باشه برای کریپتو.

@deeptimeai

برای Tabular Data هم میتونید در Huggingface مدل ترین کنید.
اگر CPU استفاده کنید رایگان خواهد بود. البته برای ابزار رایگان ترجیح خودم فعلا استفاده از Kaggle
هفته‌ای ۳۰ ساعت GPU P100 رایگان برای هر اکانت.

پ.ن: ابتدای رشته توییت در لینک بالا جالب اشاره شده که با اینکه این روزها همش صحبت از LLM هست اما بیشتر پروژه‌ها و پول در کار Tabular هست.

@deeptimeai

#OFF_TIME

موسیقی Gary Moore و ترکیب استثنایی بلوز و راک با سولوهای جادویی. اینجا بخشی از آهنگ The Loaner رو زدم.

پ.ن: پست های OFF TIME همونطور که از اسمش مشخصه، خارج از بحث اصلی کانال هستن.
@deeptimeai

ثبت احوال هم هک شده
و متأسفانه این گروه هکری برای اثبات در حال توسعه سایتی برای ایجاد دسترسی به دیتا هست (هرچند فقط بخشی از دیتا)

این اتفاق اصلا خوب نیست، حتی اگر اطلاعات ۱ نفر به اشتراک گذاشته بشه
این گروه هکری اسم خودش رو
anti_mullah
ضد آخوند گذاشته، ولی متأسفانه داره به مردم عادی ضربه میزنه، ازین گروه‌ها حمایت نکنید.

شخصاً:
من به شخصه به این هک‌ها مشکوک هم هستم، چون تمام هکرها می‌دونند چه دیتایی به دولت‌ها ضربه میزنه و کسی با این هدف اطلاعات مردم عادی رو به اشتراک نمی‌ذاره، هک‌های اخیر فقط بهونه سازی میشه برای محدود سازی اینترنت.
ازین تکنیک کشورهای دیگری هم قبل از ما برای محدود کردن دسترسی و اینترنت استفاده کردند که نمونه موفق اون چین بوده.

قبلا در این پست دیدیم که هوش مصنوعی chatGPT واقعا هوش نداره! اتفاقا همون زمان این پست رو برای جادی فرستادم و تو رادیوگیک بررسیش کرد.
حالا اینجا میبینیم که هوش مصنوعی از A = B نمیتونه استدلال کنه که B = A
Paper PDF

فعلا این دو پست رو داشته باشید اگر جایی بحث شد در مورد توانایی و هوش LLM ها.

@deeptimeai

XGBOOST 2.0 (stable release)
Link
نسخه 2 یکی از محبوب ترین مدل‌های Machine Learning منتشر شده. علاوه بر یکسری بهینه سازی و رفع یکسری مشکل (خصوصا مشکلات Memory که ما رو هم خیلی اذیت میکرد)، مواردی خیلی جالبی اضافه شده:
- Quantile Regression
- Multi-Target
- Vertical Federated Learning
- Learning to Rank

بحث Quantile Regression بسیار مهم و کاربردی هست. در واقع استفاده از میانه و بقیه quantile ها باعث میشه زمانیکه outlier داریم یا زمانی که residualهای خطا از توزیع نرمال نیستن ( فرض مهم رگرسیون معمولی)، بتونیم از این روش distribution-free استفاده کنیم که هم نسبت به داده پرت مقاوم هست (مهم در مسائل با ریسک بالا مثل finance و سلامت) و هم اینکه برای توزیع‌های skewed انتخاب معقول تری هست. علاوه بر این گاهی در مسائلی دقیقا نیاز داریم از quantile ها و loss متناظرشون استفاده کنیم.

بحث Multi-Target و FederatedLearning هم برام جالب بود چون تو هردوش مقاله دارم.
مباحث آموزش مدل با GPU هم خیلی کارشدن و بسیار کاربردی هست. خصوصا که ما همیشه از GPUهای Kaggle برای ران گرفتن XGBOOST استفاده میکنیم.

در نهایت به قول بزرگان Kaggle:
XGBOOST is all you need!

@deeptimeai

TimeGPT
Paper: Link
API & Docs: Link

خوب Nixtla مقاله TimeGPT رو منتشر کرد که نتایج خیلی خوبی داشته. فعلا برای دسترسی و استفاده از این مدل باید درخواست بدید.
خلاصه‌ای از این مدل و مقاله:

0- کار اصلی مقاله و این مدل این هست که تونستن با دادن حجم بالایی از انواع داده سری زمانی ( 100 میلیارد datapoint) ، و همچنین طراحی یک معماری Transformer مخصوص سری زمانی (با در نظر گرفتن فرکانس، ترند، stationarity و ...)، نتیجه خیلی خوبی از این مدل‌های پیشرفته برای داده سری زمانی بگیرن.
1- پیشبینی سری زمانی به صورت Zero-shot. یعنی مدلی توسعه دادند که بدون نیاز به فاز آموزش، هر سری زمانی رو با دقت بالایی پیشبینی میکنه.
2- قابلیت Fine-tuning که باعث افزایش دقت پیشبینی میشه.
3- طبق ادعای مقاله مدل در تمامی افق‌های پیشبینی عالی عمل کرده و در بعضی افق‌ها از تمامی مدل‌های قوی سری زمانی (از آماری و بر مبنای درخت مثل LGBM گرفته تا شبکه عصبی) بهتر عمل کرده.
4- یک مزیت اصلی کاهش پایپلاین‌های پردازش داده و مهندسی فیچر هست.
5- سنجش uncertainty با روش conformal prediction که قبلا اینجا در موردش صحبت شده بود.

در نهایت افراد متخصصی از این مدل تعریف کردن اما باید ببینیم در عمل، در صنعت و مسابقات چقدر موفق خواهد بود. در این پست درباره بهترین‌ مدل‌ها برای پیشبینی سری زمانی صحبت شد.

#گزارش

گزارش هوش مصنوعی کگل ۲۰۲۳

▫️از بخش های مختلف این گزارش که به بررسی ترندها و دیدگاه های بزرگان کگل در حوزه های مختلف ماشین لرنینگ پرداخته، بخش ۴ که در مورد داده های جدولی و سری های زمانیه، کاربردی ترین برای فایننسی هاست. اگرچه همه فایننس داده های جدولی نیست و اگر با داده های آلترناتیو کار میکنید، سایر بخش ها هم میتونه براتون مفید واقع بشه، اما زمان ویژه ای برای مطالعه نکات بخش ۴ و نوتبوک های مربوطه که لینک اش در گزارش گنجانده شده، بزارید. برای سهولت مراجعه به نوتبوکها، میتونید از لیست زیر هم استفاده کنید:

- Learnings From the Typical Tabular Modelling Pipeline
- AI Report - Time Series and Tabular Data
- Tabular Data in the Age of AI

▫️فایل گزارش رو میتونید از اینجا دانلود کنید. قبلا هم کتاب The Kaggle Book رو اینجا معرفی کردیم.

@FinPy

مدل‌های برنده مسابقات ماشین لرنینگ برای Tabular Data رو اینجا با رنگ دسته بندی کردم. البته این مربوط به گزارش 2022 هست که قبلا هم در کانال بود.
Link

دقت کنید در یکسری روش‌های برنده، مدل‌های Tree-based و Deep Learning ترکیب شدن. تعداد بالای LightGBM بسیار جالب هست. روش split در LightGBM برخلاف XGboost به شکل leaf-wise هست. در XGboost روش depth-wise داریم. مواردی که ستاره زدم مسابقات فایننس هستن. البته طبق گزارش خیلی به نتیجه مسابقه JPX نمیشه اتکا کرد چون کل بازه تست یک بازه 90 روزه و طبعا biased بوده.

@deeptimeai

مقاله مروری 150 صفحه‌ای درباره ماشین لرنینگ در فایننس
Financial Machine Learning

Link

@deeptimeai

چطور اول صبح در یک سخنرانی خواب رو از سر دانشجوها بپرونیم؟
جذب دانشجوها به یادگیری یک تخصص جدید (هوش مصنوعی)

اردیبهشت ۱۴۰۱
دانشگاه صنعتی شریف

@deeptimeai