شرکت Meta در Meta AI یک کتابخانه جدید برای سری زمانی (در دادههای جدولی) معرفی کردن به نام NeuralProphet که بر پایه PyTorch توسعه داده شده با هدف افزایش دقت، توضیح پذیری و مقیاس پذیری مدلهای سری زمانی.
کار اصلی انجام شده ترکیب مزیتهای مدلهای کلاسیک سری زمانی مثل ETS و ARIMA با مدل های یادگیری عمیق بوده. مدلهای کلاسیک ترندها و اتفاقات دورهای رو بهتر مدل میکنن و یادگیری عمیق در شناسایی پیچیدگی و تعمیم پذیری عملکرد بهتری داره.
Meta AI blog
Paper: NeuralProphet: Explainable Forecasting at Scale
Github: including tutorials
#Time_Series
@deeptimeai
کار اصلی انجام شده ترکیب مزیتهای مدلهای کلاسیک سری زمانی مثل ETS و ARIMA با مدل های یادگیری عمیق بوده. مدلهای کلاسیک ترندها و اتفاقات دورهای رو بهتر مدل میکنن و یادگیری عمیق در شناسایی پیچیدگی و تعمیم پذیری عملکرد بهتری داره.
Meta AI blog
Paper: NeuralProphet: Explainable Forecasting at Scale
Github: including tutorials
#Time_Series
@deeptimeai
Facebook
NeuralProphet: The neural evolution of Meta’s Prophet
We’re releasing NeuralProphet, an easy-to-use open source framework for hybrid forecasting models. NeuralProphet builds on Facebook Prophet & extends it to industrial applications. Built in PyTorch, NeuralProphet produces accurate, interpretable time series…
👍1
Deep Time
شرکت Meta در Meta AI یک کتابخانه جدید برای سری زمانی (در دادههای جدولی) معرفی کردن به نام NeuralProphet که بر پایه PyTorch توسعه داده شده با هدف افزایش دقت، توضیح پذیری و مقیاس پذیری مدلهای سری زمانی. کار اصلی انجام شده ترکیب مزیتهای مدلهای کلاسیک سری…
TSAI: TIME SERIES AI
و البته یک پکیج با ۱۰۰۰ استار گیتهاب که روی fastai ساخته شده و بسیار محبوب هست.
tsai
و البته یک پکیج با ۱۰۰۰ استار گیتهاب که روی fastai ساخته شده و بسیار محبوب هست.
tsai
GitHub
GitHub - timeseriesAI/tsai: Time series Timeseries Deep Learning Machine Learning Python Pytorch fastai | State-of-the-art Deep…
Time series Timeseries Deep Learning Machine Learning Python Pytorch fastai | State-of-the-art Deep Learning library for Time Series and Sequences in Pytorch / fastai - timeseriesAI/tsai
👍2
یکی از مشکلات مهم در آموزش مدل با داده بزرگ بحث استفاده از رم یا memory usage هست.
برای مثال اگر LSTM بخواید ران کنید و داده بزرگی داشته باشید این اصلا منطقی نیست که کل رکوردهای پنجره زمانی رو هم زمان بسازید.
برای داده های بزرگ در هر مسئله دیگه ای هم درست نیست کل داده ها همزمان در مموری لود بشه.
راه حل در Keras:
استفاده از یک کلاس training_batch_generator
و استفاده از fit_generator بجای fit
Link
در Pytorch هم از dataloader استفاده میشه برای این مسئله.
برای مثال اگر LSTM بخواید ران کنید و داده بزرگی داشته باشید این اصلا منطقی نیست که کل رکوردهای پنجره زمانی رو هم زمان بسازید.
برای داده های بزرگ در هر مسئله دیگه ای هم درست نیست کل داده ها همزمان در مموری لود بشه.
راه حل در Keras:
استفاده از یک کلاس training_batch_generator
و استفاده از fit_generator بجای fit
Link
در Pytorch هم از dataloader استفاده میشه برای این مسئله.
Medium
Training on Large Datasets That Don’t Fit In Memory in Keras
Training your Deep Learning algorithms on a huge dataset that is too large to fit in memory? If yes, this article will be of great help to…
👍1
Audio
دیتاساینس و سری زمانی
ویس ۴
چند نکته از مسابقات ماشین لرنینگ برای پیشبینی بازارهای مالی که شرکتهای hedge fund نوظهوری مثل numer.ai برگزار میکنن. و بر خلاف مسابقات Kaggle، اینجا مسابقات به صورت ممتد و هر هفته برگزار میشه و این شرکتها بر اساس خروجی و پیشبینی این مسابقات، اقدام به سرمایهگذاری میکنن.
SoDeep: a Sorting Deep net to learn ranking loss surrogates
@deeptimeai
ویس ۴
چند نکته از مسابقات ماشین لرنینگ برای پیشبینی بازارهای مالی که شرکتهای hedge fund نوظهوری مثل numer.ai برگزار میکنن. و بر خلاف مسابقات Kaggle، اینجا مسابقات به صورت ممتد و هر هفته برگزار میشه و این شرکتها بر اساس خروجی و پیشبینی این مسابقات، اقدام به سرمایهگذاری میکنن.
SoDeep: a Sorting Deep net to learn ranking loss surrogates
@deeptimeai
👍2❤1
چیزی که آندره کارپاثی، مدیر هوش مصنوعی تسلا ۳ سال پیش در موردش حرف میزد داره اتفاق میفته!
Link
SOFTWARE 2.0
توسعه مدلهای مهم هوش مصنوعی مثل Bert و GPT3 همیشه در اختیار متخصصین محدودی از شرکتهای بزرگ (گوگل، متا و ...) بوده که بیشترین منابع پردازشی رو در اختیار داشتن. این دقیقا خلاف مکانیزم مشارکت همگانی در توسعه هست که در دنیای توسعه نرمافزار وجود داره. اما خوب مشکلاتی وجود داشته که این اتفاق نمیفتاده.
۱_ مشکل اول این هست که آدمها و شرکتهای کوچیک توانایی پردازش مدلهای بزرگ رو ندارن بنابراین مکانیزمی جدید تعریف شده تا افراد فقط بعضی پارامترهای مهم مدلها رو آپدیت کنن.
Paper on model "patches"
۲_مشکل دوم نحوه مدیریت مشارکتهای مختلف برای آپدیت پارامترهاست که از چیزی شبیه مکانیزم مورد استفاده در federated learning استفاده شده.
Paper on "merging" models
یادمون باشه که اصلیترین دلیل سلطه گونه ما در کره زمین و هوش انسان، تبادل دانش بهتر نسبت به گونههای دیگه بوده (بعضی گونه های دیگه حتی مغز بزرگتری داشتن). و هر جا مکانیزم بهتری برای تبادل دانش بوده، ابزار بهتری ساخته شده. بنابراین احتمالا سیستم معرفی شده، مسیر تازهای در توسعه مدلهای ماشین لرنینگ باشه.
Link
SOFTWARE 2.0
توسعه مدلهای مهم هوش مصنوعی مثل Bert و GPT3 همیشه در اختیار متخصصین محدودی از شرکتهای بزرگ (گوگل، متا و ...) بوده که بیشترین منابع پردازشی رو در اختیار داشتن. این دقیقا خلاف مکانیزم مشارکت همگانی در توسعه هست که در دنیای توسعه نرمافزار وجود داره. اما خوب مشکلاتی وجود داشته که این اتفاق نمیفتاده.
۱_ مشکل اول این هست که آدمها و شرکتهای کوچیک توانایی پردازش مدلهای بزرگ رو ندارن بنابراین مکانیزمی جدید تعریف شده تا افراد فقط بعضی پارامترهای مهم مدلها رو آپدیت کنن.
Paper on model "patches"
۲_مشکل دوم نحوه مدیریت مشارکتهای مختلف برای آپدیت پارامترهاست که از چیزی شبیه مکانیزم مورد استفاده در federated learning استفاده شده.
Paper on "merging" models
یادمون باشه که اصلیترین دلیل سلطه گونه ما در کره زمین و هوش انسان، تبادل دانش بهتر نسبت به گونههای دیگه بوده (بعضی گونه های دیگه حتی مغز بزرگتری داشتن). و هر جا مکانیزم بهتری برای تبادل دانش بوده، ابزار بهتری ساخته شده. بنابراین احتمالا سیستم معرفی شده، مسیر تازهای در توسعه مدلهای ماشین لرنینگ باشه.
Twitter
Colin Raffel
Announcing a new research focus in my lab: Developing tools to enable collaboratively-built and continually-improved models. Blog post: colinraffel.com/blog/a-call-to… Paper on model "patches": arxiv.org/abs/2111.09839 Paper on "merging" models: arxiv.or…
👍2
Deep Time
دیتاساینس و سری زمانی ویس ۴ چند نکته از مسابقات ماشین لرنینگ برای پیشبینی بازارهای مالی که شرکتهای hedge fund نوظهوری مثل numer.ai برگزار میکنن. و بر خلاف مسابقات Kaggle، اینجا مسابقات به صورت ممتد و هر هفته برگزار میشه و این شرکتها بر اساس خروجی و پیشبینی…
Github
کد callback قرار داده شد.
همونطور که صحبت شد از Spearman Corr برای سنجش قدرت پیشبینی روند قیمتی در مدلهای ماشین لرنینگ استفاده میشه اما به دلیل مشتق پذیر نبودن، مستقیما به عنوان loss function قابل استفاده نیست. اما میشه از callback یا فراخوان استفاده کرد که اگر این معیار در چند اپوک (قابل تعیین) خوب جلو نرفت، آموزش مدل متوقف بشه (custom early stopping). همچنین این معیار در هر اپوک پرینت میشه.
کد callback قرار داده شد.
همونطور که صحبت شد از Spearman Corr برای سنجش قدرت پیشبینی روند قیمتی در مدلهای ماشین لرنینگ استفاده میشه اما به دلیل مشتق پذیر نبودن، مستقیما به عنوان loss function قابل استفاده نیست. اما میشه از callback یا فراخوان استفاده کرد که اگر این معیار در چند اپوک (قابل تعیین) خوب جلو نرفت، آموزش مدل متوقف بشه (custom early stopping). همچنین این معیار در هر اپوک پرینت میشه.
👍1
مغز انسان (و عموما موجودات بیولوژیکی) بسیار از نظر #مصرف_انرژی بازده بالاتری نسبت به مدلهای هوش مصنوعی دارند. اما علت چیست؟
از یکی از اسطورههای هوش مصنوعی جواب این مسئله را بگیریم.
@deeptimeai
از یکی از اسطورههای هوش مصنوعی جواب این مسئله را بگیریم.
@deeptimeai
👍2
پیشبینی خرابی قریبالوقوع باتریهای خورشیدی خارج از شبکه با روش یادگیری ماشین احتمالاتی
پژوهشگران آکسفورد با بهره گیری از اطلاعات بیش از ۱۰۰۰ سیستم خورشیدی خارج از شبکه (ششصد و بیست میلیون ردیف داده) و یک مدل ماشین لرنینگ دقت پیشبینی خرابی باتریها را ۲۰ درصد افزایش دادند.
برای مدل کردن مقاومت از یک مدل ماشین لرنینگ احتمالاتی که در آن مقاومت تابعی از شرایط عملیاتی (SOC، جریان، ولتاژ و دما) و زمان است استفاده شده است.
paper
dataset
request software
#Energy
@deeptimeai
پژوهشگران آکسفورد با بهره گیری از اطلاعات بیش از ۱۰۰۰ سیستم خورشیدی خارج از شبکه (ششصد و بیست میلیون ردیف داده) و یک مدل ماشین لرنینگ دقت پیشبینی خرابی باتریها را ۲۰ درصد افزایش دادند.
برای مدل کردن مقاومت از یک مدل ماشین لرنینگ احتمالاتی که در آن مقاومت تابعی از شرایط عملیاتی (SOC، جریان، ولتاژ و دما) و زمان است استفاده شده است.
paper
dataset
request software
#Energy
@deeptimeai
Sciencedirect
Predicting battery end of life from solar off-grid system field data using machine learning
Hundreds of millions of people lack access to electricity. Decentralized solar-battery systems are key for addressing this while avoiding carbon emiss…
👍2
در صورتی که در زمینه کامپیوتر ساینس فعالیت دارید حتما حتما کارهاتون رو داکیومنت کنید (مثلا در گیتهاب با جزئیات)، بلاگ داشته باشید، در کامیونیتی های مختلف فعال و تولید کننده باشید (مثل کامیونیتیهای StackExchange) یا اگر میتونید حتی ویدئو بسازید.
چرا:
دلیل اول این که متخصصان زیادی در این زمینه وجود داره و خود افرادی که در شرکتهای بزرگ مثل گوگل، آمارون، Meta و ... کار استخدام و مصاحبه گرفتن رو انجام میدن دیگه فقط CV نمیبینن و معیارشون این موارد هست.
دلیل دوم اینکه کارهای انجام شده شما در یک فرمت استاندارد داکیومنت میشه و قطعا در آینده بیشتر از همه به درد خودتون خواهد خورد.
چرا:
دلیل اول این که متخصصان زیادی در این زمینه وجود داره و خود افرادی که در شرکتهای بزرگ مثل گوگل، آمارون، Meta و ... کار استخدام و مصاحبه گرفتن رو انجام میدن دیگه فقط CV نمیبینن و معیارشون این موارد هست.
دلیل دوم اینکه کارهای انجام شده شما در یک فرمت استاندارد داکیومنت میشه و قطعا در آینده بیشتر از همه به درد خودتون خواهد خورد.
❤2
باز هم یک کار عالی از Google Research برای Time Series
Interpretable Deep Learning for Time Series Forecasting
Interpretable Deep Learning for Time Series Forecasting
research.google
Interpretable Deep Learning for Time Series Forecasting
Posted by Sercan O. Arik, Research Scientist and Tomas Pfister, Engineering Manager, Google Cloud Multi-horizon forecasting, i.e. predicting variab...
👍1
نگاه درست به Transformerها و Graph Neural Network ها نشون میده اونها در واقع به شکل یکسانی به مسئله نگاه میکنن. و البته representation به صورت گراف کم حجم تر و کم خرج تر!
Transformers are Graph Neural Networks
بسیار جالب
@deeptimeai
Transformers are Graph Neural Networks
بسیار جالب
@deeptimeai
The Gradient
Transformers are Graph Neural Networks
My engineering friends often ask me: deep learning on graphs sounds great, but are there any real applications? While Graph Neural Networks are used in recommendation systems at Pinterest [https://medium.com/pinterest-engineering/pinsage-a-new-graph-convolutional…
👍2
Scientific Visualization Book
یک کتاب خوب برای مصورسازی
پی دی اف کتاب در لینک گیتهاب بالا، توسط نویسنده کتاب قرار داده شده.
@deeptimeai
یک کتاب خوب برای مصورسازی
پی دی اف کتاب در لینک گیتهاب بالا، توسط نویسنده کتاب قرار داده شده.
@deeptimeai
👍3
TensorFlow or PyTorch?
خوب جواب این سوال بسیار بستگی داره به کاربرد ما. برای مثال گوگل ای آی و دیپمایند از تنسورفلو و JAX استفاده میکنن. اما فیسبوک از پایتورچ و هاگینگ فیس عمدتا پایتورچ.
به صورت کلی اگر ما بخوایم کار صنعتی و دیپلوی انجام بدیم تنسوفلو انتخاب بهتری هست. اما اگر بخوایم ریسرچ کنیم عموما پایتورچ. هرچند مثلا در RL فرق میکنه مسئله...
پیشنهاد میکنم این پست را ببینید. دقیق توضیح داده شده.
@deeptimeai
خوب جواب این سوال بسیار بستگی داره به کاربرد ما. برای مثال گوگل ای آی و دیپمایند از تنسورفلو و JAX استفاده میکنن. اما فیسبوک از پایتورچ و هاگینگ فیس عمدتا پایتورچ.
به صورت کلی اگر ما بخوایم کار صنعتی و دیپلوی انجام بدیم تنسوفلو انتخاب بهتری هست. اما اگر بخوایم ریسرچ کنیم عموما پایتورچ. هرچند مثلا در RL فرق میکنه مسئله...
پیشنهاد میکنم این پست را ببینید. دقیق توضیح داده شده.
@deeptimeai
👍2
Deep Time
مسابقه ژانویه Kaggle: سری زمانی
برای حرفه ای شدن و فرآیند توسعه مدل خوب در مسابقات، چنین تجربیاتی که نوشته شده کمک کننده هست👇
Kaggle_discussion
Kaggle_discussion
Kaggle
Tabular Playground Series - Dec 2021
Practice your ML skills on this approachable dataset!
👍2
این مقاله مربوط به راه حل برنده دور آخر از معروف ترین و قدیمی ترین مسابقه time series هست که RNN رو با روشهای آماری به شکل جالبی ترکیب کرده.
چند نکته:
۱_ در این مسابقه (دور آخر) روشهای صرفا ML نتیجه خوبی نداشتن و البته دور های دیگه هم همین مسئله بوده
۲_ مسابقه M competition مثلا M4 از ۱۹۸۲ برگزار میشه برای سری زمانی
۳_وبسایت مرکز پیشبینی MOFC
۴_مثل بحث این پست، مدلسازی دقیق و درست از سری زمانی tabular (یعنی داده غیر از متن و nlp و ویدئو) همیشه ترکیبی از متد های آماری، کلاسیک و ماشین لرنینگ بوده.
چند نکته:
۱_ در این مسابقه (دور آخر) روشهای صرفا ML نتیجه خوبی نداشتن و البته دور های دیگه هم همین مسئله بوده
۲_ مسابقه M competition مثلا M4 از ۱۹۸۲ برگزار میشه برای سری زمانی
۳_وبسایت مرکز پیشبینی MOFC
۴_مثل بحث این پست، مدلسازی دقیق و درست از سری زمانی tabular (یعنی داده غیر از متن و nlp و ویدئو) همیشه ترکیبی از متد های آماری، کلاسیک و ماشین لرنینگ بوده.
👍3