-در آپدیت تپروت شبکه بیت کوین به جای الگوریتم امضای دیجیتالی منحنی بیضی (ECDSA) از امضای Schnorr استفاده می کند که به دلیلی خطی بودن محاسبات باعث افزایش سرعت و حل مشکل مقیاس پذیری بیت کوین می گردد. و در این هفته با پذیرش 90% ماینر های روی شبکه بیت کوین اعمال می گردد.
https://www.coindesk.com/tech/2021/11/13/taproot-bitcoins-long-anticipated-upgrade-activates-this-weekend/

پیرو بحث مدل های جدید یادگیری عمیق برای داده جدولی
مدل SAINT: مدل پیشرفته یادگیری عمیق برای داده جدولی با نتایج بهتر و روش جالب

https://paperswithcode.com/method/saint

SAINT is a recent hybrid deep learning approach for tabular data. It performs attention over both rows and columns, and it includes an enhanced embedding method. It outperforms gradient boosting methods like CatBoost on a variety of benchmark tasks.

@deeptimeai

شبیه سازی و مدل‌های فیزیکی در حوزه‌های مختلفی مثل مکانیک سیالات، مکانیک محیط پیوسته، آکوستیک، ترمودینامیک، توربوماشین و ... بسیار مرسوم است که جدیدا این مدل‌ها با دیپ لرنینگ ترکیب شده و سرعت و عملکرد بسیار بهتری پیدا می‌کنند. نکته اصلی این است که فقط به یادگیری با ناظر انجام اکتفا نشده و قوانین فیزیکی در دل مدل وجود دارند. دو مقاله جالب در این زمینه که در هر دو اسم یک ایرانی دیده میشه. مدیرعامل Nvidia در سخنرانی چند روز اخیرش به مقاله اول اشاره داشت.

Physics-Informed Neural Operator for Learning Partial Differential Equations
Zongyi Li, Hongkai Zheng, Nikola Kovachki, David Jin, Haoxuan Chen, Burigede Liu, Kamyar Azizzadenesheli, Anima Anandkumar

Machine learning methods have recently shown promise in solving partial differential equations (PDEs). They can be classified into two broad categories: approximating the solution function and learning the solution operator. The Physics-Informed Neural Network (PINN) is an example of the former while the Fourier neural operator (FNO) is an example of the latter. Both these approaches have shortcomings. The optimization in PINN is challenging and prone to failure, especially on multi-scale dynamic systems. FNO does not suffer from this optimization issue since it carries out supervised learning on a given dataset, but obtaining such data may be too expensive or infeasible. In this work, we propose the physics-informed neural operator (PINO), where we combine the operating-learning and function-optimization frameworks. This integrated approach improves convergence rates and accuracy over both PINN and FNO models. In the operator-learning phase, PINO learns the solution operator over multiple instances of the parametric PDE family. In the test-time optimization phase, PINO optimizes the pre-trained operator ansatz for the querying instance of the PDE. Experiments show PINO outperforms previous ML methods on many popular PDE families while retaining the extraordinary speed-up of FNO compared to solvers. In particular, PINO accurately solves challenging long temporal transient flows and Kolmogorov flows where other baseline ML methods fail to converge.

Deep learning for reduced order modelling and efficient temporal evolution of fluid simulations
Pranshu Panta, Ruchit Doshib, Pranav Bahlc, Amir Barati Farimanid

Reduced order modeling (ROM) has been widely used to create lower order, computationally inexpensive representations of higher-order dynamical systems. Using these representations, ROMs can efficiently model flow fields while using significantly lesser parameters. Conventional ROMs accomplish this by linearly projecting higher-order manifolds to lower-dimensional space using dimensionality reduction techniques such as proper orthogonal decomposition (POD). In this work, we develop a novel deep learning framework DL-ROM (deep learning—reduced order modeling) to create a neural network capable of non-linear projections to reduced order states. We then use the learned reduced state to efficiently predict future time steps of the simulation using 3D Autoencoder and 3D U-Net-based architectures. Our model DL-ROM can create highly accurate reconstructions from the learned ROM and is thus able to efficiently predict future time steps by temporally traversing in the learned reduced state. All of this is achieved without ground truth supervision or needing to iteratively solve the expensive Navier–Stokes (NS) equations thereby resulting in massive computational savings. To test the effectiveness and performance of our approach, we evaluate our implementation on five different computational fluid dynamics (CFD) datasets using reconstruction performance and computational runtime metrics. DL-ROM can reduce the computational run times of iterative solvers by nearly two orders of magnitude while maintaining an acceptable error threshold.
#simulation
@deeptimeai

محصول جالب دوقلوی دیجیتالی از Nvidia و Siemens Energy برای پیشبینی خردگی در بازیاب‌های حرارتی (Heat Recovery Steam Generators) که باعث 70 درصد کاهش down-time در سیستم و ذخیره 1.7 میلیارد دلار در سال شده است. مدلسازی "فیزیکی-یادگیری ماشین" این محصول را ممکن کرده این محصول در بخشی از سخنان مدیرعامل Nvidia معرفی شد.

ارائه کامل بسیار جالب است و توصیه می‌شود.

#Digital_Twin
#Heat_Recovery_Steam_Generators
#ML_Physics_models

@energysharif

کرالینگ داده (web data crawling) در خیلی پروژه ها نیاز هست
نمونه مهمش هم بازار مالی

این کارو تفریحی انجام دادم. برنامه یک حوزه تحقیقاتی مثل "deep learning" رو به عنوان ورودی میگیره و اطلاعات ۱۰ نویسنده برتر این حوزه از جمله عنوان کاری، آدرس وبسایت شخصی، لینک اسکولار، حوزه های کاری و ... رو کرال میکنه.
من اینجا ۲ لایه کرال کردم. لایه های بعدی میتونه جالب ترم باشه.
کتابخونه های پایتون مورد استفاده:
Request
BeautifulSoup (bs4)
کافیه یک مقدار کم html کار کرده باشید و از سورس سایت ها بتونید html بخونید و داکیومنتیشن کتابخونه مخصوص کرالینگ پایتون یعنی BeautifulSoup هم بخونید.
گاهی ابزار web automation مثل selenium هم نیاز میشه.
کد:
Github

@deeptimeai

دیتا اضافه شد👆 و کد اصلاح شد

یک activation function جدید معرفی شده
GCU(x) = x.cos(x)
که میتونه مسئله XOR رو با یک نورون حل کنه.
نکته مهم: علت اصلی و تاریخی حضور شبکه های چند لایه MLP و تئوری معروف Universal Approximation Theorem،همین بحث بود که XOR با یک لایه نورون قابل حل نبود.
حالا در این مقاله این مسئله با یک نورون حل شده.
مسئله اصلی که بزرگان هوش مصنوعی به دنبالش هستند، فهمیدن نوع یادگیری در مغز انسان هست که شدیدا محاسبات کمتر و بازده بالاتری داره و مواردی مثل reasoning در مغز انسان وجود داره که هوش مصنوعی بهش نرسیده.
مواردی مثل وجود یک activation function به این شکل شاید به فکر دوباره درباره ساختار های یادگیری عمیق و هوش مصنوعی کمک کنن. و مارو از نطر سرعت یادگیری و بازده یادگیری به انسان نزدیک تر کنن.

@deeptimeai

معرفی شبکه بازگشتیGateLORD

مقاله جالبی خوندم در مورد یک شبکه جدید به نام GateLORD. اکثر مدل‌های شبکه عصبی بازگشتی RNN مثل LSTM و GRU، که در واقع وابستگی های زمانی مختلف رو یاد میگیرن، در هر قدم زمانی latent state ها رو (h_t) آپیدیت میکنن. یعنی h_t نسبت به h_t-1 آپدیت میشه. اما ایا این همیشه و برای همه سلول‌ها نیازه؟ در دنیای فیزیکی این اتفاق همیشه صادق نیست. در مدل جدید با عنوان GateLORD فقط وقتی نیاز به آپدیت latent state ها باشه این اتفاق میفته. در واقع روی loss function در این مدل یک پنالتی فانکشن برای آپدیت ها اضافه شده. مدل در تسک هایی که بررسی شده عملکرد بهتری نسبت به LSTM و GRU داشته و generalization بهتری هم پیدا کرده. تسک های برسی شده Reinforcement Learning و کنترل بودن.
Paper
Github
Twitter

@deeptimeai

شرکت Meta در Meta AI یک کتابخانه جدید برای سری زمانی (در داده‌های جدولی) معرفی کردن به نام NeuralProphet که بر پایه PyTorch توسعه داده شده با هدف افزایش دقت، توضیح پذیری و مقیاس پذیری مدل‌های سری زمانی.

کار اصلی انجام شده ترکیب مزیت‌های مدل‌های کلاسیک سری زمانی مثل ETS و ARIMA با مدل های یادگیری عمیق بوده. مدل‌های کلاسیک ترندها و اتفاقات دوره‌ای رو بهتر مدل میکنن و یادگیری عمیق در شناسایی پیچیدگی و تعمیم پذیری عملکرد بهتری داره.
Meta AI blog

Paper: NeuralProphet: Explainable Forecasting at Scale

Github: including tutorials

#Time_Series
@deeptimeai

TSAI: TIME SERIES AI
و البته یک پکیج با ۱۰۰۰ استار گیتهاب که روی fastai ساخته شده و بسیار محبوب هست.
tsai

یکی از مشکلات مهم در آموزش مدل‌ با داده بزرگ بحث استفاده از رم یا memory usage هست.

برای مثال اگر LSTM بخواید ران کنید و داده بزرگی داشته باشید این اصلا منطقی نیست که کل رکوردهای پنجره زمانی رو هم زمان بسازید.
برای داده های بزرگ در هر مسئله دیگه ای هم درست نیست کل داده ها همزمان در مموری لود بشه.

راه حل در Keras:
استفاده از یک کلاس training_batch_generator
و استفاده از fit_generator بجای fit
Link

در Pytorch هم از dataloader استفاده میشه برای این مسئله.

دیتاساینس و سری زمانی
ویس ۴

چند نکته از مسابقات ماشین لرنینگ برای پیشبینی بازارهای مالی که شرکت‌های hedge fund نوظهوری مثل numer.ai برگزار میکنن. و بر خلاف مسابقات Kaggle، اینجا مسابقات به صورت ممتد و هر هفته برگزار میشه و این شرکت‌ها بر اساس خروجی و پیشبینی این مسابقات، اقدام به سرمایه‌گذاری میکنن.

SoDeep: a Sorting Deep net to learn ranking loss surrogates

@deeptimeai

چرا باید به عنوان دیتاساینتیست همین حالا روی زبان جولیا سرمایه‌گذاری کنید؟

Link

چیزی که آندره کارپاثی، مدیر هوش مصنوعی تسلا ۳ سال پیش در موردش حرف میزد داره اتفاق میفته!
Link

SOFTWARE 2.0

توسعه مدل‌های مهم هوش مصنوعی مثل Bert و GPT3 همیشه در اختیار متخصصین محدودی از شرکت‌های بزرگ (گوگل، متا و ...) بوده که بیشترین منابع پردازشی رو در اختیار داشتن. این دقیقا خلاف مکانیزم مشارکت همگانی در توسعه هست که در دنیای توسعه نرم‌افزار وجود داره. اما خوب مشکلاتی وجود داشته که این اتفاق نمیفتاده.

۱_ مشکل اول این هست که آدم‌ها و شرکت‌های کوچیک توانایی پردازش مدل‌های بزرگ رو ندارن بنابراین مکانیزمی جدید تعریف شده تا افراد فقط بعضی پارامترهای مهم مدل‌ها رو آپدیت کنن.
Paper on model "patches"

۲_مشکل دوم نحوه مدیریت مشارکت‌های مختلف برای آپدیت پارامترهاست که از چیزی شبیه مکانیزم مورد استفاده در federated learning استفاده شده.
Paper on "merging" models

یادمون باشه که اصلی‌ترین دلیل سلطه گونه ما در کره زمین و هوش انسان، تبادل دانش بهتر نسبت به گونه‌های دیگه بوده (بعضی گونه های دیگه حتی مغز بزرگتری داشتن). و هر جا مکانیزم بهتری برای تبادل دانش بوده، ابزار بهتری ساخته شده. بنابراین احتمالا سیستم معرفی شده، مسیر تازه‌ای در توسعه مدل‌های ماشین لرنینگ باشه.

Interactive Tools for machine learning, deep learning, and math
Link
🤩

Github
کد callback قرار داده شد.
همونطور که صحبت شد از Spearman Corr برای سنجش قدرت پیشبینی روند قیمتی در مدل‌های ماشین لرنینگ استفاده میشه اما به دلیل مشتق پذیر نبودن، مستقیما به عنوان loss function قابل استفاده نیست. اما میشه از callback یا فراخوان استفاده کرد که اگر این معیار در چند اپوک (قابل تعیین) خوب جلو نرفت، آموزش مدل متوقف بشه (custom early stopping). همچنین این معیار در هر اپوک پرینت میشه.

مغز انسان (و عموما موجودات بیولوژیکی) بسیار از نظر #مصرف_انرژی بازده بالاتری نسبت به مدل‌های هوش مصنوعی دارند. اما علت چیست؟
از یکی از اسطوره‌های هوش مصنوعی جواب این مسئله را بگیریم.

@deeptimeai

پیشبینی خرابی قریب‌الوقوع باتری‌های خورشیدی خارج از شبکه با روش یادگیری ماشین احتمالاتی

پژوهشگران آکسفورد با بهره گیری از اطلاعات بیش از ۱۰۰۰ سیستم خورشیدی خارج از شبکه (ششصد و بیست میلیون ردیف داده) و یک مدل ماشین لرنینگ دقت پیشبینی خرابی باتری‌ها را ۲۰ درصد افزایش دادند.
برای مدل کردن مقاومت از یک مدل ماشین لرنینگ احتمالاتی که در آن مقاومت تابعی از شرایط عملیاتی (SOC، جریان، ولتاژ و دما) و زمان است استفاده شده است.

paper
dataset
request software

#Energy
@deeptimeai

در صورتی که در زمینه کامپیوتر ساینس فعالیت دارید حتما حتما کارهاتون رو داکیومنت کنید (مثلا در گیتهاب با جزئیات)، بلاگ داشته باشید، در کامیونیتی های مختلف فعال و تولید کننده باشید (مثل کامیونیتی‌های StackExchange) یا اگر میتونید حتی ویدئو بسازید.
چرا:
دلیل اول این که متخصصان زیادی در این زمینه وجود داره و خود افرادی که در شرکت‌های بزرگ مثل گوگل، آمارون، Meta و ... کار استخدام و مصاحبه گرفتن رو انجام میدن دیگه فقط CV نمیبینن و معیارشون این موارد هست.

دلیل دوم‌ اینکه کارهای انجام شده شما در یک فرمت استاندارد داکیومنت میشه و قطعا در آینده بیشتر از همه به درد خودتون خواهد خورد.

باز هم یک کار عالی از Google Research برای Time Series
Interpretable Deep Learning for Time Series Forecasting