Hugging Face (🤗)

رو قبلتر برای دوستان nlp کار معرفی کردم، حالا این تیم درحال کار روی Gpt-3 هست (احتمال میره سایز مدل کامل چیزی بین 350-750G باشه

نکته جالب اینه که تعداد پارامتر‌ها و سایز مدل‌ها تنها چیزیه که این روزها بهش اشاره می‌شه
توی پست‌ها تعداد خیلی کمی به بهبودهای این مدل و اینکه چه تسکهایی رو انجام میده اشاره کردند ( آیا واقعاً کار شما به همچین مدلی نیاز داره ؟!)

Github Link

Demo, Zero shot topic classification
Topic predict (model never seen)

Demo Link

تولید صدا از ویدئو لب زنی (صحبت بدون صدا)

کد و دمو در گیت‌هاب موجود هست

Paper Link

LongFormer (Transformer for big documents)
هم به hugging face اضافه شد

ParsBERT: Transformer-based Model for Persian Language Understanding



https://arxiv.org/abs/2005.12515

ابزاری برای نمایش ساختار شبکه (بسیار مناسب برای گذارش دهی)
فقط کافیه مدل ذخیره شده رو بهش بدید

Github Link

Microsoft NLP best practices as jupyter notebook/tools

GitHub Link

بالاخره من یه روزی میرم دفتر گوگل و بهشون ثابت میکنم‌ که ربات نیستم. (کولب gpu)

ی گیت‌هاب فوق‌العاده

لیستی کامل از همه‌ی آموزش‌های خوب پایتورچ

Pytorch Tutorials

۵ روز تا شروع
دوره جدید deeplearning.ai که تخصصی به موضوعات پیرامون NLP خواهد پرداخت

Abstract text summarization (pretraind by google)

GitHub

درحال ساخت اکانت اسپم برای کولب بودم که توی مرحله ارسال کد از طریق پیامک گوگل، هر بار که درخواست دادم با یک شماره متفاوت پیام اومد.

دوحالت داره :
۱- ایرانسل درحال رصد پیامک‌هاست (حتی کدهای هویتی)
۲- گوگل خط ایرانسل خریده :/

اگر کسی متوجه موضوع شد، برای منم توضیح بده (بیش از ۱۰ بار تست شد)

پ.ن: دوستان میگن این موضوع برای اینستاگرام هم دیده شده
فعلاً بهترین راهکار فعال سازی،
Two step verification
هست

GitHub Link
#پیشنهاد_ویژه

برای درک بهتر نحوه‌ی عملکرد مدلهای ماشین لرنینگ و دیپ‌ لرنینگ که آموزش می‌دید.

برای توضیح نحوه عملکرد CNN هم مي‌تونید ازین مقاله استفاده کنید

Grad-CAM stands for Gradient-weighted Class Activation Mapping
Grad-CAM attempts to solve interpreting problem by giving us a graphical visualisation of parts of an image that are the most relevant for the CNN when predicting a particular class


https://arxiv.org/abs/1610.02391

قبلاً راجب
GPUDirect RDMA (Remote Direct Memory Address)
صحبت کردم (خیلی خیلی قبلتر) و اینکه چقدر مهمه برای شبکه کردن GPU ها
چون دسترسی مستقیم و کنترل کارت شبکه رو به GPU می‌ده و سربار انتقال و کنترل CPU رو از روی workerها بر میداره (در نهایت سرعت بالاتر میده)

حالا به لطف پیشرفت‌ها
GPUDirect Storage(Direct Path Between Storage and GPU Memory)
(تصویر فوق)
رو داریم که لود کردن داده رو تا بیش از 10 برابر سریعتر و بیشتر می‌کنه، اگر حجم دیتا خیلی زیاد هست پیشنهاد می‌کنم با این دو تکنولوژی کار کنید.

چرا بهتره از df.itertuple بجای df.iterrows استفاده کنیم !؟

نکته: استفاده از enumerate بهمراه itertuples تغییری روی سرعت اجرا نخواهد داشت

Link Paper

This paper optimize number of filter in each conv layer DURING TRAINING

FakeCovid
دیتاست جدیدی راجب COVID-19 البته این دیتاست بصورت متن هست ( اخبار پیرامون کوید-۱۹) که درستی اونها چک شده

5182 اخبار به 40 زبان مختلف (اکثریت انگلیسی)

GitHub Link