خیلی از دوستان nlp کار هستند که با معماری و البته درک نحوه کار، پیاده‌سازی Bert مشکل دارند و خب باید بگم که مشکل از عدم درک درست از
Transformer, Attention
هست، چون Bert چیزی جز این موارد و معماری
Encoder-Decoder
نیست، اما بهترین کار برای درک پیاده سازی هست.

لینک زیر از
Harvard NLP
یکی از بهترین پیاده سازی‌های
Transformer : Attention is all you need

هست که شخصاً برای درک ترنسفورمرها ازون استفاده کردم (پیاده‌سازی در پایتورچ) و بسیار عالی مقاله و کدهای Notebook رو کنار هم قرار داده

امیدوارم مفید باشه

این گیت چند پیاده‌سازی آموزشی برای nlp داره
تنسورفلو و پایتورچ

GitHub Link

کمتر از ۱ ساعت تا شروع لایو و معرفی دوره :

YouTube Link

پارت دوم این دوره هم قرار گرفت

Youtube Link

Post Link ( Pytorch)

for all members from other countries (who can't speak/read Farsi)
There is some problem with group robot (on restricting accounts) if your account tagged as spam or deleted from the group

You can send a direct message to @DataEngineer (most group members talk Farsi)

دوستان عزیزی که محدودیت ارسال پیام داشتند، مشکل ازینجا بود که اکانت owner با شماره‌ایی غیر از ایران بود و تلگرام اجازه دسترسی شماره‌های ایران به گروهای عمومی رو بسته‌، با تغییر گروه به حالت خصوصی این مشکل باید رفع شده باشه

اگر همچنان محدودیت ارسال پیام دارید، لطفاً از گروه خارج بشید و مجدد عضو بشید 🌹🌹

بسیاری از کارها با الگوریتم‌های هوش مصنوعی به کمک کتابخونه scikit-learn انجام می‌شه، چندروز پیش در یک وبینار خصوصی روی دیتاهای بسیار زیاد، پیشنهاد بسیاری از دوستان به سمت استفاده از کتابخانه sklearn و ابزار spark برای کار روی دیتا بود

اما تعجب کردم که کسی به Vowpal اشاره نکرد، وقتی دیتای بسیار زیادی دارید بهتره ازین کتابخونه پایتون استفاده کنید.

GitHub Link

Docker & Kubernetes

جزو واجبات Devops هستن که Machine Learning Engineer باید باهاش آشنا باشه و بتونه مدل‌هاش رو با این روش Serve کنه (بیشتر استخدامی‌های با عنوان
ML Engineer
که داشتم علاوه بر مباحث دیپ‌لرنینگ که واجبات کار هست راجب داکر و کوبرنتیز هم سوال می‌شه و این موضوع بسیار مهم هست، بخصوص کوبرنتیز و load balancing )

Blog Post

احترام به privacy + استفاده حداکثری از داده کاربر برای پیشبرد منافع شرکت
ی مقدار نشدنی بنظر میاد، اما
Federated Learning
برای همین بوجود اومده، آموزشی ساده ازین مورد

LINK TO POST

Google Ai
و نحوه بهبود Gboard به کمک این روش

Link to blog

نسخه ۲۰۲۰ اوبنتو و دردسر، اوبنتو یکی از پرطرفدارترین توزیع‌های لینوکس هست که موجوده، اما دردسرهای زیادی داره مخصوصاً تو بخش‌های تخصصی
امروز بعد از ۶ سال لازم شد که دوباره از اوبنتو استفاده کنم آخرین بار 2014 LTS بود

مشکل اصلی وقتی هست که cuda رو از apt نصب می‌کنید ی ویژگی برای اینکه یک سری پکیج‌ها هیچوقت به اشتباه آپگرید نشوند استفاده از دستور
apt-mark hold <package-name>
هست که نمیدونم چرا دقیقاً ولی روی 2020 LTS درست کار نمی‌کنه و آپگریدهای , cuda , cudnn, ... رو همچنان نشون میده و عمل می‌کنه روشون

فعلاً تنها راهکار حذف developer.nvidia از سورس‌های apt هست در مسیر زیر قرار دارند :
/etc/apt/sources.list.d/

اگر از دوستان کسی میدونه چرا hold دیگه کار نمی‌کنه لطفاً با ما تو گروه به اشتراک بذاره
لیست پکیج‌ها هم درست داده شده (لطفاً این رو نگید) برای اینکارهم از دستور زیر استفاده شده :
dpkg --get-selection | grep -i cud | cut -f 1 | tr '\n' ' '

اگر به Reinforcement Learning علاقه‌ دارید این سلسله توییت هارو از DeepMind دنبال کنید

Twitter Link

نویسنده و خوانش : احسان عبدی‌پور

آلودگی‌هوا، مشکلات ریوی، کرونا و زلزله
من رو یاد این خوانش انداخت.

سایت کراس با بروزرسانی جدید و آموزش‌های کامل و دقیق، تو این آموزش‌ها از توابع جدید و کلاس‌هایی که در

#future_of_keras
اشاره شد هم استفاده شده

درحال حاضر اگر می‌خواهید با این آموزش‌ها (ورژن‌های آینده کراس) کار کردن رو یاد بگیرید باید نسخه
tf-nightly

رو نصب کنید؛ (ممکنه کمی مشکلات و باگ داشته باشید)

اگر تا امروز توی ژوپیتر از
Extension
ها استفاده نکردید پیشنهاد میدم حتماً ی نگاهی به این لیست بندازید، توی لینک زیر لیستی از پرکاربردترین extension های ژوپیتر موجود هست

Jupyter nbextensions

شخصاً ۳ مورد رو پیشنهاد می‌کنم حتماً داشته باشید:

1- Variable Inspector
2- ZenMode
3- ScratchPad

کنترل حرکت حشرات چیزی‌ هست که سالها روش کار می‌شه، تقریباً حدود ۵ سال پیش اولین باری بود که با تیمی آشنا شدم که اینکار رو انجام میداد

اهداف و کاربردهای زیادی پشت این موضوع وجود داره، اما چیزی که بیشتر از همه مسئله رو سخت می‌کرد کنترل کردن حشرات بود (توی بیشتر موارد از انواع سوسک‌های با قابلیت پرواز برای این موضوع استفاده می‌شه) مشکل وقتی ایجاد می‌شه که توی بیشتر شرایط آزمایشگاهی شما بهترین شرایط آب و هوایی رو دارید و سیستم روی بدن حشره و شخصی که هدایت رو در دست می‌گیره برای این شرایط کالیبره می‌شه و در شرایط جوی مختلف استفاده ازین موضوع بسیار کار رو سخت می‌کنه (حتی باد با سرعت کم) البته مسائل دیگری هم وجود داره (مثل خورده شدن توسط پرندگان و ... که خارج از بحث هست)

امروز تونستم مجدداً با یکی از افرادی که روی این موضوع کار می‌کنند صحبت کنم و به این بحث برسیم که احتمال بسیار بالا
Deep learning
به ویژه
Reinforcement Learning
بسیار مناسب اینکار هست چه برای تنظیم پارامتر‌ها و چه برای کنترل و هدایت
سخت‌‌ترین کار توی این نوع کنترل مانورهای سریع هست، که باتوجه به دستاوردها و پتانسیل موجود در RL برای کنترل quadcopter, ... اون رو مناسب هدایت حشرات هم می‌کنه.

Reinforcement Learning
فقط برای آتاری بازی نیست

پ.ن :
برای دوستانی که با این موضوع آشنایی ندارند ویدئو لینک زیر رو می‌تونید ببینید

YouTube

#خارج_از_بحث

چندروزی هست که مشکلات بسیاری برای dns adblocker های موجود بوجود اومده (که به احتمال زیاد مشکل از سمت ISP های داخلی هست چون اکثر این adblocker ها امکان اتصال بهشون وجود نداره)

مثلاً توی دیوایس‌های آندرویدی یک بخشی بنام
Private DNS
وجود داره که با تنظیم اون روی یکی از این آدرسها تبلیغاتی نخواهید داشت؛ یا بطور کلی تر با تنظیم dns مودم تمام تبلیغات بلاک می‌شه (هم صرفه‌جویی در مصرف اینترنت، هم جلوگیری از تبلیغات خسته کننده)

جایگزین این dns adblocker ها که به لطف ISP های داخلی فعلاً قطع شدند
pi-hole.net
هست نصب خیلی ساده‌ایی داره و مهمتر از اون درخواست‌ها به سرورهای تبلیغاتی حتی از شبکه لوکال خودتون هم خارج نمی‌شه پس ISP , ... هم نمی‌تونه ببندش.

ی تیم خیلی فوق‌العاده که با سرعت زیاد هم کد منتشر می‌کنند
تخصصی NLP؛

Hugging Face
رو می‌تونید توی گیتهاب چک کنید، نوت‌بوک‌های آموزشی عالی هم موجود هست ازشون

برای مثال ترنسفورمر‌ها :

GitHub