دستاوردهای یادگیری عمیق(InTec)
cuML is GPU-accelerated machine learning library similar to scikit-learn but made to run on GPU Github link
توی این بلاگ پست نحوه استفاده از
cuDF, cuML
برای کار روی دیتای Tabular و طبق متن
872 x 206 = 179632 logistic models
رو در زمان بسیار کوتاه آموزش داده شده
متاسفانه، از زمان معرفی (پست قبلی) تا بحال 3 نسخه جدید و استیبل بیرون اومده اما همچنان داکیومنت قوی برای این ابزار وجود نداره و طبق گفتههای تیم توسعه احتمالأ تا نسخه 1.0.0 این مورد ادامه خواهد داشت.
Link, Medium Blog
cuDF, cuML
برای کار روی دیتای Tabular و طبق متن
872 x 206 = 179632 logistic models
رو در زمان بسیار کوتاه آموزش داده شده
متاسفانه، از زمان معرفی (پست قبلی) تا بحال 3 نسخه جدید و استیبل بیرون اومده اما همچنان داکیومنت قوی برای این ابزار وجود نداره و طبق گفتههای تیم توسعه احتمالأ تا نسخه 1.0.0 این مورد ادامه خواهد داشت.
Link, Medium Blog
Medium
Getting To Know Your Features In Seconds With RAPIDS
Running Your Data Preprocessing Pipeline End-to-End on GPU
شاید دیگه لازم و مجبور به خرید کارت گرافیک فقط Nvidia نباشیم، به لطف پیشرفتهای Vulkan Kompute
این پروژه به جایی رسیده که امروز که جستوجو میکردم حتی آموزش هم راجبش دیدم و این نشانه بسیار خوبی از پیشرفت هست
Beyond CUDA: GPU Accelerated Python for Machine Learning on Cross-Vendor Graphics Cards Made Simple
این پروژه به جایی رسیده که امروز که جستوجو میکردم حتی آموزش هم راجبش دیدم و این نشانه بسیار خوبی از پیشرفت هست
Beyond CUDA: GPU Accelerated Python for Machine Learning on Cross-Vendor Graphics Cards Made Simple
Medium
Beyond CUDA: GPU Accelerated Python for Machine Learning on Cross-Vendor Graphics Cards Made Simple
A practical deep dive into GPU Accelerated Python ML in cross-vendor graphics cards (AMD, Qualcomm, NVIDIA & friends) using Vulkan Kompute
RealTime denoising on CPU
۱۰۰٪ نمونه اینکار رو روی GPU های نسل جدید (اگر اشتباه نکنم زمان معرفی RTX20xx) دیدید که گیمرها و ... هم تست کردند
فیسبوک ریسرچ کدهاش رو با شما به اشتراک گذاشته اگر دوست داشتید توی ابزارهاتون استفاده کنید.
FaceBook Research
نکته جالبتر اینکه در ادامه این کارها، مدلی هم برای جدا کردن صدای موسیقی از خواننده توسعه داده شده که میتونید توی بلاگ دنبال کنید
۱۰۰٪ نمونه اینکار رو روی GPU های نسل جدید (اگر اشتباه نکنم زمان معرفی RTX20xx) دیدید که گیمرها و ... هم تست کردند
فیسبوک ریسرچ کدهاش رو با شما به اشتراک گذاشته اگر دوست داشتید توی ابزارهاتون استفاده کنید.
FaceBook Research
نکته جالبتر اینکه در ادامه این کارها، مدلی هم برای جدا کردن صدای موسیقی از خواننده توسعه داده شده که میتونید توی بلاگ دنبال کنید
👍1
خیلی جالبه، اگه کسی رو توی واتساپ ریپورت کنید، ی نسخه از دیتا و چتها برای شرکت میره (فیسبوک)
سابقه خرابم که داره،
جالب اینجاس، ادعا میکنه، به فکر امنیت شما هست که سروری برای دیتا در نظر نمیگیره (ادعا میکنه اگه از گوشی دادههارو پاک کنید، کلا حذف میشه)
اینه که شخصاً علاقه خاصی به Signal دارم.
سابقه خرابم که داره،
جالب اینجاس، ادعا میکنه، به فکر امنیت شما هست که سروری برای دیتا در نظر نمیگیره (ادعا میکنه اگه از گوشی دادههارو پاک کنید، کلا حذف میشه)
اینه که شخصاً علاقه خاصی به Signal دارم.
👍2
دستاوردهای یادگیری عمیق(InTec)
isna.tgz
summary_isna.tgz
57.2 MB
خیلی وقت پیش بخشی از دیتاستی که شخصاْ از ایسنا کرال کرده بودم رو قرار دادم؛ امروز خیلی اتفاقی روی سیستم پروژه قدیمی راجب text summary پیدا کردم.
تصمیم گرفتم این دیتارو هم آپلود کنم؛ هیچ پردازش خاصی انجام نشده ی مقدار تمیزکاری جزئی روی این دیتا و البته این هم کل دیتا نیست.
تعداد خبرها : 299.666
امیدوارم برای دوستان مفید باشه.
لطفاً ذکر منبع فراموش نشه.
تصمیم گرفتم این دیتارو هم آپلود کنم؛ هیچ پردازش خاصی انجام نشده ی مقدار تمیزکاری جزئی روی این دیتا و البته این هم کل دیتا نیست.
تعداد خبرها : 299.666
امیدوارم برای دوستان مفید باشه.
لطفاً ذکر منبع فراموش نشه.
یکی از بیشترین سوالاتی که پرسیده میشه اینه که از کجا و چطور باید شروع کنم (یادگیری عمیق) توی این پست میخوام به این سوال پاسخ بدم (تاریخ : ۱۴ آذر ۱۳۹۹)
افرادی که این سوال رو میکنند معمولاً دو دسته هستند اونهایی که آکادمیک بصورت خیلی جدی دنبال کردند و تئوری قضیه رو بلدند و اونهایی که هیچ دیدی از تئوری ندارند و بخاطر ترند بودن وارد میشوند.
چندتا فرض : ۱- لینوکس و پایتون رو بلد هستید (پایتون سطح متوسط و لینوکس همون LPIC 1 هم کفایت میکنه)
۲- با خوندن کتاب مشکلی ندارید
۳- قرار هست کلا بیخیال یادگیری به زبان فارسی بشید
این لیست کتابهایی هست که پیشنهاد میکنم :
1- The hundred-page machine learning (Andriy Burkov)
این کتاب برای کسایی هست که یادگیری ماشین رو خیلی خیلی کم میشناسند، قبل از این که بخواید وارد بشید لازمه اول مطمئن بشید همون چیزی هست که فکرشو میکردید.
2- Hands on ML with scikit-learn, keras, tensorflow (2nd edition) (Aurelien Geron)
نیازی به تعریف نداره بهترین کتاب برای شروع کد زدن بدون ریاضیات پیچیده، بهمراه تئوری کافی.
اینجا مرحلهای هست که دانشگاهی و آموزشگاهی و ... و خیلی از افرادی که دارند کار میکنند (حدود ۹۵٪) میزنن جاده خاکی یا درحال پیادهسازی ایدهها و روشهای مختلف هستند یا درحال خوندن مقالات روز دنیا، اینکه شما چقدر تسلط دارید و چقدر عالی مدلهارو ایجاد میکنید ی بحث هست اما اینکه آیا واقعاً این مدل میتونه به تمام مشتریان شما در زمان مناسب پاسخ بده و .... بحث مهمتری هست.
3- Build Machine Learning Powered Application : Going from idea to product (Emmanuel Ameisen)
برای شروع کتاب خوبی هست، البته مطالبی که توی کتابهای قبلی خوندید رو میتونید فقط نگاهی بندازید.
4- Machine Learning Engineering (Andriy Burkov)
مباحث مربوط به سرویس دهی و ... از یک جایی به بعد نیاز به ML engineer داره اما لازمه شما با این مباحث آشنایی کامل داشته باشید مخصوصاً اگر قراره پروژه خودتون رو راه بندازید.
5- Building Machine Learning Pipelines : Automating Model Life Cycle with Tensorflow (Hannes Hapke)
این بخش خیلی خیلی مهمه، قرار نیست تا ابد هر چندوقت یکبار بشینید و بصورت دستی دیتا جدید رو ترین کنید و همه مراحل رو پیش بگیرید باید از data pipeline ها استفاده کنید (چیزی که خیلی خیلی کم دیده میشه)
6- TinyML : Machine Learning with Tensorflow Lite on Arduino and Ultra-Low-Power Microcontrollers (Pete Warden)
شاید هیچ وقت لازم نشه روی این سختافزارها سرویس دهنده باشید، اما چیزهایی که توی این کتاب قرار هست یاد بگیرید واقعاً واجب هست.
7- Practical Deep Learning for Cloud, Mobile, and Edge : .... (Anirudh Koul)
تا اینجا بصورتی بود که خسته کننده نباشه و کدینگ و ... هم پیش بره اما کم کم باید وارد مباحث تئوری و ریاضیات هم شد.
8- d2l.ai
بخش تئوری این کتاب شامل کلی tips and tricks میشه که جالب هستند.
9- deeplearningbook.org
همهی تئوریها و ریاضیاتی که پیچوندید رو باید بالاخره یاد بگیرید :)
امیدوارم این لیست مفید باشه، سعی کردم کتابهایی که خوب هستند یا خودم خوندم و نتیجه گرفتم رو فقط معرفی کنم وگرنه این لیست ادامه دار بود.
امیدوارم مفید باشه 🌹
#چطور_شروع_کنیم
افرادی که این سوال رو میکنند معمولاً دو دسته هستند اونهایی که آکادمیک بصورت خیلی جدی دنبال کردند و تئوری قضیه رو بلدند و اونهایی که هیچ دیدی از تئوری ندارند و بخاطر ترند بودن وارد میشوند.
چندتا فرض : ۱- لینوکس و پایتون رو بلد هستید (پایتون سطح متوسط و لینوکس همون LPIC 1 هم کفایت میکنه)
۲- با خوندن کتاب مشکلی ندارید
۳- قرار هست کلا بیخیال یادگیری به زبان فارسی بشید
این لیست کتابهایی هست که پیشنهاد میکنم :
1- The hundred-page machine learning (Andriy Burkov)
این کتاب برای کسایی هست که یادگیری ماشین رو خیلی خیلی کم میشناسند، قبل از این که بخواید وارد بشید لازمه اول مطمئن بشید همون چیزی هست که فکرشو میکردید.
2- Hands on ML with scikit-learn, keras, tensorflow (2nd edition) (Aurelien Geron)
نیازی به تعریف نداره بهترین کتاب برای شروع کد زدن بدون ریاضیات پیچیده، بهمراه تئوری کافی.
اینجا مرحلهای هست که دانشگاهی و آموزشگاهی و ... و خیلی از افرادی که دارند کار میکنند (حدود ۹۵٪) میزنن جاده خاکی یا درحال پیادهسازی ایدهها و روشهای مختلف هستند یا درحال خوندن مقالات روز دنیا، اینکه شما چقدر تسلط دارید و چقدر عالی مدلهارو ایجاد میکنید ی بحث هست اما اینکه آیا واقعاً این مدل میتونه به تمام مشتریان شما در زمان مناسب پاسخ بده و .... بحث مهمتری هست.
3- Build Machine Learning Powered Application : Going from idea to product (Emmanuel Ameisen)
برای شروع کتاب خوبی هست، البته مطالبی که توی کتابهای قبلی خوندید رو میتونید فقط نگاهی بندازید.
4- Machine Learning Engineering (Andriy Burkov)
مباحث مربوط به سرویس دهی و ... از یک جایی به بعد نیاز به ML engineer داره اما لازمه شما با این مباحث آشنایی کامل داشته باشید مخصوصاً اگر قراره پروژه خودتون رو راه بندازید.
5- Building Machine Learning Pipelines : Automating Model Life Cycle with Tensorflow (Hannes Hapke)
این بخش خیلی خیلی مهمه، قرار نیست تا ابد هر چندوقت یکبار بشینید و بصورت دستی دیتا جدید رو ترین کنید و همه مراحل رو پیش بگیرید باید از data pipeline ها استفاده کنید (چیزی که خیلی خیلی کم دیده میشه)
6- TinyML : Machine Learning with Tensorflow Lite on Arduino and Ultra-Low-Power Microcontrollers (Pete Warden)
شاید هیچ وقت لازم نشه روی این سختافزارها سرویس دهنده باشید، اما چیزهایی که توی این کتاب قرار هست یاد بگیرید واقعاً واجب هست.
7- Practical Deep Learning for Cloud, Mobile, and Edge : .... (Anirudh Koul)
تا اینجا بصورتی بود که خسته کننده نباشه و کدینگ و ... هم پیش بره اما کم کم باید وارد مباحث تئوری و ریاضیات هم شد.
8- d2l.ai
بخش تئوری این کتاب شامل کلی tips and tricks میشه که جالب هستند.
9- deeplearningbook.org
همهی تئوریها و ریاضیاتی که پیچوندید رو باید بالاخره یاد بگیرید :)
امیدوارم این لیست مفید باشه، سعی کردم کتابهایی که خوب هستند یا خودم خوندم و نتیجه گرفتم رو فقط معرفی کنم وگرنه این لیست ادامه دار بود.
امیدوارم مفید باشه 🌹
#چطور_شروع_کنیم
👍5❤1
Alpha fold 2
حل مسئله protein folding، اما چرا این دستاورد انقدر مهم هست، البته توی این ویدئو به جزئیات از دید ML scientist نگاهی انداخته شده و شامل جزئیات بیولوژی نمیشه اما جالب هست
YouTube Link
حل مسئله protein folding، اما چرا این دستاورد انقدر مهم هست، البته توی این ویدئو به جزئیات از دید ML scientist نگاهی انداخته شده و شامل جزئیات بیولوژی نمیشه اما جالب هست
YouTube Link
YouTube
DeepMind solves protein folding | AlphaFold 2
A quick video on the basics of DeepMind's AlphaFold 2 breakthrough. Please support this channel by checking out our sponsors:
- Vincero: https://vincerowatches.com/lex to get up to 25% off + free shipping
- Four Sigmatic: https://foursigmatic.com/lex and…
- Vincero: https://vincerowatches.com/lex to get up to 25% off + free shipping
- Four Sigmatic: https://foursigmatic.com/lex and…
گوگل ابزار یافتن اتوماتیک باگ در کدهای پایتون رو بصورت opensource در github قرار داده
Github Link
اما اگه خواستید بدونید این ابزار چقدر مهمه توجه شمارو به این خبر سال ۲۰۱۸ جلب میکنم
Google Automatic Bug Finder Already Found More Than 9.000 Vulnerabilities
ازین به بعد توی پروژههای پایتون سعی کنید ازین ابزار استفاده کنید، مخصوصاً دوستانی که
Django/Flask/FastApi
کار میکنند، یادتون باشه این ابزار از حالا در اختیار هکرها هم هست.
اگر فکر میکنید سایت و پروژه شما مگه چیه که برای هکرها اهمیت داشته باشه، یادتون باشه کسی کل رزومه رو بررسی نمیکنه 😉😬
Github Link
اما اگه خواستید بدونید این ابزار چقدر مهمه توجه شمارو به این خبر سال ۲۰۱۸ جلب میکنم
Google Automatic Bug Finder Already Found More Than 9.000 Vulnerabilities
ازین به بعد توی پروژههای پایتون سعی کنید ازین ابزار استفاده کنید، مخصوصاً دوستانی که
Django/Flask/FastApi
کار میکنند، یادتون باشه این ابزار از حالا در اختیار هکرها هم هست.
اگر فکر میکنید سایت و پروژه شما مگه چیه که برای هکرها اهمیت داشته باشه، یادتون باشه کسی کل رزومه رو بررسی نمیکنه 😉😬
GitHub
GitHub - google/atheris
Contribute to google/atheris development by creating an account on GitHub.
عذرخواهی میکنم اما لازمه چندتا نکته رو بگم چون خیلی زیاد بنده رو Mention میکنند بابتش :
۱- تایید دوره و کلاس و آموزش :
خیر بنده به هیچوجه اینکارو نمیکنم، چون هدف برگزاری هر دوره افراد حاضر در دوره و حتی سطح علمی افراد و اینکه با چه هدفی توی دوره شرکت میکنند بسیار متفاوت هست
۲- معرفی یا تایید کتاب فارسی :
کاملاً مخالف خوندن کتاب فارسی هستم، مگر اینکه هدف گرفتن نمره قبولی یک آزمون و امتحان باشه، بنظرم بدترین کار دنیا هم ترجمه کردن کلمات تخصصی به فارسی سخت هست.
۳- تبلیغات بطور کلی نداریم، دوره آموزشی و کلاس و کتاب و ... هرچیزی (از اول هم همینطور بوده)
بخشی هم به دلایلی هست که پیشتر گفتم
۴- هیچ تصمیمی برای برگزاری دوره آموزشی ندارم، حتی خصوصی،
کلی گروه هست که بنده هم عضو هستم، تاجایی که سوالات خوبی پرسیده بشه و وقت هم اجازه بده به محض دیدن جواب میدم حتماً و خوشحال میشم تو گروها بتونم به دوستان کمک کنم.
۵- اکثر کتابها و مطالبی که معرفی میشه رو شخصاً مرور داشتم و بنظرم مفید میاد و به همین دلیل با دیگران به اشتراک میذارم.
۶- سعی میکنم مطالب تکراری یا توضیحات اضافی رو قرار ندم، خیلی از موارد رو وقتی توی پروژهها یا مصاحبههای کاری میبینم یا چالش دوستان هست وقتی راهحلی براش پیدا میکنم، اینجا هم به اشتراک میذارم (خیلی نمیشه وارد جزئیات شد اما اگر همچین مشکلی بخورید ۱۰۰٪ راه حل و مسیر درست رو میدونید)
عذرخواهی میکنم اگر کمی طولانی شد و به موضوع گروه هم مربوط نبود، اما لازم به توضیح بود 🌹
۱- تایید دوره و کلاس و آموزش :
خیر بنده به هیچوجه اینکارو نمیکنم، چون هدف برگزاری هر دوره افراد حاضر در دوره و حتی سطح علمی افراد و اینکه با چه هدفی توی دوره شرکت میکنند بسیار متفاوت هست
۲- معرفی یا تایید کتاب فارسی :
کاملاً مخالف خوندن کتاب فارسی هستم، مگر اینکه هدف گرفتن نمره قبولی یک آزمون و امتحان باشه، بنظرم بدترین کار دنیا هم ترجمه کردن کلمات تخصصی به فارسی سخت هست.
۳- تبلیغات بطور کلی نداریم، دوره آموزشی و کلاس و کتاب و ... هرچیزی (از اول هم همینطور بوده)
بخشی هم به دلایلی هست که پیشتر گفتم
۴- هیچ تصمیمی برای برگزاری دوره آموزشی ندارم، حتی خصوصی،
کلی گروه هست که بنده هم عضو هستم، تاجایی که سوالات خوبی پرسیده بشه و وقت هم اجازه بده به محض دیدن جواب میدم حتماً و خوشحال میشم تو گروها بتونم به دوستان کمک کنم.
۵- اکثر کتابها و مطالبی که معرفی میشه رو شخصاً مرور داشتم و بنظرم مفید میاد و به همین دلیل با دیگران به اشتراک میذارم.
۶- سعی میکنم مطالب تکراری یا توضیحات اضافی رو قرار ندم، خیلی از موارد رو وقتی توی پروژهها یا مصاحبههای کاری میبینم یا چالش دوستان هست وقتی راهحلی براش پیدا میکنم، اینجا هم به اشتراک میذارم (خیلی نمیشه وارد جزئیات شد اما اگر همچین مشکلی بخورید ۱۰۰٪ راه حل و مسیر درست رو میدونید)
عذرخواهی میکنم اگر کمی طولانی شد و به موضوع گروه هم مربوط نبود، اما لازم به توضیح بود 🌹
👍6⚡2❤1
#خارج_از_بحث
الان شما بیا همین رو فارسیش کن در اختیار بچههای مدرسهای و کنکوری بذار
ی اسم هم کنارش بزن که هیچ مفهومی نداشته باشه
اولشم ی کلمه انتشارات + یکی از رنگهای مدنظر رو بذار تبریک میگم
کارآفرین نمونه شدید
الان شما بیا همین رو فارسیش کن در اختیار بچههای مدرسهای و کنکوری بذار
ی اسم هم کنارش بزن که هیچ مفهومی نداشته باشه
اولشم ی کلمه انتشارات + یکی از رنگهای مدنظر رو بذار تبریک میگم
کارآفرین نمونه شدید
دستاوردهای یادگیری عمیق(InTec)
احترام به privacy + استفاده حداکثری از داده کاربر برای پیشبرد منافع شرکت ی مقدار نشدنی بنظر میاد، اما Federated Learning برای همین بوجود اومده، آموزشی ساده ازین مورد LINK TO POST
قبلاً چندین بار راجب
Federated Learning
صحبت شده،
Flower
ی فریمورک برای ساده کردن کار و کم کردن حجم کد مورد نیاز برای مدلهای تنسورفلو
Link to blog
Federated Learning
صحبت شده،
Flower
ی فریمورک برای ساده کردن کار و کم کردن حجم کد مورد نیاز برای مدلهای تنسورفلو
Link to blog
flower.ai
Federated Learning in less than 20 lines of code
Can we build a fully-fledged Federated Learning system in less than 20 lines of code? Spoiler alert: yes, we can.
چند روز پیش یکی از دوستان (دکتر عسگری) ی پست گذاشت از اضافه شدن
Terminal
به گوگل کولب البته نسخه pro, اولش فکر کردم خب چه نیازی به این هست وقتی دستورات رو توی cell ها هم میشه اجرا کرد، تا اینکه لازم شد چندتا از پکیجهای اصلی سیستمعاملی کولب رو آپدیت کنم و من کولب پرو هم ندارم.
اما میشه روی کولب رایگان JupyterLab هم راه اندازی کرد 😎
دستوراتی که در زیر اومده رو توی یکی از cellها اجرا کنید، البته توی این دستورات پایتون هم به ورژن ۳.۸ آپدیت میشه، لذتشو ببرید 🌹
Terminal
به گوگل کولب البته نسخه pro, اولش فکر کردم خب چه نیازی به این هست وقتی دستورات رو توی cell ها هم میشه اجرا کرد، تا اینکه لازم شد چندتا از پکیجهای اصلی سیستمعاملی کولب رو آپدیت کنم و من کولب پرو هم ندارم.
اما میشه روی کولب رایگان JupyterLab هم راه اندازی کرد 😎
دستوراتی که در زیر اومده رو توی یکی از cellها اجرا کنید، البته توی این دستورات پایتون هم به ورژن ۳.۸ آپدیت میشه، لذتشو ببرید 🌹
!wget -qO ac.sh https://repo.anaconda.com/archive/Anaconda3-2020.07-Linux-x86_64.sh
!bash ./ac.sh -b
!ln -s /usr/local/lib/python3.6/dist-packages/google \
/root/anaconda3/lib/python3.8/site-packages/google
# Python3.8 activation
!nohup /root/anaconda3/bin/jupyter-lab --ip=0.0.0.0&
# access through ngrok
!pip install pyngrok -q
from pyngrok import ngrok
print(ngrok.connect(8888))برای اونهایی که علاقمند به موضوع جذاب و فوقالعاده
Speech, wave , sound
هستند، این مدل ۵ صدای مختلف رو همزمان از هم جدا میکنه (البته فکر میکنم noise رو هم یاد میگیره و از بین میبره هنگام جداسازی) و صداهای تفکیک شده رو تحویل میده
GitHub Link
Speech, wave , sound
هستند، این مدل ۵ صدای مختلف رو همزمان از هم جدا میکنه (البته فکر میکنم noise رو هم یاد میگیره و از بین میبره هنگام جداسازی) و صداهای تفکیک شده رو تحویل میده
GitHub Link
GitHub
GitHub - facebookresearch/svoice: We provide a PyTorch implementation of the paper Voice Separation with an Unknown Number of Multiple…
We provide a PyTorch implementation of the paper Voice Separation with an Unknown Number of Multiple Speakers In which, we present a new method for separating a mixed audio sequence, in which multi...