دستاوردهای یادگیری عمیق(InTec)
isna.tgz
برخی از دوستان درخواست سورس کد این کرالر رو دادند که بنا به دلایل زیر امکانش نیست :
۱- قوانین سایت روی سادهترین حالت قرار داره (نمیدونیم واقعاً هدف همین بوده، یا یک فراموشی برای تغییر دادن)
۲- کرالر به هیچوجه در زمان دانلود بلاک نشد، حتی زمان کرال بیش از ۵۰۰.۰۰۰ خبر
۳- با توجه به عدم بلاک شدن، پخش شدن این کد میتونه رکوئستهای زیادی رو به سمت سایت بفرسته که حتی اگه سایت دان نشه (طبیعتاً نباید بشه)؛ میتونه هزینه زیادی داشته باشه برای نگهداری و ...
۱- قوانین سایت روی سادهترین حالت قرار داره (نمیدونیم واقعاً هدف همین بوده، یا یک فراموشی برای تغییر دادن)
۲- کرالر به هیچوجه در زمان دانلود بلاک نشد، حتی زمان کرال بیش از ۵۰۰.۰۰۰ خبر
۳- با توجه به عدم بلاک شدن، پخش شدن این کد میتونه رکوئستهای زیادی رو به سمت سایت بفرسته که حتی اگه سایت دان نشه (طبیعتاً نباید بشه)؛ میتونه هزینه زیادی داشته باشه برای نگهداری و ...
گوگل ریسرچ پروژههای بسیاری رو open source قرار داده به همراه کد و توضیحات و ....
برای جزئیات بیشتر گیتهاب و لینک ریسرچ رو میتونید دنبال کنید
Google Research
Github Link
برای جزئیات بیشتر گیتهاب و لینک ریسرچ رو میتونید دنبال کنید
Google Research
Github Link
research.google
Google Research - Explore Our Latest Research in Science and AI
Discover Google Research. We publish research papers across a wide range of domains and share our latest developments in AI and science research.
شاید اگر بگن استرینگ ها (کلمات، جملات و ...) رو توی یک corpus خیلی بزرگ مقایسه کنید اولین چیزی که به فکر میرسه و کد زده میشه
somestring1 == somestring2
باشه؛ اما مشکل اینجاس که برای corpus های خیلی خیلی بزرگ اینکار بسیار زمانبر هست و بدتر ازون اینکه اگر بخواید vec هم در بیارید ازش میتونه بسیار وقت گیر باشه و به حافظه بسیار بسیار بیشتری نیاز داشته باشه (که باعث بشه نتونید روی سیستم یا سرور فعلی اجرا کنید کد رو، البته بسیاری از ابزارهای موجود از تکنیکی که خواهم گفت استفاده میکنند)
ی راهکار دیفالت در پایتون برای این مسئله هست که بطور خودکار، برای اسم
functions, variables, classes
و خلاصه هرچیزی که درطول اجرای برنامه واجبه استفاده میشه؛ از این تکنیک در
Python Core
برای اپتیمایز کردن استفاده میشه، پکیج sys در پایتون هم دارای متدی هست به نام
intern()
که بعنوان ورودی یک string رو میگیره و خروجی اون یک آدرس حافظه هست (تمامی متغییرهایی که توی پایتون تعریف میکنیم آدرس حافظه هست)
به این ترتیب، اگر کل corpus رو با این روش آدرس دهی کنید، میتونید خیلی راحت و البته به مراتب سریعتر بین stringها مقایسه کنید.
somestring1 is somestring2
sys.intern() python documentation
somestring1 == somestring2
باشه؛ اما مشکل اینجاس که برای corpus های خیلی خیلی بزرگ اینکار بسیار زمانبر هست و بدتر ازون اینکه اگر بخواید vec هم در بیارید ازش میتونه بسیار وقت گیر باشه و به حافظه بسیار بسیار بیشتری نیاز داشته باشه (که باعث بشه نتونید روی سیستم یا سرور فعلی اجرا کنید کد رو، البته بسیاری از ابزارهای موجود از تکنیکی که خواهم گفت استفاده میکنند)
ی راهکار دیفالت در پایتون برای این مسئله هست که بطور خودکار، برای اسم
functions, variables, classes
و خلاصه هرچیزی که درطول اجرای برنامه واجبه استفاده میشه؛ از این تکنیک در
Python Core
برای اپتیمایز کردن استفاده میشه، پکیج sys در پایتون هم دارای متدی هست به نام
intern()
که بعنوان ورودی یک string رو میگیره و خروجی اون یک آدرس حافظه هست (تمامی متغییرهایی که توی پایتون تعریف میکنیم آدرس حافظه هست)
به این ترتیب، اگر کل corpus رو با این روش آدرس دهی کنید، میتونید خیلی راحت و البته به مراتب سریعتر بین stringها مقایسه کنید.
somestring1 is somestring2
sys.intern() python documentation
👍1
دستاوردهای یادگیری عمیق(InTec)
توی کار دیپلرنینگ وقتی به یک مسئله جدید میرسیم با دیتاست جدید، بطوری که تا بحال مشابه اون حل نشده اینطور شروع میشه که بر اساس سعی و خطا و یا تجربیات یک شبکه ساخته میشه و اجرا میشه بعد از اون با سعی و خطا، پارامترها و ... تغییر پیدا میکنه تا به بهترین…
خیلی قبلتر Keras-Tuner رو معرفی کردم، توی این پست، ی آموزش جم و جور و مختصر رو خواهیم دید بهمراه تایم و دقت (عکس پیوست)
Link to post 👈
Link to post 👈
تشخیص فاصله اشیا در عکس (دیتاست + کد)
این کار برای رباتیک و کنترل اتوماتیک مفید خواهد بود (مخصوصاً با توجه به قیمت بسیار بالای برخی از انواع سنسورها و تجهیزات)
توجه داشته باشید، که تولیدات سری Jetson توانایی اجرای همزمان چندین مدل رو نیز دارند.
Link
@pytens
این کار برای رباتیک و کنترل اتوماتیک مفید خواهد بود (مخصوصاً با توجه به قیمت بسیار بالای برخی از انواع سنسورها و تجهیزات)
توجه داشته باشید، که تولیدات سری Jetson توانایی اجرای همزمان چندین مدل رو نیز دارند.
Link
@pytens
Medium
Depth Estimation on Camera Images using DenseNets
Doing cool things with data!
جمعی از دوستان متخصص تصمیم گرفتن تجربیات و تخصص خودشون رو در زمینه وب و پایتون (بطور تخصصی Django ) به اشتراک بگذارند
اگر به این موضوع علاقه دارید میتونید کانال
@DjangoEX
رو دنبال کنید 🌹🌹
اگر به این موضوع علاقه دارید میتونید کانال
@DjangoEX
رو دنبال کنید 🌹🌹
OctConv
چیه و چرا باید جایگزین Conv های معمول توی کدهامون بشه ؟!
- جواب ساده : مصرف کمتر حافظه و پردازنده البته بهمراه دقت بالاتر
Paper Summary
چیه و چرا باید جایگزین Conv های معمول توی کدهامون بشه ؟!
- جواب ساده : مصرف کمتر حافظه و پردازنده البته بهمراه دقت بالاتر
Paper Summary
به کمک دستاوردهای این تحقیق دیگه حتی gpu دسکتاپ هم برای کارهای NLP کافیه، حتماً مطالعه کنید
Google Ai Blog
Google Ai Blog
research.google
Reformer: The Efficient Transformer
Posted by Nikita Kitaev, Student Researcher, UC Berkeley and Łukasz Kaiser, Research Scientist, Google Research Understanding sequential data — s...
Turing Natural Language Generation (T-NLG)
مدلی با ۱۷ میلیارد پارامتر که معیارها و دقتهای جدیدی ثبت کرده
لینک زیر توضیحات و البته دمویی ازین مدل رو خواهید دید.
Link
مدلی با ۱۷ میلیارد پارامتر که معیارها و دقتهای جدیدی ثبت کرده
لینک زیر توضیحات و البته دمویی ازین مدل رو خواهید دید.
Link
Microsoft Research
Turing-NLG: A 17-billion-parameter language model by Microsoft - Microsoft Research
This figure was adapted from a similar image published in DistilBERT. Turing Natural Language Generation (T-NLG) is a 17 billion parameter language model by Microsoft that outperforms the state of the art on many downstream NLP tasks. We present a demo of…
به کمک SQLflow میتونید انواع مختلف سیستمهای پایگاه داده sql رو مستقیم به
Tensorflow, XGBoost, Scikitlearn , ...
وصل کنید.
GitHub Link
Tensorflow, XGBoost, Scikitlearn , ...
وصل کنید.
GitHub Link
GitHub
GitHub - sql-machine-learning/sqlflow: Brings SQL and AI together.
Brings SQL and AI together. Contribute to sql-machine-learning/sqlflow development by creating an account on GitHub.
دستاوردهای یادگیری عمیق(InTec)
Turing Natural Language Generation (T-NLG) مدلی با ۱۷ میلیارد پارامتر که معیارها و دقتهای جدیدی ثبت کرده لینک زیر توضیحات و البته دمویی ازین مدل رو خواهید دید. Link
تو این بلاگ پست درمورد تکنولوژیهایی که اجازه داده ماکروسافت به T-NLG برسه توضیح داده، در حالی که همهی حواسها به خود مدل و دقت و ... اون هست، خوندن راجب این ۲تکنولوژی بسیار مفید خواهد بود.
Post Link
Post Link
دستاوردهای یادگیری عمیق(InTec)
OctConv چیه و چرا باید جایگزین Conv های معمول توی کدهامون بشه ؟! - جواب ساده : مصرف کمتر حافظه و پردازنده البته بهمراه دقت بالاتر Paper Summary
GitHub
GitHub - koshian2/OctConv-TFKeras: Unofficial implementation of Octave Convolutions (OctConv) in TensorFlow / Keras.
Unofficial implementation of Octave Convolutions (OctConv) in TensorFlow / Keras. - koshian2/OctConv-TFKeras