انسان در واقع اشیاء را بدون ناظر یاد می‌گیرد و بعد اینکه مثلا مدتی یک شی را دید و یاد گرفت، بلافاصله پس از اینکه نام آن شی را شنید برچسب آن را نیز یاد میگیرد.
در حال حاضر بهترین مدلهای بینایی ماشین که در سالهای اخیر، خصوصا بعد از الکس‌نت سال 2012 ارائه شده اند با ناظر هستند. خیلی خوب عمل می‌کنند اما به داده ی برچسب گذاری شده ی زیادی نیاز دارند.
اگر به نحوی بتوانیم از داده های بدون برچسب استفاده کنیم و مدل را آموزش دهیم، سپس در فاز کوتاهی با داده های اندک اشیائی که مدل یاد گرفته است را به صورت با ناظرآموزش دهیم تحول بزرگی در یادگیری مدل ها ایجاد خواهد شد. در این صورت میتوان به سادگی میلیون ها ساعت ویدیو را مثلا با استفاده از یوتیوب به مدل آموزش داد و پس از آموزش مدل، شروع به آموزش نام اشیاء یادگرفته شده به مدل پرداخت روندی که در انسان هم مشاهده میشود! در واقع کودک از بدو تولد اشیاء مختلف را میبیند و آن ها را یاد میگیرد اما با یک یا چند بارشنیدن نام آن به آن دسته یا شئی که قبلا فراگرفته نام اختصاص میدهد.

The Next Frontier in AI: Unsupervised Learning
#Yann_LeCun
Director of AI Research at Facebook, Professor of Computer Science, New York University

November 18, 2016


https://www.youtube.com/watch?v=IbjF5VjniVE

Abstract
The rapid progress of #AI in the last few years are largely the result of advances in #deep_learning and neural nets, combined with the availability of large datasets and fast GPUs. We now have systems that can #recognize images with an accuracy that rivals that of humans. This will lead to revolutions in several domains such as autonomous transportation and #medical #image understanding. But all of these systems currently use #supervised learning in which the machine is trained with inputs labeled by humans. The challenge of the next several years is to let machines learn from raw, #unlabeled_data, such as #video or #text. This is known as #unsupervised learning. AI systems today do not possess "common sense", which humans and animals acquire by observing the world, acting in it, and understanding the physical constraints of it. Some of us see unsupervised learning as the key towards machines with common sense. Approaches to unsupervised learning will be reviewed. This presentation assumes some familiarity with the basic concepts of deep learning.

VQABQ: Visual Question Answering by Basic Questions
🔗 https://arxiv.org/abs/1703.06492

#VQA #deep_learning #computer_vision #NLP #Image_captioning
#GRU #LSTM #CNN

مرتبط با مقاله: https://xn--r1a.website/cvision/198

نمونه سوالات:
i. طبقه بندی صحنه: آیا این یک روز بارانی است؟
ii. بازشناسی شیء: چه چیزی بر روی میز است.
iii. طبقه بندی ویژگی: زمین چه رنگی است؟
iv. شمارش: چند نفر در اتاق هستند؟
v. تشخیص شی: آیا سیبی در تصویر وجود دارد؟
vi. تشخیص فعالیت: مرد در حال انجام چه نوع ورزشی است ؟

مقالات مشابه:
https://xn--r1a.website/cvision/196

#VQA #deep_learning #computer_vision #NLP #Image_captioning
#GRU #LSTM #CNN

#آموزش

How I Built a Reverse Image Search with Machine Learning and TensorFlow
[Published Jun 07, 2017]

🔗Part 1:
https://www.codementor.io/jimmfleming/how-i-built-a-reverse-image-search-with-machine-learning-and-tensorflow-part-1-8dje8gjm9

🔗Part 2:
https://www.codementor.io/jimmfleming/how-i-built-a-reverse-image-search-with-machine-learning-and-tensorflow-part-2-8lri6k4x5

#Image_Search #TensorFlow #machine_learning

#مقاله
مقاله ی جدید و جالب Google Brain + کد #تنسرفلو
آموزش یک شبکه عصبی برای چندین کار مختلف همزمان!

One Model To Learn Them All
(Submitted on 16 Jun 2017)
pic: http://deepnn.ir/tensorflow-telegram-files/tensor2tensor.PNG


🔗abstract:
https://arxiv.org/abs/1706.05137

🔗Paper:
https://arxiv.org/pdf/1706.05137.pdf

🔗Code:
https://github.com/tensorflow/tensor2tensor

یادگیری عمیق در بسیاری از زمینه ها نظیر تشخیص گفتار، طبقه بندی تصویر، ترجمه و ... استفاده می‌شود.
اما تا کنون بدین نحو بوده که برای هر مساله، یک مدل عمیق با یک معماری خاص انتخاب میشد و با تنظیم پارامترها و با فرآیند یادگیری و تنظیم اوزان شبکه برای آن مساله به خوبی کار میکرد اما برای مسائل دیگر قابل استفاده نبود.
در این مقاله یک مدل واحد که در حوزه های مختلف نتایج خوبی داشته استفاده شده و چندین کار را آموزش دیده است. به طور خاص، این مدل تنها به صورت همزمان در ImageNet، وظایف مختلف ترجمه، شرح تصویر، تشخیص گفتار، و کار تجزیه زبان انگلیسی آموزش داده است.
این مدل در بسیاری از مسائل با مدلهای state-of-the-art هر حوزه که فقط برای آن کار آموزش دیده اند قابل مقایسه بوده و در برخی از حوزه ها کارایی بهتری نسبت به زمانی که فقط برای همان حوزه آموزش دیده شده گزارش شده است.


# Google_Brain #tensor2tensor
#deep_learning
#speech_recognition, #image_classification, #translation

Image Kernels (Explained Visually)
به صورت بصری با عملیات کانولوشن و کرنل های مختلف آشنا شوید:

http://setosa.io/ev/image-kernels/
#Kernel #convolution #image

#خبر

فیس بوک با میلیاردها تصویر آپلود شده در اینستاگرام یک شبکه کانولوشنالی را آموزش داد!

فیس بوک اخیرا با استفاده از 3.5 میلیارد تصویر اینستاگرام، در 17000 هشتگ مختلف یک شبکه عصبی کانولوشنالی را آموزش داده است.
این شبکه بر روی داده های تست چالش ImageNet به دقت 85.4 دست یافته است، که بهترین مدل قبل از این به دقت 83.1 دست یافته بود!

نکته قابل تامل نویزی بودن هشتگهای اینستاگرام در مقابل مجموعه داده ی بادقت برچسب زده شده ی آموزشی imagenet است.

به عقیده فیس بوک:

"As training data sets get larger, the need for weakly supervised — and, in the longer term, unsupervised — learning will become increasingly vital," said Facebook. "Understanding how to offset the disadvantages of noisier, less curated labels is critical to building and using larger-scale training sets."


https://www.engadget.com/2018/05/02/facebook-trained-image-recognition-ai-instagram-pics/

https://www.wired.com/story/your-instagram-dogs-and-cats-are-training-facebooks-ai/

#classification #image_recognition
#convolutional_neutral_network #cnn
#deep_learning #facebook #imagenet

#آموزش image captioning در کراس

Here’s a nice example of #Image_Captioning with #Attention, implemented with tf.keras and eager


https://colab.research.google.com/github/tensorflow/tensorflow/blob/master/tensorflow/contrib/eager/python/examples/generative_examples/image_captioning_with_attention.ipynb

#keras

#مقاله

یک کار جدید Image to image Translation
https://xn--r1a.website/cvision/892

مقاله:
https://arxiv.org/pdf/1812.10889.pdf

کد:
https://github.com/sangwoomo/instagan

The paper #InstaGAN: Instance-Aware Image-to-Image Translation has been accepted by the respected International Conference on Learning Representations (#ICLR) 2019, which will take place this May in New Orleans, USA.


This new research is based on #CycleGAN, a GAN variant which can learn to translate images without paired training data to overcome the limitations of one-by-one pairing of #pix2pix in image translation. CycleGAN can automatically translate two given unordered image sets X and Y, but it cannot encode instance information in an image. CycleGAN results however are not ideal when translating images involving specific features of the target. The InstaGAN system overcomes this problem and combines instance information from multiple task targets.

کارها و مطالب مشابه و مرتبط:
https://xn--r1a.website/cvision/214
https://xn--r1a.website/cvision/870
https-://xn--r1a.website/cvision/863

#Image_to_Image_Translation #GAN

#سورس_کد
#InstaGAN
این مقاله نقص های cycleGan را رفع کرده.


#PyTorch implementation of "InstaGAN: Instance-aware Image Translation" (ICLR 2019)

code:
https://github.com/sangwoomo/instagan

paper:
https://arxiv.org/pdf/1812.10889.pdf

blog post:
https://xn--r1a.website/cvision/892
بیشتر:
https://xn--r1a.website/cvision/893

#Image_to_Image_Translation #GAN

#خبر

اظهارات اخیر Andrew Ng فردی تاثیر گذار در حوزه یادگیری ماشینی، و یادگیری عمیق در مورد نرم افزار deep nude که اخیرا ارائه شده، و سوء استفاده ای از روش pix2pix است.

روش pix2pix یک روش بر مبنای #GAN است که برای #Image_to_Image_Translation استفاده میشود. در این روش تصویر ۱ توسط شبکه عصبی عمیق به تصویر متناظر ۲ تبدیل می گردد، که در این نرم افزار تصویر افراد ورودی شبکه، و تصویر بدون لباس فرد را خروجی میدهد.

https://twitter.com/AndrewYNg/status/1144668413140144128?s=19

جادی هم در این رابطه یک پست با عنوان
بالاخره «دوربین لخت کن» ساخته شد، و ما درکش نمی کنیم
نوشته که میتونید بخونیدش...


https://jadi.net/2019/06/deep-nude/
___
مطلب مرتبط:

#آموزش
آموزش شبکه ی مولد تخاصمی (GAN) برای تبدیل تصویر با روش pix2pix

https://www.aparat.com/v/S9bcT?c

اسلاید:

http://fall97.class.vision/slides/17.pdf

کد (نوت بوک پایتون تنسرفلو - کراس) :

http://nbviewer.jupyter.org/github/alireza-akhavan/class.vision/blob/master/57-gan-pix2pix_tensorflow_eager.ipynb


کلاس نوت فارسی pix2pix

http://blog.class.vision/1397/10/pixtopix/

#GAN #pix2pix #cyclegan #keras #tensorflow
#Image_to_Image_Translation
#deep_nude

#آموزش
آموزش شبکه ی مولد تخاصمی (GAN) برای تبدیل تصویر با روش های pix2pix و CycleGAN و پیاده سازی

https://www.aparat.com/v/S9bcT?c

جلسه آخر مباحث ویژه 2 با موضوع "یادگیری ژرف پیشرفته" مقطع کارشناسی دانشگاه تربیت دبیر شهید رجایی
دوشنبه، ۳ دی ۱۳۹۷



اسلاید:
http://fall97.class.vision/slides/17.pdf

کد (نوت بوک پایتون تنسرفلو - کراس) :
http://nbviewer.jupyter.org/github/alireza-akhavan/class.vision/blob/master/57-gan-pix2pix_tensorflow_eager.ipynb


#GAN #pix2pix #cyclegan #keras #tensorflow
#Image_to_Image_Translation

#آموزش #keras #tf2
همان طور که می‌دانید و در وبینار tf.data (که فیلم و کد و اسلاید در اینجا موجود است) بحث شد، استفاده از ImageDataGenerator کراس توصیه نمیشه! چرا که پایتونی و با نامپای نوشته شده و بسیار کند تر از تعریف pipeline ورودی با تنسرفلو است.
اما برای حالتی که ما برای هر کلاس به فولدر داشتیم خیلی راحت تر بود! نبود؟!

خوشبختانه یه تابع جدید تعریف کردند که مثل قبل آسونه، اما سرعت pipeline دیتا با tf.data را قراره داشته باشه!

قبل این که شروع کنیم عرض کنم که هنوز تو تنسرفلو 2.2 اضافه نشده و الان تو نسخه nightly هستش.
پس اگر تو کولب هستید، قبل از این که چیزی را import کنید بزنید:

! pip install -q tf-nightly

تابع اضافه شده

tf.keras.preprocessing.image_dataset_from_directory

است، که کم و بیش همان ورودی های ImageDataGenerator را داره.
اگر میخواید داکیومنتشو بخونید،
در سایت تنسرفلو:
https://www.tensorflow.org/api_docs/python/tf/keras/preprocessing/image_dataset_from_directory

و در سایت کراس:
https://keras.io/api/preprocessing/image/#image_dataset_from_directory-function

و اگر میخواید همین الان تستش کنید، تو کولب نوت بوک زیرو ببنید:
https://colab.research.google.com/github/keras-team/keras-io/blob/master/examples/vision/ipynb/image_classification_from_scratch.ipynb#scrollTo=mIjFNal6Eqdn

@cvision