قبلتر مدل SAM معرفی کردم ولی اینجا با مدل RAM یک قدم جلوتر در #بینایی_کامپیوتر گذاشتن #مقاله ای که میاد تحلیل معنایی از تصاویر بصری رو ارائه میده و تگهای بیشتری که در تصاویر وجود داره مشخص میکنه این مدل ارتقا یافته مدل مشهور BLIP هستش
▪️ GitHub
▪️ Demo
▪️ Recognize Anything A Strong Image Tagging Model

#ایده_جذاب

🔸 مطالب بیشتر 👇👇

✅ @AI_DeepMind
🔸 @AI_Person

اینکه چطوری فیلمها رو میشه با #هوش_مصنوعی ساخت و چطوری میشه تصاویر دوبُعدی و سه بُعدی رو تولید کرد میشه از این #مقاله اوپن سورس شده که #ایده_جذابی رو داره، بدست اورد. با اسکن کردن یک محیط که انجام میده میشه دنبال موضوعات جالب گشت و خروجیهای بهتری و متفاوت تری رو بدست اورد و با این مقاله هم یه بازی رئال گونه از زندگی ساخت .و...

▪️ SplaTAM: Splat, Track & Map 3D Gaussians for Dense RGB-D SLAM
▪️GitHub

🔸 مطالب بیشتر 👇👇

✅ @AI_DeepMind
🔸 @AI_Person

یک قدم خارق العاده ای که شکل گرفته به وجود اومدن مدلهای زبانی ویژن هستش در مدل DreamSync اومدن مدلهای زیر رو باهم ارتباط دادند. اگه دنبال مدلهای ویژنی هستید بهترین شروع هستش

large language models (LLMs), vision-language models (VLMs), and text-to-image (T2I) models

▪️ DreamSync: Aligning Text-to-Image Generation with Image Understanding Feedback
▪️
#مقاله #ایده_جذاب

🔸 مطالب بیشتر 👇👇

✅ @AI_DeepMind
🔸 @AI_Person

حدود چند ماه پیش که فیسبوک (متا) مدل SAM رو معرفی کرد میگذره الان در #مقاله جدیدتری که منتشر کرده کلی دقت و کارایی مدل رو بالاتر بردند و در مقالات قبلتر شیوه توسعه این مدل رو از ابتدا پیگیری کنید و الان کجا هستیم.

image classification, object detection, instance segmentation, and semantic object detection

▪️ GitHub
▪️ EfficientSAM: Leveraged Masked Image Pretraining for Efficient Segment Anything

#ایده_جذاب

🔸 مطالب بیشتر 👇👇

✅ @AI_DeepMind
🔸 @AI_Person

گوگل مولتی مدلی رو ساخته که گلی کارها رو انجام میدخ مثه text, code, audio, image and video و ... که اقدامی ارزشمند برای یک رقابت و توسعه AGI هست.

▪️ Introducing Gemini: our largest and most capable AI model

#ایده_جذاب #مقاله

پ.ن: چرا صداشو تلگرام قطع میکنه نمیدونم داخل سیستم صداشو دارم موقع اپلود هم مراقبم ک بی صدا نشه ولی باز بی صدا اپلود شد

🔸 مطالب بیشتر 👇👇

✅ @AI_DeepMind
🔸 @AI_Person

پروژه AutoVisual Fusion Suite، یک تلاش چندگانه برای ادغام دو تکنیک مهم در حوزه هوش مصنوعی است: Video inpainting و Voice Conversion.

در بخش Video inpainting، از مدل‌های پیش‌آموخته segmentation برای انتقال هدف(ها) از یک ویدیو به یک ویدیو دیگر استفاده می‌شود. در این بخش، دو مدل برجسته که در پلتفرم HuggingFace معرفی شده‌اند، یعنی SAM و DETR Model with ResNet-50 backbone، به‌عنوان بهترین گزینه‌ها انتخاب شده‌ و پیاده‌سازی شده است. البته نشان داده شده که SAM عملکرد بهتری ازDETR دارد. برای اپلای SAM به فریم های ویدیو از متریک Intersection over Union (IoU)  برای شباهت ماسک فریم های بعدی با فریمی که کاربر در آن تارگت را انتخاب کرده اندازه گیری و انتخاب میشود.
برای استفاده می‌تونید کد را ران کنید یا ایمیج داکرایز شده برنامه را صرفا برای مدل DETR with ResNet-50 backbone از داکر هاب pull کنید و امتحان کنید.

در بخش Voice Conversion، از مدل so-vits-svc-fork برای تغییر شخصیت صدای سورس به صدای تارگت استفاده شده است. این مدل با سایر مدل‌های vc مانند Retrieval-based-Voice-Conversion، AutoVC و Yourtts مقایسه شده است.

پروژه AutoVisual Fusion Suite، این دو بخش را در یک محیط یکپارچه به هم مرتبط کرده و یک راه حل جامع برای مسائل مربوط به تبدیل صدا و تصویر ارائه می‌دهد.

برای کسب اطلاعات بیشتر، به مخزن گیت‌هاب زیر مراجعه کنید:
https://github.com/Amirrezahmi/Video-Inpainting-and-Voice-Cloning

#مقاله #ایده_جذاب

🔸 مطالب بیشتر 👇👇

✅ @AI_DeepMind
🔸 @AI_Person

اگه میخواهید به درکی بهتر انتقال Transfer در #یادگیری_تقویتی برسید این یک منبع ارزشمند هستش.

▪️ Foundations for Transfer in Reinforcement Learning: A Taxonomy of Knowledge Modalities

#ایده_جذاب #مقاله

🔸 مطالب بیشتر 👇👇

✅ @AI_DeepMind
🔸 @AI_Person

مقاله Gemini


#مقاله #ایده_جذاب

🔸 مطالب بیشتر 👇👇

✅ @AI_DeepMind
🔸 @AI_Person

ماجرای ادعای بلومبرگ و خبر تیتر داغ زومیت:

بلومبرگ در ادعایی اعلام کرده که:

بلومبرگ در گزارشی اختصاصی می‌گوید گوگل توانایی‌های جمنای را به شیوه‌ی غیرواقعی به‌نمایش گذاشت.

بلومبرگ می‌گوید نماینده‌ای از گوگل اعتراف کرده آنچه که در ویدیو دیدیم به‌صورت بلادرنگ اتفاق نیفتاده است. گوگل از عکس‌های گرفته‌شده از ویدئوی خام استفاده کرده و سپس ورودی متنی به جمنای داده است تا هوش مصنوعی مورد بحث به ورودی متنی پاسخ دهد.

نسخه‌ای که در فیلم مشاهده میشود طبق ادعای گوگل نسخه‌ی Ultra است که هنوز در جایی منتشر نشده و ادعای بلومبرگ صرفا وابسته به نماینده‌ای از گوگل است.

اما در مورد توانایی MMLU و توانایی استدلالی گوگل مقاله‌ای را منتشر کرده که باید منتظر نقد به آن باشیم.

اما در ادامه بلومبرگ صرفا ادعای گوگل رو در مورد برتری نسبت به GPT مورد خطاب قرار میدهد نه توانایی مدلهای هوش مصنوعی را:

بلومبرگ می‌گوید گوگل با ویدئوی جدید جمنای تلاش کرده است «پز بدهد» تا مردم فریب بخورند و کسی نفهمد که حتی پیشرفته‌ترین هوش مصنوعی گوگل نیز در پشت سر GPT-4 قرار می‌گیرد.

اما در ادامه گوگل ادعاهای بلومبرگ را رد کرده است و توضیحات یکی از رهبران جمنای در مورد چگونگی ساخت ویدئو رو منتشر کرده است

در آن پست نحوه‌ی ساخت ویدئو شرح داده شده است: «تمامی ورودهای کاربر و خروجی‌ها در ویدئو واقعی هستند، اما برای مختصرشدن ویدئو، کوتاه شده‌اند. این ویدئو نشان می‌دهد تجربه‌های چندحالته‌ی کاربران که با جمنای ساخته شده‌اند، چگونه خواهند بود. ما این ویدئو را برای الهام‌بخشیدن به توسعه‌دهندگان ساختیم.»

موارد ادعایی که باید بعد از انتشار نسخه Ultra در 2024 به واسطه‌ی نتایج منتشر شده در مقاله‌ی مفصل گوگل مورد بررسی قرار بگیرند بحث ادعای برتری نسبت به GPT4 است نه اینکه مدل‌های هوش مصنوعی به این سطح از توانایی رسیدن یا نه چون در حال حاضر GPT4 در سطح متفاوتی این توانایی‌ها را دارد.
باید منتظر ماند و دید که در آینده چه نقدهایی وارد خواهد شد.

پست منتشر شده در X
نتایج منتشر شده توسط گوگل
جزئیات فنی اجرای مدل مالتی‌تسک ادعایی گوگل به شکل کامل

سروش سارابی
@daneshagahi

باید با ترنسفورمرها خداحافظی کنیم؟!

What is State Space Sequence Models (SSMs):** SSMs have emerged as a promising architecture for sequence modeling, combining aspects of recurrent neural networks (RNNs), convolutional neural networks (CNNs), and classical state space models. They offer efficient computation, either as a recurrence or convolution, with linear or near-linear scaling in sequence length. Despite their success in continuous signal data like audio and vision, SSMs have been less effective in modeling discrete and information-dense data such as text.

📌 Selective State Space Models (SSMs): The paper introduces a new class of selective SSMs, designed to achieve the modeling power of Transformers while maintaining linear scaling in sequence length. This involves a selection mechanism allowing the model to selectively propagate or forget information along the sequence length dimension, based on the input. The innovation also includes a hardware-aware parallel algorithm to address the computational challenges posed by making SSMs time- and input-variant.

📌 The selection mechanism in Mamba It allows filtering out irrelevant tokens, resetting the state to remove extraneous history, and managing how information propagates or interacts along the sequence dimension. This mechanism is also connected to the gating mechanisms of RNNs and can be applied to traditional RNNs or CNNs.

📌 Empirical Validation: Mamba's effectiveness is empirically validated in several domains, including language modeling, DNA sequencing, and audio waveform modeling. It outperforms previous state-of-the-art models in these domains and shows superior performance in both pretraining quality and domain-specific task performance.

▪️ Mamba: Linear-Time Sequence Modeling with Selective State Spaces
▪️ GitHub

#مقاله #ایده_جذاب

🔸 مطالب بیشتر 👇👇

✅ @AI_DeepMind
🔸 @AI_Person

https://arxiv.org/abs/2210.01240
Language Models Are Greedy Reasoners: A Systematic Formal Analysis of Chain-of-Thought

آیا Mamba جایگزینی برای ترنسفورمرهاست؟

https://youtu.be/ouF-H35atOY?si=aow4mIIsrHhzFhvG

#مقاله #ایده_جذاب

🔸 مطالب بیشتر 👇👇

✅ @AI_DeepMind
🔸 @AI_Person

بازم تولید فیلم با هوش مصنوعی! چطور به تصاویر جانی تازه بخشید؟

▪️ Photorealistic Video Generation with Diffusion Models


#مقاله #ایده_جذاب

🔸 مطالب بیشتر 👇👇

✅ @AI_DeepMind
🔸 @AI_Person

مدل جِمی‌نای (Gemini) گوگل توی گوگل کولب از طریق API به صورت رایگان منتشر شد

https://colab.research.google.com/github/googlecolab/colabtools/blob/main/notebooks/Prepare_Christmas_cards_with_Gemini_and_Sheets.ipynb#scrollTo=yFv1abRcv2P2

#مقاله #ایده_جذاب

🔸 مطالب بیشتر 👇👇

✅ @AI_DeepMind
🔸 @AI_Person

دوران «ماه عسل» مهندسین یادگیری ماشین داره به سر میاد...

این مقاله در مورد تاثیر پیشرفت هوش مصنوعی در بازار کاره.
این جمله رو از کسایی که خیلی به هوش مصنوعی خوش بین هستند شنیدید که هوش مصنوعی قرار نیست جایگزین انسان بشه بلکه به انسان کمک می‌کنه که بهره‌وری بیشتری داشته باشه...
(بابت صراحت کلامم عذرخواهی می‌کنم 🙏)
این مقاله شواهدی میده که این، حرف مفته!
دوره‌‌های همکاری انسان و هوش مصنوعی رو به سه دوره تقسیم می‌کنه:
الف) دوره‌ی قبل از ادغام decoupling
هوش مصنوعی بروزی از هوشمندی داشت ولی نمی‌تونست به انسان کمک کنه. مثلا دوره پیدایش مدلهای زبانی مبتنی بر ترنسفورمر اولیه مثه BERT تا قبل از ChatGPT3.5 به نظرم میشه این دوره.
ب) دوره ماه عسل honeymoon
دوره‌ای که هوش مصنوعی خیلی هوشمنده و عملکرد خیلی خوبی داره ولی هنوز از انسان در اون مهارت بهتر نیست مثه همین الان ما، شبیه به مترجم انسانی ترجمه می‌کنه ولی هنوز بهتر از مترجم انسانی نیست. کد می‌نویسه و هنوز برنامه کامل نمیتونه تولید کنه. تازه یادگرفته مثلا اگه عکس انسان تولید می‌کنه عکسی که تولید میکنه انسان شش انگشتی نباشه(اینجا رو ببنید)!
ج) دوره جایگزینی با انسان substitution
در این دوره هوشمندی هوش مصنوعی از انسان بیشتر شده و در همون عملکردی که یک روزی کمک‌یار انسان بود حالا جایگزین انسان متخصص شده. شبیه استادکاری که یک شاگرد میاره ور دست خودش کارهای گِل رو بندازه رو دوش‌ش تا خودش راحت‌تر بشه ولی اون شاگرد کم کم فوت و فن استادی رو هم یاد می‌گیره از استاد خودش جلو می‌زنه!

برای این موضوع اومده شغل «مترجمی» رو بررسی کرده(احتمالا از داده‌هایی جایی مثه UpWork)
نشون داده از زمانی که ChatGPT اومده درآمد مترجم‌ها ۳۰ درصد کاهش داشته!
ابزارهای هوش مصنوعی اول کمکت می‌کنن راحت‌تر بشی در کارت ولی کم‌کم که داده‌ بیشتری ازت جمع‌آوری می‌کنند از خودت بهتر می‌شن!
به حجم فیدبکی که سرویس‌های Foundation Model چه تصویر چه متن و چه کد برنامه نویسی... از کاربر خودشون جمع می‌کنن فکر کنید همین فیدبک‌هایی که ما در یک نشست چت به ChatGPT میدیم فکر کنید چه دیتاست‌های خفن‌تری در اختیار صاحب مدل قرار میده!
این مساله رو خود نویسنده‌ها هم به استناد رشته ردیت r/translationStudies بهش اقرار دارن!
این موضوع باعث کاهش ۷ درصدی درآمد «نویسندگی» هم شده....

اما نکته جالب‌تر!
این روند داره در برنامه‌نویسی وب و مهندسی یادگیری ماشین هم اتفاق می‌افته ولی! ریسک جایگزینی هوش مصنوعی برای مشاغل حوزه مهندس یادگیری ماشین از ریسک جایگزینی هوش مصنوعی برای مهندس نرم افزار بیشتر!
دلیلش اینه که در حال حاضر مهندس نرم‌افزار سیستم پیچیده‌تر شامل اجزای بیشتری رو داره تولید میکنه ولی تولیدات مهندس یادگیری ماشین معمولا تک زبانه و تک جزئی(component) است.
و مهمتر از اون مدل‌های open source یادگیری ماشین دارن خیلی در دسترس قرار می‌گیرن و از کد‌های open source در مهندسی نرم افزار در دسترس‌تر هستند.

لذا این تصور که چون هوش مصنوعی داره در همه‌ی مشاغل جای انسان رو می‌گیره پس بریم خودش رو یاد بگیریم تا جایگزین نشیم غلطه!
چون هوش مصنوعی داره اول کار مهندسین یادگیری ماشین رو ازشون می‌گیره!
به تعبیر این مقاله ادعا میکنه مهندسین یادگیری ماشین دارن تو چاهی می‌‌افتن که خودش براش کلنگ زدن!

https://xn--r1a.website/tweetdev

اگر میخواید از بعضی مقاله های پولی مثل مدیوم استفاده کنید.
حتما یه سری به لینک های زیر بزنید.

📌 https://1ft.io

📌 https://12ft.io

📌 https://github.com/iamadamdev/bypass-paywalls-chrome

#مقاله

🔸 مطالب بیشتر 👇👇

✅ @AI_DeepMind
🔸 @AI_Person

چطوری داده هایی با کیفیت پایین را پیدا کنیم؟

▪️ Decoding Data Quality via Synthetic Corruptions: Embedding-guided Pruning of Code Data


#مقاله #ایده_جذاب

🔸 مطالب بیشتر 👇👇

✅ @AI_DeepMind
🔸 @AI_Person

در این مقاله وظایف و روشهای LM در #ریاضی از تلاش ها و تحقیقات علمی برای حل این پرسش که کاربردها و از ابتدا تاکنون چه بوده است؟

▪️Mathematical Language Models: A Survey

#مقاله #ایده_جذاب

🔸 مطالب بیشتر 👇👇

✅ @AI_DeepMind
🔸 @AI_Person

در آینده، انسان ها باید بر سیستم های هوش مصنوعی بسیار هوشمندتر از آنها نظارت کنند.
چطوری مدل های کوچک که بر مدل های بزرگ نظارت می کنند. مدل‌های بزرگ از قبل آموزش‌دیده قابلیت‌های خام بسیار خوبی دارند، اما آیا می‌توانیم آن‌ها را به طور کامل تنها با نظارت ضعیف استخراج کنیم؟ و تکنیکهای RLHF برای نظارت کافی خواهند بود؟
چکار کنیم پس؟

▪️ Weak-to-strong generalization

#مقاله #ایده_جذاب

🔸 مطالب بیشتر 👇👇

✅ @AI_DeepMind
🔸 @AI_Person