استارت اپ Pika معرفی شد هرچیزی که رو میخوایید کافیه بنویسید تا به فیلم تولید بشه. وقتی از ساختن بازیهای کامپیوتری با #هوش_مصنوعی میگفتم داریم یه گام نزدیکتر میشیم. ایده‌هاتون رو خلق کنید!

https://pika.art

#مقاله #ایده_جذاب

🔸 مطالب بیشتر 👇👇

✅ @AI_DeepMind
🔸 @AI_Person

جدیدترین ورژن Keras منتشر شد.
Keras 3.0!

▶ Run Keras on top of JAX, TensorFlow, and PyTorch
▶ Train faster with XLA compilation
▶ Unlock training runs with any number of devices & hosts via the new Keras distribution API
https://keras.io/keras_3/

#پایتون #هوش_مصنوعی #الگوریتمها

🔸 مطالب بیشتر 👇👇

✅ @AI_DeepMind
🔸 @AI_Person

اپلیکیشن تبدیل صدا به متن و متن به صدا هم آماده شد. اینم لینکش:
https://github.com/mallahyari/RealtimeSTT-TTS

#پایتون #آموزش

🔸 مطالب بیشتر 👇👇

✅ @AI_DeepMind
🔸 @AI_Person

یک مولتی مدل MLT متا منتشر کرده اینجاست بازم میشه با مدلهای بنیادی کلی کار انجام داد.

قبلتر گوگل AudioPaLM رو معرفی کرده بود.

The first, all-in-one, multimodal translation model!

SeamlessM4T, a unified multilingual and multimodal machine translation system that supports ASR, text-to-text translation, speech-to-text translation, text-to-speech translation, and speech-to-speech translation.
🔸 GitHub
🔸 Project

پ.ن: در اپدیت جدید زبان فارسی هم اضافه شده است.

#مقاله #ایده_جذاب

پ.ن: به نظر رقیب جدی گوگل خواهد شد.

🔸 مطالب بیشتر 👇👇

✅ @AI_DeepMind
🔸 @AI_Person

در اهمیت ۳بُعدی و دوبُعدی کردن تصاویر همینقدر بگم که چنین فیلم و... که ریپلای کردم به وجود اومده شما میخایی چکار کنید با هوش مصنوعی کامنت کنید

▪️ ConceptGraphs: Open-Vocabulary 3D Scene Graphs for Perception and Planning


#مقاله #ایده_جذاب

🔸 مطالب بیشتر 👇👇

✅ @AI_DeepMind
🔸 @AI_Person

قبلتر مدل SAM معرفی کردم ولی اینجا با مدل RAM یک قدم جلوتر در #بینایی_کامپیوتر گذاشتن #مقاله ای که میاد تحلیل معنایی از تصاویر بصری رو ارائه میده و تگهای بیشتری که در تصاویر وجود داره مشخص میکنه این مدل ارتقا یافته مدل مشهور BLIP هستش
▪️ GitHub
▪️ Demo
▪️ Recognize Anything A Strong Image Tagging Model

#ایده_جذاب

🔸 مطالب بیشتر 👇👇

✅ @AI_DeepMind
🔸 @AI_Person

اینکه چطوری فیلمها رو میشه با #هوش_مصنوعی ساخت و چطوری میشه تصاویر دوبُعدی و سه بُعدی رو تولید کرد میشه از این #مقاله اوپن سورس شده که #ایده_جذابی رو داره، بدست اورد. با اسکن کردن یک محیط که انجام میده میشه دنبال موضوعات جالب گشت و خروجیهای بهتری و متفاوت تری رو بدست اورد و با این مقاله هم یه بازی رئال گونه از زندگی ساخت .و...

▪️ SplaTAM: Splat, Track & Map 3D Gaussians for Dense RGB-D SLAM
▪️GitHub

🔸 مطالب بیشتر 👇👇

✅ @AI_DeepMind
🔸 @AI_Person

یک قدم خارق العاده ای که شکل گرفته به وجود اومدن مدلهای زبانی ویژن هستش در مدل DreamSync اومدن مدلهای زیر رو باهم ارتباط دادند. اگه دنبال مدلهای ویژنی هستید بهترین شروع هستش

large language models (LLMs), vision-language models (VLMs), and text-to-image (T2I) models

▪️ DreamSync: Aligning Text-to-Image Generation with Image Understanding Feedback
▪️
#مقاله #ایده_جذاب

🔸 مطالب بیشتر 👇👇

✅ @AI_DeepMind
🔸 @AI_Person

حدود چند ماه پیش که فیسبوک (متا) مدل SAM رو معرفی کرد میگذره الان در #مقاله جدیدتری که منتشر کرده کلی دقت و کارایی مدل رو بالاتر بردند و در مقالات قبلتر شیوه توسعه این مدل رو از ابتدا پیگیری کنید و الان کجا هستیم.

image classification, object detection, instance segmentation, and semantic object detection

▪️ GitHub
▪️ EfficientSAM: Leveraged Masked Image Pretraining for Efficient Segment Anything

#ایده_جذاب

🔸 مطالب بیشتر 👇👇

✅ @AI_DeepMind
🔸 @AI_Person

گوگل مولتی مدلی رو ساخته که گلی کارها رو انجام میدخ مثه text, code, audio, image and video و ... که اقدامی ارزشمند برای یک رقابت و توسعه AGI هست.

▪️ Introducing Gemini: our largest and most capable AI model

#ایده_جذاب #مقاله

پ.ن: چرا صداشو تلگرام قطع میکنه نمیدونم داخل سیستم صداشو دارم موقع اپلود هم مراقبم ک بی صدا نشه ولی باز بی صدا اپلود شد

🔸 مطالب بیشتر 👇👇

✅ @AI_DeepMind
🔸 @AI_Person

پروژه AutoVisual Fusion Suite، یک تلاش چندگانه برای ادغام دو تکنیک مهم در حوزه هوش مصنوعی است: Video inpainting و Voice Conversion.

در بخش Video inpainting، از مدل‌های پیش‌آموخته segmentation برای انتقال هدف(ها) از یک ویدیو به یک ویدیو دیگر استفاده می‌شود. در این بخش، دو مدل برجسته که در پلتفرم HuggingFace معرفی شده‌اند، یعنی SAM و DETR Model with ResNet-50 backbone، به‌عنوان بهترین گزینه‌ها انتخاب شده‌ و پیاده‌سازی شده است. البته نشان داده شده که SAM عملکرد بهتری ازDETR دارد. برای اپلای SAM به فریم های ویدیو از متریک Intersection over Union (IoU)  برای شباهت ماسک فریم های بعدی با فریمی که کاربر در آن تارگت را انتخاب کرده اندازه گیری و انتخاب میشود.
برای استفاده می‌تونید کد را ران کنید یا ایمیج داکرایز شده برنامه را صرفا برای مدل DETR with ResNet-50 backbone از داکر هاب pull کنید و امتحان کنید.

در بخش Voice Conversion، از مدل so-vits-svc-fork برای تغییر شخصیت صدای سورس به صدای تارگت استفاده شده است. این مدل با سایر مدل‌های vc مانند Retrieval-based-Voice-Conversion، AutoVC و Yourtts مقایسه شده است.

پروژه AutoVisual Fusion Suite، این دو بخش را در یک محیط یکپارچه به هم مرتبط کرده و یک راه حل جامع برای مسائل مربوط به تبدیل صدا و تصویر ارائه می‌دهد.

برای کسب اطلاعات بیشتر، به مخزن گیت‌هاب زیر مراجعه کنید:
https://github.com/Amirrezahmi/Video-Inpainting-and-Voice-Cloning

#مقاله #ایده_جذاب

🔸 مطالب بیشتر 👇👇

✅ @AI_DeepMind
🔸 @AI_Person

اگه میخواهید به درکی بهتر انتقال Transfer در #یادگیری_تقویتی برسید این یک منبع ارزشمند هستش.

▪️ Foundations for Transfer in Reinforcement Learning: A Taxonomy of Knowledge Modalities

#ایده_جذاب #مقاله

🔸 مطالب بیشتر 👇👇

✅ @AI_DeepMind
🔸 @AI_Person

مقاله Gemini


#مقاله #ایده_جذاب

🔸 مطالب بیشتر 👇👇

✅ @AI_DeepMind
🔸 @AI_Person

ماجرای ادعای بلومبرگ و خبر تیتر داغ زومیت:

بلومبرگ در ادعایی اعلام کرده که:

بلومبرگ در گزارشی اختصاصی می‌گوید گوگل توانایی‌های جمنای را به شیوه‌ی غیرواقعی به‌نمایش گذاشت.

بلومبرگ می‌گوید نماینده‌ای از گوگل اعتراف کرده آنچه که در ویدیو دیدیم به‌صورت بلادرنگ اتفاق نیفتاده است. گوگل از عکس‌های گرفته‌شده از ویدئوی خام استفاده کرده و سپس ورودی متنی به جمنای داده است تا هوش مصنوعی مورد بحث به ورودی متنی پاسخ دهد.

نسخه‌ای که در فیلم مشاهده میشود طبق ادعای گوگل نسخه‌ی Ultra است که هنوز در جایی منتشر نشده و ادعای بلومبرگ صرفا وابسته به نماینده‌ای از گوگل است.

اما در مورد توانایی MMLU و توانایی استدلالی گوگل مقاله‌ای را منتشر کرده که باید منتظر نقد به آن باشیم.

اما در ادامه بلومبرگ صرفا ادعای گوگل رو در مورد برتری نسبت به GPT مورد خطاب قرار میدهد نه توانایی مدلهای هوش مصنوعی را:

بلومبرگ می‌گوید گوگل با ویدئوی جدید جمنای تلاش کرده است «پز بدهد» تا مردم فریب بخورند و کسی نفهمد که حتی پیشرفته‌ترین هوش مصنوعی گوگل نیز در پشت سر GPT-4 قرار می‌گیرد.

اما در ادامه گوگل ادعاهای بلومبرگ را رد کرده است و توضیحات یکی از رهبران جمنای در مورد چگونگی ساخت ویدئو رو منتشر کرده است

در آن پست نحوه‌ی ساخت ویدئو شرح داده شده است: «تمامی ورودهای کاربر و خروجی‌ها در ویدئو واقعی هستند، اما برای مختصرشدن ویدئو، کوتاه شده‌اند. این ویدئو نشان می‌دهد تجربه‌های چندحالته‌ی کاربران که با جمنای ساخته شده‌اند، چگونه خواهند بود. ما این ویدئو را برای الهام‌بخشیدن به توسعه‌دهندگان ساختیم.»

موارد ادعایی که باید بعد از انتشار نسخه Ultra در 2024 به واسطه‌ی نتایج منتشر شده در مقاله‌ی مفصل گوگل مورد بررسی قرار بگیرند بحث ادعای برتری نسبت به GPT4 است نه اینکه مدل‌های هوش مصنوعی به این سطح از توانایی رسیدن یا نه چون در حال حاضر GPT4 در سطح متفاوتی این توانایی‌ها را دارد.
باید منتظر ماند و دید که در آینده چه نقدهایی وارد خواهد شد.

پست منتشر شده در X
نتایج منتشر شده توسط گوگل
جزئیات فنی اجرای مدل مالتی‌تسک ادعایی گوگل به شکل کامل

سروش سارابی
@daneshagahi

باید با ترنسفورمرها خداحافظی کنیم؟!

What is State Space Sequence Models (SSMs):** SSMs have emerged as a promising architecture for sequence modeling, combining aspects of recurrent neural networks (RNNs), convolutional neural networks (CNNs), and classical state space models. They offer efficient computation, either as a recurrence or convolution, with linear or near-linear scaling in sequence length. Despite their success in continuous signal data like audio and vision, SSMs have been less effective in modeling discrete and information-dense data such as text.

📌 Selective State Space Models (SSMs): The paper introduces a new class of selective SSMs, designed to achieve the modeling power of Transformers while maintaining linear scaling in sequence length. This involves a selection mechanism allowing the model to selectively propagate or forget information along the sequence length dimension, based on the input. The innovation also includes a hardware-aware parallel algorithm to address the computational challenges posed by making SSMs time- and input-variant.

📌 The selection mechanism in Mamba It allows filtering out irrelevant tokens, resetting the state to remove extraneous history, and managing how information propagates or interacts along the sequence dimension. This mechanism is also connected to the gating mechanisms of RNNs and can be applied to traditional RNNs or CNNs.

📌 Empirical Validation: Mamba's effectiveness is empirically validated in several domains, including language modeling, DNA sequencing, and audio waveform modeling. It outperforms previous state-of-the-art models in these domains and shows superior performance in both pretraining quality and domain-specific task performance.

▪️ Mamba: Linear-Time Sequence Modeling with Selective State Spaces
▪️ GitHub

#مقاله #ایده_جذاب

🔸 مطالب بیشتر 👇👇

✅ @AI_DeepMind
🔸 @AI_Person

https://arxiv.org/abs/2210.01240
Language Models Are Greedy Reasoners: A Systematic Formal Analysis of Chain-of-Thought

آیا Mamba جایگزینی برای ترنسفورمرهاست؟

https://youtu.be/ouF-H35atOY?si=aow4mIIsrHhzFhvG

#مقاله #ایده_جذاب

🔸 مطالب بیشتر 👇👇

✅ @AI_DeepMind
🔸 @AI_Person

بازم تولید فیلم با هوش مصنوعی! چطور به تصاویر جانی تازه بخشید؟

▪️ Photorealistic Video Generation with Diffusion Models


#مقاله #ایده_جذاب

🔸 مطالب بیشتر 👇👇

✅ @AI_DeepMind
🔸 @AI_Person