مقاله Gemini


#مقاله #ایده_جذاب

🔸 مطالب بیشتر 👇👇

✅ @AI_DeepMind
🔸 @AI_Person

ماجرای ادعای بلومبرگ و خبر تیتر داغ زومیت:

بلومبرگ در ادعایی اعلام کرده که:

بلومبرگ در گزارشی اختصاصی می‌گوید گوگل توانایی‌های جمنای را به شیوه‌ی غیرواقعی به‌نمایش گذاشت.

بلومبرگ می‌گوید نماینده‌ای از گوگل اعتراف کرده آنچه که در ویدیو دیدیم به‌صورت بلادرنگ اتفاق نیفتاده است. گوگل از عکس‌های گرفته‌شده از ویدئوی خام استفاده کرده و سپس ورودی متنی به جمنای داده است تا هوش مصنوعی مورد بحث به ورودی متنی پاسخ دهد.

نسخه‌ای که در فیلم مشاهده میشود طبق ادعای گوگل نسخه‌ی Ultra است که هنوز در جایی منتشر نشده و ادعای بلومبرگ صرفا وابسته به نماینده‌ای از گوگل است.

اما در مورد توانایی MMLU و توانایی استدلالی گوگل مقاله‌ای را منتشر کرده که باید منتظر نقد به آن باشیم.

اما در ادامه بلومبرگ صرفا ادعای گوگل رو در مورد برتری نسبت به GPT مورد خطاب قرار میدهد نه توانایی مدلهای هوش مصنوعی را:

بلومبرگ می‌گوید گوگل با ویدئوی جدید جمنای تلاش کرده است «پز بدهد» تا مردم فریب بخورند و کسی نفهمد که حتی پیشرفته‌ترین هوش مصنوعی گوگل نیز در پشت سر GPT-4 قرار می‌گیرد.

اما در ادامه گوگل ادعاهای بلومبرگ را رد کرده است و توضیحات یکی از رهبران جمنای در مورد چگونگی ساخت ویدئو رو منتشر کرده است

در آن پست نحوه‌ی ساخت ویدئو شرح داده شده است: «تمامی ورودهای کاربر و خروجی‌ها در ویدئو واقعی هستند، اما برای مختصرشدن ویدئو، کوتاه شده‌اند. این ویدئو نشان می‌دهد تجربه‌های چندحالته‌ی کاربران که با جمنای ساخته شده‌اند، چگونه خواهند بود. ما این ویدئو را برای الهام‌بخشیدن به توسعه‌دهندگان ساختیم.»

موارد ادعایی که باید بعد از انتشار نسخه Ultra در 2024 به واسطه‌ی نتایج منتشر شده در مقاله‌ی مفصل گوگل مورد بررسی قرار بگیرند بحث ادعای برتری نسبت به GPT4 است نه اینکه مدل‌های هوش مصنوعی به این سطح از توانایی رسیدن یا نه چون در حال حاضر GPT4 در سطح متفاوتی این توانایی‌ها را دارد.
باید منتظر ماند و دید که در آینده چه نقدهایی وارد خواهد شد.

پست منتشر شده در X
نتایج منتشر شده توسط گوگل
جزئیات فنی اجرای مدل مالتی‌تسک ادعایی گوگل به شکل کامل

سروش سارابی
@daneshagahi

باید با ترنسفورمرها خداحافظی کنیم؟!

What is State Space Sequence Models (SSMs):** SSMs have emerged as a promising architecture for sequence modeling, combining aspects of recurrent neural networks (RNNs), convolutional neural networks (CNNs), and classical state space models. They offer efficient computation, either as a recurrence or convolution, with linear or near-linear scaling in sequence length. Despite their success in continuous signal data like audio and vision, SSMs have been less effective in modeling discrete and information-dense data such as text.

📌 Selective State Space Models (SSMs): The paper introduces a new class of selective SSMs, designed to achieve the modeling power of Transformers while maintaining linear scaling in sequence length. This involves a selection mechanism allowing the model to selectively propagate or forget information along the sequence length dimension, based on the input. The innovation also includes a hardware-aware parallel algorithm to address the computational challenges posed by making SSMs time- and input-variant.

📌 The selection mechanism in Mamba It allows filtering out irrelevant tokens, resetting the state to remove extraneous history, and managing how information propagates or interacts along the sequence dimension. This mechanism is also connected to the gating mechanisms of RNNs and can be applied to traditional RNNs or CNNs.

📌 Empirical Validation: Mamba's effectiveness is empirically validated in several domains, including language modeling, DNA sequencing, and audio waveform modeling. It outperforms previous state-of-the-art models in these domains and shows superior performance in both pretraining quality and domain-specific task performance.

▪️ Mamba: Linear-Time Sequence Modeling with Selective State Spaces
▪️ GitHub

#مقاله #ایده_جذاب

🔸 مطالب بیشتر 👇👇

✅ @AI_DeepMind
🔸 @AI_Person

https://arxiv.org/abs/2210.01240
Language Models Are Greedy Reasoners: A Systematic Formal Analysis of Chain-of-Thought

آیا Mamba جایگزینی برای ترنسفورمرهاست؟

https://youtu.be/ouF-H35atOY?si=aow4mIIsrHhzFhvG

#مقاله #ایده_جذاب

🔸 مطالب بیشتر 👇👇

✅ @AI_DeepMind
🔸 @AI_Person

بازم تولید فیلم با هوش مصنوعی! چطور به تصاویر جانی تازه بخشید؟

▪️ Photorealistic Video Generation with Diffusion Models


#مقاله #ایده_جذاب

🔸 مطالب بیشتر 👇👇

✅ @AI_DeepMind
🔸 @AI_Person

مدل جِمی‌نای (Gemini) گوگل توی گوگل کولب از طریق API به صورت رایگان منتشر شد

https://colab.research.google.com/github/googlecolab/colabtools/blob/main/notebooks/Prepare_Christmas_cards_with_Gemini_and_Sheets.ipynb#scrollTo=yFv1abRcv2P2

#مقاله #ایده_جذاب

🔸 مطالب بیشتر 👇👇

✅ @AI_DeepMind
🔸 @AI_Person

دوران «ماه عسل» مهندسین یادگیری ماشین داره به سر میاد...

این مقاله در مورد تاثیر پیشرفت هوش مصنوعی در بازار کاره.
این جمله رو از کسایی که خیلی به هوش مصنوعی خوش بین هستند شنیدید که هوش مصنوعی قرار نیست جایگزین انسان بشه بلکه به انسان کمک می‌کنه که بهره‌وری بیشتری داشته باشه...
(بابت صراحت کلامم عذرخواهی می‌کنم 🙏)
این مقاله شواهدی میده که این، حرف مفته!
دوره‌‌های همکاری انسان و هوش مصنوعی رو به سه دوره تقسیم می‌کنه:
الف) دوره‌ی قبل از ادغام decoupling
هوش مصنوعی بروزی از هوشمندی داشت ولی نمی‌تونست به انسان کمک کنه. مثلا دوره پیدایش مدلهای زبانی مبتنی بر ترنسفورمر اولیه مثه BERT تا قبل از ChatGPT3.5 به نظرم میشه این دوره.
ب) دوره ماه عسل honeymoon
دوره‌ای که هوش مصنوعی خیلی هوشمنده و عملکرد خیلی خوبی داره ولی هنوز از انسان در اون مهارت بهتر نیست مثه همین الان ما، شبیه به مترجم انسانی ترجمه می‌کنه ولی هنوز بهتر از مترجم انسانی نیست. کد می‌نویسه و هنوز برنامه کامل نمیتونه تولید کنه. تازه یادگرفته مثلا اگه عکس انسان تولید می‌کنه عکسی که تولید میکنه انسان شش انگشتی نباشه(اینجا رو ببنید)!
ج) دوره جایگزینی با انسان substitution
در این دوره هوشمندی هوش مصنوعی از انسان بیشتر شده و در همون عملکردی که یک روزی کمک‌یار انسان بود حالا جایگزین انسان متخصص شده. شبیه استادکاری که یک شاگرد میاره ور دست خودش کارهای گِل رو بندازه رو دوش‌ش تا خودش راحت‌تر بشه ولی اون شاگرد کم کم فوت و فن استادی رو هم یاد می‌گیره از استاد خودش جلو می‌زنه!

برای این موضوع اومده شغل «مترجمی» رو بررسی کرده(احتمالا از داده‌هایی جایی مثه UpWork)
نشون داده از زمانی که ChatGPT اومده درآمد مترجم‌ها ۳۰ درصد کاهش داشته!
ابزارهای هوش مصنوعی اول کمکت می‌کنن راحت‌تر بشی در کارت ولی کم‌کم که داده‌ بیشتری ازت جمع‌آوری می‌کنند از خودت بهتر می‌شن!
به حجم فیدبکی که سرویس‌های Foundation Model چه تصویر چه متن و چه کد برنامه نویسی... از کاربر خودشون جمع می‌کنن فکر کنید همین فیدبک‌هایی که ما در یک نشست چت به ChatGPT میدیم فکر کنید چه دیتاست‌های خفن‌تری در اختیار صاحب مدل قرار میده!
این مساله رو خود نویسنده‌ها هم به استناد رشته ردیت r/translationStudies بهش اقرار دارن!
این موضوع باعث کاهش ۷ درصدی درآمد «نویسندگی» هم شده....

اما نکته جالب‌تر!
این روند داره در برنامه‌نویسی وب و مهندسی یادگیری ماشین هم اتفاق می‌افته ولی! ریسک جایگزینی هوش مصنوعی برای مشاغل حوزه مهندس یادگیری ماشین از ریسک جایگزینی هوش مصنوعی برای مهندس نرم افزار بیشتر!
دلیلش اینه که در حال حاضر مهندس نرم‌افزار سیستم پیچیده‌تر شامل اجزای بیشتری رو داره تولید میکنه ولی تولیدات مهندس یادگیری ماشین معمولا تک زبانه و تک جزئی(component) است.
و مهمتر از اون مدل‌های open source یادگیری ماشین دارن خیلی در دسترس قرار می‌گیرن و از کد‌های open source در مهندسی نرم افزار در دسترس‌تر هستند.

لذا این تصور که چون هوش مصنوعی داره در همه‌ی مشاغل جای انسان رو می‌گیره پس بریم خودش رو یاد بگیریم تا جایگزین نشیم غلطه!
چون هوش مصنوعی داره اول کار مهندسین یادگیری ماشین رو ازشون می‌گیره!
به تعبیر این مقاله ادعا میکنه مهندسین یادگیری ماشین دارن تو چاهی می‌‌افتن که خودش براش کلنگ زدن!

https://xn--r1a.website/tweetdev

اگر میخواید از بعضی مقاله های پولی مثل مدیوم استفاده کنید.
حتما یه سری به لینک های زیر بزنید.

📌 https://1ft.io

📌 https://12ft.io

📌 https://github.com/iamadamdev/bypass-paywalls-chrome

#مقاله

🔸 مطالب بیشتر 👇👇

✅ @AI_DeepMind
🔸 @AI_Person

چطوری داده هایی با کیفیت پایین را پیدا کنیم؟

▪️ Decoding Data Quality via Synthetic Corruptions: Embedding-guided Pruning of Code Data


#مقاله #ایده_جذاب

🔸 مطالب بیشتر 👇👇

✅ @AI_DeepMind
🔸 @AI_Person

در این مقاله وظایف و روشهای LM در #ریاضی از تلاش ها و تحقیقات علمی برای حل این پرسش که کاربردها و از ابتدا تاکنون چه بوده است؟

▪️Mathematical Language Models: A Survey

#مقاله #ایده_جذاب

🔸 مطالب بیشتر 👇👇

✅ @AI_DeepMind
🔸 @AI_Person

در آینده، انسان ها باید بر سیستم های هوش مصنوعی بسیار هوشمندتر از آنها نظارت کنند.
چطوری مدل های کوچک که بر مدل های بزرگ نظارت می کنند. مدل‌های بزرگ از قبل آموزش‌دیده قابلیت‌های خام بسیار خوبی دارند، اما آیا می‌توانیم آن‌ها را به طور کامل تنها با نظارت ضعیف استخراج کنیم؟ و تکنیکهای RLHF برای نظارت کافی خواهند بود؟
چکار کنیم پس؟

▪️ Weak-to-strong generalization

#مقاله #ایده_جذاب

🔸 مطالب بیشتر 👇👇

✅ @AI_DeepMind
🔸 @AI_Person

مدل های بنیادی و #رباتیک در این مقاله از چالش ها وضعیت فعلی صنعت و مشکلات فعلی تحقیقات و مدلهای باز صحبت کردند.

▪️ Toward General-Purpose Robots via Foundation Models: A Survey and Meta-Analysis

#مقاله #ایده_جذاب

🔸 مطالب بیشتر 👇👇

✅ @AI_DeepMind
🔸 @AI_Person

مدل Gemini در اختیار توسعه دهندگان قرار گرفت
https://github.com/GoogleCloudPlatform/generative-ai


#مقاله #ایده_جذاب

🔸 مطالب بیشتر 👇👇

✅ @AI_DeepMind
🔸 @AI_Person

نشون دادند که چطوری با استفاده از RLها میتوان خانواده مدلهای CLIP را برای نمایش بصری اهداف زبانی بزرگ برنامه ریزی کرد.

▪️ Vision-Language Models as a Source of Rewards

#مقاله #ایده_جذاب

🔸 مطالب بیشتر 👇👇

✅ @AI_DeepMind
🔸 @AI_Person

https://fxtwitter.com/MehdiAllahyari/status/1735161646467723605?t=ZI-j93LX9jfe_PWy7oLrEw&s=19

#مقاله #ایده_جذاب

🔸 مطالب بیشتر 👇👇

✅ @AI_DeepMind
🔸 @AI_Person

بهترین مقالات پذیرش شده در #کنفرانس EMNLP 2023
https://2023.emnlp.org/program/best_papers/

#مقاله #ایده_جذاب

🔸 مطالب بیشتر 👇👇

✅ @AI_DeepMind
🔸 @AI_Person

برای دانشجویان درس یادگیری عمیق در مالی و مدیریت ریسک، کلاس مقدماتی داریم که دانشجویان می بایست قبل از شرکت در کلاس ها مشاهده کنند تا برای کلاس و مطالب پیشرفته تر و حل مثال های عملی آماده شوند.
همانطور که قول دادم آدرس آن را به اشتراک می گذارم تا شاید مورد استفاده برخی دوستان داخل کشور قرار گیرد. البته مطالب مقدماتی است و ممکن است بیشتر دوستان بدانند. در اینصورت خوشحال خواهم شد نظرتان را بفرمایید./مهرتان مستدام. افشین آشفته
🎥 https://www.youtube.com/playlist?list=PL_ljXO3JR1NL8UZ5e1lvfzbJfxtBjxfWo
آدرس کانال یوتیوپ برای استفاده از بقیه مطالب
https://www.youtube.com/@datascienceforbusinessfinance

F

▪️ A Picture is Worth More Than 77 Text Tokens: Evaluating CLIP-Style Models on Dense Captions

#مقاله #ایده_جذاب

🔸 مطالب بیشتر 👇👇

✅ @AI_DeepMind
🔸 @AI_Person