В продолжение поста свежая статья от New York Times, согласно которой Гугл очень серьёзно относится к возможности смены парадигмы в поиске: https://www.nytimes.com/2022/12/21/technology/ai-chatgpt-google-search.html

Статья за пейволлом, но телеграммовское instant view в мобильном приложении, похоже, позволяет без проблем её прочитать.

Google объединил self-supervised NLP подходы и получил профит на 50 задачах

Обычно GPT-like (только декодер) модели обучаются на Language Modeling (LM), энкодер-декодер - на Span Corruption (SC). Первая задача больше про экстраполяцию, вторая - про интерполяцию. Поэтому GPT умеет во few-shot и в целом лучше для генерации текстов, а условный T5 хорош в понимании классификации текста.

Ученые из гугла решили обучить модель, которая бы хорошо себя показывала на всех задачах (генерация, классификация, retrieval, QA, …) и в разных постановках (supervised дообучение, zero/few - shot).

Обучали на миксе трех лоссов:
- S-denoiser - LM-like
- R-denoiser - SC
- X-denoiser - extreme SC: спаны длиннее и/или их больше

В итоге дообучение модели с таким претрейном дает им профит на большинстве из 50+ различных задач и постановок. То есть они двигают Парето границу качества, улучшая его по нескольким направлениям.

Ещё из интересного:
- Mode switching: обучали, добавляя токен задачи [R], [S] или [X]; на дообучении помогает подставлять соответствующий токен
- X-denoiser помогает, но его одного недостаточно (и много чего ещё в ablations)
-  Их модель UL2 20B получает профит от Chain of Thought промптинга. Это эмерджентное свойство не наблюдалось у моделей средних размеров (да, 20B - средний размер :) )
- Дают soft advice: используйте энкодер-декодер архитектуру (разделение весов); похуже: только декодер, но с bidirectional attention на префикс; ещё хуже - vanilla decoder only; encoder only - deprecated
- Веса UL2 20B в открытом доступе

Paper; Blogpost

Подписывайтесь: https://tttttt.me/building_singularity
Здесь больше интересных постов про AI :)

The first prize in generative art should be this

Друзья, с наступающим или наступившим Новым годом вас! В этом году наше уютное коммьюнити выросло до размеров о которых я и мечтать не мог, а что же нас ждёт в следующем году?

Желаю всем нам, что бы война закончилась и началось светлое и прекрасное будущее!

Happy New Year!

Как построить карьеру в AI. Руководство от Andrew Ng

Новый Год 🎄, время строить планы. Если хочется научиться что-то делать в AI, но не знали с чего начать, то читайте дальше!😉

Самый главный популяризатор AI выложил в открытый доступ руководство как построить карьеру в AI.

Руководство очень просто написано и является сборником полезных советов. Можно использовать вместо ментора. Состоит из 3-х основных глав:

1️⃣ Как научиться
2️⃣ Как выбрать проект
3️⃣ Как найти работу

Эндрю дает простые, но важные советы как побороть синдром самозванца, нужно ли глубоко знать математику, и пожалуй самое главное, как правильно выбирать проекты для своего AI портфолио (спойлер, лучше сразу делайте что-то на пересечении вашей экспертизы/того что вам интересно и AI)

Инджой

Выпал на новогодние праздники (которые у меня в этом году случились по всем календарям кроме русского), и конечно же миллион событий и осознанных встреч. Но давайте попробуем вкатиться обратно.

Обнаружение марсотрясений с помощью методов машинного обучения

Ребята из ETH рассказывают как наконец то смогли убедить упертых геологов, что машинное обучение это круто и как его можно использовать для изучения Марса ☄️.

Блог-пост

фотка кстати настоящая со спутника

Fortuna - A Library for Uncertainty Quantification

Привет! Приходилось ли вам принимать важное решение, но вы не были уверены, что делаете правильный выбор? Есть способ помочь принять более обоснованное решение, и он называется квантификацией неопределенности.

Fortuna - это библиотека, которая поможет вам оценить неопределенность в ваших проектах. В библиотеке есть несколько действительно интересных функций, таких как конформные методы, которые позволяют получить калиброванные прогнозы, и поддержка байесовского вывода в моделях глубокого обучения.

Количественная оценка неопределенности важна, поскольку она помогает нам понять, насколько мы не уверены в наших прогнозах или решениях. Выяснив степень неопределенности, мы можем сделать более обоснованный выбор. Fortuna позволяет легко использовать количественную оценку неопределенности в ваших проектах, поэтому попробуйте ее, если вы хотите принимать более взвешенные решения.

Ознакомьтесь с документацией для получения дополнительной информации.

ИИ на службе душевного равновесия

Психотерапия - эффективный способ решения проблем психического здоровья, но к сожалению, качество услуг варирует от терапевта к терапевту.

Стэнфордские исследователи разработали инструмент обработки естественного языка под названием CRSTL (Computational RepresentationS of Therapist Language), чтобы лучше понять, что работает в психотерапии. CRSTL переводит расшифровку терапевтических сессий в 16 количественных характеристик, которые могут быть проанализированы с помощью ИИ.

Характеристики включают частоту использования терапевтами различных местоимений и упоминание различных эмоций. Инструмент также измеряет, сколько времени терапевты говорят и как быстро они говорят. CRSTL позволяет понять, как эти характеристики меняются в течение сессии и как они различаются между сессиями и терапевтами.

Результаты показывают, что анализ языка терапевтов может помочь понять, что способствует эффективности психотерапевтических сессий.

Инструмент можно скачать тут

ну что, готовы к продвинутой интерполяции?

не ограничивай себя статичными генерациями! возьми уже наконец свои seeds и prompts, расположи в красивом порядке и сгенерируй плавную* анимацию в новом колабе!

colab notebook

*плавную насколько это возможно

@тоже_моушн

Курс по машинному обучению простыми словами от автора канала @nn_for_science

Готовы ли вы узнать о нейронных сетях и их использовании в научных исследованиях? Мой курс по машинному обучению (весна 2022 года) уже доступен бесплатно для всех желающих!

В этом курсе, состоящем из 12 лекций, вы получите высокоуровневый обзор современных методов искусственного интеллекта и их использования в различных научных областях. От биологии и физики до лингвистики и философии, глубокое обучение (нейронные сети) быстро становится одним из самых перспективных методов в машинном обучении.

Не упустите шанс понять, что возможно сейчас и и что будет возможно в ближайшем будущем.

🎥 Посмотреть курс прямо сейчас

Мне бы хотелось, чтобы как можно больше людей получили пользу от этого курса, поэтому, пожалуйста, поделитесь им со своими друзьями и подписчиками. Заранее спасибо!

А еще я потихоньку начинаю работать над новой версией этого курса и мне очень нужен ваш фидбек! Пишите комментарии что и как можно улучшить

Мозг использует нелинейное пространство для ориентации

Исследователи обнаружили, что нейроны в определенной области мозга, называемой областью СА1 гиппокампа, представляют пространство с помощью нелинейной гиперболической геометрии. Этот тип геометрии использует экспоненциальную шкалу, что позволяет хранить больше позиционной информации, чем линейная шкала.

Исследователи также обнаружили, что размер этого представления меняется в зависимости от количества времени, которое животное тратит на изучение окружающей среды. Например, если крыса проводит больше времени, исследуя новую область, представление этой области в ее мозгу расширяется.

Эти результаты важны, поскольку они показывают, как мозг способен эффективно представлять информацию об окружающем нас пространстве с помощью динамической гиперболической геометрии. Такое понимание потенциально может помочь нам разработать лучшие способы навигации и понимания окружающей среды.

Статья в Nature