👷 ICML 2024: как это было и куда движется индустрия

Масштабные конференции всегда собирают огромное количество участников и гостей из академии, ведущих компаний в отрасли и перспективных стартапов: все стремятся пообщаться, послушать интересные доклады и посетить воркшопы. Здесь инженеры черпают новые идеи для улучшения продуктов и обмениваются опытом.

ICML не исключение. В этом году конференция проходила целую неделю и была максимально насыщенной: в некоторые дни программа начиналась с 8 утра.

В новой статье на Хабре впечатлениями от мероприятия поделился Владислав Офицеров, который помогает развивать нейронные технологии в международном Поиске Яндекса.

🔳 Что обсуждали и чему учились на ICML 2024

Подписывайтесь:
💬 @Yandex4ML
📹 @YandexforML

🪩 Как Алиса научилась чувствовать по-новому

Наши разработчики радикально расширили эмоциональный диапазон Алисы. Теперь она может увлечённо слушать, сопереживать, радоваться и даже ругаться (но мы попросили её этого не делать).

Ребята рассказали, почему в этой задаче нельзя просто дать модели больше данных, а приходится модернизировать архитектуру. Дело в том, что у нейронной сети нет человеческой интуиции и понимания важности оттенка речи. Поэтому информацию о новых эмоциях она воспринимает как менее значимую, чем, например, параметры реверберации звука.

🔳Какую архитектуру в итоге выбрали и почему, как выглядят схемы модели синтеза до и после модернизации нейросети и дизайна функции потерь, а ещё аудиопримеры голоса — ищите в статье на Хабре.

⚪️ Эта история будет интересна инженерам, которые занимаются синтезом речи или созданием архитектуры обучения LLM. А ещё всем, кто следит за развитием звуковых нейросетей.

Подписывайтесь:
💬 @Yandex4ML
📹 @YandexforML

🗂 Как искать и читать качественные научные статьи

Попросили ребят из Yandex Research рассказать, как найти хорошую публикацию и не наткнуться на торсионные поля, генетическую память, психотронное оружие и космические корабли древних славяно-ариев:

⚪️ Серёжа Кастрюлин, исследователь. Я предпочитаю читать статьи с самого начала и отсеивать лишнее на каждом этапе. Если мне непонятно название — не читаю статью. Могу ограничиться только одной аннотацией (*abstract*), если мне неинтересны детали и достаточно понять основную идею исследования.

⚪️ Денис Кузнеделев, ML-резидент. Я веду свой телеграм-канал и подписываюсь на блоги коллег. Это помогает не тонуть в потоке новой информации, а получать уже отобранный материал.

⚪️ Иван Рубачёв, исследователь. Ищите новые форматы! Я слежу за тематическими досками на Reddit и за интересными людьми в X. В интернете есть очень много полезного, например технические подкасты, рассылки от учёных и видеоразборы статей.

🔳 Ребята дали ещё очень много лайфхаков и полезных ссылок, которые вы можете найти в статье на сайте Яндекс Образования.

Подписывайтесь:
💬 @Yandex4ML
📹 @YandexforML

🧿 Как мы создавали новое решение для генерации видео

В Шедевруме теперь есть новая большая модель YandexART (Vi). Ребята создавали её, чтобы превзойти предыдущее решение Deforum по ряду параметров и сделать видео более живыми.

Среди параметров, которые инженеры прокачивали, есть одна важная характеристика — количество и связность действий. И если расширить это бутылочное горлышко, то результат выходит на новый уровень. Для этого команде пришлось создать абсолютно новую архитектуру end2end-модели, которая явно учитывает связь между всеми кадрами и «понимает» концепцию времени.

🔳 Об этом в большой хардовой статье для ML-инженеров, которые интересуются text-to-image-моделями. Расскажем, почему изначально выбрали работу в пиксельном пространстве, но перешли к латентному и какие методы инженерных оптимизаций помогли обучить модель.

Подписывайтесь:
💬 @Yandex4ML
📹 @YandexforML

👷 Бенчмарки и эксперты: как люди оценивают большие языковые модели

Мы поговорили с Ириной Барской, руководителем службы аналитики и исследований, которая отвечает за аналитику основных нейросетевых технологий Яндекс Поиска. На Practical ML Conf 14 сентября Ирина выступит с большим докладом об оценке качества LLM и соответствующих метриках. А мы решили рассказать вам кое-что из её выступления заранее в нашем лонгриде.

Подписывайтесь:
💬 @Yandex4ML
📹 @YandexforML