Bytadance, создатели TikTok, выпустили модель, которая может разбить аудио на сотни звуковых классов. Может пригодиться, например, если проект композиции потерян, а нужно вытащить семпл/стем.

Код открыт, но то, что вместо демонстрационного видео приложен ноториально-заверенный скриншот, не внушает. Тем не менее затестим.

Гитхаб

ChatGPT (белыми) VS Bard (чёрными)

Реддит

Дайджест:

📹 ВИДЕО + АРТ 🎨

ControlNet + Segment Anything: модель генерирует арт на основе входного изображения с высоким соответствием.

Make-A-Protagonist: редактирование стиля видео на основе текстового промта и реф изображения.

Mayavee: изменение стиля видео по подходу похожее на Ebsynth, только через веб-интерфейс и с превью.

ULIP-2: улучшаем генерацию и классификацию 3D, используя на входе три модальности — тест, изображение, и облако точек.

AutoRecon: автономная генерация 3D объектов (с удалением фона) по фото с разных сторон. Пока без кода.

🎸 ЗВУК 🎸

Google: тизерят модель SoundStorm для генерации звука и диалогов с высоким качеством.

🤖 ЧАТЫ 🤖

Guidance: библиотека, дающая больше контроля при использовании промта с чат-ботами.

SaleForce: официальный релиз модели CodeT5+ для генерации кода (code-2-code не в режиме чата). Есть веса от 220М до 16B.

Выглядит отлично!

А, в целом, нас ждёт тренд на сюжеты, где люди воюют с AI.

https://www.youtube.com/watch?v=573GCxqkYEg&ab_channel=20thCenturyStudios

Дайджест пока я гонял на PHD фест:

📹 ВИДЕО + АРТ 🎨

Stability AI: выпустили DreamStudio в опенсорс под названием StableStudio. Будет поддержка ControlNet, локального инференса через A1111 или WebGPU, расширение через плагины, и другие ништяки. Позже туда подъедет чат. Я поставил потестил, пока это DS один-в-один. Тем более нужен API ключ Stability для работы, который можно взять в акке DS. Когда подъедет возможность использовать локальные мощности, или через плагин подцепить Stable Horde и другие ништяки, тогда будет о чем поговорить.

DragGAN: меняем композицию на фото, указывая мышкой точки как должно меняться движение объекта в кадре. Выглядит довольно интересно.

Phygital+: добавили DeepFloyd для генерации картинки с текстом, добавили Segment Anything (SAM) для аккуратного выделения объектов.

CoDi: модель, способная генерировать контент на связке модальностей текста, арта, видео и музыки. Пока без кода.

Nvidia: представили text-2-video модель PYoCo, которая является файнтюном eDiff-I, но с новым приором шума к видео. Похоже оно даже умеет в текст на видео а-ля DeepFloyd, но всё в стиле зелёных без кода.

Casablanca: нейронка на видеосозвонах автоматом направляет вашу голову и взгляд в камеру.

BlockadeLabs: добавили ControlNet в свой генератор 360-панорам. Глубину неплохо передаёт. На схожую тему вышла бумага LDM3D про генерацию 3D диффуизей.

Mesh Diffusion: генерация 3D преставлений не из вокселей или облака точек, а меша.

Upscayl: ещё один софт для апскейла фото, можно запустить локально.

Instruct pix2pix, который изначально использовался в A1111, устарел и вместо него лучше использовать контролнетовский pix2pix, который позволяет работать с хайрезом.

FastComposer: генерация изображений из текста или реф картинки без тонкой настройки.

🎸 ЗВУК 🎸

GETMusic: генерация музыки и нот любой длительности, в том числе и по рефу. Работают вместе две модели: GETScore генерирует ноты, а GETDiff генерирует музыку. Можно зафайнтюнить на любимой музыке. Похоже входит в набор инструментов Music от Microsoft.

Ecoute: транскрипция сказанного интервьюером и спикером в реальном времени в раздельные текстовые поля. Под капотом GPT-3.5 + маленькая версия Whisper для text2speech. Нужен API ключ OpenAI.

FunASR: тоже опенсорс инструмент для распознавания речи, но работает для конференций с большим количеством участников.

🤖 ЧАТЫ 🤖

OpenAI: ChatGPT вышел на iOS (Android позже подъедет) с поддержкой Whisper для перевода голоса в текст. Пока только для акков из США. Также накатили дефолтный WebBrowsing для владельцев плюсов, а не через плагин WebPilot который от третьих лиц и ему надо доверять. Очень ждём Code Interpreter вот это будет вообще разнос.

Запрещёнка анонсировала свой аналог Copilot для написания кода, а также показала свой чип MTIA v1 для ускорения DL с фокусом на рекламу.

Google: добавят в Colab возможность генерить код с помощью модели Codey, которая основана на PaLM 2. К слову выяснилось, что последняя обучалась на 3,6 трлн токенов, что в 5 раз больше, чем предыдущая модель. Посмотрим, что им это даст раз словам Сэма (OpenAI) и Эмада (Stability) гнаться за токенами нет смысла, а маленьких моделей показывающих годные результаты не мало.

Чувак с помощью социальной инженерии вытащил из GitHub Copilot системные промты.

Другой чел нашёл как с дать ChatGPT полный доступ над своей системой.

Microsoft: выкатили датасет TinyStories 2,5М со словарным запасом 5-летнего ребёнка, который написан GPT-3.5 и GPT-4 и подходит для тренировки и валидации новых LM размером до 10М параметров. Плюс опубликовали исследование на тему обмена данными между разными LLM.

Tascade: добавили генерацию с помощью GPT-4 списка задач, отслеживания его выполнения, создания майндмэпа и тд.

DreamGPT: усиливаем галлюцинации нейронок, для создания новых идей.

Dora: генерируем одностраничный сайт по текстовому промту.

Gradio: используем любую модель с Gradio по API через JavaScript.

TokenHawk: ещё один лама чат на WebGPU.

Дайджест:

📹 ВИДЕО + АРТ 🎨

Epic Games: запустили серию гайдов по виртуальному продакшему. Будет полезно интересующимся видео, анимацией и геймдевом.

MaskFreeVIS: сегментация видео на основе SAM без масок у объектов, вместо них используются ограничивающие силуэты (bounding boxes). Говорят этот подход легко применить, не нужна тренировка и большие вычислительные мощности.

Diff-Pruning: новый эффективный метод прунинга (уменьшения сложности модели и удаления избыточных параметров / связей) для диффузионных моделей.

LLM-Pruner: модель прунинга для больших языковых моделей.

SeeTRUE: датасет и бенчмарк для text-2-image и image-2-text моделей, которые могут помочь улучшить результаты генераций.

🤖 ЧАТЫ 🤖

RecurrentGPT: генерация длинных текстов, например новелл, с возможностью организации интерактивного повествования для читателя. Демо

LIMA: файнтюн ламы 65B, обученный на 1к токенов без RLHF, и который показывает 43% ответов как GPT-4, 58% как Bard и 65% как DaVinci003.

Intel: анонсировали суперкомпьютеры Aurora с фокусом на AI, плюс генеративную модель genAI с 1Т (триллионом) параметров.

Выжимку архивных бумаг можете делать этой тулзой.

Massively Multilingual Speech (ММS) — модели для распознавания и генерирования речи, поддерживающие более 1100 языков.

Это стало возможным благодаря использованию метода самообучения wav2vec 2.0 и нового датасета, представляющего собой подписанные данные с 1100 языков, плюс неразмеченные данные с почти 4000 языков. Некоторые из них, такие как язык татуё, имеют всего несколько сотен носителей, и для большинства случаев ранее не существовало технологии распознавания речи​.

Для сбора датасета использовались религиозные тексты, в частности Библия, которая переведена на множество языков. Чтение Нового Завета на 1100+ языках дало 32 часа данных​.

Проект MMS показал, что его модели превосходят существующие и покрывают в 10 раз больше языков, плюс делают в половину меньше ошибок, чем OpenAI Whisper​.

P.S. Вы сколько языков знаете? Я русский, английский, и кошачий.

https://ai.facebook.com/blog/multilingual-model-speech-recognition/

Дайджест:

💻 Анонсы с конференции Microsoft Build: 💻

* В Windows 11 будет добавлен AI-ассистент Copilot на основе чата Bing. Через него можно будет решать широкий спектр задач: от смены темы винды, до взаимодействия с командой. Работает с документами для их суммаризации и перефразирования. Может запускать приложения и искать контент, например плейлист в Spotify с определённым настроением.

* Поддержка сторонних плагинов для Bing и ChatGPT. Также обновится Microsoft Store, где появится хаб для проектов с нейронками. Теги к ним и суммаризацию обзоров будет генерить AI

* Наличие GitHub Copilot X, который в отличие от обычного Copilot умеет писать код по текстовому запросу.

* Через ONNXMLTools можно сконвертировать AI-модель в аппаратно-независимый формат .onxm, а через Olive оптимизировать его для ускорения работы на целевом железе

Релиз новых фич для Windows 11 в июне

📹 ВИДЕО + АРТ 🎨

Nvidia выпустили драйвер 532.03, который в купе с DirectML и Olive показывает почти 2х (по версии Microsoft 6х) прирост производительности при генерации в SD 1.5 оптимизированной через Olive. Поддержка DirectML заявлена и в AMD, которые теперь получат оптимизацию SD на RX 7900 и Ryzen 7040, когда испекут драйвера

Video-ControlNet: генерация видео с ControlNet на борту, через карты глубины и краёв. Кода пока нет

Blizzard Diffusion: разработчик игр Activision Blizzard выпустит модель для генерации концепт-артов и косметиков для игровых предметов. Занятно, что недавно регуляторы разрешили Microsoft купить эту компанию

🎸 ЗВУК 🎸

AudioToken: генерация звука к видео или изображению на входе

EfficientSpeech: небольшая модель для генерирования голоса по тексту. Влезает даже на Raspberry Pi 4

🤖 ЧАТЫ 🤖

Andrej Karpathy: Как натренировать свою языковую модель с нуля

Goat: файнтюн ламы, который умеет в арифметику лучше GPT-4... По крайне мере без плагина Wolfram

Бумага с описанием фреймворка для приведения LLM в соответствие намерениям человека (alignment) через синтетический фидбэк (RLHF), минимизируя участие человека