Дайджест:

📹 ВИДЕО + АРТ 🎨

Runway: улучшили генерацию на основе картинок, добавили раздел с историей генераций, внесли правки в контроль камеры и движения, а также добавили возможность расширить уже сгенерённую ранее картинку.

Колаб для latent consistency model (LCM), чтобы быстро генерить картинки и видео. Плюс генерация в реальном времени через SD, также через LCM.

На Snapdragon Summit тоже показали генерацию в реальном времени, только на телефоне без интернета и на 1 картинку уходит меньше секунды.

Orillusion: обновился до v 0.7 опенсорсный бесплатный игровой движок на основе WebGPU.

FreeNoise: метод для генерации длинных видео на основе VideoCrafter.

Cuebric: генерируем реалистичный 2,5D фон для видео.

Moonvalley: добавили к генерации видео сид и негативные промты для контроля.

CSM: можно бесплатно натренировать свою text-2-image лору через их дискорд бота.

PixArt-α: генератор картинок по качеству метящий в сторону SD и Midjourney.

SEINE: генерим видео из картинки с хорошей четкостью и стабильностью. Пока без кода.

ZeroNVS: генерация 3D и 360 сцен по картинке у нас уже были, а вот нерфы по одной картинке это что-то новое.

Игра Super Godot Galaxy прямо на Hugging Face. Тут коллекция AI-игр.

Twelve Labs: у которых годный сервис по поиску нужного футажа через его описание, выпустили модель Pegasus-1 для генерации детального описания видео и выжимки по нему.

🎸 ЗВУК 🎸

YouTube Music: теперь можно генерить обложку своим плейлистам.

AudioSet: модель для динамической разметки аудиоданных.

🤖 ЧАТЫ 🤖

QMoE: архитектура взаимодействия LLM-экспертов, позволяющая запустить LLM с более 1 триллиона параметров на 8x3090. Для сравнения по слухам у GPT-4 тоже гидра из экспертов каждый по 175B параметров, с общим числом параметров 1,5 триллионов или больше.

К Mistral пришили SeamlessM4T и теперь с ним можно общаться голосом на 100 языках. Есть и колаб.

HuggingFace: выпустили Alignment Handbook для наставления LLM моделей генерить нужным образом, и выкатили модель Zephyr-7B, которая на некоторых тестах показывает себя лучше ламы 70B.

Min-K% Prob: тестируем была ли модель натренирована на данных, защищённых авторским правом.

XAgent: новый AI-агент, который умеет планировать и выполнять задания, и работает изолированно через Docker.

TogetherComputer: выпустили датасет RedPajama V2 на основе 100B текстов из 84 снимков сети от CommonCrawl.

Microsoft: библиотека FP8-LM для эффективной и распределённой тренировки LLM.

Исследования:
* Рассматриваем оффлайн RLHF для LLM.
* Beyond U — ускоряем диффузионные модели и делаем их легче.
* Обучение на своих ошибках делает AI-модели рассудительнее.

💬 Делайте выжимки из доков и чатьтесь по ним с помощью Claude

Абсолютное величие - Шэдоухарт отплясывает у кого-то в комнате.

Не знаю как это сделано, мое предположение - стащили модельку Шэдоухарт, анимировали через Mixamo, а потом закинули в FigminXR - приложение смешанной реальности на шлеме квест 3.

Я недавно кстати купила это приложение - там можно рисовать как в Tilt Brush (потому что они заколлабились), можно создавать воксельные модели, можно загружать готовые модели со sketchfab.
Как разберусь - выложу что-нибудь танцующего Леона из резидента

(ну вот, в комментариях подсказывают, что сделано в Virt-a-mate, а в нем чтоб разобраться - надо три высших образования получить 😞)