Дайджест:

📹 ВИДЕО + АРТ 🎨

Обновлённый ControlNet версии 1.1.202 позволяет расширять изображения без промта, подобно Adobe Generative Fill.

4DHumans: отслеживание людей на видео и 3D моушен-трекинг. Работает с необычными позами и воссоздаёт их из одного изображения. Поддерживает работу с несколькими людьми и сохраняет идентичность при заслонении.

Исследование как генерировать результаты не похожие на те, на которых велась тренировка. Плюс ещё один фреймворк с кодом на эту тему: Ambient Diffusion.

🤖 ЧАТЫ 🤖

Tree-Ring Watermarks: метод для создания невидимых водяных знаков на генерациях диффузионных моделей. Сначала выбирается начальный шумовой массив так, чтобы его преобразование Фурье содержало тщательно сконструированный узор у своего центра. Этот узор называется ключом. Затем этот начальный шумовой вектор преобразуется в изображение с помощью стандартного диффузионного конвейера без модификаций. Чтобы обнаружить водяной знак на изображении, диффузионная модель инвертируется для извлечения исходного шумового массива, использованного для генерации. Затем проверяется, присутствует ли ключ в этом массиве.

Tab-CoT: подход цепочного рассуждения в табличном формате. Позволяет моделировать сложные процессы рассуждения в структурированной форме, работая сразу по нескольким измерениям (строкам и столбцам). Показывает сильные способности к нулевому и небольшому обучению на различных задачах рассуждения.

Efficient Diffusion Policies (EDP): метод для обучения оптимальных политик из оффлайн-датасетов в области обучения с подкреплением. Он сокращает время обучения с 5 дней до 5 часов на задачах gym-locomotion, совместим с различными алгоритмами оффлайн-обучения с подкреплением, и устанавливает новый рекорд на D4RL.

Blockwise Parallel Transformer (BPT): метод обучения трансформеров, позволяющий обрабатывать длинные последовательности данных с сохранением эффективности использования памяти. BPT может обучать последовательности до 32 раз длиннее, чем обычные трансформеры, и от 2 до 4 раз длиннее, чем предыдущие методы, экономящие память.

LaCLIP: улучшение обучения CLIP с помощью переписывания текстовых описаний, используя LLM.

ReWOO: отделение процесса рассуждения от внешних наблюдений. Это сокращает потребление токенов автономных агентов AutoPGT и Langchain, увеличивает точность и позволяет переносить способности к рассуждению из больших моделей в меньшие.

PlaSma: добавление языковым моделям процедурных знаний и способности к планированию.

Google: представила многоязычную (100 языков) мультимодалку PaLI-X 55B, через которую можно чатиться с изображениями и текстами. По заверениям разработчиков превосходит другие модели на разнообразных задачах: подписи к изображениям, вопросы-ответы, понимание документа, обнаружение объектов и видео. PaLI-X даёт хорошие результаты не только благодаря своему размеру, но и гибкому обучению. Она демонстрирует возникающие способности, такие как сложный подсчет объектов и многоязычное обнаружение объектов. Кода нет.

💬 Делайте выжимки из доков и чатьтесь по ним с помощью Claude.

Дайджест:

📹 ВИДЕО + АРТ 🎨

Make-Your-Video: новая video-2-video модель, можно добиться нормальной консистентности. Напоминает GEN-1 от Runway. Код будет позже.

CelebBasis: ещё один метод как с помощью одного фото за 3 минуты сгенерировать с собой изображение, используя диффузионную модель. Код будет позже.

Google: показали text-2-image модель StyleDrop, которая генерирует изображения с хорошим следованием целевому стилю, учитывая нюансы вроде теней, цвета, и т.д. Кода нет.

Self-guidance: zero-shot метод, с помощью которого можно заменять/перемещать объекты в кадре не трогая контекст сцены. Кода нет.

Conceptor: улучшаем SD на лету следовать семантике через Generative Semantic Nursing (GSN). Кода пока нет.

Cones 2: используем контекст нескольких изображений, чтобы генерить на их основе новые. Напоминает Break-a-scene... и кода тоже нет.

GenMM: генерация движения персонажа без необходимости в тренировке. Кода пока нет.

Würstchen: ускоряем тренировку text-2-image модели вроде SD 1.4 с 150 тыс. GPU часов до 9,2 тыс.

🎸 ЗВУК 🎸

MERT: модель для понимания музыки без человеческого контроля (self-supervised). Модели-учителя RVQ-VAE и CQT направляют модель-студента BERT-style в сторону лучшего понимания и моделирования музыки.

🤖 ЧАТЫ 🤖

Вышла неотцензуренная Wizard Vicuna 30B Uncensored

Обсуждение как цензура влияет на производительность языковых моделей.

LLaMa-Adapter Multimodal: к ламе прикрутили ImageBind и теперь она может чатиться с текстом, изображениями, видео, и аудио.

LLM As Chatbot: чат с разными моделями обновился. Добавилась тёмная тема, возможность задать глобальный контекст, и ещё по-мелочи.

LLaVA-Med: чат помощник по медицинским данным. Работает с изображениями и текстом.

SafeDiffusion: исследование как сделать процесс диффузии более точным. Бумага тут.

💬 Делайте выжимки из доков и чатьтесь по ним с помощью Claude.

Дайджест:

📹 ВИДЕО + АРТ 🎨

Phygital+: новые стили для тренировки, смена дня и ночи в кадре, Dreambooth 2.1 теперь не нужны карты глубины, промт-помощники внутри текстового поля.

TextDiffuser: модель для text-2-image генераций, смены стиля и инпейтинга.

Ещё один вариант редактирования изображения текстом. Теперь через DDPM инверсию.

Классификация изображений без словаря.

SAM3D: использование Segment Anything для zero-shot 3D обнаружения.

HeadSculpt: генерация 3D говорящих голов по тексту.

VisualGPTScore: модель для оценки связи между изображением и текстом. Кода пока нет.

Google: представили Video Adapter, метод адаптации больших предобученных текст-видео моделей к генерации узко-специализированного контента, которому их не учили. Кода нет.

Исследование от них же об эффективности диффузии для оценки оптического потока и монокулярной глубины.

🎸 ЗВУК 🎸

ByteDance: представили PolyVoice модель для speech-2-speech голосового перевода. Может сохранять акцент.

🤖 ЧАТЫ 🤖

GPT4ALL: интерфейс теперь поддерживает 100+ локальных LLM моделей. Также добавлены плагины, через которые можно общаться со своими данными (pdf и так далее).

LLM-Blender: модель, в которой можно объединять разные LLM и их преимущества. PairRanker выявляет различия между кандидатами, а GenFuser объединяет лучшие результаты. В комплекте идёт бенчмарк MixInstruct для оценки моделей.

Фреймворк для обнаружения уязвимостей в коде на этапе генерации и редактирования. Подход показывает улучшение выявления эксплоитов на 10% по сравнению с существующими моделями, в то время как применение фреймворка на коде с высокими рисками снижает количество уязвимостей на 90%.

Ламу на 7B параметров оптимизировали под запуск на Metal GPU Apple в M2 Max запустили со скоростью 40 токенов в секунду с 0% нагрузкой на процессор.

Viedo-LLaMA: новы чат с видео на основе ламы.

HuggingChat: теперь может выходить в интернет.

Falcon: появилось демо для модели 40B. Эта опенсорсная модель хорошо себя показывает на тестах и у неё есть коммерческая лицензия.

Gradio: представили возможность разворачивать со своего компа AI-приложения командой из двух слов (𝚐𝚛𝚊𝚍𝚒𝚘 𝚍𝚎𝚙𝚕𝚘𝚢)

Microsoft: исследование автоматизации процессов с помощью языковых моделей.

Fine-Grained RLHF: тренировка моделей на основе подробных функций вознаграждения для улучшения генерации текста и уменьшения недостатков языковых моделей.

GRES: обновлённый бенчмарк и датасет RES, который теперь берет на вход несколько объектов или никаких вовсе.

Orca-13B: бумага с обучением модели использованию сложных объяснительных следов от GPT-4. Orca превосходит другие модели на сложных тестах и экзаменах, обучаясь пошаговым объяснениям и показывая конкурентоспособную производительность.

InstructZero: оптимизация инструкций для black-box языковых моделей вроде ChatGPT. Осуществляется через low-dimensional soft prompt и методы Bayesian optimization.

OpenAI не хватает GPU, но в ближайших планах у них: снизить цены, сделать API для файнтюна моделей, увеличение контекстного окна, и другое.

Gorilla: модель для вызова естественным языком 1600+ сторонних API. Для связи с API ещё можно юзать ToolBench, который тоже на ламе.

💬 Делайте выжимки из доков и чатьтесь по ним с помощью Claude.