Дайджест:

📹 ВИДЕО + АРТ 🎨

ARTIC3D: генерация текстурированных и анимированных 3D моделей животных по одному фото. Кода пока нет.

🎸 ЗВУК 🎸

Google: представили модель SQuId для быстрой оценки качества работы TTS-моделей без необходимости привлечения людей. Кода нет.

🤖 ЧАТЫ 🤖

Falcon Chat: подъехал чат на основе Falcon 40B. Работает шустро и результаты неплохие.

InternLM: многоязычная модель языка с 104B параметров. Демонстрирует хорошие возможности в понимании текста, математике, кодировании. На тестах входит в топ-5 среди других моделей, а бенчмарке C-Eval уступает только GPT-4.

LLMZip: сжатие текста языковыми моделями. Метод превосходит на тестах подходы BSC, ZPAQ, и paq8h.

MobileNMT: система для развертывания моделей машинного перевода (не LLM) на мобильных устройствах. Авторы сжали модель Transformer до 15 МБ (в 65 раз) при скорости перевода 30 мс. Сочетая модель и движок оптимизированный под INT8, они ускорили декодирование в 47 раз при экономии 99,5% памяти. Потери BLEU всего 11,6%.

Исследование как улучшить в языковых моделях работу с контекстом, а также пошаговое рассуждение.

Генерация текста с водяным знаком.

M$^3$IT: набор данных, чтобы модель могла научиться связывать текст и изображения и понимать инструкции... Название канешн топ, китайские исследователи слушают вичуху?

💬 Делайте выжимки из доков и чатьтесь по ним с помощью Claude.

Дайджест:

📹 ВИДЕО + АРТ 🎨

Background Prompting: улучшение генерации 3D из одного изображения через подстановку фона, что помогает моделям сфокусироваться на объектах на переднем плане.

Attention Refocusing: исследование как улучшить text-2-image модели следовать промту. Предлагают ввести две потери для улучшения согласованности между изображениями.

Исследователи выпустили улучшенную версию VQGAN — Asymmetric VQGAN. Меньше артефактов при генерации картинок с текстом.

Zoom: теперь может делать выжимку созвонов в текстовом формате.

GenMM: появилось демо модели для генерации движения.

🎸 ЗВУК 🎸

MusicGen: модель для генерации аудио по тексту или с звуковым рефом. В отличие от существующих методов, таких как MusicLM, эта модель не требует самостоятельного семантического представления, и генерирует все 4 кодовые книги за один проход.

🤖 ЧАТЫ 🤖

DeepMind успользуют алгоритм AlphaDev который управляет выдачей и сортировкой контента. Так вот, ChatGPT за пару промтов пришёл к такому же алгоритму без человеческого фидбэка (RLHF).

StarChat: помимо альфы, теперь появилась бета-версия одного из лучших софтов для написания кода через чат. Также вышла в релиз модель StarCoderPlus, которая натренирована на датасете RedefinedWeb (также как Falcon) и позволяет коммерческое использование.

HuggingFace: обновились до v.0.20. Добавилась поддержка QLoRA, распределённого инференса, и не только.

Diffusers: библиотека обновилась до v 0.17. Из нового: улучшения в LoRA, добавлен Kandinsky 2.1, ускорена компиляция Torch, и другое.

VideoChatGPT: модель для суммаризации и чата по видео. Можно раскатать локально.

MIMIC-IT: датасет с 2.8 млн. мультимодальных инструкций и ответов, обогащенных контекстом для обучения моделей, которые смогут чатиться с изображениями или видео.

Исследования как масштабировать сферические свёрточные нейронные сети (не в вакууме).

💬 Делайте выжимки из доков и чатьтесь по ним с помощью Claude

Дайджест:

📹 ВИДЕО + АРТ 🎨

GANeRF: улучшение качества рендеринга NeRF сцен с помощью GAN сетей. Над подобным работает NeRFLiX, только без GAN.

Phygital+: больше настроек для Stable Diffusion Inpainting, Control Net и обучения своих моделей, 6 новых стилей, и персональный онбардинг.

Nvidia: представила text-2-3D модель ATT3D. В отличие от методов, требующих длительной оптимизации для каждого запроса, модель использует амортизированную оптимизацию, обучая модель на множестве промтов одновременно. Это позволяет распределить вычислительные мощности между набором запросов и сэкономить время и деньги. Кода пока нет.

BOOT: быстрый метод обучения генеративных моделей, который позволяет достичь высокого качества генерации изображений без использования реальных данных. Метод основан на предсказании траектории диффузии и бутстрэппинге. Кода пока нет.

Рабочая моделька поиграться с img-2-3D через Shap-E.

🤖 ЧАТЫ 🤖

LLM as Chat: сервис для чата с разными языковыми моделями обновился. Теперь показываются требования к VRAM и можно выбрать только те, на которые памяти хватит.

Cerebras: выпустили SlimPajama с 627B параметров — крупнейший набор данных для обучения моделей естественного языка. Он был создан путем очистки + удаления дубликатов из датасета RedPajama 1.21T, и с высоким качеством данных показывает хорошую эффективность вычислений для обучения моделей до 627 миллиардов токенов.

Hugging Face: обновили свой контейнер для инференса LLM.

Сравнение генерации текста на маленьком датасете с крупными моделями (GPT-4 175B).

GPTWorld: игра, в которой надо красной точкой забрать ключ и выбраться из лабиринта. Нужны навыки программирования, так что....

💬 Делайте выжимки из доков и чатьтесь по ним с помощью Claude