Дайджест:

📹 ВИДЕО + АРТ 🎨

GANeRF: улучшение качества рендеринга NeRF сцен с помощью GAN сетей. Над подобным работает NeRFLiX, только без GAN.

Phygital+: больше настроек для Stable Diffusion Inpainting, Control Net и обучения своих моделей, 6 новых стилей, и персональный онбардинг.

Nvidia: представила text-2-3D модель ATT3D. В отличие от методов, требующих длительной оптимизации для каждого запроса, модель использует амортизированную оптимизацию, обучая модель на множестве промтов одновременно. Это позволяет распределить вычислительные мощности между набором запросов и сэкономить время и деньги. Кода пока нет.

BOOT: быстрый метод обучения генеративных моделей, который позволяет достичь высокого качества генерации изображений без использования реальных данных. Метод основан на предсказании траектории диффузии и бутстрэппинге. Кода пока нет.

Рабочая моделька поиграться с img-2-3D через Shap-E.

🤖 ЧАТЫ 🤖

LLM as Chat: сервис для чата с разными языковыми моделями обновился. Теперь показываются требования к VRAM и можно выбрать только те, на которые памяти хватит.

Cerebras: выпустили SlimPajama с 627B параметров — крупнейший набор данных для обучения моделей естественного языка. Он был создан путем очистки + удаления дубликатов из датасета RedPajama 1.21T, и с высоким качеством данных показывает хорошую эффективность вычислений для обучения моделей до 627 миллиардов токенов.

Hugging Face: обновили свой контейнер для инференса LLM.

Сравнение генерации текста на маленьком датасете с крупными моделями (GPT-4 175B).

GPTWorld: игра, в которой надо красной точкой забрать ключ и выбраться из лабиринта. Нужны навыки программирования, так что....

💬 Делайте выжимки из доков и чатьтесь по ним с помощью Claude

Дайджест:

📹 ВИДЕО + АРТ 🎨

FasterViT: новая семья гибридных CNN-ViT нейронных сетей, разработанных для высокой скорости обработки изображений. Модель использует подход Hierarchical Attention (HAT), который снижает вычислительные затраты, разбивая глобальное внимание на многоуровневое. FasterViT показывает высокую эффективность на различных задачах компьютерного зрения, включая классификацию, обнаружение объектов и сегментацию.

🎸 ЗВУК 🎸

Исследование как сжать в 90 раз 44,1 KHz аудио без потерь с помощью улучшенного RVQGAN. Плюс, ещё почитать на эту тему.

Grimes запартнёрилась с TuneCore и CreateSafe для дистрибуции AI-музыки. Создатели генеративных треков, которые одобрит певица, получат 50% от дохода со стриминговых площадок.

🤖 ЧАТЫ 🤖

Hugging Face: библиотека Transformers обновилась до v 4.3. Добавилась поддержка локальных агентов, распознавание с 1000+ языков через MMS 4-битного QLoRA квантования чтобы вместить 30В модели на 24 ГБ GPU.

Также Hugging Face запускают бесплатный 6-недельный самообучающий курс по аудиотрансформерам. В честь этого дела проводят ивент 14 июня в 19:00 по Мск.

Magic.dev: анонсировали модель LTM-1 с размером контекста в 5 млн токенов. Для сравнения у самой крутой версии GPT-4 всего-лишь 32к токенов, а у Claude 100k. Впрочем мы знаем как скормить нейронке контекст неограниченного размера.

LLM as Chat: добавлены модели WizardLM 13B + 30B.

PR (Pull Request) добавляющий поддержку CUDA в репозиторий основной ламы для ускорения обработки на GPU без участия CPU.

Исследования:
* Могут ли фундаментальные модели маркировать данные, как люди?
* Замена конкретных знаний в модели без файнтюна.

💬 Делайте выжимки из доков и чатьтесь по ним с помощью Claude