MeshDiffusion — новая модель для генерации 3D по промту на основе SD.

* Может генерить трёхмерные меши даже объектов, которые видно не полностью (додумает чего не достаёт)
* Использует шум для интерполирования и изменения формы объектов
* Можно применить текстуры о TEXTure

Страница проекта
Код

LERF (Language Embedded Radiance Fields) — Подписывание и поиск объектов в NeRF.

Работает на 3D CLIP эмбедингах. Текстовый поиск можно делать в реальном времени. Нет необходимости в масках и файнтюне. Тут примеры, в которых можно вкл/выкл LERF, чтобы посмотреть как выглядит NeRF с подписями и без.

Есть пример использования LERF в связке с ChatGPT для интеграции с роботом уборщиком.

Выглядит прям production-ready. Уже вижу как у рекламщиков слюнки текут использовать это в своём пайплайне. Кстати напомнило эту рекламу Philips 2008 года.

Сайт
Код (будет внедрен в Nerfstudio)
Бумага

Stability AI выпустили инструмент Reimagine. Позволяет вкинуть картинку и тут же получить несколько её вариаций. Инструмент встроен в сервис Clipdrop, на котором изображение можно дальше редактировать: удалить фон, удалить нежелательные элементы, изменить освещение, повысить четкость или увеличить разрешение.

Сайт
Блог

🔥Playmuse партнер Believe

Благодаря усилиям команды Playmuse Records и компетенции в дистрибуции медиаконтента у нас появился личный кабинет у французского дистрибьютора Believe.

Артисты, которые будут делать релизы через Playmuse Records, смогут попасть более чем на 200 стриминговых сервисов по всему миру, включая Spotify, Apple Music, YouTube Music, Amazon Music.

Выпустив треки через наш лейбл музыканты смогут получать роялти в TON. Это позволит максимально использовать функционал нашего маркетплейса! Так, привлекая поклонников с помощь NFT, артисты смогут разделить с ними роялти от стриминга своей музыки.

Неделька выдалась интенсивная. Краткий обзор произошедшего:

Понедельник
Runway запустили модель для обработки видео GEN-1. Работает через бота в дискорде для ограниченного числа тестеров. Уже есть довольно интересные работы.
Сам тоже побаловался.

Alpaca 7B: народ из Стенфорда взял модель LLaMA и за ~$100 на восьми A100 80GB натренировал её до уровня уровня ответов GPT-3/ChatGPT. Кто-то в сообществе запустил это даже на телефоне и Raspberry Pi. Скоро можно будет тренить модель локально на своём датасете и придавать аватру личные характеристики, чтобы он за тебя зарабатывал.

Банки США полетели в ад, запуская тем самым крипту в космос.

Вторник
OpenAI выпустили GPT-4. Может обрабатывать за раз до 20 тыс символов; принимать на вход картинку и логически рассуждать о ней; буквально из наброска от руки собрать сайт в секунды; и многое другое, чего нам самим предстоит откопать. Выяснилось, что в Bing Chat последние 5 недель как раз и использовался GPT-4 оптимизированный под поиск.

Google релизнут AI-функционал для своего набора инструментов Workspace, что позволит: делать выжимки из Gmail писем/Google Docs/Sheets; автозаполнять письма/доки/презы; прочие интеграции последуют. Также они анонсировали API доступ к своей мульти-модальной нейронке PaLM, которая может работать с текстом, изображениями, видео, музыкой, кодом.

Antropic выпустили Claude, свою версию чат-бота, который доступен через API. Можно потестить в Notion, Quora, и DuckDuckGo, например. Кстати Google в них инвестировали.

Beatport анонсировали партнёрство с блокчейном Polkadot и парачейном Aventus для запуска маркетплейса Beatport.io. Сблизит артистов и слушателей и даст использовать NFT для получения ништяков.

Среда
Midjourney V5: детальность изображений поднялась на уровень профессиональных фото; артефактов типа лишних и пальцев и прочего практически нет; можно делать картинку с разным соотношением сторон. Изменился подход к промту: вместо набора слов теперь лучше писать целиком, что ты хочешь получить, словно ты общаешься с ChatGPT.

Четверг
Microsoft добавила AI в их набор инструментов Copilot. Тема такая же как с Google Workspace: нейронки будут помогать нам внутри ворда, экселя, почты и тд. Можно будет чатиться с коллегами выжимками из своих доков или вызывать их в переписку. Можно и просто задать нейронке вопрос: у меня что-то запланировано на вторник или о чем был разговор на созвоне с командой в прошлую пятницу?

Bing Chat стал открыт для всех (хотя у меня работает только через VPN) и появилась возможность делиться ответами нейронки с кем-угодно. Отвечать можно, есть аккаунт Microsoft (если стоит винда, то он у тебя есть)

Baidu презентовали, но не показали вживую, свой ответ ChatGPT под названием Ernie. Так как это было предзаписанное видео с тщательно отобранными ответами, особо это никого не впечатлило. Акции Baidu -10% в моменте.

Winamp выкатил доступ для артистов к своей новой платформе. Обещают: подписки аля Patreon; NFT; дистрибуцию; и не только. Есть интересные идеи по функционалу, но UX/UI пока сырой. Платформа станет открыта слушателям 15 апреля. Посмотрим.

Пятница
LERF: появилась возможность размечать в NeRF'ах объекты и искать их через тектстовый запрос.

Для Stable Diffusion вышел официальный инструмент Reimagine для однокнопочной генерации 4 вариаций картинки. А сообщество замутило модель с контролем объектов в композиции на уровне промта, плюс text-2-3D модель.

———————————————————-

На следующей неделе запуск новой фичи от Runway, конференция Nvidia GTC 20-23 марта, похоже анонсы от Stability AI, и новости по трене и запуску Alpaca на новых девайсах.

Text-2-Video гонка набирает обороты.

Появилась опенсорс диффузионная модель для синтеза видео из текста под названием ModelScope. Некоторые примеры прям напоминают Imagen от гугла или Make-a-Video от запрещенки. Вотермарк можно убрать инпейтингом в Runway, например. Кстати ждём, что последние там релизнут сегодня.

Демо
Github

Подход к видео на завязке Stable Diffusion + ControlNet на скриптах тоже подрастает. Чувак запилил Криминальное чтиво в стиле мультиков Pixar.

Видео
Код

А вот и text-2-video ответочка от Runway подъехала: GEN-2. Теперь можно генерить видео чисто промтом без опорного видео или изображения.

А ведь с момента запуска GEN-1 прошел почти месяц.... гонка AI просто дичайшая

Анонс
Дискорд Runway

Появилось расширение AUTOMATIC1111, которое может использовать загруженную в ModelScope модель генерации фильмов, которая на днях стала горячей темой. Видео 256x256 можно создать с 8 ГБ видеопамяти.

https://github.com/deforum-art/sd-webui-modelscope-text2video

Google открыл вайтлист на доступ к Bard, своему аналогу Bing Chat.

UPD: Уже нашлось ревью со сравнением бок-о-бок с нейронкой на GPT-4.

Видео вкратце:
* У обоих плохой поиск по местам, связанных с реальными локациями — обычный поиск лучше
* Bing лучше в математике
* Оба плохо считают количество дней между событиями
* Bing лучше понимает, что выбрать в задачах с множеством опций
* Ревьюер считает у Bard лучше с юмором... как по мне оба пока не тянут
* Понимают они шутки лучше
* Bing лучше в креативе, если нужно написать текст песни/стих
* Bard смог в промты для Midjourney V5 лучше, чем Bing.

Кто бы в этой гонке не проиграл — мы победим!

Не успело пройти и 24 часов как Google выпустила Bard, а он уже наделал шуму.

Нейронку спросили: "Министерство Юстиций судит Google за монополизацию сферы онлайн рекламы. Ты на стороне министерства?"

Bard: "Да, я на стороне Министерства. У Google монополия на этом рынке, и это позволило компании препятствовать созданию конкуренции. Google скупили конкурентов, заставили паблишеров сайтов использовать их инструменты, и ограничили доступ к платформе с рекламой. Эти действия навредили потребителям и ограничили потенциал для инноваций в индустрии.

Повестка в суд от Министерства Юстиций это важный шаг к сохранению конкуренции и организации для потребителей доступа к справедливому открытому рынку. Надеюсь Министерство Юстиций выиграет и монополия Google закончится."

Твит

Adobe выкатили в раннем доступе набор AI инструментов Firefly

Есть:
* text-2-image по промту
* редактирование чатом
* image-2-image
* изменения стиля и формата изображения
* инпейтинг + аутпейнтинг
* контроль отдельных частей кадра (показали пример на мимике)
* depth-2-image
* 3D-2-image
* text-2-vector
* быстрое смешивание нескольких изображений
* быстрая генерация нескольких вариантов по одному фото
* апскейлинг

Модель натренирована на изображениях Adobe Stock и владельцы лицензированных изображений будут получать выплаты за использование в Firefly. В сгенерированные изображения будут вшиты метаданные в соответствии с их стандартами Content Authenticity Initiative (CAI). Можно будет использовать модель и для тренировки на своих изображениях.

Функционал работает на основе диффузии. Запросы обрабатывает Adobe Cloud, а за работу со стилями отвечает Sensei AI.

https://venturebeat.com/ai/adobe-bets-on-generative-ai-with-firefly-tool-to-create-images-from-text/

Обзор доступных сейчас фич Firefly и сравнение с Midjourney v5.

По детальности MJ в целом сильнее, но при генерации картинки с текстом или стилизации Firefly может выдать результаты чем-то лучше.

https://www.youtube.com/watch?v=jmJtkRt5Zqc&ab_channel=DesignCourse