Кейс от H&M в продолжение к предыдущему посту

С одной стороны — это реклама. С другой — художественное видение авторов с помощью волюметрического сканирования в 3D дополнило произведение искусства новыми гранями.

В чём кейс?

К новой коллекции одежды H&M создали буклет. На его страницах в дополненной реальности оживают 3D-аватары талантливых актёров, музыкантов, моделей, креаторов.

Такая работа вдохновляет, не правда ли?

Новости 3D, аватаров и метавселенных — подписаться!

Аватаризация?

У чешской топ-модели Евы Герциговой появился цифровой двойник, «чтобы она могла больше времени проводить со своими детьми».

Для нас, кстати, загадка, почему так медленно медийные персоны осваивают технологию оцифровки своей личности. Ведь это наиболее вероятная эволюция сферы их деятельности.

Вам так не кажется?

#аватаризация

Новости 3D, аватаров и метавселенных — подписаться!

Редактирование 3D-сцен NeRF с помощью текстовых инструкций

Вот что можно делать, если комбинировать возможности разных нейронных сетей. То есть NeRF — это по сути и есть нейросеть. Здесь же массив фотографий, на котором она обучается, преобразуется через команды другой нейросети. И вот результат.

Берём идею на вооружение 👌

Новости 3D, аватаров и метавселенных — подписаться!

Минутка юмора

В социальных сетях вирусится трейлер «Звёздных войн» глазами режиссёра Уэса Андерсона. Создан с помощью Midjourney.

Комментарии примерно такие: «Это та версия киносаги, которую я с удовольствием бы посмотрел!».

А если чуть более серьёзно, удивительно, как легко теперь с ИИ делать те или иные концепты. За последние несколько месяцев по разным фильмам их уже вышло как минимум пару десятков. Один из них сейчас выстрелил, аудитория в восторге — чем не лучший вариант изучения потребительского мнения перед запуском в крупнобюджетное производство?

Новости 3D, аватаров и метавселенных — подписаться!

Nvidia на грядущем SIGGRAPH 2023 снова готовится удивлять

Ещё не наступил август, а Nvidia уже анонсировала ряд разработок, которые представит на крупнейшей ежегодной конференции компьютерной графики.

Среди них больше всего наше внимание привлёк материал о нейронном моделировании волос (грума). К слову, волосы — это то, что не поддаётся сканированию и приходится делать вручную. Если в этой области будет прорыв, то весь процесс создания цифрового человека может существенно упроститься.

Новости 3D, аватаров и метавселенных — подписаться!

Для производства этого клипа хватило костюма для мокапа Xsens, навыков в Unreal Engine 5 и несколько гимнастических снарядов в гараже.

Невероятно, да? Но именно в этом убеждает нас его создатель.

Хотя глядя на то, как развиваются такие сервисы, как Move.AI и Wonder Studio, в какой-то момент можно будет обойтись и без Xsens 😐

Новости 3D, аватаров и метавселенных — подписаться!

Отличная новость для 3D-дизайнеров одежды

В Ready Player Me теперь можно загружать одежду собственной разработки. Требованию к расширению файлов — .glb (то есть модельки подойдут из Блендера, например).

Пока сервис работает в режиме бета-тестирования и разрешает добавлять 3D-одежду только в рамках своих продуктов. Но вскоре разработчики обещают расширить эту возможность на всю экосистему, а это более чем 8000 проектов и аудитория в N десятков миллионов пользователей!

Далее стоит ожидать создание маркетплейса (кажется, это самый логичный следующий шаг). Будет ли комиссия? NFT? Какие возможности заработать? Вопросов, которые пока остаются без ответа, много — будем ждать дальнейшего развития проекта.

Новости 3D, аватаров и метавселенных — подписаться!

Это новая система видеограмметрического сканирования «DƐUS» от IR, одного из старейших игроков на рынке 3D-сканирования.

В анонсе говорится, что камеры могут записывать мокапы с частотой до 60 кадров в секунду и прекрасно адаптированы для захвата движения тканей.

Интересно, что команда IR отказывается отождествлять свою технологию с обычным волюметрическим сканированием, нуждающимся в зелёных экранах: их установка обходится без них!

Самое невероятное, что есть в описании DƐUS — «чистые выходные данные» и до 40 минут волюметрического видео в день. Почему? Потому что постобработка волюметрических данных — это один из самых трудоёмких процессов. Сложно представить, сколько ресурсов нужно выделить для чистки до 40 минут ежедневных видеосканов. Если команда IR смогла упростить эту задачу, она действительно достойна похвалы.

Новости 3D, аватаров и метавселенных — подписаться!

Разработчик Unity продемонстрировал, как «оживают» 3D-аватары в связке с ChatGPT

Нам давно интересно попробовать соединить наших аватаров с ChatGPT. И очевидно, не у нас одних такие мысли 🙃

Результат экспериментов немецкого разработчика Торе Кнабе на видео. Если только вдуматься, что все эти диалоги практически не заскриптованы, то это, мягко говоря, ошеломляет.

Если хотите посмотреть больше экспериментов разработчика, переходите в его блог по ссылке.

Новости 3D, аватаров и метавселенных — подписаться!

Возможно ли догнать Unreal Engine?

Наше внимание привлекла работа по созданию реалистичной нейронной модели для шеи и головы в 3D, которая будет представлена на SIGGRAPH 2023. С ней можно познакомиться здесь.

Исследователи из Шанхая видят проблему в том, что в современная 3D-анимация головы человека не учитывает движения шейных позвонков. Да и в целом в современной анимации плохо отражена физика конечностей.

Но так ли это?

Инструмент ML Deformer (прикрепленное видео, ML — machine learning), представленный совсем недавно в рамках обновления Unreal Engine 5.2 от Epic Games, кажется, хочет оспорить целесообразность подобных исследований. Но тогда какое у них будущее? Ждать ли нам конкурента продуктам Epic Games от китайцев? Интересные вопросы, ответы на которые пока остаются открытыми.

Новости 3D, аватаров и метавселенных — подписаться!

NeRF — это будущее 3D?

Смотреть на классные 3D-ролики в интернете, сделанные с помощью NerF, интересно. Но насколько эта технология рабочая? Когда пару лет назад исследовали её, она выдавала слишком «грязные» выходные данные, которые нужно было много обрабатывать. Но может с тех пор ситуация улучшилась?

Вот, например, девушка показывает, как с помощью сервиса Lumalabs.AI сделала крутую 3D-сцену. Возможно, пора возвращаться к NeRF снова?

Новости 3D, аватаров и метавселенных — подписаться!

В продолжение NeRF-темы. Достаточно много исследователей пытаются приспособить технологию для создания трёхмерных анимированных сцен. Они серьёзно?

Например, проект HumanRF — над ним трудится команда Synthesia.IO. Или вот другая работа — H-NeRF: специалисты из Google Research, а направление исследования то же. Если покопаться, можно найти и другие такие же проекты.

Новости 3D, аватаров и метавселенных — подписаться!

Оцифровать 10 000 000 костюмов — реально?

Интересный кейс от наших коллег по фотограмметрическому цеху компании Peris.Digital. Они задались целью оцифровать нереальное количество исторических костюмов всех времён. И, судя по видео, работы у них действительно очень и очень много!

Правда сейчас в их галерее на Sketchfab всего 184 модели… Надо бы вернуться к ним через несколько месяцев, чтобы оценить прогресс. Пусть этот пост будет нашей точкой отсчёта!

Новости 3D, аватаров и метавселенных — подписаться!

AvatarOS — нужна ли операционная система для создания реалистичных аватаров? Создатели сверхпопулярного виртуального инфлюенсера Лил Микелы ищут ответ

До сих пор термин «операционная система» у большинства ассоциировался с Windows или MacOS. Кажется, времена меняются.

Три месяца назад создатели первого по-настоящему известного виртуального инфлюенсера Лил Микелы объявили о запуске стартапа AvatarOS. Его цель — разработать операционную систему для талантливых людей, чтобы создавать реалистичных цифровых людей на любой платформе.

Стоп.

Что значит «разрабатывают операционную систему»? Нужно ли удалять Windows с жёсткого диска, чтобы потом установить AvatarOS? – Это вряд ли.

Насколько сейчас известно, под громкой аббревиатурой ОС на самом деле подразумевается набор инструментов, объединённых едиными стандартами и максимальной совместимостью между собой. Но кто знает? Может быть, у амбициозных предпринимателей действительно получится что-то масштабное.

Новости 3D, аватаров и метавселенных — подписаться!

Nvidia тестирует разговорный ИИ для игр совместно с Convai

О том, что независимые разработчики экспериментируют с разговорным искусственным интеллектом в играх, мы писали ранее. Но когда к этому подключается такой гигант, как Nvidia, дело приобретает совершенно другой масштаб.

Что здесь интересного.

Во-первых, вместе с разговорным ИИ Nvidia использует такие инструменты, как NVIDIA NeMo (позволяет настраивать историю игрового мира), NVIDIA Riva (распознаёт живую речь), Audio2Face (отстраивает мимику 3D-аватара на основе аудио).

Во-вторых, в опубликованном видео ИИ работает практически без задержек, что сильно отличается от других подобных экспериментов (немного смущает, что видео мы видели где-то раньше совсем не у Nvidia, и оно скорее всего постановочное, ну да ладно).

И ещё. Пайплайн выстраивается под Unreal Engine 5 и Metahuman Creator, поэтому использующие эти инструменты разработчики вскоре могут получить дополнительные преимущества.

Новости 3D, аватаров и метавселенных — подписаться!

Вместе с нашей Евой приступаем к новой рабочей неделе!

Для нас прежде всего — это оцифровка актёров, создание цифрового контента с аватарами и тестирование новых фишек. А Ева время от времени будет нам ассистировать и примерять на себя новые образы 💃

Всем заряда энергии 🌕 и продуктивности!

Новости 3D, аватаров и метавселенных — подписаться!

Про прогресс в 4D

В университете Беркли в Калифорнии тестируют новый подход к 3D-реконструкции и отслеживанию положения человека в 3D-пространстве.

На входе нейросеть HMR 2.0 обрабатывает простое монокулярное видео, после чего данные передаются в систему отслеживания позиции модели человека в трёхмерном пространстве PHALP (представлена в 2021 году, но до сих пор актуальна).

В общем, если отталкиваться от предоставленного разработчиками сравнения (см. видео, верхний правый угол — текущее достижение), то прогресс в этой области действительно есть.

Новости 3D, аватаров и метавселенных — подписаться!

Хедсет Apple Vision Pro создаст пользователям реалистичные 3D-аватары. Действительно?

Сейчас только и говорят про новый «шлем» (или очки) виртуальной реальности от Apple, который обещают выпустить в начале 2024 года. Но в чём преимущество устройства?

Нас заинтересовало опубликованное TheVerge заявление о том, что шлем будет обладать функционалом для создания гиперреалистичных аватаров.

Как это показали:

• Пользователь держит перед собой устройство, оно сканирует лицо.
• Данные обрабатывает нейросеть, создаётся 3D-аватар.
• Цифровой двойник в режиме реального времени копирует мимику пользователя, а также отслеживает движения рук при использовании, например, в FaceTime.

Обалдеть, не правда ли? Прогнозы:

• Сделают слишком сложный (не юзер френдли) алгоритм сканирования.
• Неудовлетворительная детализация аватаров.
• Проблемы с анимацией…
• Или у них получится — 🚀

На что ставите?

Новости 3D, аватаров и метавселенных — подписаться!

Новый AI-стартап Tafi создаст идеального аватара из текстового описания для Web 3

Мы как-то кратко упоминали о создателях софта Daz 3D. Так вот про них есть интересная новость.

Сейчас они занимаются проектом Tafi: разрабатывают революционную, по их словам, технологию, которая способна создавать реалистичных аватаров. Верить им или нет? Видеопревью с демонстрацией работы AI-софта мы прикрепили к посту.

Новости 3D, аватаров и метавселенных — подписаться!

Twin3d на конференции Virtonex

Несмотря на частичное угасание интереса к метавселенным, виртуальные площадки продолжают объединять людей, так или иначе связанных с 3D: художников, визионеров, предпринимателей и энтузиастов.

В это воскресенье, 11 июня, директор по развитию бизнеса Twin3d Давид Эмухвари выступит на одной из них — платформе виртуальной реальности Virtonex.

О чём пойдёт речь? Об аватарах, конечно же 🧍‍♀️💫

Послушать выступление можно двумя способами:

1. Посетить лично через приложение Virtonex (скачать можно отсюда, после чего нужно открыть его на своём ПК и войти как гость в локацию «Metaverse Conf»).
2. Посмотреть онлайн-трансляцию на ютуб по ссылке.

Если у вас завтра будет свободное время, подключайтесь ↩️

Начало в 12:00.

Цифровые люди — наши проводники в виртуальный мир?

Между проектами работаем с Евой 🔥

У неё новый голос, в какой-то момент обязательно появится привязка к ИИ. Но вместе с этим, сможет ли она стать полноценным проводником в цифровую вселенную?

Конечно же нет. Ей всё равно потребуется помощь людей, стоящих за её развитием.

Хотя… рассказывать о чём-то от чужого лица постепенно становится нормой. Поэтому в сторону эти нюансы!

Всем желаем хорошей рабочей недели!

Новости 3D, аватаров и метавселенных — подписаться!