Метаверсище и ИИще
47K subscribers
5.97K photos
4.39K videos
45 files
6.86K links
Это не новости, это персональный экспертный взгляд на то, как развивается индустрия ИИ, графики, метаверса, крипты, нейротехнологий и в каком направлении катится все это безобразие.
Для связи: @SergeyTsyptsyn
Download Telegram
Media is too big
VIEW IN TELEGRAM
Кому Хумото?

Адобченко бахнул датасет мокап-анимаций на все случаи жизни.

"Мы представляем человеческие движения с объектами (HUMOTO), набор высокоточных данных о взаимодействии человека и объекта для создания движений, компьютерного зрения и робототехники.
Состоящая из 736 последовательностей (7 875 секунд при 30 кадрах в секунду), HUMOTO фиксирует взаимодействие с 63 точно смоделированными объектами и 72 шарнирными частями. Наши инновации включают конвейер сценариев LLM, создающий полные, целенаправленные задачи с естественным развитием событий, а также настройку записи с мокапа и камеры, позволяющую эффективно справляться с окклюзиями. Охватывая различные виды деятельности, от приготовления пищи до пикников на природе, HUMOTO сохраняет как физическую точность, так и логическое выполнение задач. Профессиональные художники тщательно очищают и
проверяют каждую последовательность, сводя к минимуму скольжение ног и проникновение предметов проникновения предметов"

Вы можете посмотреть и скачать 70 штук прямо вот отсюда:
https://adobe-research.github.io/humoto/
Вот тут много видосов:
https://jiaxin-lu.github.io/humoto/

А запросить полный доступ можно вот тут:
https://adobe-research.github.io/humoto/README.md

@cgevent
1🔥33👍9😁6😱54
Микрософт анонсировала MCP for Windows.

Ну то есть теперь можно голосом сказать, Клод, отформатируй все жёсткие диски.

Слово - не воробей...

Шутки шутками, но на очереди MCP для офиса. И вот уже операционка превращается в LMOS, о которой говорил Андрей Карпатый.

@cgevent
1🔥60😱209👍8😁8
This media is not supported in your browser
VIEW IN TELEGRAM
Гугл Джулс

А вот и ответочка от Гугла на Codex от OpenAI.

Да, это агент-девелопер, который делает задачи, которые вы хотели бы кому-то поручить


↳connect to GitHub and open PRs
↳run or write tests
↳verify code in a cloud VM
↳share its plan, reasoning, and diffs

Сайт: https://jules.google/

Доки: https://jules-documentation.web.app/

Вейтлист: https://jules.google.com/waitlist/

Похоже мы приближаемся к великим битвам агентов. И это прекрасно.

Ибо битва будет за скорость, качество и цену.


Update: похоже что 5 запросов в день и для всех, а не как у опенАИ-бояр: типа Pro, Team, а челядь потом.

@cgevent
3👍65🔥227👎4
Вернемся к 3Д.

Meshy.AI флексит новым авторигом - это когда в вашу модель вставляется скелет, дергая за который, вы можете анимировать вашего персонажа.
Я уже писал, что коль скоро сильные 3Д-мира сего (Автодеск, Максон) не ИИ-чешутся в направлении GenAI, то все эти 3Д-генераторы будут потихоньку обрастать "профессиональными" фичами и страшными терминами: риг, скининг, карты весов, инверсная кинематика.
Пока это выглядит как "авториг", который спешно прикручивают все 3Д-генераторы.
И да, конечно, это и близко не приближается к качеству рига с Mixamo, и уж тем более к проф решениям типа Maya или Каскадер. Это просто оживляж хайполи сетки. На лоуполи такие решения не работают. Ну и вообще работают так себе (последний ролик).

Но уже почти для всех 3Д-генераторов есть плагины для Блендора, которые позволяют втащить сгенерированные сетки туда и уж там попытаться поработать с ними по-взрослому (о чем второй ролик).

Но прогресс налицо.

@cgevent
👍13🔥122😁2
This media is not supported in your browser
VIEW IN TELEGRAM
Кстати, для Блендора есть новый плагин для текстурирования объектов или целых сцен с помощью SDXL\Flux.

Он, правда, требует ComfyUI для локального запуска, но выглядит очень нарядно.
Код здесь: https://github.com/sakalond/StableGen
А больше информации и инструкций вот тут.

@cgevent
🔥41👍151
This media is not supported in your browser
VIEW IN TELEGRAM
Продолжая тему 3Д и ИИ-комбайнов, выходящих за рамки 3Д, держите дерзкую эскападу от Хуньяня.

Hunyuan Game - это, нмнтчку, AI игровой движок, ни больше, ни меньше - так они преподносят свою ответочку Krea, ну или скорее Scenario.

Я ниасилил их полуторачасовой стрим на китайском, поэтому держите выжимку из твиттора и поглядите видео:

AI Art Pipeline
inspiration → design → triview in a single, AI-optimized workspace.

Real-Time Canvas
Sketch live, refine instantly—AI visualizes drafts as you draw.

2D Generator
Game-tuned text/image tools → zero misinterpretation, perfect for concepts & UI.

Character Orthographic Views
Auto-generate studio-grade multi-views + 360° previews—ready for rigging, no edits needed.

В общем, можно чуть расслабиться, это не 3Д-движок, это скорее концепт-игро-арт-движок.

На всем этом неуловимый китайский UI налет, поглядим, когда в доступ пойдет.
Запрашиваем доступ тут:

https://hunyuan.tencent.com/game/home

@cgevent
👍223😱1
Media is too big
VIEW IN TELEGRAM
Нейропрожарка

На сей раз ролик от Custom production - взрослые мальчики, которые занимаются промо сериалов, фильмов и ТВ-проектов.

Цитирую:
Решили сделать фан-трейлер «Интерстеллар 2» исключительно с помощью нейросетей. Хотелось проверить: получится ли вообще, и насколько фотореалистичного результата удастся достичь.

Как мы делали AI-трейлер «Интерстеллар 2»:

Режиссёр монтажа отбирал кадры-референсы: скалолазов, работу на МКС, HUD-интерфейсы и подобные композиции. Затем делался черновой монтаж с описанием недостающих сцен.

Затем наш промпт-инженер на основе референсов, а иногда и без них, генерировал кадры в Midjourney (v6.1, позже v7.0) с запасом вариантов для последующего выбора.

Для консистентного образа Дайан Крюгер использовался следующий подход: генерировались изображения по промпту (например, Дайан Крюгер стоит на космической станции или в скафандре на планете). Затем применялся дипфейк через FaceFusion и улучшение в Topaz Photo. Некоторые кадры дополнительно ретушировались вручную в Photoshop. Полученные изображения анимировались и озвучивались в Kling 1.6. Попытки дополнительного Face swap на готовом видео ухудшали чёткость и узнаваемость лица, поэтому от него отказались.

С Мэттью Макконахи задача была значительно сложнее. Нам нужно было создать состаренный образ актёра. Изначально в Midjourney получился недостаточно старый образ, просто слегка потрёпанный жизнью Макконахи. Тогда мы дополнительно сгенерировали старика через ChatGPT, однако актёр уже совершенно не узнавался. Решением стало объединение двух изображений с помощью Face swap: состаренное лицо из Midjourney накладывали на изображение старика из ChatGPT. Далее потребовалась работа с масками вокруг глаз, носа и рта. После этого результат был финально улучшен в Topaz. Звучит не так долго, но на деле, на это ушёл целый день. Много вариантов генераций, много попыток, много переделок. Уже потом этот результат анимировался в Kling и там же липсинговался. Но опять же, и тут не всё просто. На некоторых хороших сгенерированных видео липсинг работал либо отвратительно, либо не работал вообще. Пробовали сделать на таких кадрах липсинг в FaceFusion. И что интересно, в кадрах, сделанных в Kling, где рот не открывался, рот не открывался и в FaceFusion. Видимо, технология используется одна и та же. И если не работает в одном месте, то также не будет работать и в другом.

После предварительного монтажа пришлось перегенерировать первую половину ролика на v7 для повышения реализма. Из-за отсутствия omni-ref станция была вручную вырезана и помещена на зелёный фон для композитинга. Космос и планеты генерировались отдельно для удобства монтажа.

Некоторые кадры были отброшены из-за низкого качества. Для сцены с пробежкой космонавта использовали Kling 2.0, что улучшило динамику, но было дороже по кредитам.

Голоса генерировали в Minimax — там, в целом, велосипед не изобретали.

Далее уже была магия монтажа.

Качество: https://youtu.be/dfKCZ0Xx1bk

Что скажет чат?

@cgevent
🔥73👍27👎129
Генерить вариации персонажей в гпт трудно, ведь он постоянно меняет стиль, искажает пропорции тела и накидывает желтый дефолтный фильтр с "живописным" шумом

Бесит? Бесит! Так еще и хейтеры AI злорадно тычут в это пальцем и говорят: "зло это ваше эяй, не умеет оно рисовать"

Проблема решается просто - пишем конкретный промпт и всегда прикладываем правильный референс перед каждой генерацией. Подробнее расписал в гайде.

Конкретный промпт:
Draw [персонажа] exactly in the same style, appearance, body proportions, [фигура, если не удерживается], and outfit.
[название позы]
She/He is [подробное описание позы и выражения лица]
White background, full-body, vertical orientation


Предвосхищу ещё одно негодование нейроскептиков, которые увидят несоответствие оригинальному художественному стилю референса. Оказывается, можно немного ручками или через SD допилить генерацию, чтобы она была ближе к рефу - и это всё равно сэкономит 80% времени продакшена. Круто, да?

Так что смело юзаем. А мне лайки, пожалуйста, а то опять кучу времени на гайд потратил 🥰

@mobile_ads_ai
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍183🔥6426👎10😱1
Рубрика крутые подписчики.

Есть у нас в канале Алекс Кондаков. Так вот, он выжимает из Suno просто невероятные вещи.
Его каверы на все, что можно и нельзя, приводят меня в восторг.
Я часто слышу от снобов мнение "да что он может, этот ваш Суно, через 15 минут понятно, что это ИИ, все одинаково, скучно и однообразно".
Господа, вы просто не мыли свои непрямые руки и не удосужились написать промпт для Суно длинней чем 100 символов.

У Алекса есть свое радио ALEXX, канал с каверами, которые я слушаю часами и мне не надоедает. Ибо сделано сложными промптами, секретными лайфхаками (которыми он, если захочет, поделится в чате) и с большой долей фантазии.
Что я для себя открыл, слушая ИИ-каверы.

1. Как часто бывает с каверами, они звучат интереснее оригинала.

2. Я с удивлением обнаружил, что понимаю тексты песен. Suno артикулирует настолько чисто, а "ИИ-сведение" в версии 4.5 настолько прозрачное, что тексты звучат очень выпукло. На оригиналах зачастую не разобрать лирики, а тут я такой "так вот о чем эта пестня!".

3. Самое интересно. Суно идеально интонирует. Попадает в ноты. Я терпеть не могу, когда поют "по соседям", подъезжают к ноте или фальшивят. Послушал "Дорогу беспонтовую" - кавер на Аукцион. Там реально сложный запев, который ни Федоров, ни, упасихоспади, Гаркуша, никогда не могли спеть прямо. А Суно забивает точные ноты и песня начинает звучать по другому, красиво и ритмично. И я такой, так вот как это было задумано.

4. Оффтоп. Нейродед настолько старый, что был еще на рок-фестивале в Подольске в 1986 году и слушал весь этот русский рок живьем. И несмотря на малиновый пиджак и крутые тексты Телевизора, Барзыкина было не возможно слушать (слуха ноль), половина групп не попадала в ноты. А с художником Свеном Гундлахом была вообще смешная история: он как-то заявил "говно ваш русский рок, я могу собрать группу охломонов и петь также". Ему говорят, давай! Он такой: апажалста! И сделал группу Среднерусская Возвышенность. Играть не умели, петь не умели, зато подача, патлы, задор. И да, их стали звать на все концерты. Хотя это была группа для прикола.
А на Подольске я слушал земляков из Облачного Края (слов не разобрать, музыки тоже), Нюанс(очень профессионально), и, конечно Зоопарк и еще живого Майка - который показал всем, что такое рок-н-ролл. Башлачев тогда только учился играть на гитаре и все слушали его тексты.

5. Я к тому, что слушая радио ALEXX я заново перепонимаю многие песни, их замысел, посыл, смысл. Я вообще не слушаю старую музику (запрещаю себе), чтобы не размазывать нафталиновые сопли. Мне интересны идеи, а не эмоции(да, вот такой я странный). Но каверы от Суно - это реально новое прочтение старых мелодий.

У меня все.

@cgevent
161👍37👎19🔥18