Нейропрожарка.

Принес вам на прожарку даже не один видос, а идею ютюб канала.

Музыка Суно, Видео - Клинг.

Я не думал, что он так ловко исполняет в липсинк.

Тут интересное, что автор ютюб-канала вообще не технарь и месяц назад не знал, что такое Суно, Клинг и вот это вот все. Просто пришла в голову идея, спросил у меня, что тут есть для видео и аудио и сделал.
Точнее сделала. Своего исполнителя.
Меня удивляет столь низкий порог входа. От идеи до клипа - 3 дня. Для человека, который про ИИ не знал совсем.
Наваливайте по делу. Про мыло, топаз и все дела.

Еще клипы:
https://www.youtube.com/@AJELITABAND

@cgevent

🎁 РАЗЫГРЫВАЕМ MacBook Air!

Майские праздники продалжаются! Разыграем новенький 13-дюймовый MacBook Air !

Условия участия максимально простые:

🔸Подписаться на телеграм-канал Machine Learning
🔸Подписаться на телеграм-канал Vistehno
🔸Нажать кнопку "Участвовать" ниже.

ВСЁ! Вы участник!

Итоги подведём 14 июня.

Всем удачи!

⚠️ Если бот подвис — не беспокойтесь, вас все равно зарегистрирует, просто выполните условия и нажмите «Участвовать».

AINSORA: Text-2-anime видеогенератор.

Ну или анимегенератор\манганиматор.

Китайцы из (на минутчку) Bilibi сделали отдельный генератор именно для аниме.

"видеоролики в различных стилях аниме, включая эпизоды сериалов, китайскую оригинальную анимацию, адаптации манги, VTuber-контент, аниме PVs, пародии в безумном стиле и многое другое!"

Я почитал, это похоже на файнтюны Wan 2.1 (AniSora V2) и CogVideoX(AniSora V1).

Но самое интересное тут даже не видосы (хотя тут у меня окопались любители аниме, судя по аватаркам).

Они полностью тренировали модель на китайский чипах Huawei Ascend 910B NPUs (entirely trained on domestic chips). Там даже две папки NPU и GPU.

Я сам ровно дышу к аниме\манге, но для китайского рынка, где эти твари-аниме-витюберы расплодились с нереальных количествах - это прям автоматизация фабрик звезд.

В репозитарии треш и угар, но сам кейс очень примечательный.

https://github.com/bilibili/Index-anisora/

@cgevent

Кому Хумото?

Адобченко бахнул датасет мокап-анимаций на все случаи жизни.

"Мы представляем человеческие движения с объектами (HUMOTO), набор высокоточных данных о взаимодействии человека и объекта для создания движений, компьютерного зрения и робототехники.
Состоящая из 736 последовательностей (7 875 секунд при 30 кадрах в секунду), HUMOTO фиксирует взаимодействие с 63 точно смоделированными объектами и 72 шарнирными частями. Наши инновации включают конвейер сценариев LLM, создающий полные, целенаправленные задачи с естественным развитием событий, а также настройку записи с мокапа и камеры, позволяющую эффективно справляться с окклюзиями. Охватывая различные виды деятельности, от приготовления пищи до пикников на природе, HUMOTO сохраняет как физическую точность, так и логическое выполнение задач. Профессиональные художники тщательно очищают и
проверяют каждую последовательность, сводя к минимуму скольжение ног и проникновение предметов проникновения предметов"

Вы можете посмотреть и скачать 70 штук прямо вот отсюда:
https://adobe-research.github.io/humoto/
Вот тут много видосов:
https://jiaxin-lu.github.io/humoto/

А запросить полный доступ можно вот тут:
https://adobe-research.github.io/humoto/README.md

@cgevent

Микрософт анонсировала MCP for Windows.

Ну то есть теперь можно голосом сказать, Клод, отформатируй все жёсткие диски.

Слово - не воробей...

Шутки шутками, но на очереди MCP для офиса. И вот уже операционка превращается в LMOS, о которой говорил Андрей Карпатый.

@cgevent

Гугл Джулс

А вот и ответочка от Гугла на Codex от OpenAI.

Да, это агент-девелопер, который делает задачи, которые вы хотели бы кому-то поручить


↳connect to GitHub and open PRs
↳run or write tests
↳verify code in a cloud VM
↳share its plan, reasoning, and diffs

Сайт: https://jules.google/

Доки: https://jules-documentation.web.app/

Вейтлист: https://jules.google.com/waitlist/

Похоже мы приближаемся к великим битвам агентов. И это прекрасно.

Ибо битва будет за скорость, качество и цену.


Update: похоже что 5 запросов в день и для всех, а не как у опенАИ-бояр: типа Pro, Team, а челядь потом.

@cgevent

Кстати, для Блендора есть новый плагин для текстурирования объектов или целых сцен с помощью SDXL\Flux.

Он, правда, требует ComfyUI для локального запуска, но выглядит очень нарядно.
Код здесь: https://github.com/sakalond/StableGen
А больше информации и инструкций вот тут.

@cgevent

Продолжая тему 3Д и ИИ-комбайнов, выходящих за рамки 3Д, держите дерзкую эскападу от Хуньяня.

Hunyuan Game - это, нмнтчку, AI игровой движок, ни больше, ни меньше - так они преподносят свою ответочку Krea, ну или скорее Scenario.

Я ниасилил их полуторачасовой стрим на китайском, поэтому держите выжимку из твиттора и поглядите видео:

AI Art Pipeline
inspiration → design → triview in a single, AI-optimized workspace.

Real-Time Canvas
Sketch live, refine instantly—AI visualizes drafts as you draw.

2D Generator
Game-tuned text/image tools → zero misinterpretation, perfect for concepts & UI.

Character Orthographic Views
Auto-generate studio-grade multi-views + 360° previews—ready for rigging, no edits needed.

В общем, можно чуть расслабиться, это не 3Д-движок, это скорее концепт-игро-арт-движок.

На всем этом неуловимый китайский UI налет, поглядим, когда в доступ пойдет.
Запрашиваем доступ тут:

https://hunyuan.tencent.com/game/home

@cgevent

Нейропрожарка

На сей раз ролик от Custom production - взрослые мальчики, которые занимаются промо сериалов, фильмов и ТВ-проектов.

Цитирую:
Решили сделать фан-трейлер «Интерстеллар 2» исключительно с помощью нейросетей. Хотелось проверить: получится ли вообще, и насколько фотореалистичного результата удастся достичь.

Как мы делали AI-трейлер «Интерстеллар 2»:

Режиссёр монтажа отбирал кадры-референсы: скалолазов, работу на МКС, HUD-интерфейсы и подобные композиции. Затем делался черновой монтаж с описанием недостающих сцен.

Затем наш промпт-инженер на основе референсов, а иногда и без них, генерировал кадры в Midjourney (v6.1, позже v7.0) с запасом вариантов для последующего выбора.

Для консистентного образа Дайан Крюгер использовался следующий подход: генерировались изображения по промпту (например, Дайан Крюгер стоит на космической станции или в скафандре на планете). Затем применялся дипфейк через FaceFusion и улучшение в Topaz Photo. Некоторые кадры дополнительно ретушировались вручную в Photoshop. Полученные изображения анимировались и озвучивались в Kling 1.6. Попытки дополнительного Face swap на готовом видео ухудшали чёткость и узнаваемость лица, поэтому от него отказались.

С Мэттью Макконахи задача была значительно сложнее. Нам нужно было создать состаренный образ актёра. Изначально в Midjourney получился недостаточно старый образ, просто слегка потрёпанный жизнью Макконахи. Тогда мы дополнительно сгенерировали старика через ChatGPT, однако актёр уже совершенно не узнавался. Решением стало объединение двух изображений с помощью Face swap: состаренное лицо из Midjourney накладывали на изображение старика из ChatGPT. Далее потребовалась работа с масками вокруг глаз, носа и рта. После этого результат был финально улучшен в Topaz. Звучит не так долго, но на деле, на это ушёл целый день. Много вариантов генераций, много попыток, много переделок. Уже потом этот результат анимировался в Kling и там же липсинговался. Но опять же, и тут не всё просто. На некоторых хороших сгенерированных видео липсинг работал либо отвратительно, либо не работал вообще. Пробовали сделать на таких кадрах липсинг в FaceFusion. И что интересно, в кадрах, сделанных в Kling, где рот не открывался, рот не открывался и в FaceFusion. Видимо, технология используется одна и та же. И если не работает в одном месте, то также не будет работать и в другом.

После предварительного монтажа пришлось перегенерировать первую половину ролика на v7 для повышения реализма. Из-за отсутствия omni-ref станция была вручную вырезана и помещена на зелёный фон для композитинга. Космос и планеты генерировались отдельно для удобства монтажа.

Некоторые кадры были отброшены из-за низкого качества. Для сцены с пробежкой космонавта использовали Kling 2.0, что улучшило динамику, но было дороже по кредитам.

Голоса генерировали в Minimax — там, в целом, велосипед не изобретали.

Далее уже была магия монтажа.

Качество: https://youtu.be/dfKCZ0Xx1bk

Что скажет чат?

@cgevent