Вот такой Метаверс нам нужен.

Похоже, что у нас сегодня день 3Д и (немного) Fable.

Вот тут чувак попросил Fable 5 сделать трехмерную(карту) Дели.

Фабле полез в интренетик, нашел карты OpenFreeMap, потом библиотеку MapLibre GL JS и забабахал (прямо в браузере) Дели-Метаверс - трехмерную копию «Сердца Индии».

По дороге сожрав полтора миллиона токенов.

Понятно, что там (пока) кубики без текстур, но расположение зданий похоже на правду.

Это похоже на генерацию географических локаций в Gemini Omni по данным из Google Maps - рассказывал об этом тут.

Но здесь, во-первых, не только US (как у Гугла), а во-вторых использование открытых (не проприетарных, как у Гугла) данных.

Ну и это не видео, как у Гугла, а прям 3Д.

Сегодня буду продолжать за то, что Большие Модели становятся настолько умными, что способны решать ну очень специализированные задачи, для которых раньше нужны были отдельные инструменты\датасеты\стартапы.

Просто отмотайте на 2 года назад и представьте просьбу "а забабахай мне трехмерную карту Токио". От простого пользователя напротив чата. А не от стартапа напротив UE5.

@cgevent

Houdini 22 Sneak Peek

Продолжим за 3Д для гиков.

Тут ЕгорЧ углядел, что туда завезли массовую (а не только рендерную) поддержку сплатов.

Поглядите вот отсюда:
https://youtu.be/lFG1FIXBprc?t=194

Поразглядывайте параметры ноды ML-Train_GSplats.

Также там есть Animated GSplats (Пальма) и даже Rigged GSplats (Тварь многоногая) с параметрическим количеством сегментов и зариганной анимацией сплатов.

На релайте GSplat-пчелы видно, что там также есть неявный меш.

Удивительно, что сплаты только сейчас добираются во взрослое 3Д.

Также, глядя на Пальму, хочу заметить, что протосплаты появились в Майке еще в 2000(!) году с Maya 2.5. Когда гениальный Дункан Бринсмит в одно лицо запилил Paint Effects - это и были полупрозрачные эллипсы, которые дичайше быстро рендерились прямо во вьюпорте и позволяли делать немыслимые тогда эффекты - от травы и волос до деревьев и облаков. Процедурно.

Удивительно, как история повторяется.

@cgevent

И снова за Fable и 3Д

Продолжаю приподвстапливать за то, Большие Модели становятся настолько умными, что решают специализированные задачи.

Итак, промпт:

/goal create the most realistic boeing 747 using THREEJS - use your vision capatilities to create a self verifiable system, enter a loop until you are 100% satified about the result (you can build a camera system to inspect each angle)

Можете покрутить модель сами тут:
https://huggingface.co/spaces/victor/fable-5-boeing-747

Вы, конечно, можете начать искать блох в текстурах (пальцев-то нет на картинке). Но камон, это не 3Д генератор, это LLM.

И я тут прикинул, что по сравнению с гигантскими корпусами текстов и данных, которые заталкивают в мозги LLM, вот эти вот все датасеты с 3Д-моделями являются просто крошечными. А ведь это тоже текстовые файлы.
И когда большие мальчики их просто присунут в данные для обучения LLM, то 3Д-генераторам придется несладко.

Грубо говоря, рано или поздно chatGPT или Клод будут и шить, и жать, и моделить, и текстурить. Лучше, чем специализированные генераторы ибо у них тупо мозгов больше.

Тут за кадром остается вопрос о том, что такое "хорошая модель".

Качество нынешних 3Д-генераторов остается, скажем так, спорным, ибо (вероятно) никто не размечал эти 3Д-датасеты на предмет "это хорошая модель, а это говно, это каша, а это топ ретоп". Также в датасетах типа Objaverse - ну очень много шлака с плохой топологией, деталями и вообще мусора.

Похоже на ситуацию с юмором. Никто не размечал тексты на "вот это хорошая шутка, а это несмешно".

Но рано или поздно эта работа будет сделана.

И тогда выпьем за Блендор.

@cgevent

#Нейропрожарка

"Реклама для конкурса от Runway Big AD contest" -реклама несуществующих товаров

Авторы: Николай, @b0nus33,

На выбор было несколько тем от рекламы садового шланга, чипсов, скрепи, газировки, скрепки до своего варианта, реклама была условных товаров, несуществующих марок. По выбранным тематикам были ещё заданные направления, я выбрал скрепку в направлении было что-то вроде показать в моменте существенность такой никчемной вроде бы вещи как скрепка в самый нужный момент, когда скрепка решает...я пошёл немного дальше и у меня получилось, что скрепки в принципе решают )))) по условиям видео надо было делать на платформе Runway , а фото не важно где.
Сценарий родился в голове, а остальное все фото в банане про на Higsfieldе через синема студио, а видео уже через кастрированный Kling 3.0 на ранвее ( seedance 2 уже вышел, но на ранвее не было ещё, а клинг у них почему-то в мультишотах ел только одну картинку, сейчас может починили), на всё про все ушло порядка 5 дней , и где-то в районе 60 баксов кредитов на Ranway (он дорогой), Саундтрек в Суно - сделан из ремикса на саундтрек к сериалу Разделение ( как и весь антураж ролика), монтаж в Капкате, апскейл Топаз. В конкурсе не выйграл, но по визуалу вроде бы никому не уступил)))

@cgevent

Krea 2: Процедурные картинки.

В Креа появились реалтаймовые слайдеры: intensity, complexity и movement.
Типа интенсивность промпта, шум\детали и движение объекта в кадре.

Это, конечно, делает процесс генерации интерактивным и ускоряет отбор картинок.

А еще это напоминает мне процедурные текстуры. Если вы сталкивались с ними, то помните многочисленные педальки для наруливания узоров, шума, паттернов.

Если не сталкивались, то можно привести в пример Preview эффектов в Фотошопе - вы сразу видите результат.

Интересно, сколько еще можно навернуть таких слайдеров: мне приходят на ум цветокорр, трехмерность, шрифт, разделение на слои, фон...

Идея в том, чтобы дать максимум ПОНЯТНЫХ параметров нормальному пользователю, а не вот эти вот все CFG Scale, Sampling Method и пр. И удерживать его в интерфейсе генерации.

Дело хорошее, но у меня только один вопрос: ГДЕ ВЕСА, КАРЛ?

Обещали ровно три недели назад!

@cgevent

Мимокодер

"Xiaomi, компания, которую все знают по смартфонам и роботам-пылесосам, тихо запустила ИИ-агента для программирования. Не облачный сервис, не плагин для IDE — а полноценный инструмент в командной строке, который читает твой код, пишет новый, запускает команды, разбирается с Git и даже помнит контекст проекта между сессиями. Называется MiMo Code, и на момент написания этого текста он бесплатен."

Главная фишка: не теряет контекст при выполнении длительных задач.
Он основан на OpenCode, а код опенсорснут под лицензией MIT.

Подробнее тут:

https://vc.ru/ai/2975153-xiaomi-besplatnyj-ii-programmist-mimo-code

https://mimo.xiaomi.com/mimocode

@cgevent

Для Гиков и Нюков

В феврале писал про то, что The Foundry купила Griptape.

Пару дней назад пошли новости от Фаундри, во что они превратили эту покупку.

Честно сказать, я думал они нативно воткнут Groptape в свой нодовый движок\интерфейс.

Но нет.

Griptape это теперь красивый Комфи, с нодами, которые могут вызывать\загружать абсолютно любые модели (по API прежде всего). Там и видео, 3Д и тексты.
То есть там собирается воркфлоу, который потом экспортируется в Нюк. В Нюке появляется гизмо-нода, которая видит этот вокфлоу и его параметры. Хотите изменить воркфлоу, шуруйте обратно в Griptape и экспортируйте заново.
Ну то есть сущности малость плодятся, есть два нодовых интерфейса.

Посмотрите первое видео, чтобы полюбовацца на красивый Комфи.
https://www.youtube.com/watch?v=D32A7f4BgCo

А во втором видео рассказывают, как тащит Griptape в Нюк и там встраивать в пайплайн. На примере Флюкс Инпайнт.
https://www.youtube.com/watch?v=BmgEZaJpFcw

Немного разочарован, на примере масочку делают ручками (могли бы для демо подобрать пример с ИИ-маской), ну и все выглядит достаточно громоздко.

Хотя может композеры оценят.

Мне просто кажется, что это же можно наворотить с помощью Комфи (API) и плагинов к Нюку (мне даже кажется кто-то уже делал такое).

Также напомню, что Гриптайп купили из-за Griptape Cloud - инфраструктуры инференса моделей. Возможно Фаундри будет зарабатывать дополнительные деньги за вызовы генераторов всего и вся.

Композеры, поглядите, как вам?

@cgevent

#Нейропрожарка

"Мухомор монастырский". Несуществующая реклама существующих товаров.

Креатив&продакшн Ai Механика @mechanicsfilms_ai
Креативная идея: Алексей Карпов, Марина Краснопольская
Ai артист: Марина Краснопольская

Крем для век «Мухомор монастырский» (реальный продукт, есть на маркетплейсах)
Состав не изучали. Эффективность не проверяли. Но упаковка заинтриговала, потому что крем залит натурально в банку из-под майонеза.
Решили сделать креативный эксперимент. Можно ли вообще что-то придумать для такого продукта.
Результат - мамадорогая, тяжелый люкс. Где-то занервничали Dior.

Как это сделано:
Выстраивание и итерации основного промта через Claude.
Генерация стилистики и кадров:
Midjourney - заложена основа стилистической концепции ролика.
NanoBanana 2 - разработка и развитие кадров
Photoshop - доработка кадров вручную
Генерация видео:
Sidance 2.0. - основной объем кадров
Kling O3 - часть кадров в нем
Постпродакшн
DaVinci Resolve - монтаж, цветокоррекция, работа со звуком и музыкой.

Тайминг - 15 дней, между основными проектами.

@cgevent

Anthropic закрыли доступ к Fable всем пользователям

Это результат требования правительства США закрыть доступ к Fable для всех не-граждан, включая сотрудников Anthropic. Так как у Anthropic нет системы для проверки гражданства, доступ закрыли вообще всем.

Причиной послужил частичный джейлбрейк, который позволил использование Fable для поиска уязвимостей. Найденные уязвимости довольно простые и могут быть найдены другими публично доступными моделями.

От того удастся ли Anthropic отбиться и насколько серьёзны намерения правительства зависит судьба рынка.

https://www.anthropic.com/news/fable-mythos-access

@ai_newz

Много думал, читал телеграм.
Натолкнулся на такой пост из 2023(!) года:
https://xn--r1a.website/cgevent/6885

"Дальше придут аудиторы, чтобы проверять кошерность ваших LLM и скрепность генераторов картинок - соответствуют ли ваши опенсорсные модели и файнтюны очередного Фалькона линии партии.

Внедряете ИИ? Покажите ваши сертификаты, разрешения, лицензии, справки из ИИ-диспансера."

Аудиторы пришли. На уровне государства.

И требуют теперь справку о гражданстве.

Шутки про "в интернет по паспорту" превратились (очень в духе черного зеркала) в ниразунешутки про "в ИИ по паспорту".

А те, кто топят за опенсорс или китайцев, просто почитайте пост.

У китайцев с выходом интернет по паспорту все уже давно обкатано.

Да и в целом все обкатано: взять хотя бы разные цены на авиабилеты или подписки для разных стран.
Ну или вот это вот "в Евросоюзе/Вашемрегионе наша модель пока недоступна".

2026: В ИИ по паспорту - вы находитесь тут.

@cgevent

Мысли CEO: что дальше в LTX

Зив, CEO LTX, на связи. Хотел немного приоткрыть завесу над техническими ставками, которые мы делаем, и тем, куда они ведут. Готов подробно обсудить детали в комментариях.

Последнее время мы глубоко работали над следующим поколением LTX, и я хочу поделиться тем, что нас ждёт. Это не пост о долгосрочном видении — он выйдет отдельно, — а конкретный взгляд на то, что мы строим прямо сейчас и что вы скоро увидите.

Следующий релиз LTX-2 сфокусирован на качестве генерации во всех направлениях. Как обычно: больше данных, больше вычислительных мощностей, а в этот раз ещё и две архитектурные версии: dense-модель и mixture-of-experts, чтобы предложить разные компромиссы между скоростью и качеством.

Mixture-of-experts, или MoE, — это фундаментальный архитектурный сдвиг, при котором модель активирует только те свои части, которые нужны для конкретной генерации. Это позволяет масштабировать возможности и качество без линейного роста затрат на вычисления. Такой тип изменений не всегда заметен в одном демо, но он фундаментально меняет то, что модель способна делать при заданной стоимости.

И в dense-версии, и в MoE-версии мы собираемся выпустить значительно более мощный text encoder. В результате модель будет лучше понимать то, что вы написали, включая сложные промпты с несколькими сценами, которые более старые архитектуры часто упрощали или игнорировали. Мы также серьёзно инвестируем в производительность и память: новые attention kernels и улучшенная поддержка low-precision вычислений означают, что последняя модель будет хорошо работать на более широком спектре железа.

Теперь та часть, которая, как мне кажется, тоже особенно важна для этого сообщества. Мы открываем больше нашей тренировочной инфраструктуры: новые trainer-рецепты и инструменты для обучения LoRA, чтобы вы могли создавать доменно-специфичные варианты моделей поверх LTX, а не просто использовать базовые веса как есть. Представьте специализированные версии для задач вроде человеческого движения, визуализации продуктов и архитектурных пространств — каждая дообучена на одной и той же основе, но оптимизирована под конкретную область. На enterprise-стороне это расширяется до слоя кастомизации после обучения, который позволяет командам дообучать модель на собственных закрытых данных без необходимости переобучать её с нуля. Полная картина состоит из трёх уровней: базовая foundation-модель, доменно-специфичные trainer-конфигурации и слой кастомизации для клиентов сверху.

Чтобы было ясно: мы намерены сохранять веса открытыми. Базовую модель, производные модели, инструменты. Это не bait-and-switch, где мы сначала открываем исходники, а потом закрываем всё, как только модель становится достаточно хорошей для монетизации. Открытость — это то, как мы строим, и сообщество, которое создаёт что-то поверх наших моделей, всегда сможет зайти дальше, чем любая отдельная команда в одиночку.

Ещё одна вещь, которую мы исследуем и которая, как мы считаем, может стать настоящим скачком в качестве результата: diffusion-based decoder, который заменяет традиционный VAE при преобразовании латентов обратно в пиксели. Потенциал здесь — более чёткий вывод в более высоком разрешении, объединяющий декодирование и апскейлинг в один шаг. Мы активно экспериментируем с этим в нашем latent space. Это как раз та архитектурная ставка, которая может изменить стандарт генерации видео, и мы надеемся, что открытые модели будут в этом лидировать.

Мы также понимаем, что модель — это только половина истории. Всё ещё существует реальный разрыв между “модель работает” и “я могу выпустить на её основе готовый продукт”, и закрыть этот разрыв для нас так же важно, как и улучшать саму модель. Мы полностью перерабатываем документацию и запускаем reference implementations, чтобы показать, как на практике выглядит хорошее внедрение.

Скоро будет больше новостей.

Сорс

@cgevent