This media is not supported in your browser
VIEW IN TELEGRAM
Jon Finger, в твиттере:
"В отличие от трассировки лучей или пути, которые требуют дополнительных вычислений во время выполнения, это освещение основано на подразумеваемых паттернах, поэтому оно требует тех же затрат, что и генерация сцены без освещения.
По мере того как эти интерпретаторы паттернов будут масштабироваться и распознавать все более сложные паттерны, мы будем добиваться все более качественных подразумеваемых взаимодействий по сути бесплатно с каждым поколением.
Еще лучше то, что когда мы начнем работать со сценами, состоящими из токенизированных активов или динамических нейронных ассетов, у нас будет больше контроля, чем в традиционных пайплайнах. Более того, вместо того чтобы начинать с изолированных объектов и применять взаимодействия вручную, мы получим активы, которые будут естественным образом взаимодействовать с окружающей средой, если мы явно не укажем иное."
Сделано с помощью Runway Gen-3.
Переведено в DeepL.
"В отличие от трассировки лучей или пути, которые требуют дополнительных вычислений во время выполнения, это освещение основано на подразумеваемых паттернах, поэтому оно требует тех же затрат, что и генерация сцены без освещения.
По мере того как эти интерпретаторы паттернов будут масштабироваться и распознавать все более сложные паттерны, мы будем добиваться все более качественных подразумеваемых взаимодействий по сути бесплатно с каждым поколением.
Еще лучше то, что когда мы начнем работать со сценами, состоящими из токенизированных активов или динамических нейронных ассетов, у нас будет больше контроля, чем в традиционных пайплайнах. Более того, вместо того чтобы начинать с изолированных объектов и применять взаимодействия вручную, мы получим активы, которые будут естественным образом взаимодействовать с окружающей средой, если мы явно не укажем иное."
Сделано с помощью Runway Gen-3.
Переведено в DeepL.
This media is not supported in your browser
VIEW IN TELEGRAM
This media is not supported in your browser
VIEW IN TELEGRAM
Media is too big
VIEW IN TELEGRAM
This media is not supported in your browser
VIEW IN TELEGRAM
Media is too big
VIEW IN TELEGRAM
This media is not supported in your browser
VIEW IN TELEGRAM
This media is not supported in your browser
VIEW IN TELEGRAM
This media is not supported in your browser
VIEW IN TELEGRAM
This media is not supported in your browser
VIEW IN TELEGRAM
This media is not supported in your browser
VIEW IN TELEGRAM
Чтобы два раза не вставать, пришью другие любопытные применения Video-2-Video от самих Runway (с их подсказками) и народа с инета, включая Джона.
Как видно нейронке можно кормить как футаж снятый на что-угодно (они даже пробовали с плёночным фотиком).
Люди скармливают геймплейные кадры, пролёты дронов, трёхмерные нерфы и сплаты, собранные сцены в VR, t2v-генерации, итд.
Если в 3D нужно больше контроля в плане конструировании сцены и движениях камеры, а не хочется открывать Blender/UE, можно попробовать CInetracer.
Как видно нейронке можно кормить как футаж снятый на что-угодно (они даже пробовали с плёночным фотиком).
Люди скармливают геймплейные кадры, пролёты дронов, трёхмерные нерфы и сплаты, собранные сцены в VR, t2v-генерации, итд.
Если в 3D нужно больше контроля в плане конструировании сцены и движениях камеры, а не хочется открывать Blender/UE, можно попробовать CInetracer.
Кстати выяснилось, что Jasper выпустили три контролнета на Flux: вчера я писал про вариант для апскейла, а там ещё есть карты глубины и нормалей.
Забирайте на хаггинге.
Забирайте на хаггинге.
Если вы хотели научиться рисовать, или обучить детей. Две лоры на Flux:
1) Скетчи, которые и детям для раскраски пригодятся, и взрослым для стайлтрансфера. Модель на хаггинге и Civitai.
2) Пошаговое рисование, из разряда "Как нарисовать сову?". Используйте в промте слово
Можно запускать прямо на страницах моделей, там где написано Inference API. Пишете промт и жмёте Compute. Работает кстати вроде лучше, чем две демки выше.
1) Скетчи, которые и детям для раскраски пригодятся, и взрослым для стайлтрансфера. Модель на хаггинге и Civitai.
2) Пошаговое рисование, из разряда "Как нарисовать сову?". Используйте в промте слово
How2Draw. Не со всеми концептами может сработать. Если что добавьте в промт step-by-step. Модель на хаггинге, онлайн демо раз и два.Можно запускать прямо на страницах моделей, там где написано Inference API. Пишете промт и жмёте Compute. Работает кстати вроде лучше, чем две демки выше.
В Udio завезли тонкую настройку генерирования и редактирования текста песни.
Можно создавать по промту или генерить на случайную тему.
Если нужно внести правки, даёте комментарий туда же куда писали промт и жмёте Edit — нейронка причешет текст.
Отдельные слова/строчки можно править как ручками, так и перегенерить выделив их и нажав Edit with AI.
Ещё добавили теги, которые открываются нажав "/" в тексте песни и можно выбрать структурные элементы композиции:
Твит
Сайт
Про Udio
Можно создавать по промту или генерить на случайную тему.
Если нужно внести правки, даёте комментарий туда же куда писали промт и жмёте Edit — нейронка причешет текст.
Отдельные слова/строчки можно править как ручками, так и перегенерить выделив их и нажав Edit with AI.
Ещё добавили теги, которые открываются нажав "/" в тексте песни и можно выбрать структурные элементы композиции:
[Chorus] куплет, [Verse] припев, итд.Твит
Сайт
Про Udio