Media is too big
VIEW IN TELEGRAM
OmnimatteRF — ещё один проект для удаления объектов из видео с учётом фона, а-ля ProPainter.
В основе лежит метод F2B3: объекты на переднем плане преобразуются в 2D-слои, а фон в отдельную 3D-сцену.
Похоже вопрос с убиранием тени тоже решен, осталось подтянуть удаление в отражениях. Хотя это можно инпейтингом закрыть в ряде случаем.
Сайт
Гитхаб
В основе лежит метод F2B3: объекты на переднем плане преобразуются в 2D-слои, а фон в отдельную 3D-сцену.
Похоже вопрос с убиранием тени тоже решен, осталось подтянуть удаление в отражениях. Хотя это можно инпейтингом закрыть в ряде случаем.
Сайт
Гитхаб
Media is too big
VIEW IN TELEGRAM
This media is not supported in your browser
VIEW IN TELEGRAM
This media is not supported in your browser
VIEW IN TELEGRAM
This media is not supported in your browser
VIEW IN TELEGRAM
Котэ таки получил доступ в Stable Audio, а то с момента анонса не мог зайти из-за перегруза серверов.
Ну что я могу сказать: для старта это ништ и повод задуматься нынешним стримингам. Задал, что хочешь слушать (чем детальнее, тем лучше) и получаешь это. Никаких левых лиц на главной и в рекомендациях, обновлений плейлистов, долгих поисков,...
Дальше к этому пристегнётся генерация 24/7, контроль звучания слушателями, интеграция с DAWками для проработки артистами на уровне MIDI, итд.
Моя Волна может начать волноваться.
Го генерить музыку!
Ну что я могу сказать: для старта это ништ и повод задуматься нынешним стримингам. Задал, что хочешь слушать (чем детальнее, тем лучше) и получаешь это. Никаких левых лиц на главной и в рекомендациях, обновлений плейлистов, долгих поисков,...
Дальше к этому пристегнётся генерация 24/7, контроль звучания слушателями, интеграция с DAWками для проработки артистами на уровне MIDI, итд.
Моя Волна может начать волноваться.
Го генерить музыку!
Были у нас перевыпусти на DVD, Blu-ray, 4K,... как насчёт объёмного 3D для просмотра с любой точки?
Оригинальная сцена из Blade Runner на первом видео в 2D весит 7.3 Мб. Переведённая в 3D, так чтобы можно было менять позицию и фокус камеры в реальном времени, она весит лишь на 11 Мб больше. Автор использовал свои инструменты + GlslViewer + lygia.xyz + torch.
Пока бросается в глаза недостаток данных и выглядит как мешанина. Нужно либо что-то вроде SyncDreamer для синтетической генерации недостающих кадров с новых углов обзора, либо реальные данные с фото/видео behind the scenes итд. Причём во втором случае это студиям на руку, они могут сделать из этого датасет, к которому доступ по шекелям организовать.
Появляется огромное пространство для креатива в режиссуре и заодно надо думать какой угол дефолтный, с какой точки пользователю захочется посмотреть (причёсывать надо всю сцену целиком), как быть с командой и декорациями за кадром, итд.
Причём момент с углом обзора по умолчанию важен, так как кино это вид искусства требующий пассивного вовлечения - ты наблюдаешь, погружаешься, изучаешь, переживаешь. А тут у нас интерактив и здесь восприятие работает иначе.
В этом плане стоит обратить внимание на опыт игровой индустрии. В каких-то играх камера зафиксирована, а в каких-то ей можно свободно крутить. Но, в целом, геймдев отлично научился управляться с инструментами для подачи нарратива (сценарий, режиссура, свет, звук), часто задвигая киноиндустрию на её же поле. Помню когда вышел INSIDE я каждую секунду скриншотил ибо там работа с камерой высший пилотаж и все фильмы вышедшие в тот год (да и не только) просто пыль в сравнении с ней — у меня до сих пор лежат эти 6 Гб кринов, каждый можно хоть сейчас вешать на стену.
Отдельно тут стоит упомянуть интерактивное кино от Quantic Dream. Один Detroit: Become Human чего стоит.
Вы посмотрите на эту красоту на втором видео. Как буд-то космос всеми звёздами живёт у тебя перед глазами. И это не сцена из фильма, а то, что техно-маг сделал сегодня.
Твит 1
Твит 2
Оригинальная сцена из Blade Runner на первом видео в 2D весит 7.3 Мб. Переведённая в 3D, так чтобы можно было менять позицию и фокус камеры в реальном времени, она весит лишь на 11 Мб больше. Автор использовал свои инструменты + GlslViewer + lygia.xyz + torch.
Пока бросается в глаза недостаток данных и выглядит как мешанина. Нужно либо что-то вроде SyncDreamer для синтетической генерации недостающих кадров с новых углов обзора, либо реальные данные с фото/видео behind the scenes итд. Причём во втором случае это студиям на руку, они могут сделать из этого датасет, к которому доступ по шекелям организовать.
Появляется огромное пространство для креатива в режиссуре и заодно надо думать какой угол дефолтный, с какой точки пользователю захочется посмотреть (причёсывать надо всю сцену целиком), как быть с командой и декорациями за кадром, итд.
Причём момент с углом обзора по умолчанию важен, так как кино это вид искусства требующий пассивного вовлечения - ты наблюдаешь, погружаешься, изучаешь, переживаешь. А тут у нас интерактив и здесь восприятие работает иначе.
В этом плане стоит обратить внимание на опыт игровой индустрии. В каких-то играх камера зафиксирована, а в каких-то ей можно свободно крутить. Но, в целом, геймдев отлично научился управляться с инструментами для подачи нарратива (сценарий, режиссура, свет, звук), часто задвигая киноиндустрию на её же поле. Помню когда вышел INSIDE я каждую секунду скриншотил ибо там работа с камерой высший пилотаж и все фильмы вышедшие в тот год (да и не только) просто пыль в сравнении с ней — у меня до сих пор лежат эти 6 Гб кринов, каждый можно хоть сейчас вешать на стену.
Отдельно тут стоит упомянуть интерактивное кино от Quantic Dream. Один Detroit: Become Human чего стоит.
Вы посмотрите на эту красоту на втором видео. Как буд-то космос всеми звёздами живёт у тебя перед глазами. И это не сцена из фильма, а то, что техно-маг сделал сегодня.
Твит 1
Твит 2
Генератор оптических иллюзий обновился. Добавились новые шаблоны, разрешение стало выше, с большими деталями, и при этом генерится быстрее. Заодно прицепил другие иллюзии, что приглянулись в сети.
Представьте бесконечное полотно RE: FW FW FW RE RE FW FW FW RE RE FW FW FW RE RE FW FW FW RE RE FW FW FW RE RE FW FW FW RE RE FW FW FW RE RE FW FW FW RE RE FW FW FW RE RE FW FW FW RE RE FW FW FW RE RE FW FW FW RE RE FW FW FW RE RE FW FW FW RE RE FW FW FW, которое было бы нужно между художником и заказчиком, чтобы такое получить.
Попробовать
Твит
Представьте бесконечное полотно RE: FW FW FW RE RE FW FW FW RE RE FW FW FW RE RE FW FW FW RE RE FW FW FW RE RE FW FW FW RE RE FW FW FW RE RE FW FW FW RE RE FW FW FW RE RE FW FW FW RE RE FW FW FW RE RE FW FW FW RE RE FW FW FW RE RE FW FW FW RE RE FW FW FW, которое было бы нужно между художником и заказчиком, чтобы такое получить.
Попробовать
Твит
Киберпанк здесь и имя ему Simulon. Чуваки продолжают радовать, показывая процесс работы прилы.
В этот раз нам показали меширование окружения в реальном времени, размещение объектов на нескольких поверхностях (причём как вертикальных так и горизонтальных) и стабильный AR, позволяющий сохранять и воспроизводить 3D-сцены в реальности.
Видос с котаном это шоукейс работы с глубиной и освещением.
Как просчитывается свет они показывали здесь.
В бету можно зайти тут.
В этот раз нам показали меширование окружения в реальном времени, размещение объектов на нескольких поверхностях (причём как вертикальных так и горизонтальных) и стабильный AR, позволяющий сохранять и воспроизводить 3D-сцены в реальности.
Видос с котаном это шоукейс работы с глубиной и освещением.
Как просчитывается свет они показывали здесь.
В бету можно зайти тут.
This media is not supported in your browser
VIEW IN TELEGRAM
FreeU — исследователи нашли способ улучшить качество генерации диффузионных моделей с U-net архитектурой за счёт добавления всего пары строк кода без каких-либо затрат. Не нужно ни тренировки, ни ввода новых параметров, и нет увеличения во времени семплинга или ещё больше VRAM. Работает с картинками и видео.
Сайт
Сайт
OpenAI анонсировали DALL-E 3
Модель следует простому текстовому описанию без детального промта. Слова на картинках тоже может генерить. Будет интеграция с ChatGPT.
OpenAI будет контролировать, что люди генерируют и не давать создать арт с публичными лицами, воспроизвести стили определённых художников, или делать то, что они посчитают не безопасным.
Релиз в октябре для Plus и Enterprise пользователей.
Анонс
Модель следует простому текстовому описанию без детального промта. Слова на картинках тоже может генерить. Будет интеграция с ChatGPT.
OpenAI будет контролировать, что люди генерируют и не давать создать арт с публичными лицами, воспроизвести стили определённых художников, или делать то, что они посчитают не безопасным.
Релиз в октябре для Plus и Enterprise пользователей.
Анонс