Сладкое вечером нельзя, но иногда можно.

Сегодня у нас из вкусного — дипфейкер FaceFusion.

* Лицо отлично накладывается даже на персонажей другого цвета кожи.
* Можно менять положение взгляда, мимику, итд
* Работает как с видео, так и с фото
* Есть апскейлер чисто для лица
* Все обработчики уже скачаны, так что вам остаётся только экспериментировать с настройками.

Чтобы сравнить две настройки: нажимаете на в правом верхнем углу превью на иконку скачивания, и через просмотрщик картинок сравниваете их бок о бок.

Если у вас стоит Topaz, то в принципе можно Frame Enhancer не выбирать — топаз заапскейлит быстрее и лучше. Но всё зависит от вашего конкретного видео.

Ставьте в настройках сразу TensorRT как указано в видосе, и тогда скорость будет на максимум.

////////////////////////////////////

Чтобы потестить нужно закинуть донат следуя этим инструкциям.

Ссылка на вход отправлена задонатившим в личку.

В Suno есть один бесплатный ремастер ранее сгенерированной музыки до V4.

Воспользовался им на своём треке "Тренировал", который был сделан в V 3.5. На мой взгляд с улучшением качества звука пропала и ламповость. Не говоря уже про шумы, гличи, проблему с попаданием в ноты, итд.

Вы что думаете? Уже на своих генерациях опробовали? Кидайте в комменты.

StabilityAI: в коллабе с NVIDIA выпустили — SPAR3D (Stable Point Aware 3D), модель для создания 3D-объектов по одному изображению менее чем за секунду, а также редактирования в реальном времени.

Модель сочетает в себе точный семплинг облака точек и генерацию детализированного меша, обеспечивая высокий уровень контроля над созданием 3D-объектов. Создаётся 360 градусное представление, чтобы достать и те углы обзора, которые обычно мало прорабатываются.

На первом этапе диффузионная модель генерит облако точек, а на следующем трансформер обрабатывает его вместе с входной картинкой, чтобы реконструировать геометрию, текстуру, и освещение.

Облако точек можно редактировать, удаляя, дублируя, растягивая, добавляя особенности или перекрашивая точки.

Свободное коммерческое использование.

Демо
Сайт
Хаггинг
Гитхаб

Twelve Labs: обновили Marengo, поиск объектов на видео и футажа в целом, до v 2.7. Я писал о них раньше.

Что нового:
* Объекты распознаются даже, если они занимают меньше 10% экрана. Хорошо подойдёт для поиска лого, номеров игроков в спорте, текста, итд.
* Поиск по картинке. Вкидываешь картинку с бананом и он ищет все бананы на проиндексированных видосах.
* По аудио (речь, музыка, пространственные звуки) тоже идёт поиск.

Натренено на:
100 млн видео со звуком
500 млн изображений
500 000 аудио

Сайт
Технический отчёт

На десерт сегодня треня лоры для Flux. Можно через Fluxgym или One Trainer.

* Стиль и личность хорошо перенимаются.
* Высокое качество генераций.
* На пяти картинках в 1000 шагов с кропом 512 тренировка на 4090 занимает 15 минут. На 20 в районе 1-2 часов.

Для генерации на полученной лоре нужно использовать базовую модель Dev. Предоставлю интерфейс для инференса, если нет мощностей.

По желанию можно устроить треню в чём-то другом или на другую модель.

/////////////////////

Ссылка на вход отправлена участвующим в личку.

Luma: начали выдавать доступ к своему новому видеогенератору Ray 2.

Модель натренирована напрямую на видео высокого качества, и хорошо понимает как в кадре должно работать взаимодействие людей, животных, и объектов. А также как создавать стабильных персонажей.

Может выдавать 1080p длиной 5-10 сек на основе текста или картинок.

Больше примеров в твиттере и по хэштегу #Ray2 там же.

Сайт
Amazon Bedrock