История про то, как важно контролировать AI-агентов или "Верните мне $25".

Тестировал я тут MovieFlo.AI. Очень приятно настроенный процесс того, как создавать длинное видео с нуля.

Процесс настолько "на вайбе", что если нет идеи для видео, то сервис и есть за тебя будет и сценарий может самостоятельно создать.

Из концепта формируется синопсис (если концепта нет, то AI генерирует синопсис самостоятельно), потом прописываются сцены. И по сценам пишется скрипт (я не до конца понял, зачем нужен шаг со скриптом).

Далее AI-агент самостоятельно генерирует консистентных персонажей (чтобы одни и те же были в разных сценах) и создаёт Storyboard.

Storyboard представляет из себя разбивку на Shot-ы, каждый из которых представлен сгенерированными изображениями, системой тегов и кратким описанием.

На этапе Storyboard из изображений по промптам от AI-агента генерируются видео. Потом переходим в редактор, позволяющий ещё и звуки с музыкой сгенерированные добавить.

Полная вайб-режиссура, правда?

Как бы не так. AI-агент умудрился сломать сам себя на собственном синопсисе.

Он создал персонажа-девушку из будущего. В очень своеобразном наряде (см изображение к посту). И на этапе генерации видео из картинок все кадры, в которых было больше, чем лицо этой героини, не прошли цензуру в Vidu (так я узнал, что за модель они используют для генерации видео).

Собственно, для того, чтобы сгенерировать эти видео, я и закинул в MovieFlo $25. И за каждое видео, которое не прошло цензуру (и не было сгенерировано), сервис всё равно снял с меня кредиты.

Вывод: если вы создаёте хоть сколько-нибудь сложную систему AI-агентов, обязательно нужно продумывать, а что может пойти не так. Где у вас не совпадают уровни ограничений, в каком месте обязательно подведёт сторонее API. В общем, максимальный контроль за каждым шагом работы системы. А сервис MovieFlo, в свою очередь, не попадает в список "рекомендую к ознакомлению".

Kling выпустил обновление 2.5 Turbo и опять выклянчил подписку (но только для тестов).

Я его протестировал на сложных сценариях, чтобы составить мнение и поделиться с вами. На самом деле, апдейт достаточно минорный.

Но есть и интересные улучшения (в сравнении с базовой версией 2.1):

1. Лучше понимает физику движений. Даже сложных. Не всё идеально, но результат достаточно качественный.

2. Цена за генерацию снизилась на 30% по сравнению с базово 2.1! Вышла новая модель и она дешевле, чем старая. 50 токенов за 10s FullHD против 70 в версии 2.1. Самой дорогой версией всё ещё остаётся 2.1 Master за 200 кредитов.

3. Понимание промпта стало лучше. Да, это действительно так. И нужно следить за деталями промпта. У меня в одной из генераций парашютиста было написано «пролетает сквозь небоскрёбы». И парашютист действительно сперва влетел в небоскрёб, а потом из него же (с эффектами разбившегося стекла!) вылетел.

4. Скорость генерации. Как правило, занимает не более 5 минут. Это достаточно быстро, учитывая качество.

5. Модель лучше держит мелкие детали. Обратите внимание, что значок "Мерседеса" на фургоне остаётся стабильным на протяжении всего видео. Предыдущая версия, как правило, такие детали "мазала".

6. Помимо мелких деталей, Kling2.5 Turbo лучше держит тексты. Английские вообще отлично сохраняет, русские может смазать (см. примеры с машинами).

Какие "болячки" по-прежнему присутствуют:

1. Генерировать текст в режиме text-to-video модель не умеет. Ни русский, ни английский. За этим – в veo3.

2. Текст на русском языке со временем может плыть. Но большие надписи остаются консистентными.

3. Звук. Он у Kling по-прежнему такой, будто действие происходит где-то в сильно разряженном пространстве. Иногда может вообще остановиться посреди видео. Ждём обновлений в генерации звука.

4. С движениями в анимации Kling пока справляется плохо. Видео со снежками отлично передаёт весь спектр проблем. Но стоит отдать должное – задача действительно непростая.

5. Опять отрубили генерацию с последним кадром. А ведь только добавили её в модель предыдущей версии.

Итог: Kling2.5 Turbo по-прежнему отличный инструмент для определённого спектра задач. Плюс – улучшилась физика процессов и понимание промптов. При правильном подходе можно из неё выжать многое. Особенно – в сочетании с другими моделями.

Взаимодействие SAM и Nano Banana для большего контроля.

SAM – это Segment Anything Model. Позволяет создавать маску выбранного на изображении объекта.

Я взял эту версию с fal.ai. Там можно создавать маску как вокруг заданной точки, так и внутри выбранной области.

После того, как модель выдаст маску, идём в Nano Banana (я также использовал версию с fal.ai), загружаем маску первым изображением, а исходное изображение вторым.

Теперь по маске можно заменить объект на другой. Это часто работает точнее, чем передавать в Nano Banana "Третий цветочный горшок слева зелёного цвета".

Для замены подойдёт, например, вот такой промпт (вставьте название объекта вместо {OBJECT_DESCRIPTION}):

Use two inputs: Image 1 = mask, Image 2 = original photo. The mask is a binary PNG where the target region is pure white #FFFFFF and all other pixels are pure black #000000 (if the colors are inverted, automatically invert the interpretation so the black region is treated as the placement area). Insert {OBJECT_DESCRIPTION} entirely inside the black masked region and modify only pixels within that region; every pixel outside the mask must remain bit-for-bit identical to Image 2. The object must be fully contained by the mask (no bleed or overrun); scale and, if necessary, gently warp the object to fit the region while preserving realistic proportions, perspective, and scene lighting. Match color temperature, exposure, contrast, sharpness, noise/grain, and white balance to the surrounding context; if shadows or reflections are needed, confine them to the masked area. Snap the object to the visual center of the region unless otherwise specified, leaving a subtle 2–4 px inner margin; use high-quality anti-aliasing on the object boundary but do not feather beyond the mask edge. Do not add or alter any content outside the mask (no text, borders, stickers, watermarks, or background changes). Maintain the exact pixel dimensions, aspect ratio, and EXIF orientation of Image 2; output a single PNG of the edited image at the same resolution as Image 2.

Если вы предоставляете сервис для конечных пользователей, то увеличение надёжности модели с помощью переданной маски может сильно упростить жизнь.

Примеры использования данного приёма – в медиа поста.

Теперь нас всех ждёт наплыв AI-generated видео. Покруче, чем было в день "Всеобщей гиблификации интернета".

Вышла Sora2. Пока только по инвайтам и только в США/Канаде.

Самый простой путь попробовать самому:

1. Получаем инвайт

2. Включаем VPN США

3. Идём сюда

4. Активируем с помощью кода из инвайта Sora2

Единственная возможность, которой при таком раскладе не будет – это загрузить собственное "Камео". Что-то типа персональной LoRA с вашим лицом.

Для Cameo потребуется iOS-приложение, скачанное из американского AppStore. Путь тоже проходимый, но более замороченный, как по мне.

Sora 2 – разная на подписках за $20 и за $200. В генерациях за $20 бросается в глаза, что OpenAI не доливают вычислительных мощностей на генерацию. Она получается более смазанной и "шумной". Отличается от того, что показывали во всех промо-материалах.

А, да. Есть как text-to-video, так и image-to-video. Хорошо держит физику и сцену после смены кадров. Весьма кинематографично. И, похоже, что это очередной шаг к бесконечной автоматически-создаваемой ленте, награждающей микродозами дофамина...

Мой инвайт для Sora2 – в комментариях. Не забудьте включить VPN США перед тем, как заходить на сайт.