Наблюдения и замечания по Flux Kontext Dev:

Пока мы просто меняем фон + следом одеяние персонажа + просим придерживаться рефа while maintaining the same facial features, hairstyle, and expression = всё хорошо. Стоит только изменениям зайти в поле действия лица, например, отдалить камеру, поднять руку на уровень головы, закурить сигару, итд, как начинают появляться красные шакалинки, а лицо становиться видавшим некоторое латентное пространство и сыпаться кубиками кнор. Причём квадратный шов вокруг пожатого оригинала часто хорошо виден, а часть полученная через аутпейнт четкая и гладкая.

Дело усугубляется, если на Refresh была взята генерация с шакалинками на лице — каждая последующая генерация будет усугублять ситуацию. Поэтому следим, чтобы на вход подавались версии с чётким лицом.

Я думаю, что этот квадрат и шакальность пофиксят в ближайшее время ибо это слишком видный косяк, на который быстро натыкаешься.

Другой момент: стоит попросить улыбнуться, повернуть угол обзора или самого персонажа, как человека может очень сильно поменять на совсем другого. Потенциально это можно вправить потом в FaceFusion, например. В то же время чуть другой угол можно использовать, чтобы уйти от зашакаливания, ибо картинка будет перерисована полностью без удержания фрагмента оригинала.

Ну, и если говорить про лоры vs Kontext, то последний хоть и отлично держит человека при минимальном изменении его позиции в кадре, но первые могут дать больше свободы для движения персонажа, ибо обладают большими данными о лице и теле с разных сторон. Есть вариант и сразу вкидывать в Kontext мультивью обзор человека скажем с 4 точек + реф одежды, для комплексной смены внешнего вида. А если в Kontext можно будет давать скажем 5-10 фоток на вход, чтобы он именно имел более полный контекст о персонаже, то в каких-то пайплайнах отпадёт необходимость в трене.

Как я уже сказал дробите задачи на этапы:
1. сменить фон и одежду (что понравилось —> Refresh)
2. дать в руку карандаш (что понравилось —> Refresh)
3. отдалить кадр и вписать его как фото в журнал (что понравилось —> Refresh)
4. итд

Также делим сам промт на логические куски. Должно по-человечески чётко считываться, в какой последовательности, что должно измениться и как. Не вваливаем всё в одну кучу. Если есть возможность выделить на рефе место, которое нужно изменить, например в фотошопе, то это поможет модели дать нам, то что нужно.

С длиной промта борщить не стоит, ибо не факт что это спасёт от зашакаливания, и одним заходом сразу много правок модель может не осилить: генерация превращается в рулетку казино, где у тебя появляется одно и отпадает другое, а джекпот ты можешь собрать только сам из кусочков идей в фотошопе. В такие моменты радуешься, что ты генеришь не на кредиты.

Для отдаления кадра не просто пишите zoom out, а описывайте картинку какой она должна выглядеть в итоге.

Тут может прийти на помощь пустой латент. Указываете разрешение больше своего оригинального изображения, задаёте центрирование, пишете заменить серую часть на то, что нужно и вперёд. Посмотрите как это делали разрабы Comfy на стриме.

Есть ещё проблема с автоматом включающейся кнопкой Refresh — имеет смысл отключить её и рефрешить только те генки, которые вам понравились, иначе вы сами не заметите, что оно вас завело не туда, куда вам надо.

Более серьёзная проблема — работа с двумя картинками. Пока оно работает просто как карта ляжет. И если перенос стиля с одной картинки на другую вроде работает ок, то вот внедрение объектов с рефа на целевое изображение порой тяжело получить. Хотя если крутить сиды и шаги по тому же промту, в какой-то момент может прокатить.

Объединение картинок в одну отрабатывает проще, если вписать тригер place both characters together in one scene. Но картинки могут и не сшиться, а могут и получиться два персонажа разных масштабов и степени зашакаленности на одном фото.

Какие то полезные замечания ещё найдёте тут.

В целом Kontext инструмент годный. Пригодится в дизайне, рекламе, кино, итд. Нужно лишь понимать его ограничения, и знать как его использовать, чтобы получить то, что нужно.

Когда взял вайбкодера в команду