С выходом ControlNet процесс генерации картинок все больше начинает напоминать традиционный композитинг. Ну или работу со слоями в фотошопе.
Народ уже осваивает работу со светом, подмешивая черно-белые маски через ControlNet.
Про риги, тексты, глубину, фоны я уже писал.
Народ сооружает костыли в Automatic1111, продираясь сквозь адовое скопление галочек, слайдеров, полей.
И ведь это хозяйство будет только разрастаться.
Интересно, в каком направлении пойдет дальнейший прогресс. Кто-то скушает разработчика Automatic1111 и сделает нормальную расширяемую систему с годным API и намеками на масштабируемость вкупе с годным UI?
Или Адобченко (или кто-то из) прикрутит нормально это хозяйство в систему слоев в Фотошоп или Афтер?
Ну правда, уже просится послойная генерация с композом слоев в каком-то нормальном виде.
Тем более, что на подходе работы (Compose от Алибабы и др), которые сходу пилят генерируемую картинку на слои-композиции.
https://www.youtube.com/watch?v=MDHC7E6G1RA

Я тут много писал про ИИ-психотерапию и ИИ-рефлексию. Закончилось это тем, что ко мне пришли настоящие кожаные психологи - ИИ все слышит. То, что вы называли синхронистичностью - лишь круги на воде латентного пространства ИИ.

Что мы слышим вокруг?

Думай позитивно. Верь в себя. Не грусти, не унывай, не злись и… загони себя в невроз.

Окружение и среда — реклама, сериалы, медиа — диктуют нам, как правильно чувствовать. Одни эмоции общество поощряет, а другие называет «стыдными». Справиться с внешним давлением нелегко. У многих развивается ощущение, что с ними что-то не так.

Но хороших и плохих эмоций не бывает. Мы имеем право на любые чувства — даже если это обида, тревога или страх. Важно научиться не винить себя за чувства и отделить чужие стандарты от своих потребностей. Легче всего сделать это вместе с психотерапевтом.
Крупнейший сервис онлайн-психотерапии «Ясно» — это более 2 900 проверенных специалистов. Достаточно заполнить анкету, и умный алгоритм предложит 12 терапевтов, которые работают именно с вашим запросом. «Ясно» тщательно отбирает специалистов: каждый проходит собеседование, подтверждает образование и опыт консультирования, а также предоставляет рекомендации от признанных профессионалов.

Подключиться к сессии можно из любой точки мира. По промокоду METAAI вы получите скидку 20% на первую сессию при регистрации.

Три дня назад OpenAI выпустили документ под названием "Planning for AGI and beyond". В нем — общие принципы действий компании по мере того, как мир приближается к созданию AGI (Artificial General Intelligence).

Написали его OpenAI из идеи, что AI потенциально может принести людям много вреда, однако пытаться остановить прогресс — не вариант. Поэтому нужно понять, как продолжить этот прогресс так, чтобы не стало очень плохо.

Документ вот. Я тут выделю несколько ключевых (на мой взгляд) моментов из него:
✔️ В целом, мы хотим, чтобы AGI помогал человеку процветать во всех сферах жизни. В частности, экономически и научно.
✔️ Вместо того, чтобы сделать супер-крутой большой AI и сразу кинуть его в мир, мы будем придерживаться постепенного, медленного внедрения все более сложных и "умных" моделей. Идея такая: плавное увеличение способностей AI не повергнет мир в шок, и даст людям время приспособиться, адаптировать экономику и выработать нужные регламенты (а-ля законы) по взаимодействию с AI.
✔️ Более того, OpenAI предлагает всем крупным организациям договориться следовать правилу выше (выкатывать сильный AI постепенно). Также предлагает организовать независимые аудиты больших систем до их релиза в массы и ограничить количество вычислительных ресурсов, которые могут использоваться для тренировки моделей. В целом, OpenAI предлагает организациям сотрудничать в повышении безопасности AI вместо того, чтобы участвовать в гонках вида "кто первый выкатит модель покруче и побольше"
И вот еще интересная приписка к абзацу с этими мыслями: "Finally, we think it’s important that major world governments have insight about training runs above a certain scale". Вот тут хочется подробнее услышать о том, что OpenAI имеет в виду. На первый взгляд мне не кажется это предложение таким уж прям хорошим.
✔️ В то же время мы хотим, чтобы AI был максимально открыт для всех, и открыт для всех одинаково: "мы считаем, что будущее человечества должны определять сами люди, поэтому верим, что очень важно делиться информацией о прогрессе AI со всеми". Как достичь такого равенства, пока не очень понятно, поэтому OpenAI пишут следующее: "we hope for a global conversation about ... how to fairly distribute the benefits they [AI models] generate, and how to fairly share access".
✔️ Будем работать над созданием более согласованных и управляемых моделей. Тут речь, насколько я понимаю, про bias и нежелательное поведение моделей (вроде вот такого). У OpenAI идея тут такая: выпустить в массы версию модели, которая будет довольно ограничена, но при этом разрешить пользователям настраивать модельку под себя. Честно, не очень понимаю, как это поможет сделать модельк в целом менее biased (пользователи чего только там "под себя" не настроят). Разве что снимет с компании ответственность за подобное поведение модельки.

В целом, имхо, документ ведет в правильном направлении. Но у меня возник небольшой диссонанс между "мы не будем сразу показывать крутые модельки публике, а будем о них говорить государствам" и "люди должны знать о прогрессе AI".
Будем ждать подробных разъяснений от OpenAI по всем пунктам, короче.

ИИ - художник, он так видит!

Автопилот Теслы так воспринимает окружающий мир. Ну просто он вырос на улицах, где все играли в машинки. С волками жить - по-волчьи выть.

Вот такой вот киберпанк на переезде.

Тут вот интернетик приподвзорвался пароксизмами восторга по поводу нового видео от Corridor Crew.
Да, выглядит убойно. Но давайте разберемся. И отделим ИИ от котлет. Или мух от ИИ.

Наверное, первое, что стоит оценить здесь, это долю Stable Diffusion, которая тут замешана.
Для этого стоит внимательно посмотреть making of и разобраться в том, как они запилили все это безобразие.

Если быть безобразно кратким, то весь трюк состоял в хорошем обучении своей модели как для персонажей, так и для окружения (на основе аниме 2000 года). И применении плагина DeFlicker для Resolve. На этом собственно все.

Все остальное - два месяца работы большой команды. Много съемок, много костюмов, много RnD, много 3Д в UE5, и много традиционного композа во всех его проявлениях.

Доля ИИ тут невелика и больше напоминает стайл трансфер.

Немного деталей из никогда непросмотренного вами видео:

Мне все равно режет глаз ацкий фликеринг теней, шейдинга, причесок и прочих деталей. Сильно гуляет форма башки. Да, это космически хорошо по сравнению с бурлежом от deforum и warp diffusion, но боюсь, что простой ДеФликер не может решить родовую проблему диффузионных моделей. Она остается и она не решена.

Фоны были полностью сделаны в UE, там же поставлены камеры. Потом просто делались скриншоты экрана и гнались в Stable Diffusion img2img. Там стилизовались. Генерации фонов из текста не было.

Интересна часть про липсинк. На съемках ребята специально бубнили чушь, чтобы быть похожими на аниме персонажей и убрать радикально вопрос о "непопадании" в звук. Стиль аниме не предполагает попадания вообще. Остроумно.

Ну и львиная часть работы - это direction of story.

В конце они также показывают, как взрослый композ может сделать из любой картинки конфетку.

Так что я не сильно впечатлен. Это отличная работа огромной команды из поста в течение 2х месяцев. Я не уверен даже, что тут есть экономия бюджета.

Это идеальное техническое демо для вдохновения.

И кстати, все это сделано без ControlNet.

И вот следующее видео со всеми этим ригами, скелетами, глубиной, нормалями в руках взрослых мальчиков может быть действительно впечатляющим.

А пока просто демо.

Вот держите самый полный на сей момент Prompt Engineering Guide.
Но не для Stable Diffusion или Midjourney, а для chatGPT и других языковых моделей.

Вот что пишут авторы, которые до сих пор думают, что ИИ - это автозаполнятель.

"Инжиниринг подсказок — это относительно новая дисциплина для разработки и оптимизации подсказок для эффективного использования языковых моделей (LM) для широкого спектра приложений и тем исследований. Быстрые инженерные навыки помогают лучше понять возможности и ограничения больших языковых моделей (LLM)."

Если же почитать оглавление и некоторые вводные, что становится понятно, что Инжиниринг подсказок - это идеальный способ понять, как устроен кожаный мешок.

Некоторые тексты похожи на выдержки из протоколов общения с душевно больными или напоминают разговоры с маленькими детьми.

Ну и наконец-то можно понять, почему NLP (natural language processing) и NLP(Neuro-linguistic programming) называются одинаково. Изучая, как воздействовать на большие языковые модели, мы понимаем как манипулировать кожаным мешком.

Так что держите наиболее полный гайд по манипуляциям с кожаными мешками.
https://github.com/dair-ai/Prompt-Engineering-Guide

В общем два года назад мы восхищались МетаХуманами, учили их подавать признаки жизни, разговаривать, прикручивали к ним эти странные конструкции из айфонов, палок и велосипедных шлемов, чтобы снять мимику. Думали, но вот еще чуть чуть и заживем, заговорят наши аватары на всех углах. Трехмерные, красивые, перешедшие зловещую долину.

2023.
MidJourney.
ChatGPT.
Elevenlabs.
D-ID.

Done.

Ни один тридешник не пострадал. Точнее не потребовался. Равно как и текстурщик, и риггер, и спец по UE, и рендер-артист.

Полный гайд смотрим тут:
https://www.youtube.com/watch?v=do6nz5JcZkI

Текст девочка сдает экзистенциальный. Прислушайтесь.

Кому АPI для chatGPT?

Стоит это будет как модель Кюри для GPT3.

Цены, детали и ответы на вопросы вот тут:

https://help.openai.com/en/articles/7039783-chatgpt-api-faq

И самый интересный вопрос:

How do I keep the Chat session focused on a topic?

The main way to keep the conversation focused on a topic is the system message. You can set this

Это все.

Ну и вот уже свежий хрустящий тутор о том, как пилить нормальные руки в Stable Diffusion с помощью прототулзов из предыдущего поста..
Спойлер: одной кнопкой не получится, надо плясать с Блендором, Фотошопом и КонтролНетом.
Но все это через пару месяцев будет упаковано в кнопки.
Но те, кто сейчас продерётся сквозь нынешние нагромождения лайфхаков, будут потом понимать, как эти кнопка работают.
Хотя кто нынче хочет понимать.. все хотят жмакать рычажок удовольствия в генераторах изображений.
https://youtu.be/ptEZQrKgHAg

Сегодня постил про новый Prompt Guide.
Документация по программированию кожаных мешков.
Но это были цветочки.
Микрософт выкатила Promt Engine - среду для разработки .. промтов!

Если раньше вы писали на С или Питонге и у вас были все эти дебагеры, песочницы, среды разработки, то теперь вы можете начать писать код (для взламывания ИИ и Кожаных) на простом английском языке.

"Имея стандартный шаблон для работы с моделью, вы можете повторять свои собственные базовые подсказки, отслеживая выходные данные и уточняя входные данные, где это необходимо."

Отладка промпта в чистом виде!

Давайте ещё раз.

Это как бы среда разработки программ на мета_языке (пока английском), позволяющая написать код (английский текст), который заставит ИИ делать то, что вы захотите. Через отладку и обратную связь. Prompt Engineering на стероидах девелоперского опыта.

Мне это видится как огромная исследователькая клиника, где ставят эксперименты над ИИ, подавая код на электроды. И наблюдая результат.

Который потом идеально подойдёт для манипулирования кожаными мешками. Ибо языковые модели на то и большие, чтобы отлично эмулировать первую систему Канемана. Когда не до раздумий.

Behavior Engineering - вот что это такое.
Бихевиористы, сдувайте с себя пыль, ваше время пришло, теперь официально можно отлаживать выполнение поведенческих программ. Для этого теперь есть среда разработки.

https://www.infoworld.com/article/3688991/design-effective-ai-prompts-with-microsoft-prompt-engine.html