VEO-3

На видео, шоты, которые удалось мне сгенерировать в Veo-3 и которые решил отобрать в небольшой шоукейс. Конечно же смотрим только со звуком.

На мой субъективный взгляд — инструмент сильный, но примерно 60-70% генераций с артефактами, и один из ключевых отсутствие генерации звука. То есть Veo-3 представлена как нейросеть генерирующая кадры со звуком, и когда у тебя из 3 генераций такая только 1, становится немного грустно за свои потраченные средства, ведь их не возвращают за артефакты.

Что стало ясно:

Промпт слушается, промпт лучше составлять максимально детально и понятно с точки зрения описания деталей. Но есть ограничение которое видимо выглядит следующим образом, у VEO-3 есть внутренняя генеративная физика и прописанное понимание сцен, то есть нейронка сама выступает в роли режиссера скорее, вы только сценарист, и то нейро-режиссер в какие-то моменты наплюет на ваши сцены.

Например промпт с космонавтом (самая первая сцена) выглядел вот так:

A lone astronaut in a dim, flickering airlock chamber. The helmet is cracked.A blinking red light directly above them pulses rhythmically. Reflections of distant warning screens shimmer on the helmet glass. Their gloved hands tremble slightly. Suddenly, the reflection shows a figure approaching — but there's nothing behind them. Camera: Static, tightly framed portrait, centered. Lighting: Pulsing red and blue glow from above. Sound: Oxygen hiss A deep, intermittent beeping Sudden silence in last second Composition: All key elements (helmet, face, light, reflection) are perfectly centered

И он практически идеально воспроизвел задумку.

А есть кадры (оставлю в комментариях вместе с промптами), которые он не смог повторить, и как бы я не переписывал, почти безрезультатно.

Как итог: инструмент пока рано брать в коммерцию как замену Kling тому же, но думаю уже через несколько месяцев мы получим более контролируемое управление и сможем реализовывать почти любые задумки.

С двух ног к вам в ленту залечу летним настроем

В общем собрал новый генеративный шоу-рилс, хотелось такого немного сумасшедше-яркого настроения. Кадры Midjourney + Kling/Veo/Higgsfield.

Пару кипящих моментов выправил TopazОм, парочку не смог, но из-за скорости они картинку не портят.

В общем, enjoy!

P.s. Когда нибудь Дуров сюда завезет возможность грузить видео в максимальном кач-ве и обрабатывать на стороне сервера, но это уже другая история.

P.s.s. Ну хоть это лето не просрите.

Что если нейросети могли бы говорить?

Ну благодаря Veo-3 могут, и даже на русском. Сделал небольшое видео, чтобы показать о чем ✌🏻

Кажется понял основные паттерны по которым можно генерить русский язык в Veo.

— 70-90 символов на русском языке она пропускает. Больше не дает. (исключения есть, но устанете крутить эту рулетку)
— С попыткой дать таксисту грузинский акцент не справилась, но эт мелочи.
— Интонации +- может понимать самостоятельно, отталкиваясь от контекста и сцены.
— Персонажей можно сохранять 2мя способами, делать простых через txt-to-video, или через продолжение кадра, если в последнем кадре предыдущей генерации персонажа видно довольно хорошо.

Промпты все примерно выглядели так:

"Two Russian factory workers stand side by side in a dimly lit industrial hall filled with steam and the low rumble of machines. The one on the left — a man with a weathered face, thick stubble, and oil-stained overalls — grips a heavy metal lever with both hands. A welding mask hangs from his belt, and the word GENERATOR is stenciled in faded white paint across the back of his uniform. His eyes are distant, as if he's pondering something beyond the machine. The worker next to him — stockier, in a red helmet and soot-covered apron — is mid-motion, turning his head sharply toward the first man with an irritated glare. The scene is in Russian. Person on the left speaks in Russian language: «А может, мы все генерация?» Person on the right answers in Russian language: «Петрович, заебал, давай работать!» There are sounds of clanging metal, hissing steam, and distant factory alarms in the background."

Фан-новость этих выходных: автор любовных романов случайно оставила ответ чат-бота в своей книге

На прошлой неделе читатели любовного романа Darkhollow Academy: Year 2 обнаружили в тексте необычную находку: в середине напряженной сцены с принцем-драконом обнаружен ответ ИИ на промпт автора:

«Я переписал отрывок, чтобы он больше соответствовал стилю Дж. Бри»

Автор романа Лена Макдональд, вероятно, использовала ИИ для написания книги, попросив его имитировать стиль другого писателя. После обнаружения промпта книгу стало сложно найти на Amazon, в текущей версии упоминание о копировании стиля Бри уже удалили.

— копируй, только не точь в точь
— хорошо!

@whoisdutytoday

Кризис рук и кризис решений

Наблюдая за тем, что происходит в российских бигтех-компаниях и сталкиваясь с рабочими задачами в своих проектах, я всё чаще прихожу к выводу: дефицит людей, которые могут самостоятельно принимать решения и сами выполнять задачи — колоссальный. И, похоже, все уже смирились с этим как с нормой.

Что особенно бросается в глаза — это какая-то нездоровая одержимость генерацией новых идей и продуктов. Даже в больших компаниях постоянно запускают новые направления, вместо того чтобы улучшать уже существующие процессы. Причём часто эти новые идеи слабо связаны с реальными деньгами или потребностями, но при этом отправляются в разработку — хотя именно разработка сегодня самый дефицитный ресурс.

Ещё одна проблема: очень мало сотрудников способны быстро среагировать на проблему, самостоятельно предложить и реализовать решение. Зато совещания — пожалуйста. При этом решения нередко принимаются людьми, которые даже не владеют инструментами, нужными для оценки или отладки ситуации.

Причём, если раньше казалось, что появление ChatGPT и других LLM упростит процессы, то сейчас всё больше ситуаций говорят об обратном. Особенно в тех задачах, где люди просто формулируют вопрос — а нейросеть уверенно отвечает в духе: «О, это легко решается!» Иногда даже с заведомо обнадёживающим тоном, лишь бы не расстраивать пользователя.

Проблема в том, что многие начинают слепо верить: раз GPT говорит, что «просто» — значит, так и есть. Но это не так. Недавно я сам потратил 3 часа, пытаясь через чат разобраться в одной технической проблеме. Причём с первой же минуты GPT уверенно твердил: «Мы почти у цели». Как вы понимаете, три часа — это не «почти». И только когда я перестал читать, а начал сам руками всё воспроизводить, мне удалось понять, в чём было дело, исключительно логически рассуждая.

Всё это ведёт к подмене практической экспертизы — теоретической уверенностью. На словах и в чатах — всё очевидно. Но когда доходит до реального внедрения, до деталей, до багов, до настоящей архитектуры — всё рассыпается. Процессы затягиваются.

Мы вроде бы живём в век инструментов, но всё больше ощущение, что инструментов стало много, а людей, которые ими владеют — всё меньше. Особенно тех, кто может не просто повторить чужое решение, а разобраться, как оно работает и адаптировать под реальность проекта.

Отпускные генеряшки


Пока на отдыхе потихоньку пробую тестировать разные форматы видео, чтобы немного разнообразить контент.

В целом, за время отдыха возникло много мыслей, наверное самая грузящая это бесконечное фомо, когда что-то не делаешь. Думаю чуть позже поделюсь.

Так, вернемся к видео, тут пробовал Pika — но получалось плохо, поэтому GPT+Kling 1.6

Sora пора выпускать 2.0

Мне тут попала в руки GPT-pro за 200$. Ожидания от Sora по такой цене были высокими. Всё-таки $200 подписка — логично предположить, что это даст доступ к более качественным и мощным вычислительным ресурсам.

Но на практике:

Img-to-video работает крайне нестабильно.

Видео часто слабо связаны с исходным изображением — логика анимации нарушается.

В сравнении с Kling 2.1, Hailuo 2 или Veo 3 — Sora проигрывает именно в умении “понимать” логику движения.

Причём даже модели вроде Hailuo/Kling уже умеют без промпта генерировать видеоролики на основе входной картинки — с хорошей физикой, последовательностью, логикой движения. Sora же остаётся на уровне рандомизированных анимаций.

Txt-to-video у Sora — лучше, но и здесь всё упирается в ограничения генеративных моделей: фантастические, сложные сцены по одному только тексту создаются плохо или с искажениями.

Все-таки я понимаю, почему у Sora даже за 20$ относительный безлимит, как по мне, это самое "казино" из всех подписок, то есть шансов сгенерировать то что нужно довольно немного.

К посту прикреплено зацикленное простенькое видео, вот этот формат там получается довольно неплохо, в теории для соцсетей можно использовать.