Для гиков.
Omnigen в Блендоре через Палладиум.

https://github.com/tin2tin/Pallaidium

Палладиум - это довольно несвежий, но живой проект: A generative AI movie studio integrated into the Blender Video Editor.

@cgevent

Imagen 3 + Magnific Upscaler = FLUID

Похоже на рынке устаканиваются два крупных аггрегатора генеративных сервисов: Krea и Freepik.

Про Креа мы все в курсе, про Фрипик чуть подробнее.

Это был просто стоковый сервис, но они некоторое время назад пожрали Магнифик.

А Магнифик знаменит своим креативным (и очень дорогим) апскейлером MagnificAI.

А еще тем, что они брали чужие модели, наваливали на них апскейл и выдавали их за свои "новые модели"

В общем щас на Freepik полный фарш: они релизнули Freepik AI Suite, где есть FluxPro с инпейнтом и аггрегация видеомоделей.

Из последних новостей: Freepik AI Suite теперь включает тот самый дорогой Magnific AI.

Но это была подводка.

Сегодня они бахнули коллаб с Гуглом: Imagen 3 + Magnific Upscaler = FLUID

Они попять называют Флюид новой моделью, хотя это, грубо говоря ловко собранный воркфлоу\пайплайн

В общем выглядит это очень хорошо, ибо Imagen 3 довольно хорошо докрутили до годного, а сверху еще и лучший коммерческий апскейлер с рынка.

Получается отличное коммерческое комбо.

Поглядите сравнения тут, впечатляет.

@cgevent

Veo2 в городе!

Точнее в Ютюбе!

Еще точнее в приложении YouTube.

И создаёт он Shorts!

Бесплатно, безлимитно, и есть лайфхаки, как видосы оттуда выкорчевывать.

Я завтра целый день в горах, поэтому вот вам первые детали в хаотическом порядке, а дальше сами...

В Европе - хренушки.

Да, ватермарки на пол подвала.

Да, это типатурбо модель. Генерит быстро, но это не полная модель.

Модерации жёсткая, но помогает долбить одним и тем же промптом.

Три минуты?!?!

Можно тримить.

Минимум управления камерой и движением. Функциональ порезан по сравнению с десктопной версией (закрытой бетой).

Промпт ограничен 900-1000 символов.

Есть генерация музыки!

Сохранить нельзя! Можно только зааплодить в Ютюб, но оттуда вы достанете видос с вотермаркой.

Официальные детали тут:
https://www.theverge.com/news/612031/youtube-ai-generated-video-shorts-veo-2-dream-screen

Неофициальные - выше.

Всем беспокойной ночи...

Промпт от Рори Флинна:

PROMPT:
A McLaren supercar sits in a dimly lit studio, its sleek, polished body reflecting flickering footage of vintage racing history. The glossy curves capture grainy black-and-white clips of legendary race cars speeding down the track. The reflections ripple across the car’s aerodynamic lines, distorting like memories replaying on a futuristic canvas. The dramatic lighting casts deep shadows, with rim lights subtly outlining the contours of the vehicle, adding to its aggressive presence. The atmosphere is cinematic and immersive, blending hyper-realistic automotive photography with nostalgic motorsport storytelling. There's a faint glow of static interference in the footage bridging past and future in a stunning visual composition, 35mm film.

@cgevent

A 3D-Aware and Controllable Framework for Cinematic Text-to-Video Generation

КонтролНет от\для Клинга.

Я не очень люблю просто пейперы без деталей, демо или оценок (для этого есть Ahsen Khaliq), но тут затевается что-то интересное от Квай.

https://cinemaster-dev.github.io/

Поглядите, на видосы на сайте, прям контролнетконтролнет.

@cgevent

Google только что анонсировала бесконечную память для Gemini.

Чтобы попросить Gemini помнить все прошлые чаты, вам нужен (платный) Gemini Advanced и Gemini 2.0 Flash. И похоже только на английском(?)

На реддите уже называют это Google RAG на стероидах Google Drive.

Для дейтинга и секстинга вообще огонь получается...

@cgevent

Animate Anyone 2: High-Fidelity Character Image Animation with Environment Affordance

Я наверное больше не буду постить ничего от Алибабищенко.

Тут интернетик нам пишет "AnimateAnyone 2 анимирует персонажей по одной картинке".

В каких-то сферических лабораториях или мечтах АлиБабы - наверное да.

Помните, сколько мы ждали код EMO, вместо этого получили EMO2 и тоже без кода.

Animate Anyone 1 обещали опенсорснуть 2 года назад, он набрал 14000 звезд на github, но код до сих пор нигде не обнаружен. И тут нам подсовывают AnimateAnyone 2.

Гусарам же верят на слово?

Я уже писал, что для такого хайпа есть уже термин VapourWare. Бахнуть статью на архив, никто проверять не будет, кода нет, картинки можно любые нарисовать.

Может быть раньше имело смысл такое постить - для вдохновения, так сказать, смарите чо ИИ уже умеет. Но сейчас это уже просто накрутка звезд и внимания. Кожаные не меняются, ибо метрики все те же - звезды, лайки, внимание.

Вместо среднего качества видосов, я вам вот такой скриншот дам. Это лэндинг AnimateAnyone 2 и вверху менюшка типа "Еще ресерч от Алибабы". Так вот НИ ОДИН пункт (кроме Cloth2Tex двухлетней давности) не содержит кода, а многие просто дохлые. Это зачем все постить?

Ну или заведу рубрику ПароВарка - ссылки на проекты без кода...

Идите сами смотреть видосы, которые вы никогда не увидите, сюда:
https://humanaigc.github.io/animate-anyone-2/


@cgevent

Ух ты, Микрософт опенсорснул новую версию OmniParser V2. С коннекторами.

Нет, это не ответочка Operator-y и не агент для управления вашим компом.

Это улучшайзер первой части работы Оператора и ему подобных систем - сильно оптимизированное распознавание содержимого вашего экрана.

Так и пишут: OMNIPARSER, метод разбора скриншотов пользовательского интерфейса на структурированные элементы, который значительно повышает способность GPT-4V генерировать действия.

Более того, этот парсер-распознаватель экрана может быть пристегнут (опенсорс жеж) как плагин и к другим LLM.

И по этому поводу они также релизнули OmniTool: Control a Windows 11 VM with OmniParser + your vision model of choice. И вот это круто ибо тул может работать с: OpenAI (4o/o1/o3-mini), DeepSeek (R1), Qwen (2.5VL) или Anthropic Computer Use

Интересно наблюдать за процессом "декомпозиции" мозгов LLM. Помните писал про Глубокую Клодку, что расщепление на рассуждающую и отвечающую часть, приводит к улучшению качества ответов. Теперь можно отщепить "зрение" или воспринимающую часть. И комбинировать разные "восприниматоры" и "отвечаторы".

А "восприниматоры" тоже можно разделить по областям: распознаватели экрана, спортивных трансляций, жизни насекомых. Надеваем на LLM разные очки и ну улучшать качество ответов вижен-моделей и не только.

В общем мозги для ИИ сделали, пока заняться нервной системой.

Код и все дела тут:
https://microsoft.github.io/OmniParser/

@cgevent

HunyuanVideo GP. GP = GPU POOR

Для гиков. Форк Хуньяня, который работает на картах с 12 Гиг VRAM.

https://github.com/deepbeepmeep/HunyuanVideoGP

Smartest AI on Earth

Доживём до понедельника...

@cgevent

A - Alignment.

Теперь понятно, почему Маск называет Грок самым смышлёным ИИ на земле.

Грок знает, что хочет услышать хозяин. А может быть и любой вопрошающий.

Ждём-с.

O - Offtop по выходным

@cgevent

OpenAI без помпы выложили гайд по промптингу своих моделей (в связи с их растущим многообразием).

Там есть:
Разница между рассуждающими и не рассуждающими моделями

Когда использовать именно рассуждающие модели

Как эффективно промптить рассуждающие модели

Думаю, что если вы в теме, попросите chatGPT суммаризировать гайд сами.

Для ленивых - последний пункт про эффективный промптинг:

Developer messages - это новые системные сообщения: Начиная с o1-2024-12-17, модели рассуждений поддерживают Developer messages, а не системные сообщения, чтобы соответствовать поведению цепочки команд, описанному в спецификации модели.

Делайте простые и прямые промпты: модели отлично понимают и отвечают на краткие, четкие инструкции. Избегайте промптов в виде цепочки мыслей: Поскольку эти модели выполняют рассуждения внутренне, предлагать им "продумать шаг за шагом" или "объяснить свои рассуждения" не нужно.

Используйте разделители для ясности, такие как разметка, XML-теги и заголовки разделов, чтобы четко обозначить разные части входных данных, помогая модели интерпретировать различные разделы должным образом.

Try zero shot first, then few shot if needed: Для получения хороших результатов моделям рассуждений часто не требуется несколько примеров, поэтому сначала попробуйте написать промпты без примеров. Если у вас есть более сложные требования к желаемому результату, возможно, вам поможет включение в подсказку нескольких примеров входных и желаемых результатов. Только убедитесь, что примеры очень точно соответствуют инструкциям промпта, так как расхождения между ними могут привести к плохим результатам.

Дайте конкретные указания: если вы явно хотите ограничить ответ модели (например, "предложить решение с бюджетом менее 500 долларов"), явно укажите эти ограничения в промпте.

Будьте предельно конкретны в отношении конечной цели: в инструкциях постарайтесь указать очень конкретные параметры успешного ответа и поощряйте модель продолжать рассуждения и итерации до тех пор, пока она не будет соответствовать вашим критериям успеха.

Форматирование в формате markdown: Начиная с o1-2024-12-17, модели рассуждений в API будут избегать генерирования ответов с форматированием в markdown. Чтобы указать модели, когда вы хотите, чтобы в ответе было форматирование, включите строку Formatting re-enabled в первую строку вашего сообщения разработчику.

https://platform.openai.com/docs/guides/reasoning-best-practices

@cgevent