Кожаный дипфейк.

Тут интернетик приподвспучивается новостью про пересадку голов.
Видосик разлетелся, журналюги взвыли.
Там еще самая сладкая фича - пересадка лица! Кожаный дипфейк во плоти.
Смотрите здесь полное видео:
https://youtu.be/szXbuUlUhQ4 (осторожно, тошнит)
А Кожаные дипфейки у них прям на сайте:
https://brainbridge.tech/


Но, камон! Клюква жеж. Они там собираются сливать всю кровь из башки и пришивать непришиваемое. Ну и на сайте столько маркеров того, что это булшит, что я даже сначала писать не хотел. Однако меня закидали ссылками, вот отбиваюсь.
В общем как хорор-муви - хорошо заходит.
Как технология - фейк.
Почитайте лучше вот тут, почему это невозможно:
https://www.theguardian.com/science/brain-flapping/2017/nov/17/no-there-hasnt-been-a-human-head-transplant-and-may-never-be-sergio-canavero

Помните, я постил отличный ролик Funky Hands с использование AnimateDiff и After Effects.

Так вот вышел Making Of этого ролика. Поглядите, кто в теме.
Если интересны детали, то почитайте тут и тут.

А теперь интересное:
На производство ролика ушло 2.5 дня. И одна 4090. От идеи до рендера.

Если поглядеть на ноды из ComfyUI от автора, то вам сюда.

Автор ролика - Алексей Лотков, Денис Сибилев и команда VantageFilms.
Поглядите их инсту:
https://www.instagram.com/vantage_films/

Очень крутая работа. Да еще и в такие сроки. Это ж как надо владеть ComfyUI и After Effects!

Krea.ai таки анонсировали типа-видео-модель. И что самое главное, нормальный UI к нему.

Недавно писал, что Креа запустили фишку с забавным видео-эффектом, когда можно делать морфинг картинок (не в пиксельном, а в латентном пространстве), причем с ключевыми кадрами.

Вчера они разродились Krea Video Open Beta.
Выглядит нарядно. Но если приглядеться, то это, скорее всего, не модель для генерации видео, обученная на видео. Похоже на очень причесанный AnimateDiff, то есть анимацию с помощью Stable Diffusion. Волосы кипят в полный рост.

Как и в случае с морфингом - отличная фишка для эффектов, переходов и абстрактного арта. Но прям для видео или анимации с рассказыванием историй - вряд ли. Хотя... поглядите тут

Но и самое главное. У них, в отличие от других ацких видеогенераторов, есть таймлайн(!) и кифреймы. То есть они упарываются в UI/UX и управляемость. Я уже много раз писал, что в музыкальные и видео-генераторы прямо просится таймлайн. Это вам не тексты с картинкам, где нет дополнительного измерения - времени. И это время(тайминг) хочется редактировать. Монтаж и эффекты в общем.

И Креа тут молодцы.

Вот держите твитторный пост с туториалом, как наруливать видео в Креа:
https://x.com/krea_ai/status/1793570374036357368

Нехилый конфликт между Krea и AnimateDiff.

Похоже я был прав в предыдущем посте, и генерация видео в Krea - это AnimateDiff.

Я поресерчил и оказалось, что в сообществе AnimateDiff часть людей убеждены, что Krea сперли (ну как сперли, скачали открытый код и веса) наработки AnimateDiff и юзают их, для ацкого зарабатывания денег. И в твитторах прям пригорает.

Ниже, я приведу цитаты и ссылку на хороший пост, освещающий историю создания AnimateDiff - там очень много шикарных работ.

Вопрос о воровстве сильно открыт. Как правило, надо смотреть на лицензию всего того добра, которое выкладывается на GitHub. Я не разбирался с кодом AnimateDiff и вопросом о том, легально ли Креа используют код AnimateDiff. Но меня в свое время очень смущал маркетинг Леонардо АИ, являвшегося по сути нашлепкой над Stable Diffusion. Которые запустили в сеть дикий трафик типа "новая модель Леонардо - убийца Midjourney", хотя модель там была Stable Diffusion 1.5. А возможность юзать модели в Цивитай в Леонардо и вовсе ломала такой маркетинг.

В общем, это наверно старая история противостояния открытого и закрытого кода. И того, как можно зарабатывать на открытом коде.

Ниже цитаты:

"Если вы не заметили, Krea — стартап с закрытым исходным кодом, укравший кучу вещей, над которыми люди здесь работали последние 10 месяцев — это было неизбежно, но все равно меня огорчило. В ответ я написал здесь краткий обзор, документирующий некоторые достижения Animatediff https://x.com/pom_I_moq/status/1788675646069277008.

Спасибо всем, кто поделился этим! Я думаю, что сделать так, чтобы все знали о природе таких компаний, как Krea, — это самое лучшее, что мы можем сделать — не спорить и бороться с ними, а информировать о том, чем они занимаются. Оттуда они примут собственное решение.

Кто-то может сказать, что эти люди, зарабатывающие все деньги на этом, неизбежны и что все, что люди придумывают, в конечном итоге будет аналогичным образом коммерциализировано другими людьми, которые почти ничего не имеют общего с экосистемой.

Прежде всего, это было бы ужасно, потому что, как показали такие компании, как Kaliber и Leonardo, конечная цель этих компаний — использовать преимущества открытого исходного кода для обучения более совершенным закрытым моделям. Со временем их цель состоит в том, чтобы сделать открытый исходный код недоступным для своих моделей."

На HuggingFace появилась фича Use this model для запуска LLM и Text-2-Image моделей у себя локально через желаемый софт.

В настройках хаггинг аккаунта заходим в раздел Local Apps and Hardware. Можно здесь задать своё железо, но на фильтрацию AI-приложений похоже это не влияет. Я с ноута, где стоит двухгиговая 1050 запустил ламу 3 в Jan, всё ок.

Ставим галочки на софте, который вы используете для того, чтобы гонять модели локально. Для работы с текстом поддерживаются llama.cpp, LM Studio, Jan, Backyard AI. С картинками пока только Draw Things и, скоро, DiffusionBee, но они обе только на мак.

Нажимаем Browse Compatible Models —> выбираем приглянувшуюся нейронку —> кликаем Use this model в правом верхнем углу —> выбираем в каком софте запустить, и через диплинк в нём откроется окно для загрузки модели. Можно и просто исследуя хаггинг открыть понравившуюся нейронку нажав Use this model.

Доступны, в основном, квантизированные GGUF версии, которые можно скачать либо целиком, либо они состоят из нескольких частей и для работы понадобится скачать их все как архив из множества кусков (они обычно подписаны part_N). Чтобы понять какую модель грузить, можно глянуть страницу с описанием на хаггинге, если там про это есть. В противном случае качайте, то что как вам кажется нормально запуститься в памяти вашей видюхи. Как только модель загружена — можно генерить.

Если вы пилите своё приложение для запуска локальных моделей, то нажав Suggest a new local app вы можете предложить добавить его в список.

Матрица все ближе. Нео и агент Смит пока играют в настольный футбол.

Идея хорошая. Прокачивать обратную связь и гонять мячик силой мысли полезно для мозга.

Тут вот управление глазами прикручивают к айфону (и уже прикрутили к хуавею).

Но прикиньте прокачанный скилл типа "разблокируй телефон, запусти телегу, открой канал Метаверсище". И все это силой мысли.
Вынимаешь телефон из кармана, и сразу читаешь этот пост. Без тыкания грязными пальцами в экран.
Листаешь также, силой мысли.

Одна засада, надо потратить много усилий на тренировку таких навыков

У меня был такой приборчик, с манжеткой на ладонь. Довольно сильно приходилось пыхтеть, чтобы сдвинуть мячик с места. Также была примочка к айфону.

Покрал видео на компьютере, там довольно интересный научпоп про телекинез и про то, как промты ЛЛМ связаны с телепатией.
https://www.computerra.ru/297102/smogut-li-mozgovye-chipy-odarit-lyudej-telekinezom/

Шутки кончились.

Роботы-псы уже на вооружении у Китая 🇨🇳

Это уже не пес с огнеметом просто приколу. Это уже не прототип и не эксперимент.

Это видео (вроде как) с учений китайской армии, которые проходят прямо сейчас.

Возникает много вопросов:
- Что за оружие установлено на пса.
- Пес управляется дистанционно, или, наконец, получил автономность и все помнит.
- И, самое главное, СКОЛЬКО у них этих псов.

Кажется, уже совсем скоро кожаные узнают ответы. И ответы им не понравятся.


🔴 @reptiloidnaya × #киберпанк #роботы

Виртуальная примерочная наоборот.

Гугл бахнул прототип инверсной примерочной - одна и та же одежда виртуально примеряется на разных людях. Люди, судя по всему, не кожаные, а диффузионные. Всех цветов, а главное - размеров.
Выглядит занятно - выбираешь сначала шмот, потом цвет и размер себя родимого, и ну примерять.
https://www.wired.com/story/google-ai-shopping-clothes-fit-different-bodies/

Кстати, у Гугла уже есть и "прямая примерочная":
https://www.wired.com/story/google-generative-ai-clothes-shopping/

И таких примерочных уже много, недавно обсуждали VTON.

Но с инверсией забавно и диверсити на месте.

Чутье меня не подвело.

Помните, что я писал, что вся эта вирусная лабуда про пересаживание голов - фейк?

Читаем ниже.

Видео, впервые опубликованное в прошлый вторник, набрало миллионы просмотров, более 24 000 комментариев на Facebook и страйки на TikTok за жуткие изображения отрубленных голов. На сайте BrainBridge размещено несколько вакансий, в том числе одна для "руководителя группы нейронаук" и другая для "советника по связям с правительством". И даже New York Post написала, что BrainBridge - это "стартап в области биомедицинской инженерии" и что "компания" планирует провести операцию в течение восьми лет.

Так вот, компания BrainBridge - это фейк. Она нигде не зарегистрирована. Видео снял Хашем Аль-Гаили, йеменский научный популяризатор, который в 2022 году сделал вирусное видео под названием "ЭктоЛайф" об искусственных матках, заставившее журналистов ломать голову над тем, реально ли это.

Так что расходимся. Пофантазировали в коментах, и хватит.

В статье любопытные мысли о том, что это прогрев аудитории и попытка понять, можно ли на эту тему привлечь инвестиции.

https://www.technologyreview.com/2024/05/23/1092848/that-viral-video-showing-a-head-transplant-is-a-fake-but-it-might-be-real-someday/

Также Suno.ai пилят четвертую версию, в которую пойдет фишка из предыдущего поста.

А пока они открывают доступ к версии 3.5 для подписок Pro и Premier.

v3.5 - это обновленная версия v3 со следующими улучшениями:

- Максимальная длина клипа - 4 минуты! Целый трек, без нужды склеивать.
- Максимальное продолжение имеющегося трека на 2 минуты
- Значительно улучшена структура песни
- Сохранение в формате .wav.

Обещают открыть версию 3.5 для бесплатных пользователей уже на следующей неделе.
https://twitter.com/suno_ai_/status/1794145852723777559

Из набросков в 3Д.

В коментах вопрошали, а можно ли из чертежей или набросков делать 3Д.

Держите довольно ловкий плагин для Блендора. Позволяет делать процедурные города и улицы. Внутри довольно много ассетов. И нет, это не ИИ. Это олдскульный процедурный генератор.
Много видео и туторов вот тут:
https://blendermarket.com/products/icity

Немного AnimateDiff + DaVinci Resolve + Udio в умелых руках.

Вот что получается, когда за дело берутся взрослые мальчики, которые умеют и в моушен дизайн и в ComfyUI, которые умеют и рисовать, и раскатывать репозитарии с Гитхаба.

Хотите больше работ и немного подробностей, как делаются такие штуки, шуруйте в твиттор автора, там очень интересные технические эксперименты.


А полное видео на 4 минуты находится тут, осторожно, залипательно...

Udio смотрится очень уместно - получается полный генератив от начала до конца.

📰 OpenAI объявили, что начали обучение новой версии GPT, скорее всего, речь идет про GPT-5.

В посте говорится, что сегодня совет директоров OpenAI сформировал Комитет по Безопасности, возглавляемый Бретом Тейлором, Адамом Д’Анджело, Николь Селигманом и Самом Альтманом. И это связано с обучением и выпуском следующей версии GPT, цитирую: OpenAI недавно начала обучение своей следующей передовой модели, и мы ожидаем, что полученные системы выведут нас на новый уровень возможностей на нашем пути к AGI. Скорее всего, речь идет именно про GPT-5.

Анализируя актуальный релиз GPT-4o, можно сделать вывод, что кроме еще более дорого претрейна из коробки стоит ожидать:
— более качественный Aligning (понимание и следование намерениям пользователя) с уклоном не только в точность, но и в безопасность
— Еще больший упор в мультимодальность. Тут фантазирую, но вероятно, что будет еще более глубокий fuse визуальных, текстовых и аудио токенов.

читать 👉 OpenAI Board Forms Safety and Security Committee

Тут вот все опять цитируют МакКинзи, который теперь строчит аналитические прогнозы про ИИ.
Я поднял свой пост двухлетней давности, где они на серьезных щах ванговали, что рынок Метаверса достигнет в 2030 году размера в ПЯТИ ТРИЛЛИОНОВ долларов. Ну то есть берем хайповый термин, которому так и не придумали определения и ну ванговать в угоду рынку.
Почитайте, пост едкий, но хороший: https://xn--r1a.website/cgevent/3709

Это я к чему? А к тому, что пора уже выпить за всех этих онолитегов, которые по старым лекалам вангуют на рынке, не очень понимая предмет, и не очень понимая, что данные теперь гораздо лучше трактуются ИИ, чем кожаными агрегаторами данных.

Почитайте следующий пост о том, что даже без какой-либо описательной или отраслевой информации LLM превосходит финансовых аналитиков в своей способности предсказывать изменения прибыли. А уж если ИИ подкормить спецификой, то за кожаных вангователей точно можно выписвать не чокаясь.
⬇️⬇️⬇️⬇️⬇️⬇️

Прикольненко. GPT-4 оказалась лучше профессиональных аналитиков и гораздо лучше предсказывают будущие доходы и делать финансовый анализ даже без файнтюнинга какого-то специального, просто с chain-of-thought.

Вот что пишут:
Даже без какой-либо описательной или отраслевой информации LLM превосходит финансовых аналитиков в своей способности предсказывать изменения прибыли. LLM демонстрирует относительное преимущество над человеческими аналитиками в ситуациях, когда аналитики обычно испытывают трудности. Более того, мы обнаружили, что точность предсказания LLM находится на одном уровне с эффективностью узко обученной современной ML-модели. LLM генерирует полезные описательные сведения о будущих показателях компании. Наконец, наши торговые стратегии, основанные на прогнозах GPT, дают более высокий коэффициент Шарпа и альфа, чем стратегии, основанные на других моделях. В совокупности наши результаты позволяют предположить, что LLM могут играть центральную роль в принятии решений.

https://papers.ssrn.com/sol3/papers.cfm?abstract_id=4835311

Поставьте 72.5 реакции и я наконец-то напишу про AGI. Ибо откладываю уже три месяца. А наболело.

ИИ-авторские

А тем временем сделаю вот такой некороткий наброс.

Тут общественность худо бедно разобралаcь со Скарлет Ёхансон и голосом Sky, который удалили из chatGPT. Если вкратце, то это была не Скарлет, а неизвестная никому (пока) актриса озвучания. Когда ее отобрали, то НЕ просили быть похожей на Ёхансон и не упоминали фильм Her как референс. Просто записали, как есть. А получилось (немного) похоже на Скарлет.
Тут бы поставить точку, но остается вопрос - а схренали Сэм звонил Скарлет тогда накануне презентации (ну ок, может предлагал сотрудничество на будущее).
Дальше встает очень интересный вопрос, а если ваш голос похож на голос Лепса или Джанифер Лопес, то вам получается надо помалкивать, ибо если вдруг озвучите что-нибудь популярное, что вам прилетит от Лепса\Лопес. Тут рождается идея для стартапа - токенизация голоса, цифровая метка на ваш тембр, которую вы храните в блокчейне, хотя я думаю WorldCoin - это подхватит.
Кстати, кожаные двойники встречаются в природе примерно 1 на 100 000. То есть лица, которые условные пограничники на таможне будут путать друг с другом. ИИ в этом случае различает лица лучше, больше параметров считывает.

Но я веду вот к чему. Если вы Ёхансон или Лепс, то у вас есть агент или агентство, с которым у вас контракт. У них есть права на ваш голос, пестни, и всякую дичь, которую вы исторгаете из себя.

Но ИИ учится не только на ЛепсоЛопесах, он учится на всех кожаных. И в роли агентства для вас родимых выступают фейсбучеги, реддиты, артстейшены, твитторы. Куда вы, гогоча, вгружаете свои неумные мысли и гениальные картинки. Просто заводя аккаунты, вы нажали кнопку "Согласен". С тем, что все ваши авторские комментарии теперь во власти соц-сетей и всяких агрегаторов USG (user generated content).

Да, контракт можно разорвать, просто удалив аккаунт. Но вы готовы платить такую цену?
Если нет, то привыкайте, что теперь у вас у всех есть свои агенты, которые владеют авторскими правами на контент, который вы производите. И владеют полностью, с потрохами. И продают эти потроха и ваши авторские права Гуглу, ОпенАИ и всем кто даст хорошие деньги.

Так что вы теперь все Ёхансоны в каком-то смысле. Только судиться не с кем.

Продолжаем за 3Д.

Rodin Gen-1 атакует меня письмами.

Тизерят новую модель, а пока предлагают поиграть с их демо вот тут:
https://huggingface.co/spaces/DEEMOSTECH/Rodin

Но я пошел к ним на сайт, там гораздо больше опций и задал им перцу, результаты ниже.