Снап Камера вернулась!

У Снапчата была очень прикольная программка для Винды - Snap Camera. Она ставится как виртуальная камера между вашей вебкой и выводом изображения на экран(или в софт). И позволяет накладывать разные забавные маски(линзы) на ваше лицо прямо в реальном времени.
Я часто баловался тем, что на стримах или интервью вдруг менял (хоткеем) свою внешность. Особенно вещая про дипфейки.
К сожалению Snap Camera как приложение умерло, его больше нет на сайте Снапа (но у меня старая версия еще работает).
Но недавно они обновили эту камеру и выпустили расширение для Хрома.
Теперь, если у вас созвоны через браузерного клиента (например, Google Meet), то можете в списке доступных камеры выбирать Snap Camera и ну натягивать маски(линзы) себе на лицо прямо во время созвона.
Подробнее тут: https://help.snapchat.com/hc/en-us/articles/7012304217876-Snap-Camera

А еще у Снапа есть Hosted Web AR Lenses, который тоже работает в браузере, об этом почитайте тут: https://xn--r1a.website/reptiloidnaya/864

AnimateDiff плюс Инпайнтинг.

И ротоскопинг.

Вот такие эффекты делают взрослые ребята.
И пока чуда нет.
Для руки пришлось делать полный ротоскоп в After Effect.
Segment Anything и прочие демки из интернетика не справились. Только хардкор, только маски ручками.
Потом маска для руки кормилась в "latent noise mask" node в comfyUI для инпайнтинга в vid 2 vid animatediff + IPAdapter workflow.
Транзишены по руке - с помощью depth maps в After Effects.

Результат впечатляет, но есть плохая новость - надо знать After Effects.

P.S. Прикидываем, сколько бы такое делалось без ИИ.

Автодеск купил Wonder Dynamics.

У меня один вопрос: почему только сейчас?
Wonder Dynamics - довольно старый проект, по сравнению с другими ИИ стартапами.

Ну и конечно второй вопрос: что теперь будет с WD?
https://techcrunch.com/2024/05/21/autodesk-acquires-ai-powered-vfx-startup-wonder-dynamics/

А ведь это все пойдет/пошло в датасеты для обучения Соры и других: ⬇️⬇️⬇️⬇️

Почему нет десктопной версии chatGPT для Windows?

Есть версия, что выход версии для Виндовс отложен из-за вчерашнего анонса Copilot Plus AI от Микрософта и что интеграция gpt4-o будет встроена в новую Windows 11 на этих новых машинках, о которых я писал вчера. И там она будет юзать тот самый нейрочип NPU.
А что будет для Windows 10 и "обычных" PC - пока непонятно.

Бесплатный аналог Wonder Dynamics? Часть 2

Основной функционал
1. Автоматический композинг 3D персонажей:
• Интеграция 3D моделей в предзагруженные видеоролики (пока только по запросу от креаторов).
2. Генерация альфа-масок и масок и карт глубины, сегментации:
• Создание альфа-масок для точного выделения объектов.
• Генерация масок глубины для реалистичного совмещения с фоном.
• Получение сегментационных масок
3. Создание cleanplates:
• Автоматическая генерация чистых кадров без 3D персонажей для улучшенного композинга.
4. Автоматическая анимация персонажей:
• Захват движений актеров и генерация анимаций, которые готовы к использованию в таких редакторах, как Maya, Blender, Unreal Engine и Unity.
• Передача движений и мимики на персонажей.
5. Стилизация персонажей (СКОРО):
• Возможность изменения внешнего вида персонажей для создания уникальных образов благодаря диффузионным моделям.
• Использование нейросетевых технологий для трансформации персонажей и слоев видеороликов.

Работает прямо в телеграмме.

Итак, Microsoft Build.
- Team Copilot: офигенная штука, судя по видео, такой типа еще один сотрудник, который может вести заметки на встрече, на вопросы отвечать, задачи сам ставить, генерировать ответы и запрашивать дополнительную информацию. MS прям делает "AI-сотрудников" и я бы даже сказал менеджеров )

- Copilot Studio: Такой Robotic Process Automation на максималках! Платформа для создания кастомных копилотов, которые могут процессы автоматизировать, причем вызывая разные приложения, динамически адаптируясь, обращаясь к человеку, если что-то непонятно или не хватает данных. Ну это прям новый уровень вообще! Настроил авто-обработку документов и сидишь пьешь смузи )

- Phi Silica: Локальная маленькая моделька, заточенная на нейропроцессоры новых ноутов Copilot + PC. И можно по API к ней обращаться. Я думаю, что ноуты эти распространятся лет через 5, но пока просто показываем.

- Phi-3-Vision: Новая визуальная хорошая маленькая моделька от MS (4B параметров). Тоже оптимизированная для локального применения. Ну и еще Small и Medium обновили на 7 и 14B.

- Real-time Intelligence в Fabric: Будет теперь искать аномалии и нотификации присылать в реальном времени, если что необычного с вашими данными происходит

- GitHub Copilot Extensions: Можно интегрировать сторонные тулы и тогда AI сможет данные из них подсасывать

- Azure AI Search: Оптимизировали поиск по большим данным, гибридный поиск (и по векторам, и по тексту), так что теперь все быстрее и лучше, и для LLM.

- Azure AI Studio: создавай GenAI проекты с кучей моделек, мониторингом, безопасностью, оркестрацией агентов, файн-тюнингом и все в удобном интерфейсе. Звучит прям как сильный конкурент Vertex AI наконец-то

- Azure OpenAI Services: добавили GPT-4o (обычно с задержкой в пару месяцев появлялось все), файнтюнинг простой, Assistants API

- Cognition + Microsoft: воу-воу, Devin (тот самый AI-разработчик) будет совместно с MS разрабатываться и доступен в Azure.

Ну это прям дофига всего, И для разработчиков, и для бизнес-пользователей действительно полезно.

Видосы:
https://youtu.be/4k2T5sfGIP4
https://youtu.be/5H6_pCUt-mk
https://youtu.be/JI6IQvSLP9M

Кожаный дипфейк.

Тут интернетик приподвспучивается новостью про пересадку голов.
Видосик разлетелся, журналюги взвыли.
Там еще самая сладкая фича - пересадка лица! Кожаный дипфейк во плоти.
Смотрите здесь полное видео:
https://youtu.be/szXbuUlUhQ4 (осторожно, тошнит)
А Кожаные дипфейки у них прям на сайте:
https://brainbridge.tech/


Но, камон! Клюква жеж. Они там собираются сливать всю кровь из башки и пришивать непришиваемое. Ну и на сайте столько маркеров того, что это булшит, что я даже сначала писать не хотел. Однако меня закидали ссылками, вот отбиваюсь.
В общем как хорор-муви - хорошо заходит.
Как технология - фейк.
Почитайте лучше вот тут, почему это невозможно:
https://www.theguardian.com/science/brain-flapping/2017/nov/17/no-there-hasnt-been-a-human-head-transplant-and-may-never-be-sergio-canavero

Помните, я постил отличный ролик Funky Hands с использование AnimateDiff и After Effects.

Так вот вышел Making Of этого ролика. Поглядите, кто в теме.
Если интересны детали, то почитайте тут и тут.

А теперь интересное:
На производство ролика ушло 2.5 дня. И одна 4090. От идеи до рендера.

Если поглядеть на ноды из ComfyUI от автора, то вам сюда.

Автор ролика - Алексей Лотков, Денис Сибилев и команда VantageFilms.
Поглядите их инсту:
https://www.instagram.com/vantage_films/

Очень крутая работа. Да еще и в такие сроки. Это ж как надо владеть ComfyUI и After Effects!

Krea.ai таки анонсировали типа-видео-модель. И что самое главное, нормальный UI к нему.

Недавно писал, что Креа запустили фишку с забавным видео-эффектом, когда можно делать морфинг картинок (не в пиксельном, а в латентном пространстве), причем с ключевыми кадрами.

Вчера они разродились Krea Video Open Beta.
Выглядит нарядно. Но если приглядеться, то это, скорее всего, не модель для генерации видео, обученная на видео. Похоже на очень причесанный AnimateDiff, то есть анимацию с помощью Stable Diffusion. Волосы кипят в полный рост.

Как и в случае с морфингом - отличная фишка для эффектов, переходов и абстрактного арта. Но прям для видео или анимации с рассказыванием историй - вряд ли. Хотя... поглядите тут

Но и самое главное. У них, в отличие от других ацких видеогенераторов, есть таймлайн(!) и кифреймы. То есть они упарываются в UI/UX и управляемость. Я уже много раз писал, что в музыкальные и видео-генераторы прямо просится таймлайн. Это вам не тексты с картинкам, где нет дополнительного измерения - времени. И это время(тайминг) хочется редактировать. Монтаж и эффекты в общем.

И Креа тут молодцы.

Вот держите твитторный пост с туториалом, как наруливать видео в Креа:
https://x.com/krea_ai/status/1793570374036357368

Нехилый конфликт между Krea и AnimateDiff.

Похоже я был прав в предыдущем посте, и генерация видео в Krea - это AnimateDiff.

Я поресерчил и оказалось, что в сообществе AnimateDiff часть людей убеждены, что Krea сперли (ну как сперли, скачали открытый код и веса) наработки AnimateDiff и юзают их, для ацкого зарабатывания денег. И в твитторах прям пригорает.

Ниже, я приведу цитаты и ссылку на хороший пост, освещающий историю создания AnimateDiff - там очень много шикарных работ.

Вопрос о воровстве сильно открыт. Как правило, надо смотреть на лицензию всего того добра, которое выкладывается на GitHub. Я не разбирался с кодом AnimateDiff и вопросом о том, легально ли Креа используют код AnimateDiff. Но меня в свое время очень смущал маркетинг Леонардо АИ, являвшегося по сути нашлепкой над Stable Diffusion. Которые запустили в сеть дикий трафик типа "новая модель Леонардо - убийца Midjourney", хотя модель там была Stable Diffusion 1.5. А возможность юзать модели в Цивитай в Леонардо и вовсе ломала такой маркетинг.

В общем, это наверно старая история противостояния открытого и закрытого кода. И того, как можно зарабатывать на открытом коде.

Ниже цитаты:

"Если вы не заметили, Krea — стартап с закрытым исходным кодом, укравший кучу вещей, над которыми люди здесь работали последние 10 месяцев — это было неизбежно, но все равно меня огорчило. В ответ я написал здесь краткий обзор, документирующий некоторые достижения Animatediff https://x.com/pom_I_moq/status/1788675646069277008.

Спасибо всем, кто поделился этим! Я думаю, что сделать так, чтобы все знали о природе таких компаний, как Krea, — это самое лучшее, что мы можем сделать — не спорить и бороться с ними, а информировать о том, чем они занимаются. Оттуда они примут собственное решение.

Кто-то может сказать, что эти люди, зарабатывающие все деньги на этом, неизбежны и что все, что люди придумывают, в конечном итоге будет аналогичным образом коммерциализировано другими людьми, которые почти ничего не имеют общего с экосистемой.

Прежде всего, это было бы ужасно, потому что, как показали такие компании, как Kaliber и Leonardo, конечная цель этих компаний — использовать преимущества открытого исходного кода для обучения более совершенным закрытым моделям. Со временем их цель состоит в том, чтобы сделать открытый исходный код недоступным для своих моделей."

На HuggingFace появилась фича Use this model для запуска LLM и Text-2-Image моделей у себя локально через желаемый софт.

В настройках хаггинг аккаунта заходим в раздел Local Apps and Hardware. Можно здесь задать своё железо, но на фильтрацию AI-приложений похоже это не влияет. Я с ноута, где стоит двухгиговая 1050 запустил ламу 3 в Jan, всё ок.

Ставим галочки на софте, который вы используете для того, чтобы гонять модели локально. Для работы с текстом поддерживаются llama.cpp, LM Studio, Jan, Backyard AI. С картинками пока только Draw Things и, скоро, DiffusionBee, но они обе только на мак.

Нажимаем Browse Compatible Models —> выбираем приглянувшуюся нейронку —> кликаем Use this model в правом верхнем углу —> выбираем в каком софте запустить, и через диплинк в нём откроется окно для загрузки модели. Можно и просто исследуя хаггинг открыть понравившуюся нейронку нажав Use this model.

Доступны, в основном, квантизированные GGUF версии, которые можно скачать либо целиком, либо они состоят из нескольких частей и для работы понадобится скачать их все как архив из множества кусков (они обычно подписаны part_N). Чтобы понять какую модель грузить, можно глянуть страницу с описанием на хаггинге, если там про это есть. В противном случае качайте, то что как вам кажется нормально запуститься в памяти вашей видюхи. Как только модель загружена — можно генерить.

Если вы пилите своё приложение для запуска локальных моделей, то нажав Suggest a new local app вы можете предложить добавить его в список.

Матрица все ближе. Нео и агент Смит пока играют в настольный футбол.

Идея хорошая. Прокачивать обратную связь и гонять мячик силой мысли полезно для мозга.

Тут вот управление глазами прикручивают к айфону (и уже прикрутили к хуавею).

Но прикиньте прокачанный скилл типа "разблокируй телефон, запусти телегу, открой канал Метаверсище". И все это силой мысли.
Вынимаешь телефон из кармана, и сразу читаешь этот пост. Без тыкания грязными пальцами в экран.
Листаешь также, силой мысли.

Одна засада, надо потратить много усилий на тренировку таких навыков

У меня был такой приборчик, с манжеткой на ладонь. Довольно сильно приходилось пыхтеть, чтобы сдвинуть мячик с места. Также была примочка к айфону.

Покрал видео на компьютере, там довольно интересный научпоп про телекинез и про то, как промты ЛЛМ связаны с телепатией.
https://www.computerra.ru/297102/smogut-li-mozgovye-chipy-odarit-lyudej-telekinezom/

Шутки кончились.

Роботы-псы уже на вооружении у Китая 🇨🇳

Это уже не пес с огнеметом просто приколу. Это уже не прототип и не эксперимент.

Это видео (вроде как) с учений китайской армии, которые проходят прямо сейчас.

Возникает много вопросов:
- Что за оружие установлено на пса.
- Пес управляется дистанционно, или, наконец, получил автономность и все помнит.
- И, самое главное, СКОЛЬКО у них этих псов.

Кажется, уже совсем скоро кожаные узнают ответы. И ответы им не понравятся.


🔴 @reptiloidnaya × #киберпанк #роботы

Виртуальная примерочная наоборот.

Гугл бахнул прототип инверсной примерочной - одна и та же одежда виртуально примеряется на разных людях. Люди, судя по всему, не кожаные, а диффузионные. Всех цветов, а главное - размеров.
Выглядит занятно - выбираешь сначала шмот, потом цвет и размер себя родимого, и ну примерять.
https://www.wired.com/story/google-ai-shopping-clothes-fit-different-bodies/

Кстати, у Гугла уже есть и "прямая примерочная":
https://www.wired.com/story/google-generative-ai-clothes-shopping/

И таких примерочных уже много, недавно обсуждали VTON.

Но с инверсией забавно и диверсити на месте.

Чутье меня не подвело.

Помните, что я писал, что вся эта вирусная лабуда про пересаживание голов - фейк?

Читаем ниже.

Видео, впервые опубликованное в прошлый вторник, набрало миллионы просмотров, более 24 000 комментариев на Facebook и страйки на TikTok за жуткие изображения отрубленных голов. На сайте BrainBridge размещено несколько вакансий, в том числе одна для "руководителя группы нейронаук" и другая для "советника по связям с правительством". И даже New York Post написала, что BrainBridge - это "стартап в области биомедицинской инженерии" и что "компания" планирует провести операцию в течение восьми лет.

Так вот, компания BrainBridge - это фейк. Она нигде не зарегистрирована. Видео снял Хашем Аль-Гаили, йеменский научный популяризатор, который в 2022 году сделал вирусное видео под названием "ЭктоЛайф" об искусственных матках, заставившее журналистов ломать голову над тем, реально ли это.

Так что расходимся. Пофантазировали в коментах, и хватит.

В статье любопытные мысли о том, что это прогрев аудитории и попытка понять, можно ли на эту тему привлечь инвестиции.

https://www.technologyreview.com/2024/05/23/1092848/that-viral-video-showing-a-head-transplant-is-a-fake-but-it-might-be-real-someday/