ИИ-новый NFT?

Вот держите огненную историю о том, деньги на итоге решают. А ИИ просто смотрит на то, как кожаные с помощью него зарабатывают - ибо наши любимые метрика - это трафик.

Я стал замечать, что даже Гугл в поиске мне стал часто подсовывать картинки сгенеренные ИИ. Особенно, когда речь идет о нетривиальных запросах.

И тут бомбануло на сайте Devian Art. Обнаружилось, что сайт активно продвигает "лучших продавцов" контента "Isaris-AI" и "Mikonotai", которые, как сообщалось, заработали десятки тысяч долларов на массовых продажах.
Обнаружилось кто-то (вероятно админы) создал сеть ботов, реализующую хорошо известную в NFT схему зарабатывания: создать тысячи ИИ-изображений и аккаунтов, заставить их покупать и шиллить друг друга, раздуть метрики, чтобы "искусство" бустилось на DeviantArt и поднималось в рейтингах выше кожаных. А там и продажи.

Напомню, что в отличие от остальных стоков, DevianArt ласково принял ИИ в 2022 году - вместе со StabilityAI они запустили внутренний инструмент генерации изображений под названием DreamUp.

В Девиане полыхает. Юзеры удаляют свои акки, пишут проклятия, админы удаляют эти проклятия, в общем все как у людей.

Но это я к чему. Пока метриками являются трафик, переходы и объемы контента, ИИ будет хохотать над этим смешными протестами и попытками регуляции. Ибо получается лицемерие: а давайте сохраним существующие метрики, но не разрешим кожаным зарабатывать на ИИ.

OpenAI скупает данные по всему интернетику, Адобченко и Getty тоже. Скоро даже серая зона в виде "вы тренировались на наших данных, мы на такое не подписывались" станет белой. И смышленые ребята будут лить контент и трафик, пока интернетик не лопнет. Или кожаные, наконец, поймут, что с их метриками что-то не так.

https://twitter.com/romainrevert/status/1772921780933448139

https://www.theverge.com/2024/5/19/24160240/ai-art-is-gobbling-up-deviantarts-creator-revenue-sharing

https://slate.com/technology/2024/05/deviantart-what-happened-ai-decline-lawsuit-stability.html

Немного навеяло предыдущим постом.
Я помню, как в начале нулевых народ упарывался по Роботам и Мехам. На концепт-арт площадках были целые битвы Мехов, а тогда еще форумы и первые сайты пестрели предтечами трансформеров.

На глаза попалась вот такая такая Лора для SDXL.
https://huggingface.co/Fiacre/robodiffusion-xl-v1
(внимание ее надо юзать с коэффициентом около 0.7 - < lora:robodiffusionxl:0.7 >).

Читаем RoboDiffusionXL был обучен на высококачественном синтетическом наборе данных, составленном таким образом, чтобы включить в себя широкий спектр форм и стилей роботов. Изображения включают исторические, культурные и футуристические темы, что обеспечивает разнообразие генерируемых результатов.

Роботы и Мехи пошли на корм ИИ. И сейчас можно кинуть на Civitai в поиск "mech" и получить 56 моделей и лор:
https://civitai.com/tag/mech

Это я к чему: если что-то популярно и не дай бог продается, то ИИ растиражирует это в лучшем виде. А что с этим делать - решать (пока) кожаным.

Утечки про SD3. Похоже веса Stable Diffusion 3 все-таки появятся.

Разработчики, которые пилят DissusionKit - адаптацию и инференс моделей на мобильных устройствах, твитторнули, что уже допиливают локальную Stable Diffusion 3 причем для Мака!
Our first step was to bring Stable Diffusion 3 to Mac. We have optimized the memory consumption and latency for both MLX and Core ML.

"Мы откроем исходный код этого проекта вместе с предстоящим выпуском весов Stability AI."

Причем обещают опубликовать тесты и время просчета уже в ближайшие дни.

https://x.com/argmaxinc/status/1790785157840125957

Также неутомимый Лыкон, который постоянно постит картинки из SD3 в твитторе, написал:
Также, насколько я знаю, мы все еще планируем выпустить #SD3. Надеюсь, ожидание почти закончилось.
Поскольку моя команда работает над open release, будет странно, если мы откажемся от этого.
https://x.com/lykon4072/status/1791839648987156525

Штош, надежда не потеряна...

Плагины для chatGPT всё.

Помните, какого шума наделали плагины для chatGPT?
Красивые презентации, демо, удивительные графики и диаграммы от Вольфрама.

А потом пришли плечистые ceo-оптимизаторы и засрали поляну тысячей плагинов, уводящих трафик к себе на сайты с помощью бесполезных поделок.
М-Модерация? Нет, не слышали (в OpenAI по крайней мере).

Сейчас все это безобразие тихой сапой исчезло из интерфейса chatGPT.

Смышленые ребята скажут, что теперь у нас есть Джипитишки и будут правы. Там можно реализовать тот же функционал.

Но помните, нам в ноябре обещали GPT Store, каталоги, магазин, монетизацию, аналог AppStore и вот это вот всё?

Вместо этого у нас три миллиона(!) созданных Джипитишек (среди которых, подобно плагинам, большинство - ацкий треш и снова нагон трафика), странный каталог с ограниченной навигацией. И, похоже, отсутствием внятной модерации. Подробнее тут.

История с плагинами повторяется?

Похоже, что в продукты у OpenAI не очень получается. Продуктовое мышление сильно отличается от разработки.

В этом смысле у Гугла огромная фора и тысячелетний опыт. Интерфейс Гемини сильно лучше, чем у chatGPT. Плюс выводок продуктов с миллионными аудиториями.

Тем интереснее будет конкуренция.

Вголосину.

Тут вот пишут, что этот волшебный голос с презентации gpt-4o удалят из списка голосов. Слишком сексуальный.
Посмотрите это видео, до конца, это дико смешно. Я чуть подрезал кусок с презентации, которую вы и все и так видели.

https://x.com/jam3scampbell/status/1791338109709287511

Я даже не знаю за кого накатить, не чокаясь.

За фантазии?

Моделлеры пока тут ручками работают в Substance3D, а потом подкючается Krea.ai
И ну выпивать за эфыксеров, лайтинг- и щейдер-артистов, текстурщиков и рендерманщиков.

Выглядит совсем уж нарядно.

А то меня уже порядком достали танцующие тяночки из AnimDiff - 95 процентов Stable Diffusion анимаций - это тикток стайл.

А тут реальная красота. Ну и подумайте, сколько фантазий и новых коцептов в секунду выдает ИИ? Пока вы смотрите на эту волну, пуская слюни, он успевает разбрызгать столько идей, что вам и не снилось. Подключайте его к своим фантазиями, он вас научит воображать невоображаемое.

Так, достаньте меня из твиттора, хуже ютюба, ей богу.

Я не уверен, такая штука прям зайдет в народ, особенно за 60 евро, но выглядит очень прикольно. Именно в плане интерфейсных решений.
Моделирование на кончиках пальцев.
https://apps.apple.com/es/app/uniform-3d-editor/id6472727759
https://x.com/sparseal/status/1790773028130791835

Новый процессор от Микрософт. Читаем ниже.

M3 от Microsoft. Лучше поздно, но с ИИ и ARM.

Микрософтик забабахал презентацию концепции ИИ-ноутов под названием Copilot+PC. И нет, это не ноуты от самого микрософта, как пишут в телеге. Это концепция + ПЛЮС СОБСТВЕННЫЙ ПРОЦЕССОР(это главная новость).
Это ноуты, имеющие ARM-процессор, где есть "чип для ИИ", типа NPU (neural processor unit), который достигает 45 TOPS вычислений для ИИ-задач. Это, как пишет микрософт, приводит к большему количеству ИИ-операций НА ВАТТ, чем MacBook Air M3 и Nvidia RTX 4060. Внимание, "на ватт".
Микрософт также интегрирует более 40 моделей AI непосредственно в Windows on Arm, чтобы обеспечить новые возможности в Windows и для разработчиков приложений. Около 10 из них - небольшие языковые модели, которые будут работать в фоновом режиме. Эти модели позволят разработчикам привнести опыт ИИ непосредственно в свои приложения, а измерения времени автономной работы Microsoft включают их непрерывную работу в NPU.

Выпускать такие ARM-машинки Asus, Dell, HP, Lenovo, Samsung и сам Microsoft. Там вроде поначалу будет стоять процессор Qualcomm Snapdragon X Elite.

Два вопроса:

1. Совместимость с приложениями для "обычной интеловой" Винды?
Ответ: "будет эмулировать приложения в два раза быстрее, чем Windows предыдущего поколения на устройствах Arm.". Ни о чем не говорит, время покажет.

2. Разработчики, конечно, охренеют. И пусть Адобченко уже анонсировал поддержку ARM. Но приложений для Винды в разы больше, чем для Мака. Вспомним, как разрабы переползали на Apple Silicon и умножим на N.

В общем выглядит как запоздалый ответ на Эппле Силикон с четырех-летней задержкой. Но с ИИ наперевес. Причем первая попытка с Windows на ARM-архитектуре у Микрософта явно провалилась. Но может щас ИИ поможет.

По ИИ-Windows - следующий пост.

P.S.
В 2018 году Nvidia представила, скажем так, концепцию STUDIO - линейка ноутбуков заточенных под пост-продакшен на базе RTX. Чтобы делать взрослую компьютерную графику: 3Д, композ, монтаж. Они отстроились от игровых ноутов через, во-первых, легкий вес и средние габариты, а, во-вторых, через Studio Driver. Стоили ноуты в полтора раза дороже обычных и выпускали их только определенные "взрослые" вендоры (HP, DELL, ASUS). Было много вопросов и к драйверу и к самой концепции. Китайцы наладили выпуск сравнимых по мощности и габаритам ноутов довольно скоро. У меня пыхтит леново с неурезанной 2080, уделывая многие студио-ноуты.
Так что ждем и китайские версии ИИ-Windows.

Подробнее тут:
https://blogs.microsoft.com/blog/2024/05/20/introducing-copilot-pcs/

Теперь про ИИ на новой Винде с ARM-процессором.

1. Меня больше всего триггернула функция Total Recall (Вспомнить всё one love).
Поглядите тут: https://youtu.be/5JmkWJNng2I?t=26
ИИ запоминает ВСЕ ВАШИ ДЕЙСТВИЯ. С привязкой по времени. Это, конечно, потрясающе для обучения и дообучения. Через некоторое время вы только поглядите на экран, а ИИ поймет, что вы собираетесь сделать и сделает (правда в игры будет играть неинтересно).
Но подумайте, а вы хотите, чтобы все ваши глупые действия протоколировались?

2. Live Captions также позволяет делать переводы на основе AI любого видео в реальном времени. Забавно, что в демо ролике светится перевод с русского на английский.

3. Microsoft также добавляет Auto Super Resolution, которая автоматически масштабирует игры для улучшения частоты кадров и графического разрешения. Тут боян, конечно.

4. Co-Creator. Там, конечно, весь этот жир для генерации контента. Судя по демо, аналог Креа. Надо будет смотреть (в след посте).

Вот тут подробно про софт и железо:
https://www.youtube.com/watch?v=iHQgf3DNAr8&t=419s

Поглядеть на внешний вид новых ИИ-писюков от Микрософт и на то как работает рисовалка Co-Creator можно тут
#ябвзял

Тут по интернетику прокатилась демка от Синтезия. Очень хороший маркетинг - они взяли запись демо gtp-4o и присунули голосовые ответы модели(звук) в свой генератор мимики для аватаров.
Выглядит просто убойно. Синтезия действительно проапгредила свой движок и их аватары теперь артикулируют и шевелят лицом очень хорошо.

Но, коллеги, кто вам сказал, что это реалтайм?

Нейролипсинк - вещь тяжелая, неприятная...

И, похоже, идея брать демо-видео от OpenAI и делать на них свой маркетинг пошла в массы.
Теперь китайцы из DeemosTech, за которыми я внимательно слежу, тоже взяли и скормили голос из демо в свой движок Media2Face. Я опять не уверен, что это реалтайм.
Но сам движок выглядит очень занятно. Он генерит не финальное видео, как у Синтезия или D-ID, а полигональную модель головы. Точнее, он генерит анимацию заранее существующей сетки. Почитайте про него тут, посмотрите видео внутри, очень занятно.

https://sites.google.com/view/media2face

Вчера писал про моделинг на кончиках пальцев. Сегодня лайтинг на ладони. С пульта.

В удивительное время живем. Можно светить фонариком в плоскую картинку на экране, и получать трехмерное освещение этой картики так, как будто у нас есть ее трехмерная модель. Ну или как будто это не картинка, а реальность.
Подробности тут.

Недавно давал карту ИИ-стартапов по миру - где и как инвестируют в ИИ.
Сегодня такая же карта по городам и стартапам в целом. Там скоринг немного более сложный, описан прямо на картинке.
После Сан-Франциско и Нью-Йорка сразу идут Пекин и Шанхай.
Ну и если сложить США и Китай, то остальным станам останется пять мест.
Из Европы только Берлин, который занимает последнее место в рейтинге.

Zero GPU для всех.

Если у вас нет конской видеокарты(и вы не умеете разворачивать репозитарии с гитхаба), то есть хорошая новость.
ХаггингФейс вонзает 10 миллионов в программу Zero GPU.
Если грубо, то они теперь дают поюзать их GPU в гораздо большем объеме, чем раньше.
Для старых нормальных:
они собрали почти 300 всех этих безумных опен-сорсных (и не очень) проектов и сделали каталог, где можно погонять эти проекты в качестве демо на их GPU.
Про многие из них я уже писал (Хуньянь, InstanMesh, StoryDiffusion и др), про остальные можно почитать у Нейронавтика, который делает гигантскую работу.
Теперь можете сами погонять весь этот ИИ на сколько хватит квоты.
Для новых нормальных:
Если вы пилите что-то свое, то можете разместить свои модели и демо на HuggingFace.

Держите весь каталог тут:
https://huggingface.co/spaces/enzostvs/zero-gpu-spaces
И ну тестировать весь этот ад!

Подробнее тут:
https://www.theverge.com/2024/5/16/24156755/hugging-face-celement-delangue-free-shared-gpus-ai

3D-Arena

Помните, я писал, что после LLM-Arena, где разные ллм-хлещутся друг с другом руками кожаных за звание лучшей, появилась Image Arena. Где хлещутся генераторы картинок.
Кожаные генерят две картинки по промпту, тыкают в понравившуюся больше, и только потом видят, чем сгенерили, а моделька поднимается в рейтинге.

Теперь кто-то сварганил такое же для 3Д-генераторов.
Но к сожалению всерьез это воспринимать нельзя. Там есть очень устаревшие модели, нет самых жирных и популярных генераторов, даже опен-сорсных, но можно оценивать модели по разным параметрам.

https://huggingface.co/spaces/ZhangYuhan/3DGen-Arena

На картинке - сосиски на гриле, а не то, что вы подумали.

Нейровьюпорт.

Был на Silicon Graphics такой софт TDI Explore, его ядро в основном вошло в Maya.
И там был IPR - Interactive Photorealistic Renderer (IPR). Когда выделяешь часть картинки, а он тебе подрендеривает её сразу. Это щас есть везде, но в 1993 году это была нереальная уникальная фишка. 30 лет назад.

Я вот сейчас гляжу на то, что творит Мартин, Krea и Substance3D и думаю, что интерактивный нейрорендер - это просто снос башки. Ключевая фишка - интерактивность. Когда не надо нажимать кнопку рендер.
Тут в конце апскейл с помощью Магнифика и псевдовидео в Леонардо.

Но есть плохая новость - все еще надо знать 3Д.

Блокчейн TON ищет талантливых разработчиков!

Стартует масштабный хакатон “The Open League Hackathon” с призовым пулом $2,000,000 от команды блокчейна TON.

В поддержку хакатона все Web3-энтузиасты приглашаются на трёхдневные оффлайн встречи для нетворкинга в 13 городах мира:

📍Прага, Берлин, Киев, Варшава, Тбилиси, Белград, Сеул, Тайбэй (Тайвань), Гуруграм (Индия), Гонг-Конг, Минск, Москва и Санкт-Петербург.

Первые встречи начнутся уже 24 мая. Ищи свой город и регистрируйся здесь 👈 тык

Что вас ждет:

— 3 дня нетворка, лекций, конкурсов и работы над собственными проектами с поддержкой представителей TON Foundation и команд экосистемы TON

— Призовые $5.000 для трех лучших проектов на каждом оффлайн ивенте + много мерча и других бонусов

Не упусти возможность представить свое приложение 900 миллионам активных пользователей Telegram вместе с TON.

Регистрируйся — https://tgtelespace.link/qntzco

Снап Камера вернулась!

У Снапчата была очень прикольная программка для Винды - Snap Camera. Она ставится как виртуальная камера между вашей вебкой и выводом изображения на экран(или в софт). И позволяет накладывать разные забавные маски(линзы) на ваше лицо прямо в реальном времени.
Я часто баловался тем, что на стримах или интервью вдруг менял (хоткеем) свою внешность. Особенно вещая про дипфейки.
К сожалению Snap Camera как приложение умерло, его больше нет на сайте Снапа (но у меня старая версия еще работает).
Но недавно они обновили эту камеру и выпустили расширение для Хрома.
Теперь, если у вас созвоны через браузерного клиента (например, Google Meet), то можете в списке доступных камеры выбирать Snap Camera и ну натягивать маски(линзы) себе на лицо прямо во время созвона.
Подробнее тут: https://help.snapchat.com/hc/en-us/articles/7012304217876-Snap-Camera

А еще у Снапа есть Hosted Web AR Lenses, который тоже работает в браузере, об этом почитайте тут: https://xn--r1a.website/reptiloidnaya/864

AnimateDiff плюс Инпайнтинг.

И ротоскопинг.

Вот такие эффекты делают взрослые ребята.
И пока чуда нет.
Для руки пришлось делать полный ротоскоп в After Effect.
Segment Anything и прочие демки из интернетика не справились. Только хардкор, только маски ручками.
Потом маска для руки кормилась в "latent noise mask" node в comfyUI для инпайнтинга в vid 2 vid animatediff + IPAdapter workflow.
Транзишены по руке - с помощью depth maps в After Effects.

Результат впечатляет, но есть плохая новость - надо знать After Effects.

P.S. Прикидываем, сколько бы такое делалось без ИИ.