А вот так это выглядит в виарчике.
Зловещая долина пройдена?

Как вам гибридный биокомпьютер, сочетающий выращенную в лаборатории ткань человеческого мозга с обычными электронными схемами, который может выполнять такие задачи, как распознавание голоса?

Статья в Nature, где описывается система Brainoware. В ней используются органоиды мозга - пучки человеческих клеток, имитирующих ткани, которые используются в исследованиях для моделирования органов. Органоиды создаются из стволовых клеток, способных специализироваться в различные типы клеток. В данном случае они превратились в нейроны, аналогичные тем, что находятся в нашем мозге.

Цель исследования - построить "мост между ИИ и органоидами".

Чтобы создать Brainoware, исследователи поместили один органоид на пластину с тысячами электродов, чтобы соединить ткани мозга с электрическими цепями. Затем они преобразовывали входную информацию в схему электрических импульсов и подавали их на органоид. Реакция ткани улавливалась датчиком и декодировалась с помощью алгоритма машинного обучения.

Чтобы проверить возможности Brainoware, команда использовала метод для распознавания голоса, обучив систему на 240 записях речи восьми человек. Органоид генерировал различные модели нейронной активности в ответ на каждый голос. ИИ научился интерпретировать эти реакции, чтобы идентифицировать говорящего, с точностью 78%.

Предыдущие эксперименты показали, что только двумерные культуры клеток нейронов способны выполнять подобные вычислительные задачи, но впервые это было продемонстрировано в трехмерном органоиде мозга.

А еще можно экономить электричество.

https://www.nature.com/articles/d41586-023-03975-7

Для гиков:
Если у вас есть мак и 100 гиг памяти, то можете погонять Микстраля 8x7B на новом фреймворке MLX от Эппле
https://github.com/ml-explore/mlx-examples/tree/main/mixtral

Смотрите, интернетик взрывается видосами, курсами, лекциями и даже целыми сайтами про "Применение ИИ в бизнесе". Это понятно, людям надо зарабатывать на хайпе.
Но давайте по сути. Людям продают ИИ как мощный калькулятор или как программу Statistica на стероидах или перелицованный BI.
Я тут придумал подстановку, которая отражает суть таких курсов:
"Применение программирования в бизнесе" - говорить можно о чем угодно.
Я потом еще подумал и запилил вот такое название
"Применение интеллекта в бизнесе".
И вот тут инфоцыганам будет где развернуться - говорить очевидности можно бесконечно в таком разрезе.

Тут инструменты меняются раз в неделю, стартапы вымирают стадами после анонсов OpenAI, модели выходят каждый день. А народ до сих пор путает ИИ с базами данных.

Я сейчас скажу странную мысль - внедрение ИИ в бизнес - это HR задача.
Это найм, со всеми вытекающими. Поиск кандидатов, интервью, формирование задач, онбординг, обучение и дообучение. И да, это текучка, выгорание, увольнения и все по новой. Новые кадры подрастают. С ними надо работать, а не применять.

Stability AI продолжает строчить странными и бессмысленными релизами новых продуктов.
Теперь это урезанная версия Stable3D (месячной давности). На почищенном датасете ObjaverseXL.
Эмад ублажает инвесторов.

https://stability.ai/news/stable-zero123-3d-generation

В Твиче произошла революция, там частично разрешили некоторые почти сексуальные действия на стримах. По сути можно будет показывать "намеренно выделенную грудь, ягодицы или область таза" но на стриме будет пометка "тут секс", и конечно, таких стримов не будет на главной странице сервиса (придется искать).

В целом у стримеров было столько инициативы в этой области, что Твич просто решил не терять аудиторию, а легализовать часть практик. Ждем стримов всех популярных онлифанз звезд.

https://www.theverge.com/2023/12/13/24000534/twitch-loosens-sexual-content-policy

Андрей Чибисов прислал мне свой новый проект.

Говорит, что выжал из gen2 все, что мог..
Подробности:
текст речи - chatgpt,
картинки - Midjourney,
анимация - gen2 (и d-id),
озвучка - elevenslabs,
фоновое музло - aiva
и немного афтера.

На дворе рождение нового жанра - сторителлинг с помощью 4-6 секундных планов. Я пока с трудом представляю, как заставить "сходиться" в нужное, а не разъезжаться в фантазии все эти видеогенераторы.
Ну и хороший нарратив приобретает первостепенное значение. В этом смысле сценарии и озучка выходят на первый план - и там уже ИИ прокачан очень хорошо.

Возможно для новых нормисов с клиповым мышлением такие визуальные новеллы на стероидах будут новым тиктоковым кино.

Поглядим.

А пока глядите, как можно применять крепкий опыт постпродакшена для такого нового кино.

Я внимательно слежу за всеми нейромокапами, ибо вся эта анимация в Stable Diffusion-подобных решениях, как правило, опирается на "внешний источник движения" и мокап костюм 99% контент-мейкеров точно не могут себе позволить.

Вот свежая работа от института Макса Планка.
Для тех гиков, кто в теме (привет Слава См.) приведу описание без купюр:

Во-первых, большинство методов оценивают человека в координатах камеры.

Во-вторых, предыдущие работы по оценке человека в глобальных координатах часто предполагают плоскую поверхность пола и приводят к скольжению ног.

В-третьих, наиболее точные методы опираются на дорогостоящие вычислительные конвейеры оптимизации, что ограничивает их использование автономными приложениями.

Наконец, существующие методы, основанные на видео, на удивление менее точны, чем методы, основанные на одном кадре.

Мы решаем эти проблемы с помощью WHAM (World-grounded Humans with Accurate Motion), который точно и эффективно восстанавливает 3D-движение человека в глобальной системе координат на основе видео. WHAM учится переводить 2D-последовательности ключевых точек в 3D, используя данные захвата движения, и объединяет их с особенностями видео, интегрируя контекст движения и визуальную информацию. WHAM использует угловую скорость камеры, оцененную по методу SLAM, вместе с движением человека для оценки глобальной траектории тела. Мы сочетаем это с методом уточнения траектории с учетом контакта, который позволяет WHAM захватывать движения человека в различных условиях, например, при подъеме по лестнице. WHAM превосходит все существующие методы восстановления 3D-движения человека в различных тестах.

Подробности и хорошее видео тут:

https://wham.is.tue.mpg.de/

И код тоже будет!

В инсту завозят ИИ.

Инстаграм позволит пользователям менять фон своих изображений. через подсказки для сториз.

И делает фичу вирусной.

Когда пользователи нажимают на значок фонового редактора на изображении, они получают готовые подсказки, такие как «На красной дорожке», «Меня преследуют динозавры» и «В окружении щенков». Пользователи также могут писать свои собственные подсказки для изменения фона.

Как только пользователь опубликует историю с вновь созданным фоном, другие увидят наклейку «Попробуйте» с подсказкой, чтобы они также могли поиграть с инструментом создания изображений.https://techcrunch.com/2023/12/14/instagram-introduces-gen-ai-powered-background-editing-tool/

Впервые новое научное знание было создано с помощью LLM (а не просто AI-assisted software).

Буквально месяц назад читал комментарий на канале что «LLM никогда не смогут делать научные открытия, чертовы стохастические попугаи», а сегодня Гугл публикует в Nature статью, что они сделали открытие в математике используя LLM.

Метод довольно универсален и я ожидаю решение новых задач из математики именно таких способом в ближайшее время.

Ребята из DeepMind использовали LLM для написания, изменений и оценки кода, который стремится максимально эффективно решить открытые задачи в математике. Для того используется, по их заявлениям «medium-sized LLM», то есть, я думаю между 20 и 70 млрд параметров. Что важно, алгоритм FunSearch не просто находит ответ на задачу, а создаёт код для внедрения решения в реальные процессы. В частности, они решили задачу оптимизации «упаковки» объектов в минимальное количество контейнеров, задачу циклических графов, и задачу нахождения максимального сета, в котором точки не лежат на прямой.

На реддите на серьезных щах обсуждают GPT_4.5.
Похоже кто-то поправил в Хроме сорцы, и судя по ценам и наличию фразы про 3Д, это всё-таки фейк.
Но мысль про 3Д мне нравится...
https://www.reddit.com/r/OpenAI/s/JqujMILOhl

Это очень смешно, спасибо подписчику. У нас совершенно волшебный чат в коментах - никакой школоты, умные начитанные люди с отличным чувством юмора. Я ручками в конце для аппрувлю запросы на добавление в чат. Поэтому он не превращается в наплыв ботов и гопников. Даже гифки и мемы перестали постить в ответ на мою просьбу. И вот такие перлы от chatGPT - прям новые мемы с постметаиронией.

Новый челлендж.
Генерим картику, где циркуль рисует квадрат.
Обязательные условия: одна нога стоит именно в центре квадрата, а вторая на одной из линий квадрата. Он именно рисует квадрат, поэтому одна нога в центре.
Желательные условия: лайн арт, на картинке не должно быть рук и минимум деталей.
В идеале сделать это в chatGPT и DALL·E 3. Но на другие варианты тоже интересно поглядеть. Ну и ControlNet - будет читом, проще тогда фотошоп расчехлить.
Кидайте в коменты варианты.
Совет, скажите ему, что это шутка и демонстрация противоречия.

Задача оказалась не такая простая. Это похоже проблему с пальцами - ну нет в датасетах разметок типа "фотка с четырьмя пальцами". И циркулей, рисующих квадраты, там тоже нет.
И если с семицветиком оказалось, что ИИ в курсе про сказки Бажова, то сказок про циркули никто не написал.
Челендж продолжается. Иногда нога - это просто нога))

Озвучка текста от RunwayML!
Утечки с частной презентации из Discord channel for Creative Partners

"text-to-speech" позволяет генерировать закадровый голос и диалоги на несколько разных голосов, и все это в рамках Runway".

EleventLabs нервно закуривает в облаке.

И это очень круто по трем причинам.

1. Только что писал, что для нового нормального кино с 4-секундным монтажом будет очень важен нарратив, озвучка того, что вам сгенерит ИИ в виде сценариев.

2. Коль скоро это авторы GEN-2 (ну и Stable Diffusion, что греха таить), то интеграция в их продукты будет просто киллер-фичей.

3. И я ожидаю, что следующим шагом будет липсинк. Wav2Lip почил в бозе 3 года назад и нормальных решений пока не видно.

https://help.runwayml.com/hc/en-us/articles/23859696734611-Runway-Text-to-Speech-tool

Ну, началось.
Совет по надзору за финансовой стабильностью правительства США включил использование искусственного интеллекта в перечень возможных рисков для финансовой системы, заявила министр финансов страны Джанет Йеллен.

Тут в телеге гуляют ссылки на сотенку отчетов от разных онолитегов, которые народ успешно кормит в chatGPT, чтобы не делать overflow собственных мозгов.
Тут подтверждается моя гипотеза, что скоро один ИИ будет писать и надувать отчеты по просьбе одних кожаных, а второй будет их сжимать для прочтения другими кожаными. И все будут делать вид, что все отлично, ибо трафик вырастет в разы. И интернетик приподраздуется до размеров луны.
Но я вам принес другой отчет и он очень любопытный.
Это Pornhub 2023 Year in Review.
И там первая часть посвящена поисковым запросам.
В общем, если скормить эту информацию ИИ, но он, я уверен, поставит очень точные диагнозы кожаным мешкам, а по дороге сделает пару научных открытий, ибо территория, где дедушка Фройд копался своей нейросеткой, редко становится предметом публичных исследований. Но ИИ все равно на правила приличия.
Чего стоит только географическое распределение.. расчехляйте теории..

https://www.pornhub.com/insights/2023-year-in-review

MusicFX.
Гугл выкатил новый генератор музыки
https://aitestkitchen.withgoogle.com/tools/music-fx

Там пока нет работы с текстами и Suno.ai может спать спокойно.
Но не забываем, что у Гугла есть TextFX: https://textfx.withgoogle.com и там прямо сказано, что это для писателей и рэпперов.

Можете послушать образцы тут:
https://aitestkitchen.withgoogle.com/audio/carousel-hero-1.mp3
https://aitestkitchen.withgoogle.com/audio/carousel-hero-2.mp3
https://aitestkitchen.withgoogle.com/audio/carousel-hero-3.mp3
https://aitestkitchen.withgoogle.com/audio/carousel-hero-4.mp3
https://aitestkitchen.withgoogle.com/audio/carousel-hero-5.mp3
Последний хорош.

Это скорее территория Mubert и Aiva.

Но показательно то, что рано или поздно большие мальчики спускаются с горы и делают свои решения там, где раньше паслись выводки стартапчиков.

Доступ:
→ Go to labs. google

→ Scroll down and click on 'Try it now' in the MusicFX category

→ You will then need to log in to a Google account.

Но только для Штатов, Австралии и Кении.

В общем к сторителлингу с помощью видео-генераторов пока есть вопросы, а вот в моушен-дизайн это может зайти очень скоро. Просто жмете кнопку "Еще". И это не стоки эффектов, это новые эффекты по нажатию кнопки (ну мы уже это проходили на картинках год назад). Да, еще кривокосо и разъезжается, но вспомните Халка из DiscoDiffusion.

Поглядите, уже даже появляются туторы.

Ну и можно аккуратно, по 30г, начать выпивать на дизайнеров титров. ИИ идет за ними.
В первом коменте пример.

Хочу показать еще одну работу от подписчика, а не из твитторов.
И заметить, что рассказывание историй - это определенный талант и/или скил, прокачанный годами. Одно дело намельтешить шевеляжа с помощью генераторов, другое - рассказать что-то.
Вот тут как раз пример опыта анимации, преломленного через новые инструменты. И этот опыт чувствуется. И мне нравится, что все это сшивается по стилю.

Также Маша прислала бесценные детали производства.
Картинки: Midjourney
Анимация: runway gen-2, pika labs
Монтаж: iMovie на айфоне, музыку наложил инстаграм (чтобы кадры попадали в музыку я сначала крутила ролик в iMovie, а музыку на YouTube и так подбирала сцены и кадры).
Проблемы:
- очень сложно сделать кота без искажений в runway. Хотя, кот, который тянется к бабочке , это как раз runway сделал - тут прямо мне очень нравится, как получилось.
- Midjourney категорически отказывался делать лошадей, пришлось подсовывать ему картинку, как базовую;
- runway не может пока делать в aspect ratio 9:16 только из текста, поэтому сначала картинка в Midj, а потом генерация - мне кажется, что при таком flow у анимации меньше шансов получится симпатичной.
По времени сюда ушло около 16 часов на все вместе.

Спасибо, Маша. Ждем версий с нарративом от ИИ.

Давно хотел написать про Phygital+, мы общались с Олегом еще в 2021, когда он задумал проект.

За это время они запилили довольно мощную систему - это нодовый конструктор всех возможных нейросеток для генерации контента, что-то типа Комфи, но только там собраны не только решения на основе Stable Diffusion, а вообще все доступные сетки с рынка.

Midjourney, DALL-E 3, Stable Diffusion XL, Control Net, обучение своих моделей Lora и Dreambooth, ChatGPT4 и GPT4-Vision, а также еще 20 AI ништяков и все они могут соединяться и комбинироваться друг с другом.

Композерам со стажем такое такое привычно и очень заходит, а людям не из поста должно взорвать мозг, ибо получается конструктор реально всего. Также в Phygital+ больше 40 кастомных моделей Stable Diffusion, готовые темплейты и туториалы.

И да, там есть дообучение своих моделей и лор.

И меня больше всего удивляет и радует, что ребята берут, перетряхивают интернетик (и мой канал) и внедряют к себе все, что шевелится. Там есть 360 панорамы или превью текстур на объектах, карты глубины или даже 3D human from photo.

Часть моделей бесплатны (Stable Diffusion), но чтобы юзать DALL·E 3 или Midjourney (и вязать их в общую сеть), вам, естественно, придется купить подписку. API вызовы небесплатны пока на этой планете. И можно платить с любых карт, без впн и смс. Там даже можно дарить подписку, в отличие от chatGPT Plus.

Идея и кураж мне нравятся, для тех, кто занимается графикой, нодовый подход - самое то.

Пробуем тут.