Ну, за докторов.
ИИ читает ваши медицинские карты и ставит диагнозы.

Microsoft и Epic расширяют стратегическое сотрудничество за счет интеграции службы Azure OpenAI.

Это другой Эпик, тот который пишет софт для для электронных медицинских карт (EHR).

Речь идет о запросах на естественном языке и интерактивном анализе данных в SlicerDicer, инструменте самообслуживания Epic для создания отчетов, помогающем исследовать данные в разговорной и интуитивно понятной форме.

«Наше исследование OpenAI GPT-4 показало потенциал для повышения мощности и доступности отчетов самообслуживания через SlicerDicer, что упрощает для организаций здравоохранения выявление операционных улучшений, включая способы снижения затрат и поиска ответов на вопросы на местах и в более широком контексте»

В статье интересная риторика, объясняющая, почему ИИ должен прийти на помощь - потому что кожаные доктора не очень эффективны, дороги и постоянно хотят денег: "Примерно половина больниц США завершила 2022 год с отрицательной маржой, поскольку повсеместная нехватка рабочей силы и увеличение затрат на оплату труда, а также перебои с поставками и инфляционные эффекты привели к тому, что расходы значительно превысили рост доходов. Участники отрасли признают, что достижение долгосрочной финансовой устойчивости за счет повышения производительности и технологической эффективности является критически важным стратегическим приоритетом".

Самое время начать выпивать за медицинский персонал.
https://www.prnewswire.com/news-releases/microsoft-and-epic-expand-strategic-collaboration-with-integration-of-azure-openai-service-301798615.html

Адобченко поднимает веки и медленно спускается с горы.

Я вот читаю анонсы предстоящего NAB 2023 и вижу, что кроме Adobe, все крупные игроки (Максон, Автодеск, Сайды, Фаундри) сидят в танке по поводу генеративного ИИ. Просто молчат.
А вот Адобченко вчера пульнул протокол о намерениях встроить ИИ во все, что шевелится, то есть не только в статичные картинки, но и в монтаж, композ и все, что связано с видео, кино и анимацией.

Список фич впечатляет, и это не просто еще один способ генерить веселые пиксели, а именно видение проступающих из диффузионного шума пайплайнов.

1. Колоркоррекция видео голосом. Цитирую: «Сделайте эту сцену теплой и привлекательной». Не шутка, кнопка сделай красиво уже здесь.

2. Про логосы и шрифты я уже писал, когда тестировал FireFly. Теперь все это хозяйство можно будет анимировать. Не думаю, что это будет дефорумная покадровая анимация. Скорее псевдо-3Д в афтере.

3. Бомба: ИИ-преобразование сценария в текст для автоматического создания раскадровок и превизов! Без комментариев.

4. Автоматическая нарезка B-Roll-ов для чернового или окончательного монтажа! (это как бы визуальные перебивки, которые (тостуемый) монтажер вставляет поверх основного видеоряда).

5. Прошенный советчик. Который расскажет, что не надо отрезать ноги, и объяснит за "восьмерки". С ним можно будет поговорить за (цитирую) "процессы от первоначального видения до создания и редактирования".

6. Генерация музыки! Пользователи "могут легко создавать бесплатные пользовательские звуки и музыку, чтобы отразить определенное чувство или сцену как для временных, так и для финальных треков".

Когда? В конце года.
Огромная, жирная, красная кнопка.
"Сделать зашибись и в ТикТок!".
https://blog.adobe.com/en/publish/2023/04/17/reimagining-video-audio-adobe-firefly

RunwayML такой, задумчиво почесывая затылок: "за сколько будем продавацца?"

Вот так выглядит анимация лого по текстовой команде в будущем Адобченко.
Не кипит. Сверху - это типа огонь.

Напишу еще про Адобченко.
Погонял FireFly на разных промптах, пишу свои подозрения и теории заговора.

1. Видно, что там прям ИНОЙ датасет. Картинки выходят, скажем так, свежие. Когда гоняешь модели Stable Diffusion уже немного предчувствуешь результат. А тут он как бы слегка другой. Смотрите картинки в след посте.

2. Да, они пишут, что датасет - это Adobe Stock плюс очищенные от копирайта картинки. Это и плюс и минус. Про минус понятно. А плюс - это попадание в насмотренность юзеров Адобе Стока и в мейнстрим, так сказать.

3. Есть ощущение, что они всегда генерят квадрат, а потом кропают его до нужного аспекта. Если в Stable Diffusion соотношение сторон сильно меняет картинку, то здесь практически не меняет.

4. Нет сидов, но можно сравнивать один сид с разными стилями. Если повезет.

5. Длинные промпты угнетают прочие настройки типа Композиция. Некоторые слова в промптах тоже конфликтуют с ними. Лица практически не реагируют на настройки типа Shot from below. А вот предметы сразу отзываются. Видно, что датасеты очень тщательно почищены.

6. Стили и настройки справа смахивают на ловкие постэффекты, наложенные после генерации.

0. А теперь самое главное. Оно БЫСТРОЕ!
FireFly фигачит со скоростью, сравнимой с DreamStudio от StabilityAI.
Все сервисы, которые я тестировал, от Леонардо и Сценарио до Лексики и Плейграунда примерно в 10 раз медленнее. Если не больше.
Это прямо решает. Ты не ждешь.
Это даже быстрее, чем Automatic1111 под столом на 4х картинках.

В общем я думаю, что Адобченко оттяпает огромную долю юзеров, которые только приходят в генератив.

Во-первых, удобно. Короткие промпты, привычные настройки справа, никаких сэмплеров или трудночитаемых названий. Тупо, понятно, просто. Большинству это дико зайдет.

Во-вторых, это дико быстро. В отличие от поделок в сети.

В-третьих, это привычно. Поэтому Адобченко просто возьмет под белые руки свой же User Base и сыграет им на флейте FireFly. И уведет их в привычные интерфейсы. От ада Автоматика и алчности медленных интернет-сервисов.

И никакого Дискорда!!!!!

Интересное и практичное использование генеративных текстовых нейросеток для решения самых разных задач. Выбираешь, с кем хочешь пообщаться и какую задачу решить: HR, юрист, психолог, бухгалтер, повар(!), переводчик.
И все это прямо в телеге!

NoPeople — первый cервис заказа услуг, в котором все исполнители - нейросети.

Сотни задач выполняются за ~10 секунд:
— составить резюме или мотивационное письмо;
— разработать контент-план или готовый пост;
— написать или переработать программный код;
— задать любой вопрос нейросети и получить грамотный ответ.

Теперь это незаменимый инструмент. Внедряйте: @nopeople_bot
#промо

В ожидании ИИ-метахьюманов.
Наткнулся на вот такую новость.
Ждать ли клона Metahuman Creator от Synthesia.io?
Параметризация 3Д-сканов кожаных голов нейросетками, с целью получить их параметрическое представление. А оттуда и до метахьюманов недалеко.
Тренировали модель на датасете из 2000 высококачественных 3D-моделей голов, созданных с помощью фотограмметрии.
Детали тут: https://xn--r1a.website/twin_3d/237

Но! Буквально в ту же минуту Synthesis AI пригнали мне фантастическую новость про то, что они уже сделали ИИ-Метахьюмана!! Читайте следующий пост и постарайтесь не перепутать synthesis.ai и synthesia.io - это совершенно разные компании.

Чистый, без примесей, text-to-3D!

Коль скоро Epic Games до сих пор выясняет этичность использования ИИ, кто-то должен был сделать ИИ-Метахьюмана!

Мне написал Макс П. из Synthesis AI и пригнал вот такую новость.

Synthesis AI, стартап из Сан-Франциско, специализирующийся на производстве синтетических данных, сегодня объявил, что разработал новый способ создания реалистичных ТРЕХМЕРНЫХ цифровых людей из текстовых подсказок.

Компания анонсирует, что ее новая технология преобразования текста в 3D, использует "пайплайны генеративного искусственного интеллекта и визуальных эффектов для создания цифровых людей с высоким разрешением кинематографического качества, которые можно использовать для различных приложений, таких как как игры, виртуальная реальность, фильмы и симуляторы".

Ну и дело не столько в качестве, а в подходе. Кто-то наконец-то сделал брутфорсный тренинг моделей на классических полигональных сетках, без всяких нерфов, 2Д-проекций, читов в духе kaedim и вот этого вот всего. На выходе реальные текстурированные 3Д-меши.

Synthesis AI сделала собственные модели, используя генеративные архитектуры на основе диффузии для создания разнообразного набора сеток, которые регулируются критическими параметрами, такими как пол, возраст, этническая принадлежность и пр. Слои текстур создаются с использованием отдельной(!) генеративной модели, которая обеспечивает детальное независимое управление(!)

Комплексная 3D-модель с высоким разрешением создается путем слияния этих двух основных компонентов.

В общем это такой ИИ-Метахьюман с голосовым(текстовым) управлением (хотя управление слайдерами тоже есть).

Еще раз - на выходе чистое, рафинированное, генетически немодифицированное 3Д!

Synthesis AI специализируется на синтетических данных, поэтому немудрено, что собственная библиотека Synthesis AI, содержащая более 100 тысяч цифровых людей, является базовыми данными, используемыми для обучения моделей. Другие продукты компании, Synthesis Humans и Synthesis Scenarios, уже используют эту библиотеку для решения задач компьютерного зрения с размеченными данными для поддержки разработки возможностей идентификации лиц, мониторинга водителей, аватаров и многого другого.

В общем, наконец-то кто-то обГАНил (обдиффузил) полигональные 3Д-сетки, пусть на определенном, но очень востребованном классе объектов - кожаные головы.

Это только начало, цитирую: "сочетая генеративный ИИ с пайплайнами кинематографических визуальных эффектов, компании смогут синтезировать мир, включая людей, окружающую среду и объекты".

Мы с Максом обсудили дальнейшее обГАНИвание 3Д, а я срочно записался в бету, благо есть административный ресурс влияния. Макс неоднократно зажигал у меня на Ивенте, а психоделические посиделки в киевском "Любимом дяде" с Дэном и Максом до сих пор оказывают на меня влияние.


https://venturebeat.com/ai/synthesis-ai-debuts-text-to-3d-technology-for-cinematic-quality-digital-human-synthesis/

Nvidia дропнула новую модельку
text2video. Качество заметно подросло по сравнению с предыдущими, но это все еще не идеальный вариант.

К сожалению попробовать пока негде, есть только страница проекта с описанием.

Так что пока любуемся Штурмовиком пылесосящим пляж. В комменты можете кидать удачные примеры использования.

Немного мыслей UI/UX, Automatic и Адобченко.
Раз уж меня вчера пробило на Адобченко, закрою гештальт громогласным нытьем про интерфейсы, которые пишут программисты.
Почему Адобченко всех сожрет на этом поле?
Потому что даже интерфейс FireFly уже сейчас очень прост и понятен.
В нем большие картинки слева сверху и привычная колонка параметров справа. Внизу дополнительные элементы управления.
В большинстве 3Д и 2Д софтов уже выработался такой стандарт - огромный вьюпорт слева, параметры справа, внизу таймлайн(если есть).
Ибо результат - это картинка. И хочется быть к ней "как можно ближе".
Она - центр внимания.

Что мы имеем в Automatic1111?
Маленькая картинка справа, слева нагромождение параметров, промпты под потолком и феерично-хаотично разбросанные кнопочки по экрану (типа доступа к лоре и гиперсетям).
Более того, редактируете вы картинку(инпайнт) в одном окошечке, генерите во втором, а скелет идете выставлять вообще в другую вкладку.
В результате получаются метания среди маленьких картинок, вместо того, чтобы всё рисовать, выставлять, маскировать на одной большой картинке-вьюпорте.

Почему Адобченко всех сожрет? Да потому что у него все будет делаться на одной и той же картинке. И не нужны будут отдельные экстеншены, чтобы зумировать(!) изображение.

Даже в 3Д додумались рендерить картинку прямо во вьюпорте, поверх моделей в окне. ИИ-генерация - это чистый рендер, поэтому в идеале иметь один вьюпорт, а котором все и настраивается. А справа скрол из сгруппированных параметров. И в идеале, чтоб на двух мониторах работало - на одном картинка, на втором цифры в клеточках.

Про дискорд я вообще молчу...

Вы все видели хит "Уилл Смит жрет спагетти".
Держите ответочку от Олега Трешера.
Психологический дриллер "Спагетти жрет Уилла Смита".
Modelscope плюс опыт монтажа, экшен начинается на 00:40.
Нервным и олдскульным смотреть запрещено!
Полтора года назад DiscoDiffusion генерил подобное, только в статике, картиночками.
Что будет в конце 2024?
ИИ жрет Халивуд?

Я немного помониторил, что показывали на NAB 2023 в плане ИИ.
В основном это решения по автоматизации работы с видео контентом (ибо NAB - это National Association of Broadcasters).

В основном народ обсуждал на круглых столах, как сделать контент еще персонифицированнее и как можно наживаться на контенте еще более эффективно с помощью ИИ. На NAB собираются взрослые мальчики, которым не до тянок в Stable Diffusion, там разговор в основном за бизнес.

Например о том, как создавать описания для конского количества видеоконтента с помощью ИИ. Индексация и аннотирование.

Также мне приглянулось решение с адовым названием Spherexgreenlight, которое берет ваш контент (кино, сериал, видео) и ИИ-смотрит, какие культурные коды будут нарушены в том или ином регионе. И помечает нужные сцены, чтобы не спалить контент в разных странах, получив жесткий ограничительный рейтинг.

Ну и упаковщики Stable Diffusion тоже не дремлют.
На видео в шапке продукт Кубрик - это закатывание Stable Diffusion в привычный определенному кругу лиц (постпродакшен) интерфейс, со знакомыми терминами и процессами. По сути это удобный генератор фонов с помощью Stable Diffusion, обустроенный так, чтобы это можно было быстро редактировать на съемочной площадке или около нее.
Немного смахивает на инхаусные костыли, быстро упакованные для выставки.
(хотя я могу ошибаться, поглядите сайт сами).
Думаю рано или поздно, одна из таких систем выстрелит, ибо интерфейс и привычный пайплайн решают (это к вопросу о моем нытье про интерфейсы к Stable Diffusion).

StableLM - языковая Stable Diffusion

Stability AI выпустила свою языковую модель с открытым исходным кодом, StableLM. С 3-мя и 7-ю миллиардами параметров (3В и 7В), за ней последуют модели 15В, 30В и 65В.

Модели StableLM умеют в текст и в код и обучались на новом экспериментальном наборе данных, построенном на базе The Pile, но в три раза большем, 1.5 триллиона токенов.

Модели есть на GitHub. Планируется дообучение на кожаных оценках (RLHF) на основе краудсорсинга и сотрудничество с Open Assistant, чтобы создать набор данных с открытым исходным кодом для ИИ-ассистентов.

Интересно будет посмотреть на требования к памяти: An upcoming technical report will document the model specifications and the training settings.
Но модели компактные, похоже можно гонять под столом и в Убабуге (это как бы аналог Automatic1111).
Пишите про успехи в этом нелегком деле.
https://stability.ai/blog/stability-ai-launches-the-first-of-its-stablelm-suite-of-language-models

Есть демо для модели 7В:
https://huggingface.co/spaces/stabilityai/stablelm-tuned-alpha-chat