Продолжаем флюксить.

Вот тут ведь есть умные люди, растолкуйте старичку такой вопрос.
Младшие модели (Дев и Шнелл) - это пожатые\дистиллированные версии старшей модели PRO.
Если мы говорим, про дообучение и лоры: возможно ли дообучение пожатых моделей или дообучать можно только старшую модель, а потом дистилировать(сжимать) чекпойнты до меньших размеров?

Продолжаем флюксить.

Они разобрались не только с руками (руки реально хорошие в 60% случаев), но и с ногами\ступнями - раньше это был полный треш для всех моделей.
Правда Flux делает вид, что между руками и ногами (где-то посередине) у людей ничего нет. В датасетах этого не было очевидно.
Но прогресс с конечностями - поражает.

Ну, за Топаз!

Вот очень интересная работа.
С учетом того, что из видеогенераторов вылезает контент мыльного качества, то хочется его резко улучшить.
Ho.
Авторы не только улучшает резкость, добавляют мелких деталей, они еще и борются с этим родовым мерцанием всех диффузионных генераторов, обучив для этого свою сеточку.
Код есть. Времени нет.
https://vchitect.github.io/VEnhancer-project/

А Суно молодцы!

Вместо того, чтобы как Мира Мурати мычать "ну я не знаю чо там с данными для обучения", Шульман режет правду матку в суде.

"Мы обучаем наши модели на музыке среднего и высокого качества, которую можем найти в открытом интернете... Большая часть открытого интернета действительно содержит материалы, защищенные авторским правом, и некоторые из них принадлежат крупным звукозаписывающим лейблам".
Ну и далее вишенка: "обучение моделей искусственного интеллекта на основе данных в "открытом интернете" ничем не отличается от ребенка, который пишет свои собственные рок-песни после прослушивания этого жанра. Обучение не нарушает авторских прав. Никогда не нарушало, не нарушает и сейчас.".

После этого у RIAA - истерика: "поклонники больше не будут наслаждаться музыкой своих любимых исполнителей, потому что те больше не смогут зарабатывать на жизнь".

Чо то я на стороне Суно.
https://techcrunch.com/2024/08/01/ai-music-startup-suno-response-riaa-lawsuit

Не то чтобы ИИшники обделены вниманием, но творческого человека признание питает всегда

Для тех, кто занимается моушн-графикой и виджеингом, наконец-то устраивают грандиозный конкурс в рамках не менее грандиозного фестиваля. Фест называется «Портал 2030-2050» и пройдет в «Сколково», его посвятят теме будущего. А то, что нас интересует – это конкурс «Портал. Медиа-Арт», на котором диджитал-художники могут заявить о себе многотысячной аудитории. Суть в том, что после отборочного этапа прошедшие в финал участники покажут свое мастерство прямо на сцене с 5 по 7 сентября. Мощный прирост подписчиков и новые интересные заказы считай обеспечены.

Прием заявок уже начался – по виджеингу их можно подать до 21 августа, по моушн-дизайну до 25 августа.
#промо

Голопортация или фотохолобудка.

Выглядит забавно. Но мне кажется, не взлетит.
Точнее останется там, где и фотобудки. Ивенты, мероприятия, развлечения.

Названия у них огненные, конечно.
Сайт, правда, в стиле 2014 года где-то.

https://protohologram.com/

А вот за аватарами на сплатах интересно наблюдать.
От лиц, перешли в полному телу.
Создаются на основе произвольного видео снятого на телефон (около 10 секунд нейтральной позы). Поддерживают анимацию с новыми позами тела, рук и новыми выражениями лица плюс рендеринг с любых точек зрения.

И это работа от Codec Avatars Lab от Метачки.

Но меня обескуражила приписка внизу:
Our ExAvatar outperforms AnimateAnyone - это про что вообще?

Мягкое против соленого?

https://mks0601.github.io/ExAvatar/

@cgevent

Воскресный оффтоп. Сериалы.
Обреченные на славу.

Увидел, что Роланд Эммерих - постановщик эпических фильмов-катастроф в духе смерть в унитазе величиной с Юпитер, взялся делать сериал. Его какбыблокбастеры Послезавтра и День Независимости - примеры непроходимой тупости сюжета и конских бюджетов на VFX. Эффекты мы разбирали по косточкам, но смотреть это невозможно.
А тут еще и Антони Хопкинс в типаглавной роли.
Ну и первые рецензии в сети - "это ответочка Игре Простолов"...

Глянул.

В общем Эммерих верен себе - он держит зрителя за полного и неизлечимо тупого идиота.
Плохо все. Несшиваемые повороты сюжета. Рояли в кустах. Предсказуемые ходы. Ацкая вторичность, я бы сказал тридцативухричность.
И что удивительно - очень, очень плохие эффекты. Картонное все. А этот кич со львом и крокодилами просто нелеп.
Актеры - картонные тоже. Один брат недоигрывает, еле шевеля лицом, другому не дают покоя лавры Макдауэлла из Калигулы и он шевелит лицом*=2.8.
Хопкинс отстреляется быстро и домой (спойлер).
Весь сериал тащит на себе Иван Реон - Рамси Болтон из игры престонов.
В одиночку.
Но затащить это глупую историю невозможно даже на одном хорошем актере.
Нелепость происходящего - вот что у меня осталось в голове после просмотра.

Нейробейсбол выглядит круто!

Только я так и не смог понять чем нейробейсбол отличается от обычного бейсбола

Recraft VS Illustrator
Помните, когда я писал про новые ИИ-фичи Иллюстратора, обещал сходить в Рекрафт и поглядеть, что у них сейчас там.
Более умные люди уже сходили, поглядели и даже аккуратно сравнили.
На итоге Рекрафт как бы рвет Иллюстратор, как Тузик Мурзика (но нет, рвет по дружески, со счетом 5:4).

Но сколько пользователей Иллюстратора добредет до Рекрафта?

Немного инсайдов:
Иллюстрацию можно назвать хорошей, но только для соцсеток и мелких печатных носителей типа визиток. Портировать её на какие-то крупные носители не лучшая идея. Не то чтобы это прям треш и позор, но редактировать косяки надо будет очень долго.

Раздел лого в Рекрафте вообще не слушается промпта, там всегда только два цвета и по сути монохромная иконографика. В Адоб как такового стиля лого нет, есть только настройка иконок и чем больше деталей в промпте, тем хуже генерация.

У Рекрафта крайне ограниченная палитра стилей, это хорошо видно при создании сетов, разные промпты в одной тематике выдают слишком похожий результат в большинстве случаев. Это говорит о слабом датасете. Несмотря на это он хорошо подходит для 3Д сетов или какой-то одной минималистичной чистенькой иллюстрации.

Адоб Иллюстратор делает много грязи, но он очень хорош в копировании стиля, таким образом с ним можно создавать паки 2Д иконок или какие-то усложнённые иллюстрации для открыток в соцсети или на небольшой формат.

Подробности и картинки рассматриваем тут, очень хороший поход к делу:
https://habr.com/ru/amp/publications/833128/

@cgevent

Для гиков. Новый Speech To Text.

Взяли Whisper от OpenAI (который кстати опенсорсный, кто не знал). И разогнали его как следует. Синхронный перевод все ближе.


Whisper-Medusa превосходит Whisper от OpenAI, работая на 50 % быстрее без потери производительности. Увеличение скорости при сохранении высокого уровня точности стало возможным благодаря тому, что наша модель может предсказывать токены. Токен - это единица данных, которую обрабатывает алгоритм. Модель Whisper от OpenAI предсказывает один токен за раз, в то время как Whisper-Medusa от aiOla предсказывает десять за раз, тем самым ускоряя скорость предсказания речи на 50% и увеличивая время работы, особенно для длинных аудиозаписей. aiOla в настоящее время предлагает Whisper-Medusa как 10-головую модель, а в будущем планирует выпустить 20-головую версию с эквивалентной точностью.

Код и все дела есть в доступе.
https://aiola.com/blog/introducing-whisper-medusa/

@cgevent