А Суно молодцы!

Вместо того, чтобы как Мира Мурати мычать "ну я не знаю чо там с данными для обучения", Шульман режет правду матку в суде.

"Мы обучаем наши модели на музыке среднего и высокого качества, которую можем найти в открытом интернете... Большая часть открытого интернета действительно содержит материалы, защищенные авторским правом, и некоторые из них принадлежат крупным звукозаписывающим лейблам".
Ну и далее вишенка: "обучение моделей искусственного интеллекта на основе данных в "открытом интернете" ничем не отличается от ребенка, который пишет свои собственные рок-песни после прослушивания этого жанра. Обучение не нарушает авторских прав. Никогда не нарушало, не нарушает и сейчас.".

После этого у RIAA - истерика: "поклонники больше не будут наслаждаться музыкой своих любимых исполнителей, потому что те больше не смогут зарабатывать на жизнь".

Чо то я на стороне Суно.
https://techcrunch.com/2024/08/01/ai-music-startup-suno-response-riaa-lawsuit

Не то чтобы ИИшники обделены вниманием, но творческого человека признание питает всегда

Для тех, кто занимается моушн-графикой и виджеингом, наконец-то устраивают грандиозный конкурс в рамках не менее грандиозного фестиваля. Фест называется «Портал 2030-2050» и пройдет в «Сколково», его посвятят теме будущего. А то, что нас интересует – это конкурс «Портал. Медиа-Арт», на котором диджитал-художники могут заявить о себе многотысячной аудитории. Суть в том, что после отборочного этапа прошедшие в финал участники покажут свое мастерство прямо на сцене с 5 по 7 сентября. Мощный прирост подписчиков и новые интересные заказы считай обеспечены.

Прием заявок уже начался – по виджеингу их можно подать до 21 августа, по моушн-дизайну до 25 августа.
#промо

Голопортация или фотохолобудка.

Выглядит забавно. Но мне кажется, не взлетит.
Точнее останется там, где и фотобудки. Ивенты, мероприятия, развлечения.

Названия у них огненные, конечно.
Сайт, правда, в стиле 2014 года где-то.

https://protohologram.com/

А вот за аватарами на сплатах интересно наблюдать.
От лиц, перешли в полному телу.
Создаются на основе произвольного видео снятого на телефон (около 10 секунд нейтральной позы). Поддерживают анимацию с новыми позами тела, рук и новыми выражениями лица плюс рендеринг с любых точек зрения.

И это работа от Codec Avatars Lab от Метачки.

Но меня обескуражила приписка внизу:
Our ExAvatar outperforms AnimateAnyone - это про что вообще?

Мягкое против соленого?

https://mks0601.github.io/ExAvatar/

@cgevent

Воскресный оффтоп. Сериалы.
Обреченные на славу.

Увидел, что Роланд Эммерих - постановщик эпических фильмов-катастроф в духе смерть в унитазе величиной с Юпитер, взялся делать сериал. Его какбыблокбастеры Послезавтра и День Независимости - примеры непроходимой тупости сюжета и конских бюджетов на VFX. Эффекты мы разбирали по косточкам, но смотреть это невозможно.
А тут еще и Антони Хопкинс в типаглавной роли.
Ну и первые рецензии в сети - "это ответочка Игре Простолов"...

Глянул.

В общем Эммерих верен себе - он держит зрителя за полного и неизлечимо тупого идиота.
Плохо все. Несшиваемые повороты сюжета. Рояли в кустах. Предсказуемые ходы. Ацкая вторичность, я бы сказал тридцативухричность.
И что удивительно - очень, очень плохие эффекты. Картонное все. А этот кич со львом и крокодилами просто нелеп.
Актеры - картонные тоже. Один брат недоигрывает, еле шевеля лицом, другому не дают покоя лавры Макдауэлла из Калигулы и он шевелит лицом*=2.8.
Хопкинс отстреляется быстро и домой (спойлер).
Весь сериал тащит на себе Иван Реон - Рамси Болтон из игры престонов.
В одиночку.
Но затащить это глупую историю невозможно даже на одном хорошем актере.
Нелепость происходящего - вот что у меня осталось в голове после просмотра.

Нейробейсбол выглядит круто!

Только я так и не смог понять чем нейробейсбол отличается от обычного бейсбола

Recraft VS Illustrator
Помните, когда я писал про новые ИИ-фичи Иллюстратора, обещал сходить в Рекрафт и поглядеть, что у них сейчас там.
Более умные люди уже сходили, поглядели и даже аккуратно сравнили.
На итоге Рекрафт как бы рвет Иллюстратор, как Тузик Мурзика (но нет, рвет по дружески, со счетом 5:4).

Но сколько пользователей Иллюстратора добредет до Рекрафта?

Немного инсайдов:
Иллюстрацию можно назвать хорошей, но только для соцсеток и мелких печатных носителей типа визиток. Портировать её на какие-то крупные носители не лучшая идея. Не то чтобы это прям треш и позор, но редактировать косяки надо будет очень долго.

Раздел лого в Рекрафте вообще не слушается промпта, там всегда только два цвета и по сути монохромная иконографика. В Адоб как такового стиля лого нет, есть только настройка иконок и чем больше деталей в промпте, тем хуже генерация.

У Рекрафта крайне ограниченная палитра стилей, это хорошо видно при создании сетов, разные промпты в одной тематике выдают слишком похожий результат в большинстве случаев. Это говорит о слабом датасете. Несмотря на это он хорошо подходит для 3Д сетов или какой-то одной минималистичной чистенькой иллюстрации.

Адоб Иллюстратор делает много грязи, но он очень хорош в копировании стиля, таким образом с ним можно создавать паки 2Д иконок или какие-то усложнённые иллюстрации для открыток в соцсети или на небольшой формат.

Подробности и картинки рассматриваем тут, очень хороший поход к делу:
https://habr.com/ru/amp/publications/833128/

@cgevent

Для гиков. Новый Speech To Text.

Взяли Whisper от OpenAI (который кстати опенсорсный, кто не знал). И разогнали его как следует. Синхронный перевод все ближе.


Whisper-Medusa превосходит Whisper от OpenAI, работая на 50 % быстрее без потери производительности. Увеличение скорости при сохранении высокого уровня точности стало возможным благодаря тому, что наша модель может предсказывать токены. Токен - это единица данных, которую обрабатывает алгоритм. Модель Whisper от OpenAI предсказывает один токен за раз, в то время как Whisper-Medusa от aiOla предсказывает десять за раз, тем самым ускоряя скорость предсказания речи на 50% и увеличивая время работы, особенно для длинных аудиозаписей. aiOla в настоящее время предлагает Whisper-Medusa как 10-головую модель, а в будущем планирует выпустить 20-головую версию с эквивалентной точностью.

Код и все дела есть в доступе.
https://aiola.com/blog/introducing-whisper-medusa/

@cgevent

Хотите погонять Флюкс Про бесплатно?

Попробуйте тут:
https://glif.app/

Очень забавная штука. Комфи для нормальных людей.

Я вонзил свои традиционные бутылочки ("не чокаясь" требует отвечать за базар). Считает быстро. Действительно Флюкс под капотом.


Минитутор тут:
https://x.com/heyglif/status/1819099126174568606

Пойду посмотрю, кто вонзает за компьют. И за API OpenAI. - Our current rate limit per user is 200 runs per day.

@cgevent

Продолжаем флюксить. Похоже дело дошло до тренировки новых моделей и лор на базе Flux.

https://github.com/bghira/SimpleTuner/releases/tag/v0.9.8

Пока раздуплился SimpleTuner, ждем kohya и OneTrainer.

Если медленно и мучительно, то 24G VRAM карты с 8bit quantisation или 25.7G на Macbook system(совсем медленно).

Для солидных господ с нормальной точностью требуется: 40 или 80GB VRAM (го рунпод).
Но это только для тренировки Лор, для полного тренинга вам лучше иметь 3 карты, по 72 Гига на каждой минимум.
https://github.com/bghira/SimpleTuner/blob/v0.9.8/documentation/quickstart/FLUX.md

Вот в этой ветке на реддите обсуждают довольно интересные вопросы:
можно ли тренировать Дев и Шнель, а не дистилировать тренированную Про (да, можно).
можно ли тренировать Лоры для Дев и использовать их для Шнель (да, можно, а наоборот нельзя).
И еще много особенностей будущих тренировок.

Флюкс - это вам не SDXL и его тренировка распадается на много разных подпроблем. Коль скоро он как бы содержит в себе трансформер, то требования к датасету, разметке, подготовке картинок и, самое, главное, описаний становятся иными. И да, более сложными.
На реддите уже появились "как бы чекпойнты Флюкса", но это лишь затюненная "текстовая" часть, а не "картиночная".

А вам пока остается молиться богу Флюкса или донатить в канал. Карма к вам вернется в виде обученных Флюкс-моделей и Лор.

@cgevent