Держите Бутылок Клейна, Треугольников Серпинского и Сапогов Шварца.
Надо сказать, что с лентой Мебиуса ИИ (в кожаных руках) не справляется. Мы уже делали челлендж.
Теперь лайфхак.
После того, как я задолбался генерить чорные сапоги, я просто взял картинку из Википедии и дал ее в зубы chatGPT и спросил, шовидишь?
Ботинок Шварца, говорит.
Давай, говорю промпт, чтобы сгенерить такое.
Апажалста.
Тут мне и поперло. И со Шварцем, и с Клейном и с Серпинским.
С бутылкой он, конечно, тоже не справился, но сделал интересные формы, от которых у кожаных дизайнеров заныло под ложечкой.
А вот прочтения треугольника Серпинского - это прям очень здорово.
Этот тот случай, когда это можно подсовывать кожаным и говорить, "художник страдал, проваливаясь в острые чертоги своего разума, запертого в архетипах святой троицы".
Но во-первых, это красиво. И у меня такого теперь 200 мегабайт..
Ну и кстати, хотите еще фана?
Вот поглядите, как Крис Каштанова лихо пишет код на JavaScript для Иллюстратора с помощью OpenAI o1, чтобы делать в нем Треугольники Серпинского. МетаПостИИМодерн.
@cgevent
Надо сказать, что с лентой Мебиуса ИИ (в кожаных руках) не справляется. Мы уже делали челлендж.
Теперь лайфхак.
После того, как я задолбался генерить чорные сапоги, я просто взял картинку из Википедии и дал ее в зубы chatGPT и спросил, шовидишь?
Ботинок Шварца, говорит.
Давай, говорю промпт, чтобы сгенерить такое.
Апажалста.
Тут мне и поперло. И со Шварцем, и с Клейном и с Серпинским.
С бутылкой он, конечно, тоже не справился, но сделал интересные формы, от которых у кожаных дизайнеров заныло под ложечкой.
А вот прочтения треугольника Серпинского - это прям очень здорово.
Этот тот случай, когда это можно подсовывать кожаным и говорить, "художник страдал, проваливаясь в острые чертоги своего разума, запертого в архетипах святой троицы".
Но во-первых, это красиво. И у меня такого теперь 200 мегабайт..
Ну и кстати, хотите еще фана?
Вот поглядите, как Крис Каштанова лихо пишет код на JavaScript для Иллюстратора с помощью OpenAI o1, чтобы делать в нем Треугольники Серпинского. МетаПостИИМодерн.
@cgevent
👍37🔥28👎3
На волне всего этого топологического безумия, я полез посмотреть, а что там Леша Осипенко нагенерил с фракталами, помните я писал про него?
И малость офигел. У него там прям фрактальный рай.
Я, естественно, допросил его с пристрастием: как это возможно, говорю?
Вот тут ответы:
Существует несколько специализированных программ для визуализации фракталов, но я выбрал более сложный путь. Основная причина в том, что эти программы создавались без учета особенностей индустрии визуальных эффектов. Например, в них нельзя сделать симуляцию воды.
По этим причинам в 2021 году я стал разрабатывать внутри Blender свой собственный набор инструментов, который и сейчас продолжаю совершенствовать.
Тем не менее, я рекомендую Mandelbulber VFX Tools для Mandelbulber от Adrian Meyer — это лучшее готовое решение из всех, что я встречал. Я немного общался с автором в 2021 году, когда узнал про него. Как и Blender, это открытое программное обеспечение, которое абсолютно бесплатно.
Поглядите на все это фрактальное пиршество тут. Крутизна в том, что это не унылые картинки из Матлаба, а средневзвешенное между математикой, VFX и искусством.
Кстати, последняя Манделбалба выше - это кэш в Alembic:
- 150 кадров
- 10 293 687 полигонов
- 78 гигабайт
@cgevent
И малость офигел. У него там прям фрактальный рай.
Я, естественно, допросил его с пристрастием: как это возможно, говорю?
Вот тут ответы:
Существует несколько специализированных программ для визуализации фракталов, но я выбрал более сложный путь. Основная причина в том, что эти программы создавались без учета особенностей индустрии визуальных эффектов. Например, в них нельзя сделать симуляцию воды.
По этим причинам в 2021 году я стал разрабатывать внутри Blender свой собственный набор инструментов, который и сейчас продолжаю совершенствовать.
Тем не менее, я рекомендую Mandelbulber VFX Tools для Mandelbulber от Adrian Meyer — это лучшее готовое решение из всех, что я встречал. Я немного общался с автором в 2021 году, когда узнал про него. Как и Blender, это открытое программное обеспечение, которое абсолютно бесплатно.
Поглядите на все это фрактальное пиршество тут. Крутизна в том, что это не унылые картинки из Матлаба, а средневзвешенное между математикой, VFX и искусством.
Кстати, последняя Манделбалба выше - это кэш в Alembic:
- 150 кадров
- 10 293 687 полигонов
- 78 гигабайт
@cgevent
🔥41👍22👎6
This media is not supported in your browser
VIEW IN TELEGRAM
Видеогенератор от Снапчата.
Снап на этой неделе немного приподвзажег.
Выпустили новые очки. Батарея на борту, могут выкликать ChatGPT и другие ИИ. AR в полный рост. Но пока версия для девелоперов.
Но вот утечки говорят, что уже завтра в бете доступен генератор видео от Снапа!
И там своя video foundation model, и она быстрая. Из текста и из картинки.
Плюс на видео некое подобие KYC плюс faceID для быстрого производства Лор(??) со своим лицом?
В общем заинтриговали.
Больше видеогенераторов богу видеогенераторов!
И я ещё подсмотрел, что у них теперь есть genAI при создании линз. С ЛЛМ и всеми пирогами.
@cgevent
Снап на этой неделе немного приподвзажег.
Выпустили новые очки. Батарея на борту, могут выкликать ChatGPT и другие ИИ. AR в полный рост. Но пока версия для девелоперов.
Но вот утечки говорят, что уже завтра в бете доступен генератор видео от Снапа!
И там своя video foundation model, и она быстрая. Из текста и из картинки.
Плюс на видео некое подобие KYC плюс faceID для быстрого производства Лор(??) со своим лицом?
В общем заинтриговали.
Больше видеогенераторов богу видеогенераторов!
И я ещё подсмотрел, что у них теперь есть genAI при создании линз. С ЛЛМ и всеми пирогами.
@cgevent
🔥35👍11
Media is too big
VIEW IN TELEGRAM
Вот держите еще немного утечек и Снапчат-метаверса.
Эван Шпигель, сам, без ансамбля, тизерит генеративный AI при создании линз.
Тут бы впору выпить за всех, кто зарабатывает на линзах, ибо он просто говорит давай чизбургер или котика - и оно моментально генерит (сначала 2Д-прокси, а потом 3Д(!) AR-объект. Он делает хорошее шоу - из зала люди кричат, что они хотят увидеть, а он просто говорит "imagine cowboy frog" и лягушка ковбой возникает в 3Д. Смотрится куда лучше, чем твитторные треды типа "кидайте промпты, а я нагенерю".
Ну и совсем убойно смотрится вот это вот меню на ладони. А трюк с настройками на тыльной стороне - вообще шедевр UX.
Все эти фильмы про будущее уже здесь.
Снап молодцы, у них очень крутой ресерч.
И я добавлю, что именно тут ИИ-генерация очень уместна и по делу - нет требований к качеству 2Д и 3Д, аудитория уже приучена к некоторому стилю, в которой ИИ попадает с первого раза.
А порассматривать очки можете тут:
https://techcrunch.com/2024/09/17/snaps-extremely-large-spectacles-bring-impressive-ar-to-developers-at-99-a-month/
@cgevent
Эван Шпигель, сам, без ансамбля, тизерит генеративный AI при создании линз.
Тут бы впору выпить за всех, кто зарабатывает на линзах, ибо он просто говорит давай чизбургер или котика - и оно моментально генерит (сначала 2Д-прокси, а потом 3Д(!) AR-объект. Он делает хорошее шоу - из зала люди кричат, что они хотят увидеть, а он просто говорит "imagine cowboy frog" и лягушка ковбой возникает в 3Д. Смотрится куда лучше, чем твитторные треды типа "кидайте промпты, а я нагенерю".
Ну и совсем убойно смотрится вот это вот меню на ладони. А трюк с настройками на тыльной стороне - вообще шедевр UX.
Все эти фильмы про будущее уже здесь.
Снап молодцы, у них очень крутой ресерч.
И я добавлю, что именно тут ИИ-генерация очень уместна и по делу - нет требований к качеству 2Д и 3Д, аудитория уже приучена к некоторому стилю, в которой ИИ попадает с первого раза.
А порассматривать очки можете тут:
https://techcrunch.com/2024/09/17/snaps-extremely-large-spectacles-bring-impressive-ar-to-developers-at-99-a-month/
@cgevent
🔥41👍15👎7
Небольшой нейродайджест из трех постов.
Тут телеграмчик пишет, что Neuralink сделал устройство, способное вернуть зрение.
Все немного не так. FDA пока одобрила тесты чипа Blindsight. Ну то есть, дальше будут испытания на добровольцах, а потом уже можно будет сказать о результатах, которых пока нет. Но то, что Маск получил добро от FDA - это прям победа.
Вот, что он дословно пишет у себя в твитторе:
Устройство Blindsight позволит видеть даже тем, кто потерял оба глаза и зрительный нерв. При условии, что зрительная кора не повреждена, оно позволит впервые увидеть даже тем, кто слеп от рождения. Если правильно сформулировать ожидания, то сначала зрение будет иметь низкое разрешение, как графика Atari, но в конечном итоге оно может стать лучше естественного зрения и позволит вам видеть в инфракрасном, ультрафиолетовом или даже радарном диапазоне волн, как Джорди Ла Фордж.
Последнее уже явно напоминает биохакинг. Ябвонзил.
P.S. У меня всю жизнь было минус 7. А 10 лет назад я сделал операцию. И качество жизни НАСТОЛЬКО изменилось, что я готов вонзить любую хрень в глаза, башку, мозг, если это гарантирует мне такой же скачок качества жизни.
Первый год я каждое утро шарил вокруг себя в поисках очков или линз. Инстинктивно. Бррр.
https://www.reuters.com/business/healthcare-pharmaceuticals/musks-neuralink-receives-fdas-breakthrough-device-tag-brain-implant-2024-09-17/
@cgevent
Тут телеграмчик пишет, что Neuralink сделал устройство, способное вернуть зрение.
Все немного не так. FDA пока одобрила тесты чипа Blindsight. Ну то есть, дальше будут испытания на добровольцах, а потом уже можно будет сказать о результатах, которых пока нет. Но то, что Маск получил добро от FDA - это прям победа.
Вот, что он дословно пишет у себя в твитторе:
Устройство Blindsight позволит видеть даже тем, кто потерял оба глаза и зрительный нерв. При условии, что зрительная кора не повреждена, оно позволит впервые увидеть даже тем, кто слеп от рождения. Если правильно сформулировать ожидания, то сначала зрение будет иметь низкое разрешение, как графика Atari, но в конечном итоге оно может стать лучше естественного зрения и позволит вам видеть в инфракрасном, ультрафиолетовом или даже радарном диапазоне волн, как Джорди Ла Фордж.
Последнее уже явно напоминает биохакинг. Ябвонзил.
P.S. У меня всю жизнь было минус 7. А 10 лет назад я сделал операцию. И качество жизни НАСТОЛЬКО изменилось, что я готов вонзить любую хрень в глаза, башку, мозг, если это гарантирует мне такой же скачок качества жизни.
Первый год я каждое утро шарил вокруг себя в поисках очков или линз. Инстинктивно. Бррр.
https://www.reuters.com/business/healthcare-pharmaceuticals/musks-neuralink-receives-fdas-breakthrough-device-tag-brain-implant-2024-09-17/
@cgevent
Reuters
Musk's Neuralink gets FDA's breakthrough device tag for 'Blindsight' implant
Elon Musk's brain-chip startup Neuralink said on Tuesday its experimental implant aimed at restoring vision received the U.S. Food and Drug Administration's "breakthrough device" designation.
👍38🔥22👎1
А вот это уже путь к масс-адопшену нейроимплантов. И биохакингу.
Потому что речь идет о скрещивании сугубо медицинских проектов и массовых устройств типа умных колонок и часов.
Мозговой имплант от Synchron позволяет людям управлять Amazon Alexa силой мысли
Конкурент Neuralink, компания Synchron, соединяет свой интерфейс «мозг-компьютер» (BCI) с потребительскими технологиями, чтобы позволит людям управлять Amazon Alexa силой мысли.
"С BCI Марк уже мог управлять iPhone, iPad и компьютером с помощью мыслей, чтобы бродить в интернете или писать электронные письма. Благодаря интеграции с Amazon он может управлять Alexa с планшета Fire, чтобы включать и выключать свет в доме, смотреть телевизор, совершать видеозвонки, воспроизводить музыку, управлять камерой безопасности Ring, читать книги на Kindle и делать покупки на Amazon."
Марк — это первый человек, который использует Alexa с имплантированным BCI от Синхрон.
Тут мы проматываем вперед и соединяем с новостями от Маска и Снапа и понимаем, что возможно очки скоро будут не нужны.
Читаем дальше.
https://www.wired.com/story/synchron-amazon-alexa-brain-computer-interface-bci/
@cgevent
Потому что речь идет о скрещивании сугубо медицинских проектов и массовых устройств типа умных колонок и часов.
Мозговой имплант от Synchron позволяет людям управлять Amazon Alexa силой мысли
Конкурент Neuralink, компания Synchron, соединяет свой интерфейс «мозг-компьютер» (BCI) с потребительскими технологиями, чтобы позволит людям управлять Amazon Alexa силой мысли.
"С BCI Марк уже мог управлять iPhone, iPad и компьютером с помощью мыслей, чтобы бродить в интернете или писать электронные письма. Благодаря интеграции с Amazon он может управлять Alexa с планшета Fire, чтобы включать и выключать свет в доме, смотреть телевизор, совершать видеозвонки, воспроизводить музыку, управлять камерой безопасности Ring, читать книги на Kindle и делать покупки на Amazon."
Марк — это первый человек, который использует Alexa с имплантированным BCI от Синхрон.
Тут мы проматываем вперед и соединяем с новостями от Маска и Снапа и понимаем, что возможно очки скоро будут не нужны.
Читаем дальше.
https://www.wired.com/story/synchron-amazon-alexa-brain-computer-interface-bci/
@cgevent
WIRED
This Brain Implant Lets People Control Amazon Alexa With Their Minds
Neuralink rival Synchron is connecting its brain–computer interface with consumer technologies to allow people with paralysis more functionality.
🔥24👍6👎3
Нейроконкуренция: в Швейцарии сделали новый маленький и тонкий чип, по сравнению с которым чип от Маска выглядит огромным.
Данный конкретный девайс реально маленький: он состоит из двух тонких чипов общей площадью всего 8 мм2. Neurаlink гораздо больше: примерно 8 х 23 мм (0,3 х 0,9 дюйма).
Кроме того, чипсет EPFL потребляет мало энергии, и является"малоинвазивным" и обрабавает информацию в режиме реального времени. А Neuralink требует сверлить дырочку и вводить в мозг 64 электрода и осуществляет обработку данных с помощью приложения, которое размещается на устройстве за пределами мозга.
Прорыв нового чипа заключается в новом способе считывания сигналов, посылаемых мозгом для обработки языка. Работая над своим чипом, исследователи EPFL обнаружили ряд очень специфических нейронных маркеров, которые срабатывают, когда пациент представляет себе написание каждой буквы. Они назвали эти маркеры отличительными нейронными кодами, или DNC. Про расшифровку мыслей дальше..
Подробнее вот тут:
https://newatlas.com/computers/mibmi-text-accuracy
@cgevent
Данный конкретный девайс реально маленький: он состоит из двух тонких чипов общей площадью всего 8 мм2. Neurаlink гораздо больше: примерно 8 х 23 мм (0,3 х 0,9 дюйма).
Кроме того, чипсет EPFL потребляет мало энергии, и является"малоинвазивным" и обрабавает информацию в режиме реального времени. А Neuralink требует сверлить дырочку и вводить в мозг 64 электрода и осуществляет обработку данных с помощью приложения, которое размещается на устройстве за пределами мозга.
Прорыв нового чипа заключается в новом способе считывания сигналов, посылаемых мозгом для обработки языка. Работая над своим чипом, исследователи EPFL обнаружили ряд очень специфических нейронных маркеров, которые срабатывают, когда пациент представляет себе написание каждой буквы. Они назвали эти маркеры отличительными нейронными кодами, или DNC. Про расшифровку мыслей дальше..
Подробнее вот тут:
https://newatlas.com/computers/mibmi-text-accuracy
@cgevent
New Atlas
Thought-to-text chip smaller than Neuralink achieves 91% accuracy
The brain-machine interface race is on. While Elon Musk's Neuralink has garnered most of the headlines in this field, a new small and thin chip out of Switzerland makes it look downright clunky by comparison. It also works impressively well.
🔥39👍7👎1
Как я уже писал, все эти лыжные маски - клондайк для считывания данных с башки кожаного мешка.
Можно ли сделать foundation model именно для расшифровки сигналов с башки, причем разных модальностей?
Китайцы говорят, что натренировали такую.
BrainWave - первая фундаментальная модель, обученная на инвазивных (iEEG) и неинвазивных (EEG) записях мозга, использующая более 40 000 часов данных от ~16 000 человек.
Этот массив данных позволяет получить надежные, обобщающие представления нейронных сигналов.
Модель превосходит существующие подходы в 28 экспериментах на таких задачах, как обнаружение судорог, диагностика болезни Альцгеймера и классификация СДВГ.
BrainWave демонстрирует впечатляющие возможности обучения за несколько кадров, достигая высокой точности при использовании всего 3-8 помеченных примеров на класс.
Это может значительно снизить потребность в аннотациях для новых клинических приложений.
Даже на данных ЭКГ для обнаружения апноэ во сне BrainWave превосходит варианты, обученные только на ЭЭГ или ИЭГ.
Это говорит о потенциале единой базовой модели для различных биосигналов.
Да, и это опенсорс.
Это я почитал вот такой твиттор, увлекшись сегодня темой нейроинтерфейсов.
https://x.com/OpenlifesciAI/status/1834675402024898613
Надо как-то отвлекаться от Флюкса.
@cgevent
Можно ли сделать foundation model именно для расшифровки сигналов с башки, причем разных модальностей?
Китайцы говорят, что натренировали такую.
BrainWave - первая фундаментальная модель, обученная на инвазивных (iEEG) и неинвазивных (EEG) записях мозга, использующая более 40 000 часов данных от ~16 000 человек.
Этот массив данных позволяет получить надежные, обобщающие представления нейронных сигналов.
Модель превосходит существующие подходы в 28 экспериментах на таких задачах, как обнаружение судорог, диагностика болезни Альцгеймера и классификация СДВГ.
BrainWave демонстрирует впечатляющие возможности обучения за несколько кадров, достигая высокой точности при использовании всего 3-8 помеченных примеров на класс.
Это может значительно снизить потребность в аннотациях для новых клинических приложений.
Даже на данных ЭКГ для обнаружения апноэ во сне BrainWave превосходит варианты, обученные только на ЭЭГ или ИЭГ.
Это говорит о потенциале единой базовой модели для различных биосигналов.
Да, и это опенсорс.
Это я почитал вот такой твиттор, увлекшись сегодня темой нейроинтерфейсов.
https://x.com/OpenlifesciAI/status/1834675402024898613
Надо как-то отвлекаться от Флюкса.
@cgevent
🔥48👍5
This media is not supported in your browser
VIEW IN TELEGRAM
Ну и я соединил все сегодняшние посты про очки от Снапа, генерацию метаверсов голосом, импланты и новое нормальное зрение и понял, что больше не нужны очки или промпты.
Нужна кнопка.
"Еще!".
Для этого все уже есть.
P.S. А вы такие удивлялись, почему Хомяк взлетел? Это разминка перед кнопкой.
@cgevent
Нужна кнопка.
"Еще!".
Для этого все уже есть.
P.S. А вы такие удивлялись, почему Хомяк взлетел? Это разминка перед кнопкой.
@cgevent
🔥49👍13
Каждый день про LLM и генеративные нейросети выходят десятки новостей и постов в соцсетях. Но кейсов, как искусственный интеллект мог бы решать реальные задачи бизнеса, не так много.
Команда «Технократии» опубликовала кейс о том, как они разработали умную базу знаний, которая помогает им онбордить новых сотрудников, отвечать на базовые вопросы о процессах в компании и разгружать сисадминов по типовым запросам.
Co-pilot ассистента они сделали на связке LLM и RAG, а в кейсе довольно простым языком рассказали, как работает технология RAG.
В общем, кейс интересный, вот тут все расписано подробно:
https://vc.ru/ai/1395061-my-razrabotali-umnuyu-bazu-znanii-primeniv-llm-i-rag-podhod
Ну и в соответствии с темой заявленной темой они даже сделали бота, который может отвечать на вопросы по теме создания ассистентов, можете потестировать:
https://xn--r1a.website/TechnokratosAMABot
#промо
Команда «Технократии» опубликовала кейс о том, как они разработали умную базу знаний, которая помогает им онбордить новых сотрудников, отвечать на базовые вопросы о процессах в компании и разгружать сисадминов по типовым запросам.
Co-pilot ассистента они сделали на связке LLM и RAG, а в кейсе довольно простым языком рассказали, как работает технология RAG.
В общем, кейс интересный, вот тут все расписано подробно:
https://vc.ru/ai/1395061-my-razrabotali-umnuyu-bazu-znanii-primeniv-llm-i-rag-podhod
Ну и в соответствии с темой заявленной темой они даже сделали бота, который может отвечать на вопросы по теме создания ассистентов, можете потестировать:
https://xn--r1a.website/TechnokratosAMABot
#промо
👍21👎8
Forwarded from Psy Eyes
Media is too big
VIEW IN TELEGRAM
Kling: обновили генератор видео до версии V 1.5.
Что нового:
* Видео в 1080p, которые оптимизированы генериться под широкоформат
* Улучшилось следование промту
* Повысились качество, динамичность, и эстетичность картинки
* High-Quality (Professional) режим по той же цене
Также появился инструмент Motion Brush для выделения до 6 объектов на видео и их анимации по указанной траектории. Или можно задать, что должно остаться статичным. Такая же фича есть у Runway (не Gen-3) и Kaiber. Максимальная длительность видео из Motion Brush — 5 сек.
Пока контроль камеры и Motion Brush есть только в V 1. В версию V 1.5 они подъедут позже.
В обычном image-2-video режиме выдаётся видео длиной до 10 сек. Одновременно в Kling может генериться до 4 видео.
Анонс
Что нового:
* Видео в 1080p, которые оптимизированы генериться под широкоформат
* Улучшилось следование промту
* Повысились качество, динамичность, и эстетичность картинки
* High-Quality (Professional) режим по той же цене
Также появился инструмент Motion Brush для выделения до 6 объектов на видео и их анимации по указанной траектории. Или можно задать, что должно остаться статичным. Такая же фича есть у Runway (не Gen-3) и Kaiber. Максимальная длительность видео из Motion Brush — 5 сек.
Пока контроль камеры и Motion Brush есть только в V 1. В версию V 1.5 они подъедут позже.
В обычном image-2-video режиме выдаётся видео длиной до 10 сек. Одновременно в Kling может генериться до 4 видео.
Анонс
👍48🔥19
Немножко разберемся с опен-сорсными генераторами видео.
Но недавнего времени результаты open sora вообще не радовали.
Но похоже время работает на open source и появились интересные варианты.
Особенно с подключением взрослых мальчиков типа Алибабы.
Сначала вышел CogVideo & CogVideoX (конечно же китайский). В двух вариантах 5B и 2B (ходит даже на 3060).
Вы можете сами поиграть с ним, есть демо-спейс:
https://huggingface.co/spaces/THUDM/CogVideoX-5B-Space
И код: https://github.com/THUDM/CogVideo
Есть даже вот такие штуки - Llama 3.1 as a caption generation, Flux-dev as an image generator and CogVideoX-I2V for image-to-video generation - https://gist.github.com/a-r-r-o-w/d070cce059ab4ceab3a9f289ff83c69c
Но тут подключился Алибаба - они заюзали EasyAnimate для файнтюнинга CogVideoX и выложили в открытый доступ CogVideoX-Fun, который также включает в себя модели 5B и 2B. Добавили функциональность I2V и V2V и поддержку генерации видео с любым разрешением от 256x256x49 до 1024x1024x49.
Вы также можете сами поиграть с ним, есть демо-спейс:
https://huggingface.co/spaces/alibaba-pai/CogVideoX-Fun-5b
Код тоже есть, что прям сюрприз для Алибабы:
https://github.com/aigc-apps/CogVideoX-Fun
Забавно, что в TODO List значится Support Chinese.
И да, на входе не только текст, но и картинки, и даже видео (I2V). И есть поддержка ComfyUI и градио морды. Все как у людей. Полный жир вот тут:
https://www.reddit.com/r/StableDiffusion/comments/1fjqn76/an_opensourced_textimagevideo2video_model_based/
В общем пробуйте, шлите результаты. Мне нравятся такие вот тесты в шапке...
@cgevent
Но недавнего времени результаты open sora вообще не радовали.
Но похоже время работает на open source и появились интересные варианты.
Особенно с подключением взрослых мальчиков типа Алибабы.
Сначала вышел CogVideo & CogVideoX (конечно же китайский). В двух вариантах 5B и 2B (ходит даже на 3060).
Вы можете сами поиграть с ним, есть демо-спейс:
https://huggingface.co/spaces/THUDM/CogVideoX-5B-Space
И код: https://github.com/THUDM/CogVideo
Есть даже вот такие штуки - Llama 3.1 as a caption generation, Flux-dev as an image generator and CogVideoX-I2V for image-to-video generation - https://gist.github.com/a-r-r-o-w/d070cce059ab4ceab3a9f289ff83c69c
Но тут подключился Алибаба - они заюзали EasyAnimate для файнтюнинга CogVideoX и выложили в открытый доступ CogVideoX-Fun, который также включает в себя модели 5B и 2B. Добавили функциональность I2V и V2V и поддержку генерации видео с любым разрешением от 256x256x49 до 1024x1024x49.
Вы также можете сами поиграть с ним, есть демо-спейс:
https://huggingface.co/spaces/alibaba-pai/CogVideoX-Fun-5b
Код тоже есть, что прям сюрприз для Алибабы:
https://github.com/aigc-apps/CogVideoX-Fun
Забавно, что в TODO List значится Support Chinese.
И да, на входе не только текст, но и картинки, и даже видео (I2V). И есть поддержка ComfyUI и градио морды. Все как у людей. Полный жир вот тут:
https://www.reddit.com/r/StableDiffusion/comments/1fjqn76/an_opensourced_textimagevideo2video_model_based/
В общем пробуйте, шлите результаты. Мне нравятся такие вот тесты в шапке...
@cgevent
huggingface.co
CogVideoX-5B - a Hugging Face Space by zai-org
This application allows users to generate detailed videos from text descriptions or images. Users can input a prompt or upload an image/video, and the app will create a corresponding video. The out...
👍22🔥6