Forwarded from Neural Shit
А чо, интересная идея:
1) Делаем хреновый набросок рукой.
2) Грузим в clip + vqgan в качестве начального изображения
3) В текстовой подсказке указываем, что пытались нарисовать
4) ?????
5) PROFIT!!!!!
Идею спёр отсюда
1) Делаем хреновый набросок рукой.
2) Грузим в clip + vqgan в качестве начального изображения
3) В текстовой подсказке указываем, что пытались нарисовать
4) ?????
5) PROFIT!!!!!
Идею спёр отсюда
Forwarded from Neural Shit
This media is not supported in your browser
VIEW IN TELEGRAM
Forwarded from PieData::DataLake
Paint Transformer: нейронная живопись с прямой связью с прогнозированием штрихов
Что есть нейронная живопись? Нейронная живопись – это процедура создания серии штрихов для данного изображения и нефотореалистичного воссоздания его с помощью нейронных сетей. Хотя агенты на основе обучения с подкреплением могут генерировать последовательность штрихов шаг за шагом для этой задачи, обучить стабильного RL-агента непросто. Методы оптимизации штриха низкоэффективны, ибо они итеративно ищут набор параметров штриха в большом пространстве поиска.
В своей статье ученые из компании Baidu предложили новую структуру на основе Transformer для прогнозирования параметров набора штрихов с помощью сети прямой связи, получившую название Paint Transformer.
Таким образом, их модель может генерировать набор штрихов параллельно и получать окончательную картину размером 512 * 512 почти в реальном времени.
(посмотрите в гитхабе как красиво у них выглядит анимационный аутпут)
Что есть нейронная живопись? Нейронная живопись – это процедура создания серии штрихов для данного изображения и нефотореалистичного воссоздания его с помощью нейронных сетей. Хотя агенты на основе обучения с подкреплением могут генерировать последовательность штрихов шаг за шагом для этой задачи, обучить стабильного RL-агента непросто. Методы оптимизации штриха низкоэффективны, ибо они итеративно ищут набор параметров штриха в большом пространстве поиска.
В своей статье ученые из компании Baidu предложили новую структуру на основе Transformer для прогнозирования параметров набора штрихов с помощью сети прямой связи, получившую название Paint Transformer.
Таким образом, их модель может генерировать набор штрихов параллельно и получать окончательную картину размером 512 * 512 почти в реальном времени.
(посмотрите в гитхабе как красиво у них выглядит анимационный аутпут)
Forwarded from Denis Sexy IT 🤖
Обновился колаб для создания картинок из текста методом диффузии, я им же делал уже Айвазовского.
Обновили штуку, которая как раз влияет на количество деталей, в коде она нызывается
Я решил поиграться, и настроил параметры так, что у меня теперь одна картинка мало того что генерируется 4 часа почти (на A6000, в прошлой версии колаба на такие параметры потребовалась бы видяха с объёмом памяти в ~3 000 гигабайт, кек), так еще и стоит реальные 4 доллара 🌚 зато вот что получилось: «Лицо кибернетического демона», «Галактика упавшая в воду» и «Горы из рек». Продолжу экспериментировать, один фиг уже баксов 100 на это сжег.
Кстати, колаб развивает программистка, подписывайтесь на ее твиттер, она туда постит годноту из генераций.
Обновили штуку, которая как раз влияет на количество деталей, в коде она нызывается
cutn
, и чем она больше, тем лучше результат – проблема была в том, что эта фигня невероятно жрала память видеокарты. Теперь же cutn разбили на партии (в колабе по ссылке по 32 штуки на 4 партии, дают cutn
в 128) и теперь любой желающий может генерировать картинки неплохой детальности. Я решил поиграться, и настроил параметры так, что у меня теперь одна картинка мало того что генерируется 4 часа почти (на A6000, в прошлой версии колаба на такие параметры потребовалась бы видяха с объёмом памяти в ~3 000 гигабайт, кек), так еще и стоит реальные 4 доллара 🌚 зато вот что получилось: «Лицо кибернетического демона», «Галактика упавшая в воду» и «Горы из рек». Продолжу экспериментировать, один фиг уже баксов 100 на это сжег.
Кстати, колаб развивает программистка, подписывайтесь на ее твиттер, она туда постит годноту из генераций.
Forwarded from Denis Sexy IT 🤖
This media is not supported in your browser
VIEW IN TELEGRAM
Самое главное видео о нейронке которую репостил выше – исследователи смогли поместить лицо которое синтезирует нейронка в 3D редактор (типа Blender и тп), и хоть нейронка все еще выдает 2D картинку, учитывая только угол с которого на нее смотрят, выглядит уже как «нейронный рендер». Пойду подшучивать на друзьями 3D-шниками, что за ними наконец-то тоже пришли, Octan, Vray, всё можно удалять /s
Еще нейронка учитывает источники света, почти консистентно сохраняет детали лица если менять угол обзора, поддерживает измерение лица под любые виды камер и даже может отдавать стерео-картинку для всяких там VR.
Я считаю что за «нейронным рендером» большое будущее, одна моделька весом в 100 мегабайт сможет выдавать качество не хуже, чем какие-то 3D движки требующие места и мощности, и хоть мы переодически видим эксперименты про этот подход, эта работа одна из самых близких к этой идее.
Еще нейронка учитывает источники света, почти консистентно сохраняет детали лица если менять угол обзора, поддерживает измерение лица под любые виды камер и даже может отдавать стерео-картинку для всяких там VR.
Я считаю что за «нейронным рендером» большое будущее, одна моделька весом в 100 мегабайт сможет выдавать качество не хуже, чем какие-то 3D движки требующие места и мощности, и хоть мы переодически видим эксперименты про этот подход, эта работа одна из самых близких к этой идее.
Forwarded from Denis Sexy IT 🤖
Снова художники на Новом Арбате под угрозой – вышла очередная нейронка которая пытается сделать карикатуру по фото которое вы ей даете.
Работает невыносимо медленно и на основе StyleGan2, но я все же смог запустить и поиграться.
Вот тут код StyleCariGAN, а тут я сделал колаб и можете сами поиграться (но я ленивый и пути к картинками самим прописывать придется).
Работает невыносимо медленно и на основе StyleGan2, но я все же смог запустить и поиграться.
Вот тут код StyleCariGAN, а тут я сделал колаб и можете сами поиграться (но я ленивый и пути к картинками самим прописывать придется).
Forwarded from Derp Learning
Там просто кладезь, котаны. Концепт-художники, АЛЯРМА!
https://twitter.com/RiversHaveWings/status/1443948191871684617
https://twitter.com/RiversHaveWings/status/1443948191871684617
Twitter
Rivers Have Wings
"a landscape resembling The Lovers tarot card by Greg Rutkowski" (CLIP guided diffusion)
Forwarded from MVT → MVP → PMF
Идея дня: Одетые в цифру
Раунд: $1.3M, 24.09.2021
Как поразить своим крутым образом друзей и подписчиков в социальной сети? Потратить бешеные деньги на покупку дизайнерской одежды? Ха-ха, ведь можно купить за 50–100 баксов цифровую одежду, которую наложат на твою фотографию настолько аккуратно, что никто не заметит подмены. Правда, пока ещё есть логическая развилка — это лучше скрывать или начинать этим гордиться?
Подписывайтесь и читайте полностью > @FastFounderBot
Раунд: $1.3M, 24.09.2021
Как поразить своим крутым образом друзей и подписчиков в социальной сети? Потратить бешеные деньги на покупку дизайнерской одежды? Ха-ха, ведь можно купить за 50–100 баксов цифровую одежду, которую наложат на твою фотографию настолько аккуратно, что никто не заметит подмены. Правда, пока ещё есть логическая развилка — это лучше скрывать или начинать этим гордиться?
Подписывайтесь и читайте полностью > @FastFounderBot
Forwarded from AI для Всех
🔥StyleGAN3 + CLIP
В твиттере выложили Colab для StyleGAN3+CLIP (с помощью текста, можно направлять генерацию картинки, а потом создавать красивые видосы), а я привел его к божескому виду, что бы было просто играться (и это что-то!)
💻Colab
P.S.: на картинке an amazon warrior трансформированный из MetFaces
#gan #text2image #clip
В твиттере выложили Colab для StyleGAN3+CLIP (с помощью текста, можно направлять генерацию картинки, а потом создавать красивые видосы), а я привел его к божескому виду, что бы было просто играться (и это что-то!)
💻Colab
P.S.: на картинке an amazon warrior трансформированный из MetFaces
#gan #text2image #clip
Forwarded from Derp Learning
Периодически спрашивают, на чем я обучал модели для @face2stickerbot и @face2comicsbot.
Тут можно найти и датасет, и примерный блокнот для обучения image2image модели.
Тут можно найти и датасет, и примерный блокнот для обучения image2image модели.
Forwarded from ExMuffin
This media is not supported in your browser
VIEW IN TELEGRAM
👨StyleGAN3 Train&Test + CLIP 👩🦱
Последнюю неделю все восхищаются релизом нового СтильГАНа, а я как-то пролетел мимо такого прекрасного события. Ну ничего, вот я вам собрал Колаб, который содержит в себе и тренировку собственных моделей, и тестирование существующих, и CLIP, без которого нынче никуда. Кстати в КЛИПе, как обычно, сделал поддержку всех языков и добавил возможность грузить картинки как конечную цель. Пока нормального энкодера нет можно так побаловаться.
P.S. В примере выше я попробовал потренировать второй и третий стайлган на лицах статуй. Простите за сепиюв в примере справа (недоучил чутка). В общем ждем много новых и интересных моделей.
https://colab.research.google.com/github/tg-bomze/collection-of-notebooks/blob/master/StyleGAN3_train%26test.ipynb
Последнюю неделю все восхищаются релизом нового СтильГАНа, а я как-то пролетел мимо такого прекрасного события. Ну ничего, вот я вам собрал Колаб, который содержит в себе и тренировку собственных моделей, и тестирование существующих, и CLIP, без которого нынче никуда. Кстати в КЛИПе, как обычно, сделал поддержку всех языков и добавил возможность грузить картинки как конечную цель. Пока нормального энкодера нет можно так побаловаться.
P.S. В примере выше я попробовал потренировать второй и третий стайлган на лицах статуй. Простите за сепиюв в примере справа (недоучил чутка). В общем ждем много новых и интересных моделей.
https://colab.research.google.com/github/tg-bomze/collection-of-notebooks/blob/master/StyleGAN3_train%26test.ipynb