Очень интересная концепция генеративных интерфейсов появилась в результате эксперимента с SD.

Несомненно, сейчас происходит трансформация привычного метода взаимодействия с интерфейсом. Везде начали появляться эти поля для ввода промптов, становясь чуть ли не центральным компонентом в продукте.

В итоге было создано двухмерное пространство, внутри которого формируется пользовательский интерфейс привычного рабочего стола.

Самое интересное, что координаты курсора мыши передаются в SD. Далее, через ControlNet, генерируется корректное отображение курсора на сгенерированном рабочем столе.

Сам по себе тест ничего координатно не меняет, кроме идеи самого подхода взаимодействия с компьютерными системами, устоявшегося более 50 лет назад.

Я чуть подробнее напишу в следующем посте.

Тут про тест подробнее

Мозги вскипели от мысли о том, что мы можем полностью перестроить свое взаимодействие с компьютерами. На смену привычным оболочкам программных продуктов придут генеративные нейронные среды.
Мы не будем работать в какой-то отдельной программе, это будет кисель из функций, необходимых в данный момент. Главный момент: это бесшовное, персонализированное взаимодействие с набором алгоритмов.

Давайте на примере 3D-продакшена. Какую из почек вы бы отдали, если бы вам не приходилось откатываться на предыдущие этапы, когда на этапе текстурирования вы хотите изменить блокаут немного? Или вам не пришлось бы запускать RizomUV с промежуточной выгрузкой fbx туда и обратно, чтобы развернуть модель?

А в правом верхнем углу у вас висел бы счетчик с временными затратами на этот этап и подсказки для наиболее успешного завершения задачи. Потому что надсистема уже знает, что вы будете делать, и она персонифицирована вами и под вас.

Генерация определенного воркфлоу будет происходить в зависимости от вашей задачи.
Без перехода в какую-либо программу, замкнутую систему. Полагаю, в мозгу происходит примерно так же. Поправьте, если ошибаюсь.

Сейчас мы получаем, по сути, универсальную надстройку в виде текстовой строки для управления нейронными сетями, и эта строка интегрируется во все продукты, хотя исток у нее один.

Я хочу, чтобы у нас ломались мозги, в хорошем смысле, чтобы привычные схемы и устои уходили в прошлое, а новые подходы и способы взаимодействия меняли наше восприятие.

В общем, подстраивающиеся системы управления – это то, куда мы стремимся и придем рано или поздно.

The Creator - новый фильм о противостоянии человека искусственному интеллекту.

Вроде как и должно смотреться прикольно, и роботы есть, и ИИ, который должен уничтожить всё человечество, но прям чуть ли не в каждом кадре клишированность и sci-fi какой-то супердефолтный.
И человечество встает бок о бок с "хорошим" ИИ и борются за светлое будущее.

Для меня, прямо по трейлеру, отдало какой-то консервой.
Может, это просто проф. деформация уже?

https://youtu.be/ex3C1-5Dhb8

Иногда попадаются чудеснейшие концепты интерактивного взаимодействия с AR.

Все гениальное просто. Детские площадки созданы для этого.

Горки и лабиринты превращаются в космическую станцию, найденная кривая палка в бластер. Бегай, собирай паверапы, кооперируйся с друзьями, отстреливай бларгусов.

К сожалению, пока доступное по деньгам и удобное по формфактору устройство не появится, не видать нам таких эспириенсов.

В создании участвовали: LumaLabsAI, StabilityAI, nijijourney, BlockadeLabs, unity, questpro, blender, arkit.

Я просто хочу убедиться, что мы все сделали себе историческую заметочку, когда делать и смотреть генеративные трейлеры к только что вышедшим фильмам для нас стало привычным явлением.

Как в свое время Мэрилин Мэнсон, Сид Спирс на полочку поставили "Barbenheimer".

Гляньте какая крутотень. Чувак с реддита в одно рыло пилит в VR процедурно генерируемый город, в котором можно зайти в любое из зданий.

Именно так должно выглядеть окружение в метавселенных, а не мыльная хуита, которую нам сделал рептилоид Цукерберг

Тред на реддите

Как вспомнил, что раньше тетрадки в клеточку были моими лучшими вдохновителями воображения.

Можно было целый урок пропустить, только чтобы закончить рисунок.

Пару часов назад дропнули Stable Diffusion XL 1.0.
Если коротко, то "Easier, Better, Bigger".

Так пишут про нее Stability.ai
"SDXL 1.0 has one of the largest parameter counts of any open access image model, boasting a 3.5B parameter base model and a 6.6B parameter model ensemble pipeline. The refiner adds more accurate color, higher contrast, and finer details to the output of the base model."

Попробовать можно тут:
https://dreamstudio.ai/generate
и тут
https://clipdrop.co/stable-diffusion

UPD. Модель забрать можно тут

Художник Tomi Viitanen показал, как с помощью Houdini, Blender, Mixamo создать что-то подобное для своего портфеля. Обещаю, не одной нейронки использовано не было.

Замечаю, что низкобюджетная графика все еще жестит с постпроцессом, стараясь скрыть либо косяки на рендере, либо в целом не очень хорошую проработку. Не надо так, делайте хорошо!

Сорс

Пока Nvidia готовит выступление на ближайшем SIGGRAPH по поводу нейронной компрессии, я вот что имею вам сказать.

Без сомнения, последнее время развитие в графике происходит не в чем-то принципиально новом, как когда-то в Doom3 придумали использовать нормали, а скорее в улучшении того, что уже было придумано, но на более низком уровне.

Если посмотреть на последние знаковые игры, которые используют быстрые SSD, например Ratchet & Clank Rift apart, то можно восхититься, если знать, как быстро там подгружаются данные при переходах между уровнями и какое количество FX и событий там удерживается на экране. Или те же наниты, по сути это трюки с геометрией, все той же полигональной.

Вот и у Nvidia трюк с теми же текстурами, принципиально они не меняются, но количество данных, которые они смогут содержать в себе при том же размере файла, подгружаемого в память, а иногда и меньше, просто поражает! Но это только с одной стороны.

Да, все будет выглядеть суперчетко, как в порно в 60fps и разрешении 4к, но стал ли такой формат популярен? У некоторых определенно да... больные ублюдки.

С другой стороны, дорогие художники, вы охуеете, все это текстурить! Теперь будут задрачивать так, что вы еще больше "полюбите" геймдев! Если раньше можно было сказать, у нас тексель не вывозит или в игре все равно пожмется даже на хайспеках, то сейчас это не прокатит, будьте добры, чтобы каждый пиксель звенел! И не важно, что это сессионый шутан, где все должно летать даже на пентиум 2. Потому что теперь то, что выглядело мылом и весило 3мб, сейчас весит столько же, а то и меньше, и видно каждую травинку.

В общем, просто потребителям ура, создателям контента лингам вам в руки!

Сорс

На следующей неделе на SIGGRAPH2023 подробно расскажут об исследовании и тестах в рендеринге волос.
А точнее, о новом методе просчета с учетом прямой дифракции и фактуры волос со всеми их чешуйками и корректным рассеиванием света.

Тут не говорят о риалтайме, хотя просчет и велся на GPU. Это скорее для тяжелых продакшен решений и в целом о подходе, хаках и логике.

Тут подробнее

Последние несколько дней форсятся новости о сверхпроводниках LK 99, и это прям очень интересная новость. Несмотря на то, что исследование пока не подтвердили авторитетные лаборатории.

Итак: в корейской лаборатории создали сверхпроводник, который может работать при комнатной температуре и атмосферном давлении.

Пока все, что есть, это очень маленький кусочек вещества, которое левитирует без специальных лабораторных условий.

Я коротко перечислю, какие области могут апнуться из-за этого открытия.

ЛЭП - более эффективные, из-за того, что будет происходить меньше утечек.

Все, что может перемещаться при пониженном трении, например, поезда на магнитной подушке.

Потенциально более эффективные батареи, соответственно, электрокары и любые устройства от мобилок до кардиостимуляторов.

Удешевление больничных МРТ и Термоядерных реакторов.

Гаусс-пушки.

И конечно, дайте нам ховерборд!!!
Кстати, пару лет назад хайпили ховерборд, но он работал как раз на классических сверхпроводниках, сильно охлажденный, и сама рампа, по которой он ездил, была магнитной, а сейчас может быть по-настоящему, если испытания подтвердятся.

Самостоятельно можете почитать тут и тут

Я уже довольно долгое время занимался тем, что делился знаниями из геймдева со всеми желающими.

Параллельно пилил свою скромную площадку для менторов и учеников, пока что только в контексте геймдева.

Сегодня в 19:00 мы устраиваем лайв-стрим с новым ментором Ксюшей и отмечаем первый шажок к добавлению более расширенного ассортимента знаний.

Приходите знакомиться с нами в новых ролях и с нашим маленьким и скромным стартапчиком версии альфа.

На ютубе

Кажется, Adobe и Autodesk хотят реабилитироваться в наших глазах. Они договорились совместно продвигать единый стандарт OpenPBR в контексте MaterialX.

Проект с открытым исходным кодом, который должен предложить сообществу единый стандарт отображения материалов между разными софтинами.

Почему так долго, я спрашиваю? Настраивать материалы в Максе и Майке, все равно что копаться на свалке оборудования 70х годов.

Репозиторий на гите планируют открыть в этом месяце.

Сорс

Хороших выходных!

Обожаю интернет за то, что за исследованиями можно наблюдать почти в прямом эфире!

На 8-й день экспериментов у предпренимателя Andrew McCalip, сооснователя Tensor machines и создателя капсул для космоса, получилось воссоздать эффект Мейснера или эксперимент с левитирующими сверхпроводниками LK99, о которых я недавно писал.

Эксперименты будут продолжаться еще пару месяцев, т.к. тех данных, что получили, явно не достаточно для подтверждения эксперимента.

Хочется посмотреть на успехи крупных лабораторий, но пока данных по ним нет.

Пожалуйста, кидайте статьи мне, если найдете что-то релевантное.

Новый инструмент Alpaca, у которого основное позиционирование, пока, sketch-to-image.
Выглядит весьма симпатично. Доступен плагином для PS, никаких вейтлистов, зарегался и пошел тестить. Я сегодня как раз попробую.
Базовый функционал бесплатный!

Из умений еще:
Апскейл
Анкроп
Генерация текст 2 имэдж

https://www.alpacaml.com/

Через меня проходит большое количество отобранной информации, и на данный момент из всего контента по генерации видео, GEN2 это лучшее, что я видел.

И дело не только в однообразных фишай селфи "сторисах", довольно много тестов лежат в сети, где есть сравнения с тем же Pikalabs или другими сетками.
Он отлично держит позу, в целом довольно стабилен с бэкграундом. Круто работает с камерами, ну и качество генераций, как минимум, не хуже.

В целом, на подписку и деньги потратить не жалко.

Сорс

Интересную работу выложили — открытый доступ. Идея в длительном, по меркам реального мира, обучении. Около 10 лет обучения в мире симуляции и около 10 дней на GPU вычислениях в нашем мире.

Идея очеловечивания и сопереживания обучающимся акторам, кажется мне, не совсем здоровой, но подумайте, изменится ли ваше отношение к персонажу, если вы будете знать, что он трудился, чтобы сделать свои первые шаги, очень много падал, вставал, снова повторял, учился держать тяжелый меч, бежал к цели, запинался об коллизию граунда, падал, запускал цикл достижения цели и отмечал у себя, что в тех координатах неровная поверхность и лучше ее преодолеть в следующий раз, перенеся вес немного назад, и так многие миллионы итераций.

И в такой концепции, когда вы жмете на контроллере стик вперед, вы не просто запускаете скриптованную анимацию бега, а говорите ему, куда ему стоит обратить свой взор и куда двигаться, а как он пойдет, зависит уже от множества факторов.

Это как управлять 10-летним глухонемым ребенком и вам решать, будете ли вы его беречь, ну или, наоборот, захотите раскрошить его в огне битвы, если вы бездушный ублюдок!👺

Сорс от жизнерадостного доктора