Клипассо, Амиго!
CLIPasso: Semantically-Aware Object Sketching
Нейронка для перевода любого рисунка в скетч. Причем с управляемым уровнем "детальности" или прорисовки. На основе извлечения "смыслов"(!)

Работа и вправду любопытная, ибо здесь не просто пережевываются пиксели, а анализируется контекст, извлекаются семантические понятия и уже по ним идет генерация скетча. Все как у сами знаете кого.

"В то время как методы создания эскизов часто опираются на наборы данных явных эскизов для обучения, мы используем замечательную способность CLIP (Contrastive-Language-Image-Pretraining) для извлечения семантических понятий из эскизов и изображений. Мы определяем эскиз как набор кривых Безье и используем дифференцируемый растеризатор для оптимизации параметров кривых непосредственно с учетом потери восприятия на основе CLIP. Степень абстракции регулируется путем изменения количества штрихов. Созданные эскизы демонстрируют несколько уровней абстракции, сохраняя при этом узнаваемость, базовую структуру и основные визуальные компоненты нарисованного объекта."

Вот этот вот заход на поле абстракции с использованием language processing вкупе с генерацией картинок - это красивый способ получать ту самую "новизну", в отсутствии которой так любят обвинять ИИ неолуддиты.

https://clipasso.github.io/clipasso/

В общем, я все больше склоняюсь, что метаверс наш (единый и неделимый) будет зиждиться не на олдскульных игровых движках, а на молодых и резвых Нерфах. На нейрорендеринге.

Писал в декабре, вот такой текст: "Мы уже накопили столько данных о нашем утлом мире, что просто бери и одевай эти данные в красивую оболочку и вот он метаверс - ортодоксальный и неделимый.
Просто надо скормить ИИ все многочисленные спутниковые снимки, а он их заНеРФит, то есть пережует нейронным рендерингом и выдаст копию нашего мира в 3Д. И какую!".

И вот смотрите, что выкатила Waymo (да, это те самые, что занимаются беспилотными автомобилями, и которые явно научили своих роботов метаверс-видению).

Взяли и сделали точную 3D-копию квартала в Сан-Франциско из 2,8 миллиона фотографий.
Block-NeRF нейрорендерит данные, собранные в течение нескольких месяцев при различных погодных условиях, а также выравнивает изображение между соседними NeRF-ами, чтобы их можно было совмещать.
На видео - район Сан-Франциско и ночью, и при свете дня. Как бы в 3Д.

И без всяких лидаров, шмидаров и прочих reality capture.
Осталось взять все эти бездонные селфи из инсты, фб и других космических агенств, и скормить их ИИ - и вот уже отнейрорендеренные аватары заселяют оцифрованную планету.

Будете смотреть видео ниже - помните, там никакого 3Д. Только фотки и нейрорендеринг.

К вопросу о модерации в метаверсах...
Вы всерьез думали, что там будет все как в рекламе Меты - бело и пушисто?

Ну и хороший вопрос: а можно ли курить в метаверсе и что там можно курить? С метавейпами, похоже проблемы...

Четыре выхода на 4K-мониторы, энергопотребление 50 Вт и крошечный размер - даже у Матрокса нет таких карт.
Внезапно на рынке появилась вот такая малютка с возможностью подключения четырех 4К-мониторов или двух 8К-мониторов.
3Д на уровне 1650, но это в основном для видеостен.
Цена 400+.
https://www.tomshardware.com/news/nvidias-single-slot-low-profile-pro-gpu-has-8gb-of-memory-four-4k120-outputs

Пользователи VR открывают для себя прелести PBR-текстурирования и переизобретают Subs Painter.
Любят они открывать для себя прелести начала 2000-х: от разрешения экрана до дивных персонажей из рекламы Мета.
https://twitter.com/danielsantalla/status/1400195518249177088

Ну в общем до Метавёрсу пока далеко.
Пользователи VR продолжают открывать для себя винтажные прелести начала 2000-х.
Вот оно, то, о чем вещал Цукерберг.
https://www.youtube.com/watch?v=BO0HCQpdQzs

Хотели метаверса - держите.

Вот пример того, как примерно будет осуществляться переход в тот самый метаверс, которого никто пока не видел.

Что для этого понадобится: камеры, ИИ (а в перспективе датчики или умная одежда). Виар - опционально.

Смотрите, на на Кубке арабских государств FIFA 2021 в конце прошлого года использовались технологии отслеживания игроков и их конечностей, которая позволяют в режиме реального времени создавать трехмерные визуальные представления скелета игроков.

Технология основана на использовании специальной системы камер, установленной под крышей стадиона, которая фиксирует движение всех игроков и мяча. Различные системы, представленные на рынке, обеспечивают до 29 точек данных на каждого игрока, которые составляют анимированный скелет игроков.

В итоге, весь матч можно смотреть в виде анимации с задержкой всего в несколько секунд, что дает возможность техническому персоналу, тренерам и медицинским специалистам изучить матч с новой точки зрения. Например, они смогут проанализировать происходящее с точки зрения конкретного игрока на поле, рассмотреть момент, меняющий ход матча, с идеального (или любого) ракурса или увидеть поле с высоты птичьего полета.

А если обобщить, то мы получаем кусок метаверса в рамках одного взятого стадиона. Слияние двух реальностей - физической и виртуальной, трехмерной.
И это не метаверс от Меты, Микрософта или корейского правительства, а просто отражение реальности в 3Д с помощью камер и ИИ.

Ну и коль скоро камеры и ИИ сейчас появляются на каждом углу, то экстраполируясь за границы стадиона, можно предположить, что метаверс будет расползаться по миру вот такими вот лоскутами, то есть территориями, охваченными камерами и ИИ. Которые будут на лету восстанавливать(отражать) копию нашего кожаного мира в 3Д.
Пока эти лоскуты не покроют значимую для метаверса часть планеты.

Хотите путешествуйте по старинке, хотите ныряйте в 3Д и летайте по охваченным метаверсом территориям.

А чтобы ИИ было полегче распознавать все это хозяйство, на помощь придут разные умные абсолютные трекеры по типу Antilatency, которые будут встраиваться сначала в инвентарь, потом в спортивную или спец-форму, а потом и в одежду с обувью. Один трекер уже всегда с вами - это телефон. Умные браслеты уже идут к вам. Умные трекеры - следующий шаг.
(Стартап - кто сделает модные трекеры, тот снимет сливки).

И вот мы, исторгающие потоки данных с телефонов и датчиков, загораем в лучах камер наблюдения, а умный ИИ переводит все это цифровое извержение в трехмерное представление нашего мира.

А на каком движке все это будет отрисовываться, спросят апологеты Меты, UE4 или нейрорендеринга?

А на каком движке вы читаете этот метабред?

Я на Хромиуме, как и большинство из вас. Эпплеводы на Вебките. Маргиналы на Гекко.

Так что ждем МетаБраузера на МетаХромиуме или МетаГекко. Опенсорсного, ничейного, единого и неделимого.
https://www.fifa.com/en/technical/football-technology/news/limb-tracking-technology-offers-new-array-of-possibilities

Вдогонку к метаверс-видению из предыдущего поста доброшу пример того, что уже сейчас можно добывать с обычных браслетов Fitbit с помощью ИИ, и что можно будет добыть с помощью более точных сенсоров, которые рано или поздно перейдут в разряд постоянно носимых устройств.

Группа ученых из Сингапурского университета NTU разработала приложение, которое может быть использована для выявления людей с повышенным риском развития депрессии.

Программа, получившая название "Ycogni", работает на основе машинного обучения и выявляет риск депрессии, анализируя физическую активность человека, режим сна и циркадные ритмы, полученные из носимых устройств, измеряющих шаги, пульс, энергозатраты и данные о сне.

Для разработки модели Ycogni ученые провели исследование с участием 290 работающих взрослых в Сингапуре. Участники носили устройства Fitbit Charge 2 в течение 14 дней подряд и в начале и в конце исследования заполнили два опросника, в которых проверяли наличие симптомов депрессии.
В ходе испытаний с использованием данных, полученных от групп участников с депрессией и здоровых участников, программа достигла точности 80 процентов в определении людей с высоким риском депрессии и людей без риска.

По оценкам в статье трекеры активности в 2022 будут носить около миллиарда человек, по сравнению с 722 миллионами в 2019 году. Тут возможно завышение, но тренд налицо. Трекеры - новые микроскважины, добывающие новую нефть, то бишь данные из сами знаете кого.

Так что в метаверсе будут не только аватары и развеселые скины к ним, а дикое количество метаданных. И выражение "видеть насквозь" или "кожей чувствовать" приобретут совсем иные смыслы. Что приведет к появлению совсем иных способностей (помните я писал про "чувства биржевых котировок").

Но об этом завтра.
https://www.hackster.io/news/ntu-researchers-create-an-ml-model-ycogni-capable-of-screening-smartwatch-data-for-depression-5299667959bf

Цветовая карта эмоций или как ИИ будет читать нас в метаверсе.

Был проведен любопытный эксперимент. Взяли 700 человек, вызывали у них ряд эмоциональных состояний, а потом просили отмечать, в каких участках тела они их ощущают.
Выяснилось, что вне зависимости от расовой и этнической принадлежности карты эмоций в теле более менее совпадают.

Эмоции явно вызывают изменения в мышечном тонусе, гормональном состоянии, дыхании, сердечном ритме и пр. С помощью смышленых датчиков можно измерить напряжения и изменения в тех или иных частях тела, получая на выходе информацию об эмоциональных состояниях. Которые не всегда считываются по лицу или движениям.

Мало того, что это может быть чудовищно интересно с медицинской точки зрения, так еще и представьте себе такую картину, гуляете вы такой в метаверсе, а навстречу вам идут аватары и над каждым горит надпись "завидует", "удивлен", "горд", "напуган".
А в это время окружающий метаверс подстраивается под ваше эмоциональное состояние, а рекламодатели радостно потирают руки

Что-то не так в метаверсе.
Мета движимая разумной завистью к великолепным концертам, которые делает Эпик в Фортнайте, задумала хорошее.
Концерт Foo Fighters. В метаверсе.
Но вышло не очень.
Ну и судя по описанию, получилось примерно на на Горбушке году этак 1987 на концерте группы Телевизор.

Сначала многие не могли попасть в лобби из-за странных и путаных инструкций.

Те, кто попали, оказались перед закрытыми дверьми.
(Ну точно как в прошлом веке - сначала ищешь в темноте Дом Культуры, потом тебя не пускают внутрь).

Большинство онлайн мероприятий, особенно таких масштабных, как этот концерт Foo Fighters, позволяют людям войти в виртуальную комнату ожидания до официально объявленного времени начала - обычно она открывается примерно за 30 минут до начала шоу.
Это предотвращает огромную нагрузку на серверы, когда пользователи наводняют их все сразу, что снижает вероятность сбоев в работе участников.

Мета решила выбрать другую стратегию. Никого не пускали в Метаверс, пока не наступило хорошо разрекламированное время начала.

В 8 часов вечера более 61 000 алчущих зрелищ и After Show Foo Fighter (примерно столько людей зарегистрировались заранее), вломились в Метаверсину, и при этом лобби рухнуло из-за наплыва пользователей, сервера крякнули, все зависло.
(Тут вспоминается, что когда на Горбушке открывали наконец-то дверь в зал, толпа вваливалась внутрь и мчалась занимать первые ряды. Это превращалось в мясорубку, проход был забит упавшими людьми, а самые смышленые (и я в том числе) бежали по спинкам кресел, которые трещали и ломались).

Были и другие способы попасть на концерт через приложение Horizon Venues, но, косяки происходили и там.
(Да иногда мы пытались зайти через черный вход, но там были менты).

На пике максимальное количество зрителей VR достигло лишь 13 000 человек - менее четверти всех желающих.
(Продать в четыре раза больше билетов на концерт на Горбушке - была нормальная практика)

Пользователи Quest, которые смогли присоединиться, обнаружили, что смотрят заранее записанное видео концерта, с неоптимальными углами обзора и операторами, ходящими по сцене. И этот был совсем не тот Виар-Шмиар, который им был обещан.
(Фанера?)

Причем запись лагала под нагрузкой, ибо все вломились в одно время.

Народ развел адский флейм в Твитторах, Мета вяло оправдывалась, уповая на беспрецедентную длину концерта и уникальный контент.
А я вспоминаю, какого качества был звук на концертах на Горбушке.

Что наводит меня на мысль, что Метаверс от Меты даже не в начале нулевых, а в конце 80-х.
https://www.techradar.com/news/metas-foo-fighters-super-bowl-vr-concert-failed-in-the-most-basic-ways

https://spectrum.ieee.org/bionic-eye-obsolete

Иногда децентрализация все же лучше.
Я уже писал про бионические глаза и кохлеарные имплантанты, иллюстрируя примеры невероятной пластичности мозга.
Самый известный на тот момент бионический глаз был Argus, модель II компании Second Sight.
Second Sight частично вернули зрение почти 350 пациентам. Но в 2019 году компания остановила выпуск своих бионических глаз, и к 2020 почти полностью прекратила деятельность.
Потом было неудачное IPO, и 350 человек оказались с устаревшими гаджетами в глазах, прошивки которых, скорее всего, никогда не обновятся.
В феврале 2022 года Second Sight объявила о возможном слиянии с биофармацевтической компанией Precision Medical (NPM). Ни один из руководителей Second Sight не войдет в команду объединенной компании, которая сосредоточится на разработке имплантата для доставки лекарств.
Second Sight не сообщила ни одному из своих пациентов о крахе компании. "Ни письма, ни электронного письма, ни телефонного звонка", - написал Росс Доерр на Facebook после нескольких недель бесплодных попыток связаться с компанией. “Those of us with this implant are figuratively and literally in the dark.”
Вот такой вот мрачный киберпанк...

Нвидия, что ты делаешь, прекрати!
Это уже неприлично хорошо.
Генерацией картинок по текстовому описанию уже никого не удивишь.
Про скетчинг и сегментацию тоже уже много всего написано.
А вот Нвидия продвигает свой подход, когда несколько ИИ кооперируются (или конкурируют, как посмотреть), для решения поставленной задачи.
Смотрите, тут можно задать текстовое описание, потом скорректировать, вручную указав, где леса, где моря, где горы, а художники могут еще и ручками доправить картинку, нарисовав гайдлайны.
В плане гибкости это пока лучший генератор.
https://deepimagination.cc/PoE-GAN/

Для тех, кто хочет прокачать свою координацию движений.

Или лэг-треккинг, который мы заслужили.

К вопросу о размерах данных для взрослого метаверса.
Дисней выложил, а точнее обновил свою знаменитую сцену в островом из Моаны в свободный доступ.
Теперь с анимацией и в формате USD.
Согласно технической документации, работа была направлена на создание файлов USD, способных рендерить изображения финального качества за один проход, и "не представляет собой "идеальный" файл USD".
Все по-прежнему завязано под Рендерман, однако касательно других рендеров и метаверсов там есть такая информация: future updates to the USD version could take advantage of the USD Purpose attribute to optimise the data set for interactive viewing, or re-introduce animated geometry.
Итак, сцены для для скачивания:
BASE [45 GB download/93 GB unpacked]
The raw data necessary to render just one frame is available in the “Base” package. OBJ/JSON
ANIMATION [24 GB download/131 GB unpacked]
The additional animation data necessary to render the entire shot is available in the “Animation” package.
USD [15 GB download / 17 GB unpacked]
A USD version of our data along with bindings for rendering it with Pixar's RenderMan.

Ну и кстати, это может быть продолжением дискуссии о том, какой формат будет лежать в основании неделимого метаверса. Нвидия явно двигает USD, индустрия поста и кино, тоже скрипит обжами и фбхсами, но косится в эту сторону. Однако игровые движки будут стоят до последнего с проприетарными форматами.
Кстати, интересно, что там у Меты под капотом, какой формат хранения данных?

https://www.disneyanimation.com/data-sets/?drawer=/resources/moana-island-scene/

тех док:
https://datasets.disneyanimation.com/moanaislandscene/README-USD.pdf

Вчера интернет бахнул вот таким открытием.

Оказывается в мозге есть конкретные области нейронов которые отвечают за те или иные математические действия совершаемые "в уме".
Более того, обнаружили, что за сложение и за вычитание отвечают РАЗНЫЕ группы нейронов.
Более того, эти группы слегка мигрируют при выполнении одних и тех же действий. Как будто одна часть нашего мозга пытается понять проблему, а другая работает над ее решением.
Кстати, возбуждение нейронов происходило одинаково, когда задача была записана цифрами, или словами или давалась "на слух".

В общем открыли "математические нейроны".

Исследование проводили не на кошках (как Хьюбель и Визель), а на живых людях. Потому что всякие ЭКГ и прочие поверхностные методы не могут достучаться настолько глубоко. Было 9 добровольцев, у которых
уже есть вживленные в мозг электроды (для контроля и лечения эпилепсии).

Напомню, что Хьюбель и Визель тренировались на кошках и обнаружили, что в зрительной коре есть клетки, реагирующие на движение в одном направлении (а позже оказалось, что клетки, реагирующие на близкие направления, образуют целые трехмерные колонки). Позднее они открыли типы нейронов, выдающие сигналы в ответ на разные свойства изображений (типа вертикальных или горизонтальных полос). Им дали нобелевку, и все (во главе с редукционистами) бросились искать новые типы нейронов (поглубже), которые отвечают за еще более сложные свойства изображений, что привело к парадоксу "нейрона бабушки" - идеи о существовании нейрона, отвечающего за такой сложный образ, как лицо конкретного человека. Ничего не нашли, ибо сложность возрастала чудовищно. Редукционисты отползли зализывать раны.

С "математическими нейронами" все еще интереснее. Коллеги вчера уже спрашивали про умножение. Сдается мне, как и в случае с Хюбелем и Визелем, нейронов, отвечающих за интегралы по контуру или гильбертовозначные семимартингалы, или даже отвечающих за возведение в степень найдено не будет. По той же причине, что и с кошками.
Но вот что более интересно, математике как таковой - около 6000 лет (если я не путаю), именно тогда в месопотамии появилась концепция чисел.
Вряд ли за 6000 лет эволюция проделала такой путь. И вероятно человек постоянно считал в уме, о чем говорят языковые конструкции типа многочисленных счетных форм существительных (двойственное число или даже паукальное число, гугл ит) и вероятно чаще всего складывал и оценивал много-мало.
Так что "плюсы и минусы" успели закрепиться в числе признаков для эволюционного отбора.

Ну а дальше невозможно не пофантазировать про иголочку от Маска и способности к математике.
Прошиваетесь и ну молотить градиентный спуск в уме...


Тут можно и закончить, но для тех, кто еще способен считать лонгриды, вот вам перевод части текста с NextWeb, ибо он хорош и наводит на интересные размышления.


"Либо наш мозг прилагает огромные усилия для выполнения простой двоичной математики, либо это квантовые вычислительные системы, делающие то, что у них получается лучше всего: галлюцинации ответов.

Подумайте о яблоке. Нет, не об этом. Подумайте о зеленом яблоке. Сколько расчетов вам потребовалось, чтобы прийти к определенной плотности и относительному размеру яблока? Пришлось ли вам корректировать входные переменные, чтобы получить яблоко не красного цвета?

Вы просто подумали о каких-то яблоках, и они появились в вашей голове. Вы галлюцинировали эти яблоки.

Системы искусственного интеллекта, разработанные для создания оригинального контента на основе изученных стилей, проходят через точно такой же процесс.

Эти системы не используют передовые математические функции для психологической эксплуатации человеческой склонности к искусству или образности. Они просто следуют некоторым простым правилам и перемешивают данные, пока не выплюнут что-то, за что их создатели получат вознаграждение.

Именно так ваш мозг занимается математикой. По крайней мере, согласно новому исследованию. Он использует правила, чтобы найти ответ, который имеет наибольший смысл. Есть часть, которая пытается получить "правильное" решение на основе вещей, которые никогда не меняются (один плюс один всегда равно двум), и другая часть, которая пытается угадать на основе интуиции, когда ответ не является чем-то, что мы запомнили.

Поразителен сам факт того, что ученые смогли наблюдать, как отдельные нейроны участвуют в математическом процессе в человеческом мозге.

Но для того, чтобы понять последствия этих открытий, могут потребоваться годы дальнейших исследований. Прежде всего, мы должны задать вопрос: является ли человеческий мозг квантовым компьютером?

Это имеет смысл, и это исследование может дать нам первый реальный проблеск квантовой функции внутри человеческого мозга. Но, насколько мы можем судить, они смогли записать и обработать только сотни нейронов одновременно. Очевидно, что это очень маленькая капля из огромного ведра данных.

Чтобы помочь в этом, исследователи создали систему искусственного интеллекта для более надежной интерпретации данных. Остается надеяться, что дальнейшие исследования приведут к более глубокому пониманию математических процессов в мозге.

В заключении работы говорится следующее:

Более тонкие анализы, в идеале в сочетании с подходами, основанными на возмущении, помогут расшифровать индивидуальную роль областей мозга и нейронных кодов в ментальной арифметике.

Тем не менее, потенциальные последствия могут быть гораздо более масштабными. Исследователи не упоминают о последствиях для технологий в их биологическом эксперименте и не обсуждают его результаты в терминах квантовых вычислений.

Но, если это исследование достоверно, "бритва Оккама" подсказывает нам, что человеческий мозг, вероятно, является квантовым компьютером. Либо это так, либо он плохо спроектирован.

Подобно тому, как наши доисторические предки вырезали зарубки на рукоятках своих инструментов, чтобы следить за предметами, двоичный мозг должен уметь считать предметы с помощью локализованных механизмов абстракции.

Зачем мучиться с галлюцинацией ответа в мириадах нейронных комплексов, если отдельные нейроны могут просто притвориться единицами и нулями, как в двоичном компьютере?

Ответ, возможно, кроется в квантовой природе Вселенной. Когда вы выполняете простую математическую функцию, например, складываете два плюс два, ваш мозг может галлюцинировать сразу все возможные ответы, одновременно работая над запоминанием ответа (вы определенно складывали эти числа раньше) и обработкой данных (1+1+1+1).

Если бы человеческий мозг был двоичным, вам, вероятно, пришлось бы ждать, пока он переберет все варианты по отдельности, а не галлюцинировать их все сразу.

В результате вы, вероятно, отвечаете на вопрос в своей голове ПРЕЖДЕ, чем сможете осознать, что думаете об этом, потому что обе функции выполняются одновременно. Это называется квантовым путешествием во времени."

Так что в следующий раз, когда будете наезжать на ИИ с тем, что "он ничего нового не умеет", подумайте о том, что либо вы сами ничего нового не умеете, либо он галлюцинирует точно также как вы.
https://www.cell.com/current-biology/fulltext/S0960-9822(22)00116-6