Не прошло и недели как Марк пообещал полный трекинг лица и глаз в Окулусе, которые позволят "виртуальную телепортацию" для более живого общения, как HTC анонсировали VIVE Furry VIVE Face Tracking — дополнительный девайс с двумя камерами, который крепится на шлем и позволяет считывать мимику нижней части лица и переносить ее на виртуального персонажа.

Казалось бы, такая простая технология, а смотрится классно. А без фурри смотрелось бы еще лучше.

Журналисты как всегда любят раздувать. Якобы, AR очки от Фейсбука будут иметь распознавание лиц, при том что единственный источник информации это сливы внутреннего митинга где кто-то спросил о такой возможности, а ответственный за них сказал, что это сложный вопрос, и вообще надо обсуждать. Но, по факту, такой вопрос поднимался, значит не просто так. Возможно (скорее всего) это умышленный слив, чтобы протестировать реакцию публики. Хотя какая тут может быть реакция, это же Фейсбук.

К слову, ничего такого точно не будет в первой версии очков, которая выйдет уже в этом году. Более того, в них даже не будет AR, из-за чего вообще не понятно какой в них смысл.

Да это для машинлернинга, мам, трансформеры тренить там...

Тем временем курс машинлернинга снова перевалил 57к.

HuggingFace подняли раунд В на 40М. При этом в Январе и Феврале они уже были cash-positive. Да и вообще ещё не потратили деньги с предыдущего раунда, что и помогло им увеличить оценку.

Как и многие другие опенсорс фреймворки монетизируется 🤗 за счёт поддержки и всяких премиум фич. Для меня всегда было удивительно как всего несколько крупных клиентов которые платят за "плюшки" могут покрыть расходы на толпу дармоедов которые пользуются основным функционалом, ну да ладно, это уже мои проблемы.

Среди своих клиентов 🤗 имеет необанк Monzo, Майкрософтовский Bing, а также канал эйай ньюз (мы используем HuggingFace для трансформеров в нашем курсе).

Полученные деньги пойдут на найм людей в Нью-Йоркский и Парижский офисы, так что готовьте свои CVшки.

#VR
Немного возвышенного от VR-художницы из России. Больше её работ в инстаграме https://www.instagram.com/irreal.art/

AI алгоритмы фейсбука теперь будут изучать мир смотря видосы загруженные на платформу. То, о чем так мечтали фанаты unsupervised learning'а шаг за шагом становится реальностью.

В рамках проекта "Learning from Videos" алгоритмы автоматически будут улучшаться за счет визуальных, аудио, и текстовых данных содержащихся в публичных видео.

Нечто похожее уже используется в рекомендациях Инстаграмных Reels с помощью метода Generalized Data Transformations, который через селф-супервижн создает эмбединги видео (это помогает оценить на сколько два видео похожи).

Где где, а в Qualcomm AI люди явно разбираются в железе, и кто как не они понимает ограничения постоянного сжатия транзисторов на плате.

Поэтому и разрабатывают они то, о чем нормальные люди обычно не думают — например, только что они предложили использовать квантовую теорию поля для переноса дип лернинга на оптические квантовые компьютеры. А вы думали? Там нет никаких np.dot, зато есть, ебать его в сраку, лазер, который нужно возбуждать. Как оно там, пайторч не учится? А как насчет нелинейность собрать как комбинацию нескольких лазерных сигналов? В общем, это вам не трассировка лучей, это настоящий некстген.

Из прикольного, назвали они свои микро-возбуждения квантового поля "хинтонами" (Hintons), в честь сами знаете кого.

Смотрите какой удивительно простой и одновременно инновационный тул появился в Snap Lens Studio 3.4. Он позволяет менять пропорции своего лица как в конструкторе персонажа в играх. И это в риал-тайм. На телефоне.

Сейчас это только геометрия, но добавить к этому еще разные типы губ/волос (которые уже доступны отдельно), и все, каждый сможет быть кем захочет в виртуальном мире. ИМХО, к этому все и движется.

Ну а пока, для людей которые всегда хотели в себе что-то изменить, но не хотели делать пластическую операцию это — настоящая находка.

Хотя кого я обманываю, это золотая жила для баб, а для нас мужиков это ночной кошмар. Мало того, что сейчас они не могут ни одно фото выставить без фильтра на пол лица, так теперь они еще начнут пропорции менять реалистично. Короче, готовьтесь каждый раз "открывать что-то новое" на первом свидании, и продумывайте пути к отступлению заранее.

Еще фейс-трекинга от HTC Vive. В начале немножко криповато, но в целом возможности впечатляют. Движутся они точно в верном направлении.

Интересное из мира нейросаенс. Впервые Стенфордские исследователи были способны отследить процесс принятия решений на уровне мозговой активности. В эксперименте, в котором обезьяна должна была решить движется ли точка на экране влево или вправо, исследователи наблюдали за активностью нейронов, и могли точно видеть процесс принятия решения, сомнения, и даже могли предсказать что обезьяна выберет в итоге. Результаты были опубликованы в Nature (в результате принятия решения более умными обезьянами ревьюверами).

На реддите запостили особый колаб-ноутбук который каждый раз дает Tesla-P100 GPU и 25 Gb RAM.

Можно копировать себе и использовать. Поспешите пока лавочку не прикрыли.

Ссылка: https://colab.research.google.com/drive/1D6krVG0PPJR2Je9g5eN_2h6JP73_NUXz

Если вы интересуетесь академическим AI, то вы так или иначе имеете свой список фамилий, которые постоянно попадаются на глаза. Описать отношение к человеку, которого ты постоянно читаешь или используешь код — сложно. Это как блогеры — ты для них никто, но услышав упоминание о них, тебе кажется, будто упомянули твоего хорошего знакомого.

Так вот, если вы по таким, кхм, взрослым мальчикам, то вам может быть интересна серия интервью от Дэви Парикх (минутка флекса: менеджерша моего экс-менеджера) с топовыми AI-исследователями в том числе Джефом Дином, Биллом Фриманом, Джитендрой Маликом, Антонио Торральбой, и даже горе-известной Тимнит Гебру. В них не обсуждаются достижения в эйай и статы из резюме, но зато обсуждаются личные очень человеческие темы про жизнь, работу, отдых, и вдохновение.

Humans of AI: Stories, Not Stats

Вот это я понимаю deeptech. Использовать StyleGAN чтобы продавать эликсиры молодости.

Чтобы вы наверняка не сомневались в научности подхода, там даже есть график, и даже не один, и водя по ним мышкой можно увидеть визуализацию эффекта.

Как вишенка на торте, там говорится, что без их увеличителя ... жизни вы умрете от старости в 2067. Не иначе как через временной ряд предсказали.

https://longevityplan.net/strategy?age=30&bio_age=30
Такой вот подгон от подписчика.

«Яндекс» рассказал о пройденных 10 млн км в автономном режиме и поделился подробностями эксплуатации беспилотника зимой.

Из интересного:

— Когда идёт снег, часть лучей лидара может отражаться от снежинок. Поэтому машина с помощью нейронок убирает шум от снежных отражений.

— Аналогично пар из выхлопных труб автомобилей добавляет шума на картинку. Его тоже приходится чистить с помощью нейронок.

— Компьютер машины определяет коэффициент трения и учитывает его при планировании. Оценивает доступное ускорение, длину тормозного пути, перестроения и интенсивность торможения перед светофорами.

— Из-за сугробов меняются очертания города, поэтому система беспилотника автоматически обновляет 3D-карту города.

На видео — поездка беспилотника во время последних московских снегопадов.

Facebook AI представили TimeSformer — алгоритм для решения задачи понимания видео впервые основанный исключительно на self-attention как в трансформерах.

Почему это важно: современные архитектуры основанные на 3D свертке (3D CNN) могут обрабатывать только короткие фрагменты видео длинной всего в несколько секунд, в то время как с само-вниманием (¿🤔?) этот диапазон может быть увеличен до минут, что значительно изменит то, как, и какие видео мы можем обрабатывать. Плюс ко всему, инференс в TimeSformer получается намного дешевле, что в будущем приблизит риал-тайм обработку видео для AR/VR, селфдрайвинга, и прочих техно-извращений.

Опа, а вот и клоны AR Copy Paste подъехали. Увы, практического применения больше не стало.

Название приложения – Scan Thing.

Papers Without Code — следующая ступень эволюции после Papers With Code направленная на шейминг невоспроизводимых статей с расходящимися цифрами или недостающими техническими деталями.

Каждый может подать ссылку на статью, которая будет проверена модераторами, и авторам которой будет представлена возможность дополнить информацию. Если автора не ответят — статья будет добавлена на "доску позора". (Считаем дни когда это начнут использовать для академ-булинга).

Неподтверждаемость информации из статей это огромная проблема которая была нормой еще недавно, и даже получила название replication crisis. Из громких примеров, даже статья Гугла была раскритикована группой из 31 исследователей за недостаточную для воспроизведения информацию. Благо сейчас на это начинают обращают все больше внимания.

Gucci начали продавать полностью digital обувь в своем приложении. Ребята из Future Sailors попробовали их примерять и... ну вы сами все видите. Зато в сми попали.

Массовое исследование показало, что кастомные модификации трансформеров опубликованные в последние года, как правило, ничем не лучше исходной версии. Как по мне, это прямой результат требования в публикациях технической новозизны там, где она часто и не нужна.

Ведь просто применить готовый алгоритм это не кошерно. Поэтому люди сначала применяют готовый алгоритм за сценой, и если все работает — совершают ритуал по перемешиванию слоев и добавлению рандомных связей тут и там, и молятся, чтобы аккураси не упала. Результат: "мы разработали новую архитектуру для задачи Х". Можно ещё свою иллюстрацию нарисовать, тогда точно не подкопаешься.