• Apple создала Google Lens! Благодаря AI iOS 15 распознает текст на фотографиях, произведения искусства, достопримечательности, растения, животных, книги и другие объекты.
• AR-навигация в Apple Maps. Пока только в небольшом количестве городов. Также будет распознавание фасадов зданий, определение точного положения пользователя и отображение правильной перспективы элементов навигации AR. К слову, Google уже много лет предлагает аналогичную функцию Live View для Google Maps.
• Захват объекта. Инструмент 3d-сканирования на основе фотограмметрии для MacOS. Пользователи iPhone или iPad фотографируют объект с разных ракурсов, из которых рассчитывается 3d-модель. Затем объект можно спроецировать в окружающую среду с помощью AR. Это очень важная функция для пользовательского AR-контента

#AR
Сканы достопримечательностей прямо на карте в polycam. Можно отсканировать и добавить свои https://twitter.com/PolycamAI/status/1402366028852568065?s=20

Понимание языка жестов с помощью трекинга пальцев руки - Ricardo Santana:
First, a hand tracking model identifies the hand landmarks;
Secondly, a #MLP (Multilayer Perceptron) trained with hundreds of examples recognizes different letters based on the relative position of the landmarks.

Один из слайдов моей вчерашней презентации на MIXR: расположение университетов с VR/AR исследованиями и образованием. После доклада узнала, что забыла МФТИ (впрочем, детализацию по Москве на карте и не видно). Интересно, кто ещё тайно существует? Давайте делать научный семинар по VR!

Собрали все анонсы и трейлеры с презентации UploadVR, посвящённой играм для виртуальной реальности.

На трансляции показали геймплей новой Sam & Max, продолжение шпионского экшена I Expect You To Die и ролик по Against — игре о борьбе с преступностью в Нью-Йорке 1930-х.

https://dtf.ru/games/763541

#AR
Phygital украшение из реддита.

(кстати, можно подписаться на этот реддит, он посвящен AR и там нередко интересные штуки)

Главный вдохновитель всего иммерсивного, «отец Oculus» и создатель культовой игры DOOM Джон Кармак внезапно вышел из тени. Бывший технический директор VR-направления Facebook вдруг всплыл в официальном блоге компании под новой должностью «Facebook Reality Labs Executive Advisor».

Чем в «Фейсбуке» занимается «исполнительный советник» до конца не ясно, но в новом качестве Кармак неожиданно ударился в игровую журналистику и начал писать рецензии на VR-игры (например, вчера он опубликовал хвалебный обзор на аркаду Space Shooter, которая на днях вышла в App Lab). Так что если вы VR-разработчик и хотите, чтобы вашу игру отрецензировал лично Кармак — смело заполняйте вот эту форму и ждите ответного гудка.

Потрясающий и смелый прецедент в театральном мире – акселератор для новых постановок с технологиями!

Театр “Современник” запустил спецпроект COGNITIVE, посвященный возможности использования технологий в театре.

Это очень похоже на инкубатор в мире театров. Если вы — цифровой художник, мыслящий в парадигме интерактивных медиа, и у вас есть концепция проекта, на сайте можно подать заявку и возможно ваша идея будет реализована в программе Современника!

#AR
Skydio — компания по производству дронов, выпустила продукт для автономного сканирования Skydio 3D Scan ™. Там много крутых фишек:
- искусственный интеллект помогает автоматизировать схемы полетов, чтобы создавать максимально точные сканы объектов
- адаптивное картографирование позволяет строить глобальную карту сложных поверхностей, так нет необходимости управлять дроном
- точность захвата 3d до 0,65 мм на пиксель даёт возможность мгновенно сканировать объекты без предварительных знаний о структуре и даже без GPS
- отсканированные объекты можно сразу посмотреть в AR. Также в AR можно просматривать схему полета дрона и прогресс съемки
- можно подключить дрон к ноутбуку и проверить 3d-модель на неточности в полевых условиях

Для чего нужны такие дроны?
- инженерам для оценки состояния опор электропередач, мостов или вышек сотовой связи
- в стройке для создания отчетов о ходе строительства
- спасательным службам для сбора доказательств, когда они документируют и реконструируют места преступлений и аварий
- военным для воздушной разведки

#AR
Хороший пример фильтра-игры с трекингом рук (жаль, что только для снепчат)

Oculus анонсировала множество новых функций для Quest в грядущем обновлении v30.

Теперь, для всех пользователей станет доступен Air Link - функция беспроводной потоковой передачи с ПК для Quest 1 и 2.

Еще одним нововведением станет цветокоррекция. Появится возможно менять цветовую коррекцию из доступных оттенков. Всего будет доступно 3 варианта - зелено-красный, красно-зеленый и сине-желтый.

Появится возможность переключаться между несколькими голосовыми чатами.

И наконец - многозадачность. Пользователи смогут просматривать одновременно несколько приложений в Oculus Home (максимум до 3-ех).

#VRNews #OculusQuest

#Accessibility
Обучение американскому жествому языку при помощи отслеживания рук. Сервис рабртает в браузере хром, нужен только доступ к камере.

Как еще можно учиться общаться жестами:
- с помощью видео на ютуб и приложений, но там никто не проверит правильность звучания
- очные занятия с учителем (не у всех есть время и деньги)
- VR — например, на oculus quest с отслеживанием рук

Учить русский жестовый можно по видео yana_golovach

Завтра последний день Steam Festival, как и в прошлый раз представлено более 25 демо VR игр, среди которых отметим:

I Expect you to die 2
Against
Into the darkness
The secret of Retropolis
Cave Digger 2

Ознакомиться со всем списком можно на странице фестиваля.

#VRGames #Steam

В июле на гарнитурах Oculus Quest выйдет игра Chess Club. VR-игра от испанского разработчика Odders Lab, которая оживляет шахматы используя анимированные фигуры и разнообразные локации.

В Chess Club будут несколько режимов включая Bullet, Blitz, Classical, Real-Time и Async. Помимо игры против ИИ, можно участвовать в многопользовательских матчах 1х1 (как в случайных, так и рейтинговых), где можно играть друг против друга используя голосовой чат. Также в игре есть Hand Tracking и отслеживание ходов, позволяя лучше анализировать прошлые игры и выявлять ошибки.

Игра доступна для предварительного заказа с 29 июня, а официально выходит на Oculus Quest 7 июля за $14,99.

#VRGames #OculusQuest

#AR
Формат коротких видео подходит не только для милых котиков. Держите супер простой урок по созданию маски для инстаграма

Американский разработчик выпустил приложение PhotoCatch на основе технологии Object Capture от Apple — в него можно загрузить фотографии и оно сгенерирует 3D-модель.

Приложение работает на macOS Monterey и доступно «облаке» — но там стоит от $2 за объект

vc.ru/services/262745

#AR
Отличное применение распознавания объектов, в детстве такого не хватало https://brickit.app/. Пока только на айфоне

У Apple в последней версии MacOS Monterey появилась новая прикольная фича полезная для всех кто работает с 3D – вы просто фотографируете с телефона объект в 20 видах и они в облаке собирают объект в виде 3D модельки. Подход не новый, но вчера как раз появилась новость что кто-то выпустил приложение PhotoCatch на этом API, а я сразу побежал ставить бету новой MacOS и в магазин за дошиком, в видео – пример того как работает (низ дошика было лениво фотографировать, поэтому там пустота.

А вот моделька для всех кто ценит дошики в 3D:
https://skfb.ly/ooqRz