В NVIDIA поделились PyTorch-библиотекой для синтеза фото и видео

Imaginaire может сгенерировать пейзаж из скетча, изменить на видео погоду, время года и не только. Построено всё на технологии GAN, комбинации из двух нейросетей. Одна генерирует образцы, а другая старается отличить правильные от неправильных. В итоге получаются пикчи, которые иногда не отличить от настоящих.

На видео показано, как это работает. А по ссылке — код и туториалы на гитхабе:

https://tprg.ru/4FRv

#ai #nvidia #нейросети

Разработчики из Nvidia обновили нейросеть StyleGAN2

На видео можно посмотреть, что выдаёт эта чудо-нейронка. А код и подробный чейнджлог есть на гитхабе:

https://tprg.ru/nWIy

Из примечательного: датасеты теперь нужны гораздо меньше, обучение проходит быстрее, потребление памяти GPU стало ниже. Также добавили импорт уже обученной нейронки, исправили кучу багов и отрефакторили код — теперь его проще допиливать под свои велосипеды.

#nvidia #нейросети

Энтузиаст сгенерировал видео с несуществующей реальностью через GauGAN от NVIDIA

GauGAN — это та самая нейронка, которая синтезирует картинку из простенького скетча. Юзер может нарисовать землю, небо, растения и здания и получить синтезированные пейзажи на выходе.

Ютубер Jon Warlick нарисовал целую 3D карту из таких скетчей, прогнал через нейронку и наложил музыку. Получилось психоделично, по-своему красиво и очень залипательно.

Полное видео с результатом и процессом работы есть на канале автора: https://tprg.ru/dhAS

#нейросети #nvidia

NVIDIA выпустила станцию NVIDIA DGX A100 с 320 ГБ видеопамяти в формате настольного ПК

DGX Station A100 предлагает всем желающим «производительность центра обработки данных без центра обработки данных». В отличие от этой станции, подобные решения требуют ещё и дорогую систему охлаждения как у ЦОД.

В NVIDIA заявляют, что новинка предназначена для науки и бизнеса, а также для компаний, занимающихся обработкой огромных массивов данных. Цена, правда, пока неизвестна, но DGX A100 продавали за $199 000.

#nvidia #hardware

​NVIDIA сообщила, что GeForce GPU в Windows VM будет официально поддерживать проброс

Проброс GPU GeForce из Linux хоста в Windows заработает, начиная уже с драйверов версии R465. Правда, пока что в Beta-режиме.

Это значит, что игры на Windows VM из под Linux станут более доступными, а разработчики смогут гораздо проще тестировать свой код без использования «велосипедов». Также обновление должно исправить ошибку «Code 43», которая возникала при загрузке ОС и обнаружении GPU GeForce виртуального окружения.

#hardware #nvidia

Воксельная графика из Minecraft кажется вам слишком простой и угловатой? Разработчики из NVIDIA нашли способ решить эту проблему

Они разработали нейросеть GANcraft, которая создаёт реалистичные видео на основе мира Minecraft. По ссылке есть большое исследование того, как удалось реализовать GANcraft, а в видео — залипательный пример её работы.

Исходниками, кстати, обещают поделиться в скором времени: https://nvlabs.github.io/GANcraft/

#нейросети #nvidia

​NVIDIA призналась, что не может справиться с майнерами: ни в ограничении майнинга на видеокартах, ни в стоимости видеокарт для обычных пользователей в рознице

Напомним, ранее компания обещала на уровне железа ограничить возможность майнинга на всей линейке видеокарт RTX 30XX. Не получилось, не фартануло.

Сейчас NVIDIA признала, что у неё нет технической возможности отследить сферу применения каждой проданной видеокарты. И единственное, что они могут сделать, — это производить специализированные ускорители для добычи криптовалюты. Также в компании заявили, что высокий спрос в рознице вряд ли изменится до конца года.

#nvidia #криптовалюты

Nvidia показала нейронку, позволяющую создать собственный дипфейк для видеосозвонов

Для этого Vid2Vid Cameo AI берёт вашу же фотографию и анимирует её мимикой в режиме реального времени. Разработчики обещали, что скоро он будет доступен в SDK NVIDIA Video Codec как AI Face Codec.

Мало того, что технология позволяет выглядеть на конференции в зуме безупречно даже в пижаме, такой подход примерно в 10 раз сокращает нагрузку на интернет-соединение, выдавая более качественное изображение. Интересно и то, что для создания такого Zoom-дипфейка, можно будет выбрать, какого-нибудь виртуального персонажа или даже другого человека.

#nvidia

NVIDIA поделились исходным кодом обновлённой StyleGAN3

Предыдущие версии использовались для вполне годной генерации несуществующих котов, людей, стилизации фото и других вещей. Но у них были и свои «болячки».

Например, из-за зависимости паттернов от абсолютных пиксельных координат текстура иногда казалась «приклеенной» к координатам изображения, а не поверхностям объектов. Это приводило к появлению артефактов, из-за которых можно было легко отличить сгенерированное фото от настоящего. В новых версиях это пофиксили, сделав результат генерации более естественным.

Здесь можно посмотреть больше примеров, ознакомиться с описанием и кодом: https://nvlabs.github.io/stylegan3/

#nvidia #нейросети

NVIDIA научила нейросеть анимировать 3D-модель лица на основе одного только голоса

Audio2Face может работать как с готовой записью, так и в реальном времени. Мало того, что модель создаёт реалистичную и совпадающую анимацию губ на большинстве языков. Она без проблем позволяет перенести её и на другого персонажа. Притом, не так уже важно, будет ли это модель человека или даже животного.

Компания показывала демонстрационные видео ещё весной этого года. А уже сейчас можно самому скачать и попробовать открытую бету программы: https://tprg.ru/tflT

#nvidia

​Чистая прибыль NVIDIA выросла на 84% за счёт продаж видеокарт

В компании утверждают, что этого удалось достичь благодаря игровому подразделению и подразделению дата-центров. Но мы-то с вами знаем, кто стал самым главным драйвером роста выручки.

Интересно, что при этом NVIDIA всё ещё не может удовлетворить текущий спрос на графические процессоры. Например, недавно журналист The Verge рассказал, что прождал в онлайн-очереди на RTX 3060 девять месяцев, купил её за $380 и остался доволен, ведь у перекупщиков она стоила бы не менее $700.

Давайте просто порадуемся за NVIDIA.

#nvidia

Nvidia прокачала нейросеть GauGAN, превращающую схематичные рисунки в фотореалистичные пейзажи

GauGAN2 обучили уже на 10 млн изображений, вместо 1 млн в GauGAN. И внедрили функцию перевода текста в изображения.

Го тестить: http://gaugan.org/gaugan2/

#nvidia #ии #нейросети

Принесли позалипать на вечер новое видео от Two Minute Papers, в котором они подробнее рассказали о технологии NVIDIA, способной очень реалистично анимировать речь 3D-модели по одной только аудиозаписи.

Audio2Face может работать как с готовой записью, так и в реальном времени. Мало того, что модель создаёт реалистичную и совпадающую анимацию губ на большинстве языков. Она без проблем позволяет перенести её и на другого персонажа. Притом, не так уже важно, будет ли это модель человека или даже животного.

Кому интересно, почитать подробнее и потестить ПО можно здесь: https://www.nvidia.com/en-us/omniverse/apps/audio2face/

#нейросети #nvidia

NVIDIA показали нейросеть NeRF, которая очень качественно собирает 3D-сцену всего из нескольких 2D-фотографий

Подробнее — в ролике или в блоге NVIDIA: https://blogs.nvidia.com/blog/2022/03/25/instant-nerf-research-3d-ai/

А исходники уже выложили на гитхаб: https://github.com/NVlabs/instant-ngp

#nvidia #нейросети

​Исторический момент: NVIDIA открыла исходники всех модулей ядра из своего набора проприетарных драйверов!

Код открыли под лицензиями MIT и GPLv2. Возможность сборки модулей обеспечена для архитектур x86_64 и aarch64 на системах с ядром Linux 3.10 и более новыми выпусками. В компании ожидают, что это повысит удобство работы с GPU NVIDIA в Linux-системах, упростит поставку драйверов и отладку проблем. Звучит здорово, но, как говорится, есть нюанс.

Прошивки и используемые в пространстве пользователя библиотеки, такие как стеки CUDA, OpenGL и Vulkan, пока всё ещё остаются проприетарными. И хотя сообществу дадут возможность отправки pull-запросов с исправлениями кода модулей, сначала их всё равно интегрируют в основной закрытый репозиторий. А только потом будут переносить с остальными изменениями в открытый. Плюс к этому, для участия в разработке требуется подписание соглашение о передаче компании NVIDIA имущественных прав на передаваемый код (Contributor License Agreement).

Очень интересно, связана ли эта история с ребятами из Lapsus$?

#nvidia #opensource

​В исходниках NVIDIA CUDA нашли текст «Войны и мира». Зачем он там?

Юзер реддита под ником CHDuckie заметил странный файл в папке NVIDIA CUDA — текстовый документ «warandpeace.txt», размером в 3212 КБ. И оказалось, что название файла соответствует содержанию. В нем целиком содержится роман Толстого на английском языке.

Изначально это было очень похоже на загадочную «пасхалку». Так подумали и многие реддиторы. Но на деле оказалось, текст романа выступает в роли образца для некоторых расчетов ядер ускорителей. Более того, и другие разработчики часто включают образцы данных в эталонный код, чтобы он выполнялся автономно. А вот в NVIDIA почему-то решили выбрать именно этот роман. Возможно, из-за его размера.

#nvidia

Если ещё не видели, посмотрите, что творит Nvidia!

С гиперреалистичными фотками, которые по текстовому описанию генерирует нейросеть, уже разобрались — всё понятно, никого уже этим не удивишь. А что насчёт видео?

В Nvidia решили пойти дальше и на этот раз выпустили модель для генерации динамических видео. Она генерирует видео, воспроизводящие движение объекта, изменения точки обзора камеры. И даже новый контент, возникающий с течением времени, сохраняя при этом «долгосрочную временную согласованность».

Пока конечно не супер идеально. К тому же видно, что примеры специально подобраны так, чтобы демонстрация выглядела получше. Да и качество оставляет желать лучшего — разрешение всего 128х128px. Но то ли ещё будет! Здесь можно почитать про техническую начинку, а код обещают выложить в конце лета: https://www.timothybrooks.com/tech/long-videos/

#nvidia #нейросети

С помощью нейросетей от NVIDIA теперь можно повысить качество видео с 360p до 4K прямо в браузере

Это стало возможно благодаря новому драйверу для видеокарт 30 и 40 серий. RTX Video Super Resolution масштабирует видео например, на YouTube, Twitch, Netflix. И что самое интересное — не нагружая трафик. Работает пока с Chrome и Microsoft Edge и включается в настройках драйвера.

Чуть позже доступ к технологии должны получить и обладатели видеокарт RTX 20 семейства Turing. Также в примечаниях к драйверу говорится что драйвер 531.18 обеспечит лучший игровой процесс в новых проектах с поддержкой технологии NVIDIA DLSS 3, в том числе Atomic Heart.

#нейросети #hardware #nvidia

​В Nvidia создали Voyager — бота для Minecraft c GPT-4

Voyager не играет как человек, но способен «считывать состояние игры» через API. А когда нужно, подключает GPT-4, чтобы тот сгенерировал код для достижения цели. С каждой итерацией Voyager создаёт всё больше кода для более сложных вещей.

Но самое интересное — скорость, с которой Voyager учится создавать предметы и исследовать мир. Оказалось, что с помощью GPT-4, Voyager создаёт инструменты быстрее, получает больше предметов и заходит дальше, чем другие агенты ИИ.

Говорят, если использовать всякие ChatGPT не для генерации текста, а именно так, то скоро можно автоматизировать многие рутинные офисные задачи.

#нейросети #gamedev #ии #nvidia

​​CES 2024: итоги конференции

Собрали самые любопытные презентации с топовой Hardware-конференции, где выступают NVidia, Intel, LG, Qualcomm, Samsung и другие монстры индустрии.

На картинке момент из Cyberpunk c NVIDIA DLSS и без. Это технология рендеринга с ИИ. Еще чуть-чуть – и от реальности не отличишь.

#nvidia #gamedev