DeepSeek VL2 Small

DeepSeek представил версию своей новой модели DeepSeek VL2 Small - грубо говоря для разговора с картинками и видосами.

Средняя: 16 миллиардов параметров и Mixture of Experts (MoE)

Очень круто, что уже доступна на Hugging Face Space.
Пишут что нереально хороша в OCR - распознавании даже кривых текстов.
Я немного потыкал - действительно круто описывает картинки, но что более важно, имеет спец теги-токены, которые можно использовать в запросах, типа найди жирафа именно на заднем плане. Обязательно гляньте примеры внизу - из них понятно, что она умеет.

@cgevent

Пикадишенс!

Pika не сдается...

Заход на мемную территорию с эффектами типа сжатия или раскалывания объектов был вирусным, но краткосрочным.

Сейчас они довольно сильно продвинулись - я бы выпил за композеров, если бы не приподшакальное качество.

Но как мемогенератор - это уже шаг вперед. Это не фиксированные эффекты с предопределенной динамикой, это вставка своего объекта в существующее видео. На входе видос и картинка, объект с которой надо вонзить\наложить на видео.

Если игнорировать качество и освещение, то поглядите, как модель (пусть не полностью) понимает физику мира и отношения между объектами.

Просто представьте, сколько времени решать такие задачи в композе... А качество и управляемость будут только расти.

А смешивание картуна и съемки выглядит вполне себе. Ноги елозят, но это же не мокап, это одна кнопка!

И Нюк такой - отвалите нам 10К фунтов за лицензию в год.
Pika - пятнадцать бесплатных Пикадишенов для каждого нового подписавшегося пользователя.

Куда катится мир...

@cgevent

Вот вам еще Пикадишенов.

Белый Медведь в холодильнике и Слон в посудной спальне - прям хорошо. И по замыслу и по исполнению.

Твиттор щас лопнет от мемов.

@cgevent

Видеореставрация. Проект Starlight: первая в истории диффузионная модель для восстановления видео

Очень интересно: Топаз поднял веки и разродился своей моделью.

Недавно обсуждали апскейлеры картинок и разницу между апскейлерами (добавление деталей, заточенность под контент, недобавление деталей и пр.).

В области апскейла видео, а не фото, Топаз, конечно, пока чемпион.

И они только что бахнули новую модель Starlight для реставрации видео.

Давайте порассуждаем в коментах про разницу между апскейлом и реставрацией, а вы пока посмотрите примеры.

Приповзресерчил насчет деталей:
Вы можете бесплатно восстановить 10-секундные видосы (лимит не знаю), а если вонзите денег за кредиты, то можно в 5-минутные видео с титрами(?!) в 1080p. Корпоративная версия будет поддерживать более длинные видео и вывод в более высоком разрешении.

"Наша первая в истории диффузионная модель для восстановления видео занимает много времени и требует больших затрат".

Не знаю насчет первой в мире, но звучит интересно и в меру хвастливо:

"Созданный на основе совершенно новой архитектуры моделей, наш подход, основанный на диффузии, использует 6B+ параметров. Это самый динамичный и широкомасштабный метод улучшения видео. Видео ухудшается из-за артефактов сжатия, размытия, алиасинга, шума, атмосферных искажений, недостающих пикселей и т. д.
Каждый кадр страдает от уникальных типов повреждений, что делает восстановление видео с помощью искусственного интеллекта очень сложной задачей.
Наша технология решает эту проблему, анализируя сотни кадров для точного восстановления деталей, обеспечивая непревзойденное восстановление деталей в сочетании с беспрецедентной временной согласованностью."

Полностью автоматическая реставрация: модель автоматически денойзит, деблюрит, повышает резолюшн и анти-алиасит (язык и глаза сломались, да). Никаких ручных настроек, никакой настройки параметров (очень круто, как по мне).

Пока нет ничего, кроме Coming soon и закрытой беты для тестирования.

И тут повод развязать дискуссию в коментах о том, что диффузия добавляет детали, которые порой неуместны (ненужные эмоции, например) и что это уже креативная реставрация в духе магнифика, а не старый добрый наукоемкий топаз. Но надо смотреть в деле, а пока ждем и дискутируем.

@cgevent