Nvidia: выпустили NVLM 1.0, серию мультимодальных моделей для чата по тексту и визуалу (картинки, pdf доки, графики, рукописный текст, итд).

Первой вышла в релиз версия NVLM-D размером 72B, анонсированная в середине сентября. На бенчах бьёт GPT-4o и Llama 3-V 405B, но с тех пор уже вышла лама 3.2 и возможно детище Nvidia ей проигрывает. Ещё и потому что она есть только в одном большом размере, который дома запустить проблема, а лама есть всех мастей от мала до велика.

Но пишут, что можно запустить в multi-GPU режиме. Будем наблюдать, что ещё выпустят.

Хаггинг
Сайт
Статья

Телега внедрила подарки. Помимо приятного знака внимания релиз примечателен ещё по паре причин.

Гейтинг. На данный момент, список подарков ограничен только теми, что выпустил сам Telegram. Но если их дадут выпускать юзерам, как сейчас со стикерами, то это откроет возможность гейтинга аудитории для раздачи ей ништяков по достижении определённых высот.

Например, ныне в телеге есть розыгрыши для всех пользователей или списка лиц, а могут появиться и для владельцев указанного цифрового предмета. Гейтинг конечно можно делать и по юзернейму/user ID, но это ограничивает нас активностью внутри телеги.

Выход за пределы Telegram. Подарки созданные лимитированным тиражом позже в этом году можно будет выпустить на TON, делая из них цифровые коллекционки (кстати помнится Паша говорил про выпуск и стикеров на бч). Например, это можно использовать, чтобы эти предметы открывали доступ к контенту, боту, или имели применение в разных играх. И речь не про тапалки.

Такое уже реализовано на Enjin, где цифровой предмет из твоего кошелька, в одной 3D игре является мечом, в другой машиной, итд, или работает как артефакт дающий бонусы. Но, если Enjin двигаются к масс адопшену через Fuel Tanks и QR-коды (Beam) для ухода от комиссий со стороны пользователя и бесшовного распределения коллекционок, то у TON есть плотная интеграция с телегой со всеми вытекающими.

В то же время нынешние лимитированные подарки могут быть и просто разовой акцией как было с телеграм номерами. Поэтому не будем загадывать.

Сжигание. Если что, подарок можно распаковать и получить из него звёзды за вычетом комиссии телеги. Как и на Enjin, кстати. А если он уже на TON, то попробовать продать на маркетплейсе (думаю к тому моменту как минимум Fragment и Getgems это реализуют).

В общем команда Telegram/TON, как никто другие умеют в юзабилити и продукт, и продолжают приближать массадопшн темпом, на который стоит равняться всей индустрии.

MiniMax на проводе.

С переходом воды из кадра в кадр выглядит любопытно. Интересно как получилось бы с огнём/дымом/разбивающимся на мелкие частички битым стеклом, итд.

Какой подход вы бы использовали, чтобы реализовать это в традиционном пайплайне?

Сайт
Твит

Потестил Facepoke.

Это такой Advanced Live Portrait только без слайдеров — с указанием изменений мышкой. Настраивать можно взгляд, брови, ширину улыбки, раскрытие рта, положение головы.

Собственно такое решение с крутилками под капотом напрашивалось само собой. Но в нынешней реализации, управление как-то по-спартански сделано и плохо слушается. Тем не менее приноровиться можно.

Чем лучше разрешение картинки и четче видно указанные выше элементы лица, тем меньше артефактов будет заметно при изменении. Причёска далеко не всегда следует за лицом, особенно если волосы длинные или пышные. Если выкручивать голову под экстремальными углами, то можно заметить квадрат, внутри которого идёт обработка изображения.

Нравится, что голова движется не в отрыве от тела, а словно следуя анатомии, и ты не можешь повернуть её например на 180 градусов.

С известными людьми применение может быть проблематичным ибо их народ знает в лицо очень хорошо и сразу может заметить фальш. А вот с синтетическими персонами вполне, ибо ты не знаешь как этот человек должен выглядеть под другим углом.

4 ГБ VRAM должно хватить, чтобы гонять локально.

За наводку спасибо @cgevent

Установка через Pinokio
Демо
Гитхаб

Runway: в Turbo версии Gen-3 теперь тоже есть генерация видео с указанием первого и последнего кадров.

А недавно завезли video-2-video и вертикальный формат кадра.

Твит
Сайт
Про Gen-3

Hailuo: добавили в MiniMax генерацию на основе картинки.

Пока бесплатно и довольно шустро. Не говоря уже про отличное качество.

Твит
Сайт