Huggingface заколлабились с Ollama и теперь можно любую языковую модель (LLM), у которой на хабе есть GGUF от квантизации, запустить прямо в командной строке вбив строчку формата:

ollama run hf.co/{username}/{repository}

Можно попробовать на чём-то из этого:

ollama run hf.co/bartowski/Llama-3.2-1B-Instruct-GGUF
ollama run hf.co/mlabonne/Meta-Llama-3.1-8B-Instruct-abliterated-GGUF
ollama run hf.co/arcee-ai/SuperNova-Medius-GGUF
ollama run hf.co/bartowski/Humanish-LLama3-8B-Instruct-GGUF

На память команды знать не обязательно. Ловчей будет зайти в хабе на страницу интересующей модели, перейти в Quantizations, выбрать создателя кванта (ориентируйтесь по скачиваниям), нажать "скопировать" рядом с названием модели, а дальше в командной строке вбить ollama run hf.co/ и вставить скопированное. Если нужна конкретная квантизация, например Q4_0, то она дописывается в конце рез двоеточие. LLM скачается и с ней можно будет общаться.

Также может понадобиться Ollama добавить в PATH, чтобы оно могло запускаться из любого места в командной строке. Для этого найдите куда приложение установлено (например нажав на иконке и открыв "расположение файла"). Это что-то вроде: C:\Users\PsyEyes\AppData\Local\Programs\Ollama. И в переменных среды найдите строчку Path » изменить » создайте новую строку и впишите в неё адрес.

Сегодня в заголовках Nvidia с их тюном ламы, красиво светящимся на бенчах против последних моделей Anthropic и OpenAI. Просто GGUF весит 48 гб. Чтобы подрубить пожатый 1-битный и, возможно, нерепрезентативный квант, весящий 16 гигов и занимающий 20 ГБ VRAM, надо вбить:

ollama run hf.co/bartowski/Llama-3.1-Nemotron-70B-Instruct-HF-GGUF:IQ1_M

Хотя мне конечно через командную строку общаться не близко. Нужен UI, чтоб можно было и чаты разные вести, и файлики свои подгружать, итд. Будет ништяк, если это подрубят в OpenWebUI с Artifacts, а то там сейчас список поддерживаемых моделей ограничен.

Анонс
Список LLM на хаггинге

Nvidia: ускорили Flux на видюхах с поддержкой TensorRT. Прирост производительности составляет 20%. А ранее Alibaba выпустили Turbo версию Flux.

Чтобы достичь ускорения, надо модель, скажем Flux Dev, пропустить через ComfyUI TensorRT. На выходе можно получить или динамический оптимизированный движок, который будет работать с разными разрешениями, или статический работающий в одном разрешении, зато потребляющий меньше памяти.

На данный момент, чтобы провести оптимизацию нужно 48 ГБ VRAM и видюха с поддержкой BF16 типа А5000. После этого, оптимизированную Dev можно будет гонять на 4090. Но скорее всего ничего другого параллельно работать не сможет и экраны нужно будет отключить. Не забудь поставить свечку для аутентичности.

Тем не менее, будем следить за развитием событий. Я тут опробовал TensorRT в новом FaceFusion и оумай! оно просто летать начало, даже по сравнению с CUDA.

Анонс
Гитхаб Comfy TensorRT
Обсуждение на гитхабе

Adobe: в обновлённом Illustrator векторную графику можно крутить как 3D объекты. Выделяешь что нужно, жмёшь Generate Views, и можешь менять горизонтальное / вертикальное положение, используя новые виды. Причём изменения в одном объекте, можно применить другим таким же (см. рога у летучих мышей). Также оно понимает как работать с освещением при ротации.

Мы видели генерацию новых видов в опенсорсных 3D генераторах, типа Zero123++ и иже с ними. Но, тут оно всё положено под капот с желанным UI/UX.

Ну и создание анимации на основе таких 3D объектов в афтере выглядит неплохо. Для какой-нибудь простой ютуб открывашки или низкобюджетной рекламы сойдёт.

Другой проект, где можно вкинуть SVG и делать из него 3D это Meimu.

У кого адобовская подписка дайте фидбек как оно по ощущениям в ваших задачах.

Твит

Пока недалеко отошли от Adobe и 3D. Я уже рассказывал, что через их новую апу Substance 3D Viewer можно просматривать 3D файлы в фотошопе.

Так вот с её помощью можно работать в режимах Text-to-3D или 3D-to-Image, то есть и генерить из текста 3D, или на голые 3D меши накатывать текстуры с фоном.

Причём можно выбирать:
* Создать фон под уже текстурированный 3D объект
* Поменять текстуры объекта и фон
* Поменять текстуры объекта и не трогать фон

Adobe предоставляют гайд по всему процессу и 3D объект для тестов. Либо вы можете сделать сплат чего-нибудь под рукой в Postshot, например.

Кстати про сплаты. В режиме text-to-3D меш генерится именно в них. Но в Substance нет возможности экспортировать 3D (ибо он работает как привязка к фотошопу). Однако в папке с временными файлами находятся .ply, которые можно закинуть в SuperSplat или другие редакторы с поддержкой сплатов. На гитхабе есть конвертор на эту тему, как и линк на коллаб, если мощей компа не хватает. Думается Adobe эту лазейку как-то закроет, но пока можно пользоваться.

Гайд по Substance 3D от Adobe
Тестовый 3D объект
Гитхаб 3D конвертор