This media is not supported in your browser
VIEW IN TELEGRAM
Playcanvas: обновили свой просмотрщик 3D файлов до V 5.
Фичи:
* Под капотом браузерной движок PlayCanvas Engine 2.1
* Есть рендер с помощью WebGPU
* Поддержка сплатов в формате .ply (вкинул и просматривай)
* Можно делиться ссылкой/QR кодом на просмотр
* Опенсорс, можно раскатывать где хочешь и внедрять к себе
* Улучшенная поддержка glTF 2.0
Сайт
Гитхаб
Фичи:
* Под капотом браузерной движок PlayCanvas Engine 2.1
* Есть рендер с помощью WebGPU
* Поддержка сплатов в формате .ply (вкинул и просматривай)
* Можно делиться ссылкой/QR кодом на просмотр
* Опенсорс, можно раскатывать где хочешь и внедрять к себе
* Улучшенная поддержка glTF 2.0
Сайт
Гитхаб
This media is not supported in your browser
VIEW IN TELEGRAM
OpenWebUI: веб-интерфейс для локального чата с языковыми моделями (LLM) обновилися и там теперь можно организовывать чаты по папкам; через RAG обращаться к конкретным файлам, а не ко всей базе знаний; внедрили tiktoken — обработку текста по токенам, а не по символам; и много других ништяков.
Я ранее писал о проекте. Если ставили через Pinokio, при запуске OpenWebUI нажмите в боковой панели Stop и затем Update... Надо им сказать чтобы отдельную кнопку для обновления запили без запуска.
Гитхаб
Установка через Pinokio
Я ранее писал о проекте. Если ставили через Pinokio, при запуске OpenWebUI нажмите в боковой панели Stop и затем Update... Надо им сказать чтобы отдельную кнопку для обновления запили без запуска.
Гитхаб
Установка через Pinokio
This media is not supported in your browser
VIEW IN TELEGRAM
1000 звёзд 21 день спустя таки пришли. Ловите процесс их конвертации в TON на Fragment.
Кошелёк для получения TON можете использовать любой. Я выбрал Tonkeeper потому что он некастодиальный (ключ от кошелька (сид фраза) хранится у тебя), наценка на комиссии сети ниже, чем в TON Space и MyTonWallet, и много функционала.
Кстати, сумма для вывода в TON динамически меняется: когда зашёл на страницу вывода было 3.336347538 TON, а когда залинковал кошель стало показываться 3.335582452 TON, в момент вывода уже 3.336827682 TON.
Так что не щёлкайте. Особенно потому что сессия на вывод работает где-то минут 10-15, а потом обрубается. У меня так первый раз было и пришлось ждать около часа пока появится новая возможность вывода. Благо не ещё раз 21 день.
Кошелёк для получения TON можете использовать любой. Я выбрал Tonkeeper потому что он некастодиальный (ключ от кошелька (сид фраза) хранится у тебя), наценка на комиссии сети ниже, чем в TON Space и MyTonWallet, и много функционала.
Кстати, сумма для вывода в TON динамически меняется: когда зашёл на страницу вывода было 3.336347538 TON, а когда залинковал кошель стало показываться 3.335582452 TON, в момент вывода уже 3.336827682 TON.
Так что не щёлкайте. Особенно потому что сессия на вывод работает где-то минут 10-15, а потом обрубается. У меня так первый раз было и пришлось ждать около часа пока появится новая возможность вывода. Благо не ещё раз 21 день.
Runway: раскатали публичный доступ к Act One, инструменту для переноса своей мимики на персонажей.
Специального оборудования не требуется — достаточно видео с собой. Похоже на LivePortrait... и скорее всего он и есть под капотом.
Runway предоставили гайд как добиться лучших результатов.
Стоит 10 кредитов/сек, минимум 50 кредитов на видео. Максимальная длина видоса 30 сек. В безлимитном тарифе есть Explore Mode.
Сайт
Гайд
Специального оборудования не требуется — достаточно видео с собой. Похоже на LivePortrait... и скорее всего он и есть под капотом.
Runway предоставили гайд как добиться лучших результатов.
Стоит 10 кредитов/сек, минимум 50 кредитов на видео. Максимальная длина видоса 30 сек. В безлимитном тарифе есть Explore Mode.
Сайт
Гайд
This media is not supported in your browser
VIEW IN TELEGRAM
FasterCache: метод ускорения инференса видеогенераторов без потери качества и тренировки.
Выяснилось, что повторное использование и кэширование схожих элементов кадра, имеющих небольшое различие, ведёт к деградации изображения. Вместо прямого повторного задействования кэшированных элементов предлагается использовать динамическое, которое более эффективно.
Также исследователи представили CFG-Cache: новый подход, разработанный для учета как высоко-, так и низкочастотных смещений, в сочетании с адаптивной к временному шагу техникой улучшения.
Уже работает с CogvideoX-2B, Open-Sora 1.2, Open-Sora-Plan 1.1, Latte, и Vchitect 2.0.
Теперь пусть подрубят это к Allegro и Genmo, и оптимизируют потребление памяти. Гоу!
Сайт
Гитхаб
Выяснилось, что повторное использование и кэширование схожих элементов кадра, имеющих небольшое различие, ведёт к деградации изображения. Вместо прямого повторного задействования кэшированных элементов предлагается использовать динамическое, которое более эффективно.
Также исследователи представили CFG-Cache: новый подход, разработанный для учета как высоко-, так и низкочастотных смещений, в сочетании с адаптивной к временному шагу техникой улучшения.
Уже работает с CogvideoX-2B, Open-Sora 1.2, Open-Sora-Plan 1.1, Latte, и Vchitect 2.0.
Теперь пусть подрубят это к Allegro и Genmo, и оптимизируют потребление памяти. Гоу!
Сайт
Гитхаб
Потестил Flux Lite от Freepik, являющийся ускоренной версией Flux Dev (дистилляция дистилляции?).
Данная версия имеет 8B параметров вместо 12B у оригинала. В ходе исследований Freepik выяснилось, что блоки в середине можно убрать без вреда для качества картинки.
Это позволило модели стать на 23% быстрее и занимать на 7 ГБ меньше RAM, без потери качества картинки. Изображения на выходе масимально близкие к базовой Dev. У меня на генерацию в среднем уходило 13-14 сек при CFG 3.5 в 24 шага 1024х1024, а сама модель не забивала все 24 ГБ VRAM.
Ostris уже опробовал и успешно натренировал лору на ней с помощью AI-Tools.
Рекомендуют Guidance_Scale ставить 3.5, а количество шагов между 22 и 30.
Freepik продолжать работать над тем, чтобы Flux в BF16 вмещался целиком в 24 ГБ VRAM.
Воркфлоу для комфи идёт в комплекте.
Быстрее SD 3.5 Large и несравнимо качественнее. Берём в работу!
Хаггинг
Воркфлоу
Данная версия имеет 8B параметров вместо 12B у оригинала. В ходе исследований Freepik выяснилось, что блоки в середине можно убрать без вреда для качества картинки.
Это позволило модели стать на 23% быстрее и занимать на 7 ГБ меньше RAM, без потери качества картинки. Изображения на выходе масимально близкие к базовой Dev. У меня на генерацию в среднем уходило 13-14 сек при CFG 3.5 в 24 шага 1024х1024, а сама модель не забивала все 24 ГБ VRAM.
Ostris уже опробовал и успешно натренировал лору на ней с помощью AI-Tools.
Рекомендуют Guidance_Scale ставить 3.5, а количество шагов между 22 и 30.
Freepik продолжать работать над тем, чтобы Flux в BF16 вмещался целиком в 24 ГБ VRAM.
Воркфлоу для комфи идёт в комплекте.
Быстрее SD 3.5 Large и несравнимо качественнее. Берём в работу!
Хаггинг
Воркфлоу
Можете на моём компе погенерить во Flux Lite, раскатал вам доступ. Работает и с компа и с телефона.
Воркфлоу в коментах. Вкиньте его в комфи как интерфейс откроется. Либо загрузите нажав Load и выбрав где оно. Если вы с телефона, скачайте файл (можно в телеге выбрать в меню файла Save to Downloads) и через Load укажите где он.
Убедитесь, что энкодеры указаны Clip L и Т5, а не Clip G (!). См. скрины в комментах
Для тех, кто мало знаком с комфи, чтобы сгенерить изображение пишете промт в поле ClipTextEncoderFlux и нажимаете Queue в панельке справа (если что гляньте скрины на оригинальном посте по Flux Lite). Промт надо писать два раза: один идёт для энкодера CLIP L, другой для T5. Ваша позиция в очереди отражается рядом с Queue, а в левом верхнем углу в процентах прогресс генерации.
Сохраняйте к себе понравившиеся картинки. Когда сессия закончится они удалятся.
Правила:
Хотелось бы чтобы VRAM хватало и не было сильных очередей (интересно посмотреть как комфи это разрулит). Поэтому меняйте только промт. Количество генераций (batch size), разрешение, количество шагов, итд, оставляйте как есть. И тогда у всех по идее на 1 картинку будет по ~13 сек.
Если знаете, что и как менять, так чтобы очередь для всех не становилась длиннее, то ок, заодно поделитесь опытом для всех в комментах.
UPD: сессия закрыта. Ожидайте следующую
Ссылка:
https://cu-ae-bradley-feeds.trycloudflare.com/
Воркфлоу в коментах. Вкиньте его в комфи как интерфейс откроется. Либо загрузите нажав Load и выбрав где оно. Если вы с телефона, скачайте файл (можно в телеге выбрать в меню файла Save to Downloads) и через Load укажите где он.
Убедитесь, что энкодеры указаны Clip L и Т5, а не Clip G (!). См. скрины в комментах
Для тех, кто мало знаком с комфи, чтобы сгенерить изображение пишете промт в поле ClipTextEncoderFlux и нажимаете Queue в панельке справа (если что гляньте скрины на оригинальном посте по Flux Lite). Промт надо писать два раза: один идёт для энкодера CLIP L, другой для T5. Ваша позиция в очереди отражается рядом с Queue, а в левом верхнем углу в процентах прогресс генерации.
Сохраняйте к себе понравившиеся картинки. Когда сессия закончится они удалятся.
Правила:
Хотелось бы чтобы VRAM хватало и не было сильных очередей (интересно посмотреть как комфи это разрулит). Поэтому меняйте только промт. Количество генераций (batch size), разрешение, количество шагов, итд, оставляйте как есть. И тогда у всех по идее на 1 картинку будет по ~13 сек.
Если знаете, что и как менять, так чтобы очередь для всех не становилась длиннее, то ок, заодно поделитесь опытом для всех в комментах.
UPD: сессия закрыта. Ожидайте следующую
Ссылка:
https://cu-ae-bradley-feeds.trycloudflare.com/
Для видеогенератора Allegro появился 1-кнопочный установщик в Pinokio.
Я затестил. Напомню что на выходе 6 сек видео 1280х720 в fps от 15 до 30. От комьюнити ещё появилась опция в 60 fps. Чтобы генерить полностью в видюхе нужно около 30 ГБ VRAM. По умолчанию включен CPU offload и в видюху идёт 9 ГБ, а остальное выгружается в RAM.
На дефолтных настройках в Guidance 7,5 и 20 шагов видео не особо стабильное с качеством 23 года и генерится оно 30 минут на 4090 (на 3090 по словам разрабов 1 час). Чтобы получить качество как в примерах из их галереи нужно ставить 100 шагов и использовать "теги на качество", например те, что они дают:
Негативный промт тоже уже вписан, но можно добавить/убавить.
Генерация в 100 шагов займёт 2 с небольшим часа. Ещё на хаггинге написано можно подрубить библиотеку imageio для улучшения картинки, но к этому не идёт никаких деталей. Кстати не заметил, чтобы выбор FPS влиял на время.
На выходе тогда будет видео с лучшим качеством из опенсорсных вариантов (возможно лучше только Moshi 1 от Genmo, который тоже просится на тест). Если бы Allegro вышел в прошлом году, то мог бы посоперничать с Gen-2, Pika 1, и некоторыми другими платными аналогами, но они уже ушли дальше с более качественными продуктами.
Разрабы планируют запилить Img-2-video и контроль движения. Это хорошо, но вот ещё бы скорости, а то 2 часа на 6 сек это не интерактивчик. Возможно FasterCache и другие оптимизации скоро завезут, и тогда станет ловчее.
Установка в Pinokio
Подробнее про Allegro
Я затестил. Напомню что на выходе 6 сек видео 1280х720 в fps от 15 до 30. От комьюнити ещё появилась опция в 60 fps. Чтобы генерить полностью в видюхе нужно около 30 ГБ VRAM. По умолчанию включен CPU offload и в видюху идёт 9 ГБ, а остальное выгружается в RAM.
На дефолтных настройках в Guidance 7,5 и 20 шагов видео не особо стабильное с качеством 23 года и генерится оно 30 минут на 4090 (на 3090 по словам разрабов 1 час). Чтобы получить качество как в примерах из их галереи нужно ставить 100 шагов и использовать "теги на качество", например те, что они дают:
Prompt: (masterpiece), (best quality), (ultra-detailed), (unwatermarked),
твой промт
emotional, harmonious, vignette, 4k epic detailed, shot on kodak, 35mm photo, sharp focus, high budget, cinemascope, moody, epic, gorgeous
Негативный промт тоже уже вписан, но можно добавить/убавить.
Генерация в 100 шагов займёт 2 с небольшим часа. Ещё на хаггинге написано можно подрубить библиотеку imageio для улучшения картинки, но к этому не идёт никаких деталей. Кстати не заметил, чтобы выбор FPS влиял на время.
На выходе тогда будет видео с лучшим качеством из опенсорсных вариантов (возможно лучше только Moshi 1 от Genmo, который тоже просится на тест). Если бы Allegro вышел в прошлом году, то мог бы посоперничать с Gen-2, Pika 1, и некоторыми другими платными аналогами, но они уже ушли дальше с более качественными продуктами.
Разрабы планируют запилить Img-2-video и контроль движения. Это хорошо, но вот ещё бы скорости, а то 2 часа на 6 сек это не интерактивчик. Возможно FasterCache и другие оптимизации скоро завезут, и тогда станет ловчее.
Установка в Pinokio
Подробнее про Allegro