Для котанов в стане красных — пост от AMD и Microsoft как получить 10х прирост производительности в SD с использованием Olive (c 1,87 it/s до 18,59 it/s на RX 7900 XTX).
Заодно: старенькая ML-профильная видюха Radeon Instinct за $100 с 16 ГБ VRAM выдаёт 16 картинок 512х768 за 20 минут (и это без оптимизатора выше).
Для балансу — обсуждение генерации на AMD на реддите.
Заодно: старенькая ML-профильная видюха Radeon Instinct за $100 с 16 ГБ VRAM выдаёт 16 картинок 512х768 за 20 минут (и это без оптимизатора выше).
Для балансу — обсуждение генерации на AMD на реддите.
This media is not supported in your browser
VIEW IN TELEGRAM
Runway добавили в GEN-2 слайдер для контроля количества движения в кадре. Можно задать величину от 0 до 10.
This media is not supported in your browser
VIEW IN TELEGRAM
ModelScope Image-2-video теперь доступен на HuggingFace.
https://huggingface.co/spaces/fffiloni/MS-Image2Video
https://huggingface.co/spaces/fffiloni/MS-Image2Video
Резонансная история: девушка записала голос для AI банка Tinkoff в 2019 году, а сейчас он используется для озвучивания порно рекламы, и других вещей, на которых она не давала разрешения. Там, где голос задействован в коммерческих целях она не получает отчисления. Причём этим пользуются даже студии с которыми она раньше работала.
2 сентября выступаю на IT-пикнике, где буду рассказывать как такое можно решить с помощью опенсорса, открытых платформ, блокчейна и других Web3 инструментов, а также AI. Причём без необходимости в регуляторах — так чтобы власть была в руках каждого отдельно взятого человека.
17:00 - 17:30 на стенде Positive Technologies. Маякните мне в личку если что, пересечёмся.
PS иронично, что организатор пикника тоже Tinkoff...
Делитесь пока в комментах своими мыслями на эту тему.
2 сентября выступаю на IT-пикнике, где буду рассказывать как такое можно решить с помощью опенсорса, открытых платформ, блокчейна и других Web3 инструментов, а также AI. Причём без необходимости в регуляторах — так чтобы власть была в руках каждого отдельно взятого человека.
17:00 - 17:30 на стенде Positive Technologies. Маякните мне в личку если что, пересечёмся.
PS иронично, что организатор пикника тоже Tinkoff...
Делитесь пока в комментах своими мыслями на эту тему.
Многое, что происходит в Web3 это театр, граничащий с цирком. Но вот то, как развивается TON при Telegram мне нравится.
Некастодиальный значит, что цифровые активы хранятся локально на вашей стороне и приватный ключ + сид фраза также только у вас. А значит владельцы сервиса без вашего разрешения не могут ничего сделать с вашими активами.
Некастодиальный значит, что цифровые активы хранятся локально на вашей стороне и приватный ключ + сид фраза также только у вас. А значит владельцы сервиса без вашего разрешения не могут ничего сделать с вашими активами.
Forwarded from Toncoin RUS
This media is not supported in your browser
VIEW IN TELEGRAM
Wallet презентовал интерфейс TON Space
Команда Wallet впервые продемонстрировала интерфейс некастодиального кошелька TON Space, находящегося в режиме закрытого бета-тестирования.
Пользователи TON Space получат полный контроль над своими активами и возможность управлять криптовалютой прямо в Telegram.
Wallet приглашает разработчиков к участию в тестировании TON Space. Подать заявку можно по ссылке: wallet.tg/ton
Сегодня участникам беты стал доступен функционал NFT коллекций:
▪️ Импорт и экспорт NFT-коллекций в TON Space.
▪️ Возможность отправки и получения NFT в Telegram.
▪️ Просмотр детальной информации NFT Коллекций.
▪️ Поддержка Telegram юзернеймов и TON DNS.
Полноценный релиз TON Space ожидается в конце текущего квартала.
Команда Wallet впервые продемонстрировала интерфейс некастодиального кошелька TON Space, находящегося в режиме закрытого бета-тестирования.
Пользователи TON Space получат полный контроль над своими активами и возможность управлять криптовалютой прямо в Telegram.
Wallet приглашает разработчиков к участию в тестировании TON Space. Подать заявку можно по ссылке: wallet.tg/ton
Сегодня участникам беты стал доступен функционал NFT коллекций:
▪️ Импорт и экспорт NFT-коллекций в TON Space.
▪️ Возможность отправки и получения NFT в Telegram.
▪️ Просмотр детальной информации NFT Коллекций.
▪️ Поддержка Telegram юзернеймов и TON DNS.
Полноценный релиз TON Space ожидается в конце текущего квартала.
This media is not supported in your browser
VIEW IN TELEGRAM
A1111 обновился до v 1.6. Изменений довольно много, причём как крупных, так и малых: поддержка рефайнера SDXL, новые семплеры, и не только.
В колабе жрёт меньше 8 Гб VRAM, а значит можно гонять на бесплатном тарифе.
В колабе жрёт меньше 8 Гб VRAM, а значит можно гонять на бесплатном тарифе.
This media is not supported in your browser
VIEW IN TELEGRAM
В Pika Labs помимо
Также добавили параметр
/create теперь есть команда /animate с фокусом на анимации картинок. Можно использовать с промтом и без.Также добавили параметр
-fps xx, через который можно задать частоту кадров от 8 до 24.This media is not supported in your browser
VIEW IN TELEGRAM
На третьем видео: "Вас заметили"
Forwarded from Метаверсище и ИИще (Sergey Tsyptsyn ️️)
This media is not supported in your browser
VIEW IN TELEGRAM
3D Gaussian Splatting - на пальцах.
Все пишут про Сплаттинг, поминая Гауссианы, как нечто всем знакомое с детства.
Держите полное объяснение, упакованное в 2 минуты, причем про весь пайплайн и без умных слов.
Ну ок, с умными словами - в идеале нужно понимать, как устроен процесс традиционного рендера полигонов и тогда все становится вообще понятным.
Если вкратце, то это крутой замес из кусочков нерфов, фотограмметрии, растеризации и ИИ.
Вместо полигонов (а еще понятнее микрополигонов) используются маленькие матрицы, которые растеризуются подобно традиционному пайплайну рендеринга. А так как в них содержится до хрена информации, то получается и красиво, и быстро.
И да, это новая штука, которая требует много видеопамяти, поэтому раньше появиться просто не могла.
Поглядите, как люди умеют объяснять сложные вещи за две минуты.
Ну и челендж, для особо умных. Вот у нас тут уже сотни вариантов перевода с разных языков. Попробуйте переозвучить видео на русском, пользуясь сервисами о которых нам орет телеграм.
https://twitter.com/dylan_ebert_/status/1697051504614453692
Все пишут про Сплаттинг, поминая Гауссианы, как нечто всем знакомое с детства.
Держите полное объяснение, упакованное в 2 минуты, причем про весь пайплайн и без умных слов.
Ну ок, с умными словами - в идеале нужно понимать, как устроен процесс традиционного рендера полигонов и тогда все становится вообще понятным.
Если вкратце, то это крутой замес из кусочков нерфов, фотограмметрии, растеризации и ИИ.
Вместо полигонов (а еще понятнее микрополигонов) используются маленькие матрицы, которые растеризуются подобно традиционному пайплайну рендеринга. А так как в них содержится до хрена информации, то получается и красиво, и быстро.
И да, это новая штука, которая требует много видеопамяти, поэтому раньше появиться просто не могла.
Поглядите, как люди умеют объяснять сложные вещи за две минуты.
Ну и челендж, для особо умных. Вот у нас тут уже сотни вариантов перевода с разных языков. Попробуйте переозвучить видео на русском, пользуясь сервисами о которых нам орет телеграм.
https://twitter.com/dylan_ebert_/status/1697051504614453692
This media is not supported in your browser
VIEW IN TELEGRAM
Дайджест:
📹 ВИДЕО + АРТ 🎨
ControlNet обновился до v 1.1.4. Основные изменения касаются поддержки моделей для работы с SDXL.
Появился инпейтинг в SDXL, скачиваем модель здесь. Уже добавлено в Phygital+.
TokenFlow: появился код и демо модели для редактирования видео текстом. Можно установить в пару кликов через Pinokio.
Удаляем блики на фото. Где-то плачет Джей Джей Абрамс.
ControlMat: генерируем материалы для 3D текстурирования по одному фото.
Dopelgangers: модель и датасет для сравнения объектов на фото и выяснения одинаковые они или нет.
FACET: бенчмарк, проверяющий модели компьютерного зрения на точность.
Active Neural Mapping: метод формирования роботом карты окружающей среды на лету.
M3DDM: метод для консистентного аутпейтинга видео. Кода пока нет.
City Dreamer: генерируем городские массивы в 3D. Дороги, зелёные зоны, и вода вынесены на отдельные слои. Кода пока нет.
🎸 ЗВУК 🎸
Audacity в браузере! Так, так, а если сюда прикрутить нейронки для генерации и обработки звука?
Vampnet: демо модели упрощающей создание ремиксов и накидывания идей.
Клонирование голоса через связку Coqui + Bark. Загружаем запись целевого голоса, вводим текстовый промт, печем примерно 2 минуты, и готово.
🤖 ЧАТЫ 🤖
ModelScope-Agent: фреймворк из AI агентов, которые могут кооперировать с другими открытыми агентами и API для решения задач.
Исследование применения роевого интеллекта (swarm intelligence) в DL.
YaRN: новый метод увеличения контекста LLM. Уже есть лама 2 c контекстом 64к и 128к.
RLAIF: масштабируем LLM через фидбэк от AI.
Список анти-хайп литературы про LLM.
Point-Bind & Point-LLM: мультимодалка для генерации 3D и чата по 3D объектам.
BioCoder: бенчмарк генераторов кода с фокусом на биоинформатике.
HuggingFace: представили фичу Training-Cluster-As-a-Service для аренды кластеров под тренировку
Также они выпустили эксплорер базовых моделей. Что-то вроде созвездия моделей от Стенфорда
Эффективный RLHF: уменьшаем использование памяти PPO
💬 Делайте выжимки из доков и чатьтесь по ним с помощью Claude
📹 ВИДЕО + АРТ 🎨
ControlNet обновился до v 1.1.4. Основные изменения касаются поддержки моделей для работы с SDXL.
Появился инпейтинг в SDXL, скачиваем модель здесь. Уже добавлено в Phygital+.
TokenFlow: появился код и демо модели для редактирования видео текстом. Можно установить в пару кликов через Pinokio.
Удаляем блики на фото. Где-то плачет Джей Джей Абрамс.
ControlMat: генерируем материалы для 3D текстурирования по одному фото.
Dopelgangers: модель и датасет для сравнения объектов на фото и выяснения одинаковые они или нет.
FACET: бенчмарк, проверяющий модели компьютерного зрения на точность.
Active Neural Mapping: метод формирования роботом карты окружающей среды на лету.
M3DDM: метод для консистентного аутпейтинга видео. Кода пока нет.
City Dreamer: генерируем городские массивы в 3D. Дороги, зелёные зоны, и вода вынесены на отдельные слои. Кода пока нет.
🎸 ЗВУК 🎸
Audacity в браузере! Так, так, а если сюда прикрутить нейронки для генерации и обработки звука?
Vampnet: демо модели упрощающей создание ремиксов и накидывания идей.
Клонирование голоса через связку Coqui + Bark. Загружаем запись целевого голоса, вводим текстовый промт, печем примерно 2 минуты, и готово.
🤖 ЧАТЫ 🤖
ModelScope-Agent: фреймворк из AI агентов, которые могут кооперировать с другими открытыми агентами и API для решения задач.
Исследование применения роевого интеллекта (swarm intelligence) в DL.
YaRN: новый метод увеличения контекста LLM. Уже есть лама 2 c контекстом 64к и 128к.
RLAIF: масштабируем LLM через фидбэк от AI.
Список анти-хайп литературы про LLM.
Point-Bind & Point-LLM: мультимодалка для генерации 3D и чата по 3D объектам.
BioCoder: бенчмарк генераторов кода с фокусом на биоинформатике.
HuggingFace: представили фичу Training-Cluster-As-a-Service для аренды кластеров под тренировку
Также они выпустили эксплорер базовых моделей. Что-то вроде созвездия моделей от Стенфорда
Эффективный RLHF: уменьшаем использование памяти PPO
Please open Telegram to view this post
VIEW IN TELEGRAM
This media is not supported in your browser
VIEW IN TELEGRAM
Simulon продолжает давать по щам Wonder Studio. Я уже в вейтлисте на бету. LEMMEIN!!!
Forwarded from эйай ньюз
🔥Сегодня вышла просто гигантская модель Falcon 180B!
Иновационный Институт Технологий Абу-Даби удивляет. Их новая модель Falcon 180B теперь заняла первое место на открытом лидерборде HF. По качеству ответов она где-то между GPT-3.5 и GPT.4, примерно на уровне PaLM-2.
Параметры модели Falcon-180B:
- 180 млрд параметров! Напомню, что предыдущая самая мощная открытая модель была LLaMa-2 70B.
- Контекст 2048 токенов (но можно расширить с попощью RoPE scaling)
- Тренили 2.5 месяца на 4096 GPU на Amazon SageMaker.
- Модель видела 3.5 триллионов токенов (против 2 триллиона у LLaMa 2). То есть Falcon прочитала почти в 2 раза больше текстов.
- Multi-query attention (MQA) для скорости инференса и чтобы не раздувать количество параметров.
- Есть базовая и чатовая версии.
Забавно, что для инференса этой модели в int4 вам потребуется 8x A100 видеокарт (удачи!).
Лицензия позволяет очень ограниченное коммерческое использование.
❱❱ Веса и код доступны на HuggingFace HUB.
❱❱ Демо (жестко педалит).
@ai_newz
Иновационный Институт Технологий Абу-Даби удивляет. Их новая модель Falcon 180B теперь заняла первое место на открытом лидерборде HF. По качеству ответов она где-то между GPT-3.5 и GPT.4, примерно на уровне PaLM-2.
Параметры модели Falcon-180B:
- 180 млрд параметров! Напомню, что предыдущая самая мощная открытая модель была LLaMa-2 70B.
- Контекст 2048 токенов (но можно расширить с попощью RoPE scaling)
- Тренили 2.5 месяца на 4096 GPU на Amazon SageMaker.
- Модель видела 3.5 триллионов токенов (против 2 триллиона у LLaMa 2). То есть Falcon прочитала почти в 2 раза больше текстов.
- Multi-query attention (MQA) для скорости инференса и чтобы не раздувать количество параметров.
- Есть базовая и чатовая версии.
Забавно, что для инференса этой модели в int4 вам потребуется 8x A100 видеокарт (удачи!).
Лицензия позволяет очень ограниченное коммерческое использование.
❱❱ Веса и код доступны на HuggingFace HUB.
❱❱ Демо (жестко педалит).
@ai_newz
huggingface.co
Spread Your Wings: Falcon 180B is here
We’re on a journey to advance and democratize artificial intelligence through open source and open science.
Forwarded from ЭйАйЛера
RunwayML добавили тестовое управление камерой!
Нейронные сети, генерирующие видео сейчас — объект пристального внимания. Несмотря на то, что они позволяют делать красивые и оригинальные вещи — управляемость у них слабая, для серьезных проектов они пока не подходят.
Теперь в GEN2 можно управлять камерой, выставляя в настройках заготовленное движение: по горизонтали, по вертикали, зум или поворот вокруг оси. Результаты все еще не идеальные, но прогресс инструмента невероятный, каждые две недели они добавляют что-то новое и актуальное. В общем, Кристабаль Валенсуэла ни в чем не обманул!
Нейронные сети, генерирующие видео сейчас — объект пристального внимания. Несмотря на то, что они позволяют делать красивые и оригинальные вещи — управляемость у них слабая, для серьезных проектов они пока не подходят.
Теперь в GEN2 можно управлять камерой, выставляя в настройках заготовленное движение: по горизонтали, по вертикали, зум или поворот вокруг оси. Результаты все еще не идеальные, но прогресс инструмента невероятный, каждые две недели они добавляют что-то новое и актуальное. В общем, Кристабаль Валенсуэла ни в чем не обманул!
Процесс работы с Simulon с помощью профессионального VFX-комплекта + ещё демки
Приложение использует ML для создания HDRI на 360° всего из одного LDR-снимка, идеально согласуя его с данными сцены. Виртуальная камера повторяет реакцию физической камеры на свет, легко синхронизируясь с информацией HDR. Можно увидеть на демо, как динамические изменения экспозиции на виртуальном VFX-комплекте точно соответствуют реальному.
В сцене с драконом автор помещает его в сцену и делает захват, который затем рендерится в облаке, чтобы получить фотореалистичное VFX-видео. Анимация также синхронизирована по таймкоду, поэтому как вы снимете сцену в камере, так она и будет выглядеть.
Причём Simulon обеспечивает корректные отражения и преломления перспективы, основанные на окружающей обстановке, придавая реалистичность таким сложным материалам как стекло.
Твиттер
Приложение использует ML для создания HDRI на 360° всего из одного LDR-снимка, идеально согласуя его с данными сцены. Виртуальная камера повторяет реакцию физической камеры на свет, легко синхронизируясь с информацией HDR. Можно увидеть на демо, как динамические изменения экспозиции на виртуальном VFX-комплекте точно соответствуют реальному.
В сцене с драконом автор помещает его в сцену и делает захват, который затем рендерится в облаке, чтобы получить фотореалистичное VFX-видео. Анимация также синхронизирована по таймкоду, поэтому как вы снимете сцену в камере, так она и будет выглядеть.
Причём Simulon обеспечивает корректные отражения и преломления перспективы, основанные на окружающей обстановке, придавая реалистичность таким сложным материалам как стекло.
Твиттер
This media is not supported in your browser
VIEW IN TELEGRAM
Только Runway выкатили возможность управлять камерой в генерациях, как Pika тут же выпустили такую же фичу! Чувствуете как атмосфера нагнетается, котаны?
Подробнее о фиче: камера управляется параметром
* Zoom: приближаем/удаляем камеру через
* Панорамирование: двигаем камеру вверх/вниз/влево/вправо с помощью
* Поворот: вертим камеру по часовой стрелке или против часовой через
Интенсивность движения камеры по-прежнему можно регулировать с помощью параметра
Другие обновления:
*
* Автоматический канал "upvotes" больше не доступен.
PS: anti-clockwise говорят в Британии, а counterclockwise говорят в Америке.... Теперь ты знаешь как генерить, заправляясь чайком.
Дискорд Pika
Пост с остальными параметрами для генерации
Подробнее о фиче: камера управляется параметром
-camera и работает с ОДНИМ из следующих типов движения:* Zoom: приближаем/удаляем камеру через
-camera zoom in/out.* Панорамирование: двигаем камеру вверх/вниз/влево/вправо с помощью
-camera pan up/down/left/right. Можно комбинировать два не конфликтующих направления, например, -camera pan up right.* Поворот: вертим камеру по часовой стрелке или против часовой через
-camera rotate clockwise/counterclockwise/anticlockwise или сокращения cw/ccw/acw.Интенсивность движения камеры по-прежнему можно регулировать с помощью параметра
-motion XX задавая от 1 до 4.Другие обновления:
*
-fps теперь по умолчанию стоит 24.* Автоматический канал "upvotes" больше не доступен.
PS: anti-clockwise говорят в Британии, а counterclockwise говорят в Америке.... Теперь ты знаешь как генерить, заправляясь чайком.
Дискорд Pika
Пост с остальными параметрами для генерации