Релиз sd3 - medium
- Трансформеро_образные теперь вместо UNET
- T5xxl+2 clip для текстовых энкодера
- 2B модель в релизе
- Лицензия по которой бесплатна для некомерческого использования и платная для комерческого
модель вышла в релиз в 15.00 СET, время до первой лоры с порнухой:
model
- Трансформеро_образные теперь вместо UNET
- T5xxl+2 clip для текстовых энкодера
- 2B модель в релизе
- Лицензия по которой бесплатна для некомерческого использования и платная для комерческого
модель вышла в релиз в 15.00 СET, время до первой лоры с порнухой:
model
🔥30😁3
Forwarded from Агенты ИИ | AGI_and_RL
Ребята из DeepMind делают нам токамак дома (ну симулятор)
Они давно уже занимаются задачей контроля токамака и даже с RLем. А сейчас вот опенсурсят такую разработка. Ну круто!
Кстати код с экспериментами сейчас вполне запускается и что-то считает (на скрине). Достаточно сделать все по инструкции в ридми
TORAX: A Fast and Differentiable Tokamak Transport Simulator in JAX
https://arxiv.org/abs/2406.06718
дока (пока маленькая): https://torax.readthedocs.io/en/latest/index.html
код: https://github.com/google-deepmind/torax
Увидел в https://xn--r1a.website/j_links👀
Они давно уже занимаются задачей контроля токамака и даже с RLем. А сейчас вот опенсурсят такую разработка. Ну круто!
TORAX is a differentiable tokamak core transport simulator aimed for fast and accurate forward modelling, pulse-design, trajectory optimization, and controller design workflows.
TORAX solves the coupled equations for ion heat transport, electron heat transport, particle transport, and current diffusion, incorporating modular physics-based and ML models.
Кстати код с экспериментами сейчас вполне запускается и что-то считает (на скрине). Достаточно сделать все по инструкции в ридми
TORAX: A Fast and Differentiable Tokamak Transport Simulator in JAX
https://arxiv.org/abs/2406.06718
дока (пока маленькая): https://torax.readthedocs.io/en/latest/index.html
код: https://github.com/google-deepmind/torax
Увидел в https://xn--r1a.website/j_links
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍24🔥16❤1🍌1
Love. Death. Transformers.
#чтивонаночь В прошлый раз гугл дропнул свою гемени, а пост мало набрал, а я долго разбирался))) Mamba: Linear-Time Sequence Modeling with Selective State Spaces. Последние три дня в ресерч твитере обсуждают MAMBA, нет ресерчеры не знакомятся с другими…
#чтивонаночь
An Empirical Study of Mamba-based Language Models
- 3Т токенов для 8B трансфоремера и Mamba
- Mamba слегка лучше чем трансформер
paper
An Empirical Study of Mamba-based Language Models
- 3Т токенов для 8B трансфоремера и Mamba
- Mamba слегка лучше чем трансформер
paper
👍14
Love. Death. Transformers.
Релиз sd3 - medium - Трансформеро_образные теперь вместо UNET - T5xxl+2 clip для текстовых энкодера - 2B модель в релизе - Лицензия по которой бесплатна для некомерческого использования и платная для комерческого модель вышла в релиз в 15.00 СET, время…
Aligment эм ну спецефичный и не склонный генерить голых людей у SD3.
👍40😁24
Погенерил на lumalabs.ai видосов, промпты:
1. A panda doing parkour, jumping from a building to another building, doing somersault in the air
2. Will smith eating pasta
3. Hatsune Miku dances on the concert stage in the middle of the camera, and holds a microphone in her hands, high quality masterpiece dance animation, anime video, MMD, Miku Miku Dance, from NicoNicoDouga
А сравнить можно с генерациями Артема на Kling https://xn--r1a.website/ai_newz/2815
Мое мнение: все дружно завели DIT на каких то датасетах, дальше 32*5 фреймов никто не генерит потому что: долго и дорого. Можно ли продолжая сгенерить минутное видео? да можно. Зачем? вопрос открытый
1. A panda doing parkour, jumping from a building to another building, doing somersault in the air
2. Will smith eating pasta
3. Hatsune Miku dances on the concert stage in the middle of the camera, and holds a microphone in her hands, high quality masterpiece dance animation, anime video, MMD, Miku Miku Dance, from NicoNicoDouga
А сравнить можно с генерациями Артема на Kling https://xn--r1a.website/ai_newz/2815
Мое мнение: все дружно завели DIT на каких то датасетах, дальше 32*5 фреймов никто не генерит потому что: долго и дорого. Можно ли продолжая сгенерить минутное видео? да можно. Зачем? вопрос открытый
Forwarded from Denis Sexy IT 🤖
This media is not supported in your browser
VIEW IN TELEGRAM
Apple на WWDC показал совершенно шикарный концепт:
Берем все ваши Apple устройства подключенные по сети и объединяем их вычислительные мощности в «одну большую видеокарту» — такой подход, в теории, позволит запускать даже большие модели без покупки дополнительного железа.
Все это работает на MLX и пока не очень понятна эффективность и сколько iPad и iPhone, плюс Mac способны выдавать мощности, но скоро, скорее всего узнаем
Автор видео
Берем все ваши Apple устройства подключенные по сети и объединяем их вычислительные мощности в «одну большую видеокарту» — такой подход, в теории, позволит запускать даже большие модели без покупки дополнительного железа.
Все это работает на MLX и пока не очень понятна эффективность и сколько iPad и iPhone, плюс Mac способны выдавать мощности, но скоро, скорее всего узнаем
Автор видео
🔥71🥴25👍3❤1🤔1
Forwarded from Старший Авгур
Пока считается AWQ и GPTQ, задеплоил новый Вихрь в бота (@saiga_igusev_bot).
Можно тыкать после /setmodel. Я потыкал, вполне неплохо.
На этот раз деплой без косяков, я теперь мастер bos токенов.
Можно тыкать после /setmodel. Я потыкал, вполне неплохо.
На этот раз деплой без косяков, я теперь мастер bos токенов.
🤮10
Forwarded from addmeto (Grigory Bakunov)
Nvidia выложили новую LLM модель с открытой лицензией - Nemotron-4 340B. И ее масштабы прям поражают.
Это модель, у которой минимальные требования это две A100 и 1.3TB памяти. По тестам она близка к GPT4o, а местами и обгоняет её. Но сейчас постоянно выходят большие модели, моё внимание привлек вот этот пункт в лицензии (выделение моё)
Этика ИИ. NVIDIA стремится к безопасности, доверию и прозрачности в разработке ИИ. NVIDIA призывает вас (a) убедиться, что продукт или услуга, которые вы разрабатываете, используете, предлагаете в качестве услуги или распространяете, соответствуют юридическим и этическим требованиям соответствующей отрасли или сферы применения, (b) принять разумные меры для устранения непреднамеренной предвзятости и смягчения вреда для других, включая недопредставленные или уязвимые группы, и (c) информировать пользователей о характере и ограничениях продукта или услуги. NVIDIA категорически запрещает использовать свои продукты или услуги для любых целей, нарушающих действующее законодательство, включая, помимо прочего, (a) незаконное наблюдение, (b) незаконный сбор или обработку биометрической информации без согласия субъекта, если это требуется в соответствии с действующим законодательством, или (c) незаконное преследование, злоупотребление, угрозы или запугивание отдельных лиц или групп лиц, а также намеренное введение в заблуждение или обман других лиц.
https://blogs.nvidia.com/blog/nemotron-4-synthetic-data-generation-llm-training/
Это модель, у которой минимальные требования это две A100 и 1.3TB памяти. По тестам она близка к GPT4o, а местами и обгоняет её. Но сейчас постоянно выходят большие модели, моё внимание привлек вот этот пункт в лицензии (выделение моё)
Этика ИИ. NVIDIA стремится к безопасности, доверию и прозрачности в разработке ИИ. NVIDIA призывает вас (a) убедиться, что продукт или услуга, которые вы разрабатываете, используете, предлагаете в качестве услуги или распространяете, соответствуют юридическим и этическим требованиям соответствующей отрасли или сферы применения, (b) принять разумные меры для устранения непреднамеренной предвзятости и смягчения вреда для других, включая недопредставленные или уязвимые группы, и (c) информировать пользователей о характере и ограничениях продукта или услуги. NVIDIA категорически запрещает использовать свои продукты или услуги для любых целей, нарушающих действующее законодательство, включая, помимо прочего, (a) незаконное наблюдение, (b) незаконный сбор или обработку биометрической информации без согласия субъекта, если это требуется в соответствии с действующим законодательством, или (c) незаконное преследование, злоупотребление, угрозы или запугивание отдельных лиц или групп лиц, а также намеренное введение в заблуждение или обман других лиц.
https://blogs.nvidia.com/blog/nemotron-4-synthetic-data-generation-llm-training/
NVIDIA Blog
NVIDIA Releases Open Synthetic Data Generation Pipeline for Training Large Language Models
Nemotron-4 340B, a family of models optimized for NVIDIA NeMo and NVIDIA TensorRT-LLM, includes cutting-edge instruct and reward models, and a dataset for generative AI training.
❤34
Мерж sdxl и sd3.
Я не знаю что это такое и как это возможно, почитаю позже что автор наворотил.
(Клипы и вае от сд3, в остальном обычный мерж)
Model
Я не знаю что это такое и как это возможно, почитаю позже что автор наворотил.
(Клипы и вае от сд3, в остальном обычный мерж)
Model
💊28👍6🔥2🤔1
Love. Death. Transformers.
Мерж sdxl и sd3. Я не знаю что это такое и как это возможно, почитаю позже что автор наворотил. (Клипы и вае от сд3, в остальном обычный мерж) Model
В целом в текущем состоянии harness alignment ощутимо просаживает качество моделей.
😁40🔥4👍1🤮1
Accessing GPT-4 level Mathematical Olympiad Solutions via Monte Carlo Tree Self-refine with LLaMa-3 8B
В чем идея - Давайте использовать дерево поиска монтекарло, в качестве 0 листа у нас будет просто хоть какой то ответ, на итерации оценки использует буквально LLM c промптом вида
Затем перезаписываются ответы через Self refine - опять же промптом правим
Тк у нас LLM и она может сгенерировать +inf разных решений(бреда) то мы ограничиваем на число генераций и функцией оценки.
папир
репа
В чем идея - Давайте использовать дерево поиска монтекарло, в качестве 0 листа у нас будет просто хоть какой то ответ, на итерации оценки использует буквально LLM c промптом вида
Analyze this Answer Strictly and Critic, point out every flaw for ervery possible imperfect to minus every possible score! You need to be very harsh and mean in calculating grades, and never give full marks to ensure that the marks are authoritative. \nOutput a score between [-100,+100], ig. from -100 to +100.
Затем перезаписываются ответы через Self refine - опять же промптом правим
Тк у нас LLM и она может сгенерировать +inf разных решений(бреда) то мы ограничиваем на число генераций и функцией оценки.
папир
репа
👍33❤3