Бэнгер-статья дня: Go-with-the-Flow диффузия от Netflix
С помощью диффузии видео генерируется кадр за кадром. Конечно, это происходит не совсем независимо: для согласованности добавляют контекст в виде предыдущих кадров и используют для каждой генерации одинаковый начальный шум.
Но даже так модели страдают от мерцания текстур и неестественных движений объектов (все же видели этот ИИ- балет?).
В Netflix предложили другой подход. Он покажется многим знакомым и интуитивно понятным благодаря Kling: это добавление направления движения. Технически говоря, мы добавляем в исходный шум оптический поток, который перемещает шумовые области в сторону движения объектов.
При этом области, которые после перемещения шума остаются пустыми, заполняются с помощью бипартиграфа (то есть шум как бы перераспределяется). А чтобы сохранять «случайность», то есть гауссовость, на каждом шаге еще примешивается случайный компонент.
В итоге такая модель генерирует гораздо более плавные движения и лучше сохраняет согласованность кадров. Вдвойне круто, что при этом качество в целом не теряется, а производительности требуется совсем капельку больше.
Статья полностью тут
С помощью диффузии видео генерируется кадр за кадром. Конечно, это происходит не совсем независимо: для согласованности добавляют контекст в виде предыдущих кадров и используют для каждой генерации одинаковый начальный шум.
Но даже так модели страдают от мерцания текстур и неестественных движений объектов (все же видели этот ИИ- балет?).
В Netflix предложили другой подход. Он покажется многим знакомым и интуитивно понятным благодаря Kling: это добавление направления движения. Технически говоря, мы добавляем в исходный шум оптический поток, который перемещает шумовые области в сторону движения объектов.
При этом области, которые после перемещения шума остаются пустыми, заполняются с помощью бипартиграфа (то есть шум как бы перераспределяется). А чтобы сохранять «случайность», то есть гауссовость, на каждом шаге еще примешивается случайный компонент.
В итоге такая модель генерирует гораздо более плавные движения и лучше сохраняет согласованность кадров. Вдвойне круто, что при этом качество в целом не теряется, а производительности требуется совсем капельку больше.
Статья полностью тут
👍63🔥19❤10🗿3
Итак, Janus-Pro от DeepSeek. Что это за модель такая?
Вчера, чуть позже, чем веса, стартап выложил тех.репорт про свою новую разработку. Сейчас разберемся, что там интересного.
Итак, Janus-Pro — это улучшенная версия предыдущей модели Janus (про нее мы писали тут). Относительно предшественника в Pro, кроме бОльшего размера и количества данных, появилось одно ключевое улучшение: раздельное кодирование для задач image2text и text2image.
То есть раньше в Янусе использовали единый энкодер для всех задач, и, как оказалось, это вызывало некоторые конфликты. Что, в целом, логично.
Ведь когда мы работаем в режиме мультимодального понимания, то есть image2text, это требует от модели глубокого семантического анализа визуального контента (например, «Какой объект изображён?» или «Что написано на доске?»). А когда ей нужно сгенерировать изображения, от нее требуются совсем другие навыки: понимание пространственных зависимостей, оттенков и соответствия промпту.
Вот и получается, что единый энкодер руинит качество сразу обеих задач. Поэтому в Janus-Pro их два: SigLIP для изображение → текст и VQ Tokenizer для текст → изображение.
Кроме того, для двух этих разных задач далее по пайплайну прикручены еще и два разных адаптера: Understanding Adaptor и Generation Adaptor, которые подбивают выходы энкодеров под формат внутренних слоев модели, то есть авторегрессионного трансформера.
В итоге Janus-Pro генерирует картинки лучше, чем DALL-E 3, SD3 и Emu3, а понимает изображение точнее, чем модели LLaVA! На примерах прогресс очевиден.
Больше метрик и деталей можно найти в полном тексте тех.отчета.
А попробовать погенерировать картинки с помощью модели кстати уже можно на HF, бесплатно
Вчера, чуть позже, чем веса, стартап выложил тех.репорт про свою новую разработку. Сейчас разберемся, что там интересного.
Итак, Janus-Pro — это улучшенная версия предыдущей модели Janus (про нее мы писали тут). Относительно предшественника в Pro, кроме бОльшего размера и количества данных, появилось одно ключевое улучшение: раздельное кодирование для задач image2text и text2image.
То есть раньше в Янусе использовали единый энкодер для всех задач, и, как оказалось, это вызывало некоторые конфликты. Что, в целом, логично.
Ведь когда мы работаем в режиме мультимодального понимания, то есть image2text, это требует от модели глубокого семантического анализа визуального контента (например, «Какой объект изображён?» или «Что написано на доске?»). А когда ей нужно сгенерировать изображения, от нее требуются совсем другие навыки: понимание пространственных зависимостей, оттенков и соответствия промпту.
Вот и получается, что единый энкодер руинит качество сразу обеих задач. Поэтому в Janus-Pro их два: SigLIP для изображение → текст и VQ Tokenizer для текст → изображение.
Кроме того, для двух этих разных задач далее по пайплайну прикручены еще и два разных адаптера: Understanding Adaptor и Generation Adaptor, которые подбивают выходы энкодеров под формат внутренних слоев модели, то есть авторегрессионного трансформера.
В итоге Janus-Pro генерирует картинки лучше, чем DALL-E 3, SD3 и Emu3, а понимает изображение точнее, чем модели LLaVA! На примерах прогресс очевиден.
Больше метрик и деталей можно найти в полном тексте тех.отчета.
А попробовать погенерировать картинки с помощью модели кстати уже можно на HF, бесплатно
❤69🔥32👍17🦄7🤯1💯1
ICT.Moscow опубликовали подборку из 80 Open Source решений для ИИ-разработки
Исследователи ИТМО в сентябре 2024 отмечали ключевую роль крупного технологического бизнеса в развитии отечественного Open Source — и эта подборка наглядно это подтверждает.
Большинство решений (74) представлено именно московскими разработчиками, в том числе и командами Яндекса, Сбера и Т-Технологий.
Полную подборку можно скачать в конце статьи🤩
Исследователи ИТМО в сентябре 2024 отмечали ключевую роль крупного технологического бизнеса в развитии отечественного Open Source — и эта подборка наглядно это подтверждает.
Большинство решений (74) представлено именно московскими разработчиками, в том числе и командами Яндекса, Сбера и Т-Технологий.
Полную подборку можно скачать в конце статьи
Please open Telegram to view this post
VIEW IN TELEGRAM
👍45❤13🔥7🗿6😁3🫡3🎃1👾1
Андрей Карпаты похвалил R1 и их бережливость по отношению к бюджетам
Он говорит, что в основе успеха R1 – "правильное" обучение с подкреплением, то есть не подражание размеченным данным, а именно самообучение и самоисправление.
DeepSeek это прекрасный пример открытой LLM передового уровня, обученной на смехотворно малом бюджете (2048 GPU на 2 месяца, 6 млн долларов).
Для справки, этот уровень возможностей обычно требует кластеров ближе к 16 тыс. GPU. В основном кластеры компаний с такими разработками имеют около 100 тыс. GPU. Например, Llama 3 405B использовала 30,8 млн GPU-часов, в то время как DeepSeek-V3 выглядит более сильной моделью всего с 2,8 млн GPU-часов (примерно в 11 раз меньше вычислений).
Он говорит, что в основе успеха R1 – "правильное" обучение с подкреплением, то есть не подражание размеченным данным, а именно самообучение и самоисправление.
❤149😎37🔥20👍6😁3😐3
При этом не все верят, что с вычислениями в DeepSeek все так уж просто
CEO ScaleAI Александр Ванг вот говорит, что на самом деле у компании есть кластер с 50к H100 (неплохо, мягко говоря), но они не могут это разглашать из-за текущих условий экспорта США.
Маск с ним согласился🤔
CEO ScaleAI Александр Ванг вот говорит, что на самом деле у компании есть кластер с 50к H100 (неплохо, мягко говоря), но они не могут это разглашать из-за текущих условий экспорта США.
Маск с ним согласился
Please open Telegram to view this post
VIEW IN TELEGRAM
🤔110😁70👍8🤯8🫡3❤1🍌1
Кстати, а вы знали, что в уставе OpenAI явно прописано, что если другая компания будет обгонять их в гонке за AGI, то они бросят конкуренцию и станут помогать этому проекту?
Вот выдержка (опубликовано в 2018 году):
Интересно, а в Stargate это читали?🙂
Вот выдержка (опубликовано в 2018 году):
«Мы обеспокоены тем, что разработка AGI на поздней стадии превратится в конкурентную гонку без времени на адекватные меры безопасности. Поэтому, если проект, ориентированный на ценности и безопасность, приблизится к созданию AGI раньше нас, мы обязуемся прекратить конкуренцию и начать помогать этому проекту. Мы проработаем детали в соглашениях для каждого конкретного случая, но типичным условием запуска может быть «больше, чем равные шансы на успех в течение следующих двух лет»
Интересно, а в Stargate это читали?
Please open Telegram to view this post
VIEW IN TELEGRAM
😁319🔥31💅17🤪13❤8👍4🤔3🐳1
Как с помощью ML создали Геокодер, масштабируемый для разных стран
Команда API Яндекс Карт создала Геокодер c использованием deep learning, который определяет точные локации по запросу пользователя. При этом инструмент:
➖ Использует контрастивное обучение, active learning, аугментацию и LLM-генерацию.
➖ Работает даже с опечатками и “народными” запросами на разных языках.
➖ Можно быстро запустить в новой стране за пару недель.
В статье полное описание механизма работы, почитать полностью можно здесь.
Команда API Яндекс Карт создала Геокодер c использованием deep learning, который определяет точные локации по запросу пользователя. При этом инструмент:
В статье полное описание механизма работы, почитать полностью можно здесь.
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥49👍17❤13🌚2
Китай, остановись: Qwen дропнули еще одну новую модель Qwen2.5-Max
Это судя по всему огромная Mixture-of-Expert модель, которую предобучали на 20 триллионах токенах и дообучали, по классике, с помощью файнтюнинга и RLHF.
На метриках она показывает себя на уровне DeepSeek-v3, GPT-4o и Claude 3.5 Sonnet, кое-где даже лучше. На HumanEval, например, набрано 73 с хвостиком, это очень неплохо.
Модель уже можно бесплатно попробовать на HF и в Qwen чате, а также она уже вышла в API
Напоминаем, что предыдущий релиз Qwen состоялся... вчера. Всем желаем такой продуктивности
Это судя по всему огромная Mixture-of-Expert модель, которую предобучали на 20 триллионах токенах и дообучали, по классике, с помощью файнтюнинга и RLHF.
На метриках она показывает себя на уровне DeepSeek-v3, GPT-4o и Claude 3.5 Sonnet, кое-где даже лучше. На HumanEval, например, набрано 73 с хвостиком, это очень неплохо.
Модель уже можно бесплатно попробовать на HF и в Qwen чате, а также она уже вышла в API
Напоминаем, что предыдущий релиз Qwen состоялся... вчера. Всем желаем такой продуктивности
🫡84🤯34❤28🔥10👍5😁2☃1
Тут нейросетка DeepSeek заявляет, что вообще-то она YandexGPT
Причина простая: разрабы минимизировали стоимость обучения, используя буквально все данные из интернета, в том числе и синтетические от YandexGPT😐
Причина простая: разрабы минимизировали стоимость обучения, используя буквально все данные из интернета, в том числе и синтетические от YandexGPT
Please open Telegram to view this post
VIEW IN TELEGRAM
1😁417🔥76🌚16❤9👀7🫡5🍌2
Media is too big
VIEW IN TELEGRAM
Тем временем вокруг DeepSeek продолжают строить теории заговора
Один из крупнейших ИИ-инвесторов в мире Дэвид О. Сакс на американском телевидении говорит, например, что R1 – это дистилляция из o1, и этому есть доказательства.
В стартапе Альтмана, видимо, позицию разделяют: Bloomberg сообщает, что Microsoft начали расследовать возможную "кражу" данных OpenAI компаниями из группы DeepSeek.
"Должно быть обидно, когда кто-то крадет твою интеллектуальную собственность и делает из этого прибыль" – комментируют в Твиттере статью Bloomberg пользователи. На данный момент на стартап подали уже более 10 групповых исков, связанных с авторскими правами.
Один из крупнейших ИИ-инвесторов в мире Дэвид О. Сакс на американском телевидении говорит, например, что R1 – это дистилляция из o1, и этому есть доказательства.
В стартапе Альтмана, видимо, позицию разделяют: Bloomberg сообщает, что Microsoft начали расследовать возможную "кражу" данных OpenAI компаниями из группы DeepSeek.
"Должно быть обидно, когда кто-то крадет твою интеллектуальную собственность и делает из этого прибыль" – комментируют в Твиттере статью Bloomberg пользователи. На данный момент на стартап подали уже более 10 групповых исков, связанных с авторскими правами.
😁221🤪59🔥14🤔9👍8❤1🍌1
Ян Лекун: «Реакция рынка на DeepSeek необоснована»
Переводим: по мнению Лекуна, качество модели не имеет смысла, если у компании нет устойчивой экономики. Другими словами, даже если DeepSeek технологически конкурентоспособен, его способность изменить рынок зависит только от того, сможет ли он эффективно монетизироваться.
Тем временем OpenAI, которые работают в огромный минус уже 10 лет:😐
«Большинство заблуждается по поводу инвестиций в AI-инфраструктуру. Большая часть этих миллиардов тратится на инфраструктуру для инференса, а не на обучение.
Запуск AI-ассистентов для миллиардов людей требует огромных вычислительных ресурсов. Если добавить обработку видео, логическое рассуждение, работу с памятью и другие возможности в AI-системы, стоимость их работы будет только расти.
Единственный важный вопрос — будут ли ваши пользователи готовы платить достаточно (напрямую или косвенно), чтобы оправдать капитальные и операционные затраты. »
Переводим: по мнению Лекуна, качество модели не имеет смысла, если у компании нет устойчивой экономики. Другими словами, даже если DeepSeek технологически конкурентоспособен, его способность изменить рынок зависит только от того, сможет ли он эффективно монетизироваться.
Тем временем OpenAI, которые работают в огромный минус уже 10 лет:
Please open Telegram to view this post
VIEW IN TELEGRAM
😁282👍51🤔14🗿10❤5👌3🤯1👻1
Слив данных DeepSeek. Что известно?
Сегодня ночью компания Wiz, которая занимается облачной кибер-безопасностью, объявила у себя в блоге, что обнаружила открытую базу данных DeepSeek, содержащую «чувствительную информацию».
Никаких особых навыков белым хакерам не потребовалось: они просто поискали по субдоменам с необычными портами, и нашли хосты, которые привели к БД. Чтобы в нее зайти, также не потребовалось никакой аутентификации, и ресерчеры сразу попали на страницу с доступом к исполнению SQL запросов и добрались до таблиц.
Хакеры предупреждают, что если ИИ будет развиваться такими темпами и дальше, а разработчики не будут уделять нужного внимания безопасности, нас всех ждут еще более ужасные утечки.
DeepSeek ситуацию пока не прокомментировали
Сегодня ночью компания Wiz, которая занимается облачной кибер-безопасностью, объявила у себя в блоге, что обнаружила открытую базу данных DeepSeek, содержащую «чувствительную информацию».
Эта база данных ClickHouse включает в себя более миллиона строк логов, содержащих историю чатов, секретные ключи, детали бэкенда и другую высококонфиденциальную информацию.
Никаких особых навыков белым хакерам не потребовалось: они просто поискали по субдоменам с необычными портами, и нашли хосты, которые привели к БД. Чтобы в нее зайти, также не потребовалось никакой аутентификации, и ресерчеры сразу попали на страницу с доступом к исполнению SQL запросов и добрались до таблиц.
Хакеры предупреждают, что если ИИ будет развиваться такими темпами и дальше, а разработчики не будут уделять нужного внимания безопасности, нас всех ждут еще более ужасные утечки.
DeepSeek ситуацию пока не прокомментировали
🤯190👍30🌭20😐12😁10❤9🌚3👌1😎1