Forwarded from Vikhr models
GitHub
GitHub - WangRongsheng/awesome-LLM-resources: 🧑🚀 全世界最好的LLM资料总结（语音视频生成、Agent、辅助编程、数据处理、模型训练、模型推理、o1 模型、MCP、小语言模型、视觉语言模型） | Summary…
🧑🚀 全世界最好的LLM资料总结（语音视频生成、Agent、辅助编程、数据处理、模型训练、模型推理、o1 模型、MCP、小语言模型、视觉语言模型） | Summary of the world's best LLM resources. - GitHub - WangRongsheng/awesome-LLM-resources: 🧑🚀 全世界最好的LLM资料总结（语音...
🔥56💊8👍5🤮3👏2😁1
Love. Death. Transformers.
Its world model if it hype enough2 - OpenSora 1.1 - В основе модификация поверх pixart alpha или latte, я хуй знает, в код полезу позже, суть одна - 3d unet с кондишеном на т5 - СASUAL VIDEO VAE - короче это vqvae, только он сжимает не только картинку…
GitHub
Open-Sora-Plan/docs/Report-v1.3.0.md at main · PKU-YuanGroup/Open-Sora-Plan
This project aim to reproduce Sora (Open AI T2V model), we wish the open source community contribute to this project. - PKU-YuanGroup/Open-Sora-Plan
👍9🤡2
Forwarded from LakoMoor
This media is not supported in your browser
VIEW IN TELEGRAM
🍓52😁35
Forwarded from Дратути Антон
VLM в Нейро
Сегодня у нас большое обновление в Поиске. В том числе, команда VLM тоже приняла в нём участие!
Написали с коллегами пост на хабр про то, как мы затаскивали VLM в Нейро (писал про релиз здесь). В этот раз мы немного раскрыли подробности про то, как работает Нейро, где и зачем потребовалась там мультимодальность. Припорошили немножечко теорией про VLM.
Больше ни слова в посте, приятного прочтения поста!
Сегодня у нас большое обновление в Поиске. В том числе, команда VLM тоже приняла в нём участие!
Написали с коллегами пост на хабр про то, как мы затаскивали VLM в Нейро (писал про релиз здесь). В этот раз мы немного раскрыли подробности про то, как работает Нейро, где и зачем потребовалась там мультимодальность. Припорошили немножечко теорией про VLM.
Больше ни слова в посте, приятного прочтения поста!
🔥22🤡9
Forwarded from Эта нейросеть обучалась 37 лет (Катерина Бек)
День 17. GRUNGY JOURNAL.
❤🔥48
Чат, для чего используете OpenSource llm дома/в проде?
👍17🤷♂2🔥2
Love. Death. Transformers.
Чат, для чего используете OpenSource llm дома/в проде?
Продолжу. Если вы используете ллм на работе - в проде, то под что?
🤷4
#чтивонаночь
Janus: Decoupling Visual Encoding for Unified
Multimodal Understanding and Generation
Собственно идея не новая - давайте учить текстовый трансформер на комбинированной мультимодалке - на входе будет clip+adapter, на выходе vq токены(через них генерируем и представляем картинки)
В отличие от прошлых работ тут модель не претренется с нуля, стартует с LLM чекпоинта
Те sequence на которо учится наша модель выглядит примерно так:
<bos>text<image_adapter tokens>text<image generation tokens(vq)>
Модель ожидаемо лучше 10кратно больших хамеленово и прочих мультимодальных претренов и по качеству чуть хуже sdxl с поправкой на чуть лучший промтинг
папир
Janus: Decoupling Visual Encoding for Unified
Multimodal Understanding and Generation
Собственно идея не новая - давайте учить текстовый трансформер на комбинированной мультимодалке - на входе будет clip+adapter, на выходе vq токены(через них генерируем и представляем картинки)
В отличие от прошлых работ тут модель не претренется с нуля, стартует с LLM чекпоинта
Те sequence на которо учится наша модель выглядит примерно так:
<bos>text<image_adapter tokens>text<image generation tokens(vq)>
Модель ожидаемо лучше 10кратно больших хамеленово и прочих мультимодальных претренов и по качеству чуть хуже sdxl с поправкой на чуть лучший промтинг
папир
💅16❤🔥2👍2🔥2🍓1
Forwarded from эйай ньюз
В ByteDance стажёр обиделся и два месяца саботировал тренировочные раны соседней команды, причём весьма изощрёнными методами:
➖ Загружал чекпоинты с бекдором, через который проносил скрипт, который рандомно убивал джобы на ноде (ckpt - это pickle файл, они могут содержать произвольный код на питоне)
➖ Специально добавлял баги в форк PyTorch, который запускался на кластере
➖ Портил чекпоинты, чтобы результаты экспериментов не сходились
При всём этом он участвовал в митингах, где пытались отловить проблему, слушал, как коллеги пытаются решить её, и на основе услышанного придумывал новые способы саботажа. В итоге поймали по логам, но два месяца и усилия почти 30 человек пропали впустую. А у вас что-то такое было?
П.с. кроме шуток, мощный чел оказался.
@ai_newz
➖ Загружал чекпоинты с бекдором, через который проносил скрипт, который рандомно убивал джобы на ноде (ckpt - это pickle файл, они могут содержать произвольный код на питоне)
➖ Специально добавлял баги в форк PyTorch, который запускался на кластере
➖ Портил чекпоинты, чтобы результаты экспериментов не сходились
При всём этом он участвовал в митингах, где пытались отловить проблему, слушал, как коллеги пытаются решить её, и на основе услышанного придумывал новые способы саботажа. В итоге поймали по логам, но два месяца и усилия почти 30 человек пропали впустую. А у вас что-то такое было?
П.с. кроме шуток, мощный чел оказался.
@ai_newz
50🔥142😁52👍9😢9🆒8🥴7😨5🦄4❤🔥1
#чтивонаночь
Очень логичная работа от фб - Spirit lm
Давайте возьмем vq токены, будем их смешивать с текстовыми и все поедет. Собственно один из проектов на стажировке в Vikhrmodels ровно про тоже самое, но к сожалению мы запаздали с релизом. А жаль!
Меряют местами непонятно что и непонятно как, бенчей asr и tts нема
Почитать работу meta
Очень логичная работа от фб - Spirit lm
Давайте возьмем vq токены, будем их смешивать с текстовыми и все поедет. Собственно один из проектов на стажировке в Vikhrmodels ровно про тоже самое, но к сожалению мы запаздали с релизом. А жаль!
Меряют местами непонятно что и непонятно как, бенчей asr и tts нема
Почитать работу meta
👍21⚡5❤🔥4🔥1