Love. Death. Transformers.
яндекс дотюнил квен 235b, вышло в среднем лучше, по технологиям и скиллсету так же - поменяли токенайзер - дотрен - мидтрен - алаймент с ризонингом(у гигачата нет ризнинга) - в целом RL пиздато завели жаль не опенсурс, апи есть но мне лень habr Ps я не…
https://huggingface.co/papers/2512.10430
когда нибудь я возьму отпуск дофиксить баги в вихревых бенчах, но не сегодня
когда нибудь я возьму отпуск дофиксить баги в вихревых бенчах, но не сегодня
👍23🔥4😁2❤🔥1
Forwarded from Derp Learning
Media is too big
VIEW IN TELEGRAM
We’ve officially rolled into open beta: a video stylization / transformation & VFX service — the spiritual successor to WarpFusion (iscord with sassy mods included )
You upload a video, tweak the keyframes right there in Banana on the spot, hit render — and let it cook 🍌🔥
Everything lives in a video-editor-style interface:
projects, tracks, frame-by-frame scrubbing, and side-by-side comparisons of up to four videos at once. Yes, four. Because we can.
👉 Break it here: app.mago.studio
And for the OG goats, a promo code may mysteriously appear in the comments 🐐😏
You upload a video, tweak the keyframes right there in Banana on the spot, hit render — and let it cook 🍌🔥
Everything lives in a video-editor-style interface:
projects, tracks, frame-by-frame scrubbing, and side-by-side comparisons of up to four videos at once. Yes, four. Because we can.
👉 Break it here: app.mago.studio
And for the OG goats, a promo code may mysteriously appear in the comments 🐐😏
🔥14😁7👍4🍌2
Forwarded from download more GPUs
This media is not supported in your browser
VIEW IN TELEGRAM
я вам гпу слендер принес
2💯52😁29🔥9🥴1
Если вы работаете в ИТ и вы общаетесь с красивой женщиной - у меня для вас плохие новости
TLDR: в долине новый оч смешной тренд на поиск секс-шпионок, девушек встречающихся с топовыми ресерчерами и крадущими у них секреты обучения фронтира...
Another source told The Times about a “beautiful” Russian woman who married an American colleague she met while working at an aerospace company.
Я давно так не смеялся во время чтения статьи, это очень смешно.
news
TLDR: в долине новый оч смешной тренд на поиск секс-шпионок, девушек встречающихся с топовыми ресерчерами и крадущими у них секреты обучения фронтира...
Another source told The Times about a “beautiful” Russian woman who married an American colleague she met while working at an aerospace company.
“Showing up, marrying a target, having kids with a target — and conducting a lifelong collection operation, it’s very uncomfortable to think about but it’s so prevalent,” the source claimed.
Я давно так не смеялся во время чтения статьи, это очень смешно.
news
😁132 40👍9🍓3🔥2
Love. Death. Transformers.
Димитров_CалютГИГА_10.12.25_FINAL.pdf
собственно чем преза интересна - это не считая статей(и то только у wan и то не супер подробных) единственная сколько то публичная инфа про суб-фронтирные видео модельки и небольшой список шишек и болей которые набили разрабы
🔥42🌚3💯2👏1
Nemotron 3 Nano
Вообще у сообщества довольно сформулированное отношение к nvidia opensource - ну по метрикам хорошо, но вообще хуйня какая то. С новым нанотрон ситуация схожая: moe 30bA3, гибрид как qwen next, kimi linear, но не с gated attn а с мамбой2, (половина слоев MoE половина мамба), по метрикам паритет с qwen 30bA3 + benchmaxing - почти все данные посвещенны максингу mmlu и агентности - отбирают science, math и прочие топики с акцентом на код.
Релиз интересен несколькимими вещами: выложили PT и aligment целиком - те в теории можно воспроизвести qwen3 уровня модель ДОМА + вся инфра для обучения.
А еще челы неплохо описали проблемы с RLем, как лечили сходимость inference-policy и настраивали генерации. В целом выглядит и ощущается как Olmo на стероидах. Жаль не выложили ранние чекпоинты, но все равно очень круто.
blog
претрейн
sft
Вообще у сообщества довольно сформулированное отношение к nvidia opensource - ну по метрикам хорошо, но вообще хуйня какая то. С новым нанотрон ситуация схожая: moe 30bA3, гибрид как qwen next, kimi linear, но не с gated attn а с мамбой2, (половина слоев MoE половина мамба), по метрикам паритет с qwen 30bA3 + benchmaxing - почти все данные посвещенны максингу mmlu и агентности - отбирают science, math и прочие топики с акцентом на код.
Релиз интересен несколькимими вещами: выложили PT и aligment целиком - те в теории можно воспроизвести qwen3 уровня модель ДОМА + вся инфра для обучения.
А еще челы неплохо описали проблемы с RLем, как лечили сходимость inference-policy и настраивали генерации. В целом выглядит и ощущается как Olmo на стероидах. Жаль не выложили ранние чекпоинты, но все равно очень круто.
blog
претрейн
sft
GitHub
GitHub - NVIDIA-NeMo/Nemotron: Developer Asset Hub for NVIDIA Nemotron — A one-stop resource for training recipes, usage cookbooks…
Developer Asset Hub for NVIDIA Nemotron — A one-stop resource for training recipes, usage cookbooks, and full end-to-end reference examples to build with Nemotron models - NVIDIA-NeMo/Nemotron
1👍46🔥7
В 2022-м я сказал совету директоров, что нам нужна своя LLM. Своя. Суверенная. На триллион параметров.
Почему триллион? Потому что у GPT-4 — триллион. Я прочитал это в телеграм-канале. Канал назывался «ИИ на минималках». 50 000 подписчиков. Значит, правда.
Мне выделили бюджет. 2,3 миллиарда рублей. Я сказал «это инвестиция в технологический суверенитет». Никто не спросил, что это значит.
Я тоже не знал.
Купили 256 карточек V100. Не A100. V100. Потому что A100 под санкциями. V100 — нет. V100 вышли в 2017-м. Но я сказал «проверенное решение». Проверенное означает старое. Старое означает дешёвое. Дешёвое на вторичке в Дубае.
Наняли команду. 40 человек. ML-инженеры. Большинство не работали с LLM. Но у них были сертификаты ОТУСА. Сертификаты — это компетенции. Компетенции — это строчка в отчёте.
Тимлид спросил, почему триллион параметров на 256 V100. Сказал, что у Meta на LLaMA 70B было 2000 A100. Я сказал «у нас другой подход». Он спросил какой. Я сказал оптимизированный. Он спросил как именно оптимизированный. Я назначил ему встречу по пересмотру грейда. Он уволился. Я написал в отчёте «оптимизация штата».
Восемь месяцев обучения. Модель не сходилась. Лосс был плоский. Инженер сказал, что данных мало. У нас было 200 гигабайт текстов. Госзакупки, диссертации, Лента.ру. Он сказал, что у LLaMA — 2 триллиона токенов. Я сказал «качество важнее количества». Это не так. Но звучит мудро.
На девятый месяц модель заговорила.
Она говорила странное. На вопрос «столица Франции» отвечала «в соответствии с пунктом 3.2 технического задания». На вопрос «кто президент России» выдавала «Дмитрий Анатольевич Медведев». Датасет был старый. Я назвал это «историческая глубина модели». Инженеры называли это по-другому. Но их мнение не шло в презентации.
Запустили в прод. Назвали «НейроРусь-1Т». Лого — медведь с нейросетью в голове. Лого стоило 4 миллиона. Агентство сказало, что медведь символизирует «мощь российского ИИ». Я согласился. Медведи мощные.
Первый месяц. 3 000 запросов. 2 800 — от тестировщиков. 150 — от журналистов. 50 — случайные. NPS — минус 40. Я убрал NPS из дашборда. Метрика была «не релевантна стратегическим целям».
Купили статью в РБК. 1 миллион рублей. Заголовок: «Российская нейросеть НейроРусь составит конкуренцию ChatGPT». Журналист спросил, можно ли потестировать. Я сказал «после публикации». Он опубликовал.
В статье было написано «по словам разработчиков, модель превосходит западные аналоги в понимании российского контекста». Это я сказал. Я не разработчик. Но они не возражали.
РБК поставили статью в раздел «Технологии». 400 000 просмотров. Комментарии отключили превентивно. Негатив не соответствовал редакционной политике.
Четвёртый месяц. Поняли, что модель хуже ГигаГпт 6. ГигаГпт 6 хуже Claude Sonnet. Задача: создать бенчмарк, на котором мы победим. Назвали «РусКонтекст-1000». Тысяча вопросов о российской культуре. Кто написал «Войну и мир». Столица Бурятии. Как зовут кота Медведева.
Запустили бенчмарк. НейроРусь набрала 34%. GPT-4 набрал 67%. Наш бенчмарк. Мы проиграли на своём поле.
Шестой месяц. Стали покупать ГигаГпт 6 за 990 рублей за 1м токенов. Это как Claude Sonnet в API. Только ГигаГпт 6 хуже Sonnet в три раза. Я измерил. На вопрос «напиши код сортировки» ГигаГпт 6 выдал код с багами. Sonnet - рабочий кода. Но Sonnet - иностранный. Иностранный - плохо. Баги - отечественные. Отечественное - хорошо.
Купили 4 000 лицензий ГигаГпт 6 . 47 миллионов в год. За качество Claude по цене Claude, но в три раза хуже Claude. Зато в реестре отечественного ПО. Реестр важнее. Качество - субъективно. Реестр - объективен.
Старший разработчик спросил, почему не DeepSeek. DeepSeek - бесплатный. DeepSeek лучше ГигаГпт 6 . Я сказал «китайские бэкдоры». Он спросил какие именно. Я сказал «все». Он спросил, есть ли пруфы. Я сказал «есть, но засекречены». Он спросил кем. Я сказал «органами». Он не уточнил какими. Органы — это серьёзно.
Почему триллион? Потому что у GPT-4 — триллион. Я прочитал это в телеграм-канале. Канал назывался «ИИ на минималках». 50 000 подписчиков. Значит, правда.
Мне выделили бюджет. 2,3 миллиарда рублей. Я сказал «это инвестиция в технологический суверенитет». Никто не спросил, что это значит.
Я тоже не знал.
Купили 256 карточек V100. Не A100. V100. Потому что A100 под санкциями. V100 — нет. V100 вышли в 2017-м. Но я сказал «проверенное решение». Проверенное означает старое. Старое означает дешёвое. Дешёвое на вторичке в Дубае.
Наняли команду. 40 человек. ML-инженеры. Большинство не работали с LLM. Но у них были сертификаты ОТУСА. Сертификаты — это компетенции. Компетенции — это строчка в отчёте.
Тимлид спросил, почему триллион параметров на 256 V100. Сказал, что у Meta на LLaMA 70B было 2000 A100. Я сказал «у нас другой подход». Он спросил какой. Я сказал оптимизированный. Он спросил как именно оптимизированный. Я назначил ему встречу по пересмотру грейда. Он уволился. Я написал в отчёте «оптимизация штата».
Восемь месяцев обучения. Модель не сходилась. Лосс был плоский. Инженер сказал, что данных мало. У нас было 200 гигабайт текстов. Госзакупки, диссертации, Лента.ру. Он сказал, что у LLaMA — 2 триллиона токенов. Я сказал «качество важнее количества». Это не так. Но звучит мудро.
На девятый месяц модель заговорила.
Она говорила странное. На вопрос «столица Франции» отвечала «в соответствии с пунктом 3.2 технического задания». На вопрос «кто президент России» выдавала «Дмитрий Анатольевич Медведев». Датасет был старый. Я назвал это «историческая глубина модели». Инженеры называли это по-другому. Но их мнение не шло в презентации.
Запустили в прод. Назвали «НейроРусь-1Т». Лого — медведь с нейросетью в голове. Лого стоило 4 миллиона. Агентство сказало, что медведь символизирует «мощь российского ИИ». Я согласился. Медведи мощные.
Первый месяц. 3 000 запросов. 2 800 — от тестировщиков. 150 — от журналистов. 50 — случайные. NPS — минус 40. Я убрал NPS из дашборда. Метрика была «не релевантна стратегическим целям».
Купили статью в РБК. 1 миллион рублей. Заголовок: «Российская нейросеть НейроРусь составит конкуренцию ChatGPT». Журналист спросил, можно ли потестировать. Я сказал «после публикации». Он опубликовал.
В статье было написано «по словам разработчиков, модель превосходит западные аналоги в понимании российского контекста». Это я сказал. Я не разработчик. Но они не возражали.
РБК поставили статью в раздел «Технологии». 400 000 просмотров. Комментарии отключили превентивно. Негатив не соответствовал редакционной политике.
Четвёртый месяц. Поняли, что модель хуже ГигаГпт 6. ГигаГпт 6 хуже Claude Sonnet. Задача: создать бенчмарк, на котором мы победим. Назвали «РусКонтекст-1000». Тысяча вопросов о российской культуре. Кто написал «Войну и мир». Столица Бурятии. Как зовут кота Медведева.
Запустили бенчмарк. НейроРусь набрала 34%. GPT-4 набрал 67%. Наш бенчмарк. Мы проиграли на своём поле.
Шестой месяц. Стали покупать ГигаГпт 6 за 990 рублей за 1м токенов. Это как Claude Sonnet в API. Только ГигаГпт 6 хуже Sonnet в три раза. Я измерил. На вопрос «напиши код сортировки» ГигаГпт 6 выдал код с багами. Sonnet - рабочий кода. Но Sonnet - иностранный. Иностранный - плохо. Баги - отечественные. Отечественное - хорошо.
Купили 4 000 лицензий ГигаГпт 6 . 47 миллионов в год. За качество Claude по цене Claude, но в три раза хуже Claude. Зато в реестре отечественного ПО. Реестр важнее. Качество - субъективно. Реестр - объективен.
Старший разработчик спросил, почему не DeepSeek. DeepSeek - бесплатный. DeepSeek лучше ГигаГпт 6 . Я сказал «китайские бэкдоры». Он спросил какие именно. Я сказал «все». Он спросил, есть ли пруфы. Я сказал «есть, но засекречены». Он спросил кем. Я сказал «органами». Он не уточнил какими. Органы — это серьёзно.
18😁576 91🔥67😭17💯12 10❤🔥6💩6 4🥱2😍1
Love. Death. Transformers.
В 2022-м я сказал совету директоров, что нам нужна своя LLM. Своя. Суверенная. На триллион параметров. Почему триллион? Потому что у GPT-4 — триллион. Я прочитал это в телеграм-канале. Канал назывался «ИИ на минималках». 50 000 подписчиков. Значит, правда.…
Другой разработчик притащил Qwen 2.5. Показал, что он умнее НейроРуси в пять раз. Я сказал «некорректное сравнение». Он спросил почему. Я сказал «разные методологии оценки». Он спросил какие методологии у нас. Я сказал «сертифицированные». Он попросил сертификаты. Я назначил ему встречу с HR. Тема: «Соответствие корпоративным ценностям». Он понял. Он удалил Qwen.
В июне — ПМЭФ. Тигран Греф будет выступать. Я буду рядом. На слайде за его спиной — наш кейс. Медведь с нейросетью. 40 000 часов. График вверх и вправо.
В сентябре — совещание у Президента. Тема: «Технологический суверенитет в сфере искусственного интеллекта». Я подготовил речь. Три минуты. 400 слов. Ключевые: суверенитет — 7 раз, безопасность — 5 раз, прорыв — 4 раза, мировой уровень — 3 раза.
Покажу демо. НейроРусь ответит на вопрос «Какие задачи стоят перед Россией в сфере ИИ?». Мы зашили ответ хардкодом. На случай галлюцинаций. Галлюцинации перед Президентом - это не галлюцинации. Это статья.
Путин кивнёт. Кивок - это одобрение. Одобрение - это госконтракты. Госконтракты - это ещё 5 миллиардов. 5 миллиардов - это ещё три года. Три года - это ещё 15 отчётов. 15 отчётов - это еще 4м рублей премии в конце года. Я куплю квартиру в выхино.
В июне — ПМЭФ. Тигран Греф будет выступать. Я буду рядом. На слайде за его спиной — наш кейс. Медведь с нейросетью. 40 000 часов. График вверх и вправо.
В сентябре — совещание у Президента. Тема: «Технологический суверенитет в сфере искусственного интеллекта». Я подготовил речь. Три минуты. 400 слов. Ключевые: суверенитет — 7 раз, безопасность — 5 раз, прорыв — 4 раза, мировой уровень — 3 раза.
Покажу демо. НейроРусь ответит на вопрос «Какие задачи стоят перед Россией в сфере ИИ?». Мы зашили ответ хардкодом. На случай галлюцинаций. Галлюцинации перед Президентом - это не галлюцинации. Это статья.
Путин кивнёт. Кивок - это одобрение. Одобрение - это госконтракты. Госконтракты - это ещё 5 миллиардов. 5 миллиардов - это ещё три года. Три года - это ещё 15 отчётов. 15 отчётов - это еще 4м рублей премии в конце года. Я куплю квартиру в выхино.
4🔥237😁51🥴45 23💩12😭6💯5 4😢1🤓1
Почему Оксимирон поставил 18+ на альбом, типа он знает что это?
😁152 29💩5😭4🍌3
Я пару лет как читаю мемные ai паблики и пока понял только то, что все ресечеры идентифицируют себя шлюховатыми аниме девочками. ЛГБТ логово девочек, запертых внутри мальчиков.
Гитхабы ваши открываешь, сколяры, висят идеи, похуй, проекты не мейнтейнятся, похуй, давайте ещё пятьсот мемов про то, что вы латентный клуб любителей подолбиться в очко за деньги.
Я для вас секрет открою, но все и без мемов всё понимали.
Займитесь ресерчем уебки, либо уже пиздуйте на онлифанс.
Гитхабы ваши открываешь, сколяры, висят идеи, похуй, проекты не мейнтейнятся, похуй, давайте ещё пятьсот мемов про то, что вы латентный клуб любителей подолбиться в очко за деньги.
Я для вас секрет открою, но все и без мемов всё понимали.
Займитесь ресерчем уебки, либо уже пиздуйте на онлифанс.
1😁171 33🥴22🔥12💯11 5💩3😢1💋1 1
после определнной суммы в год у мужчины есть выбор: забить на общественное мнение и ходить в футболке ЛОШ2018 или купить свитер баленсиага.
😁135💯37👍7💩2🥴2⚡1🔥1💋1
Towards a Science of Scaling Agent Systems
Если вы хоть раз писали агента то сталкивались с классическими архитектурными приколами - а как вообще правильно вызывать субагентов? что лучше - все разом или с оркестратором? Нужен ли majority voting? Обычно решается классическим "ну э, мы делаем так потому что в "компания" так", потом пишет на свой фреймворк/пишут на ленгчейне, кончается одиноково - хорошей мужской оргией и вопросом "кто это понаписал блять? а, он уволился? пиздец."
а и decentrilized архитектура агента лучше соседей
paper
Если вы хоть раз писали агента то сталкивались с классическими архитектурными приколами - а как вообще правильно вызывать субагентов? что лучше - все разом или с оркестратором? Нужен ли majority voting? Обычно решается классическим "ну э, мы делаем так потому что в "компания" так", потом пишет на свой фреймворк/пишут на ленгчейне, кончается одиноково - хорошей мужской оргией и вопросом "кто это понаписал блять? а, он уволился? пиздец."
а и decentrilized архитектура агента лучше соседей
paper
1 38🔥7🆒6😁2🎄2👍1🤔1💩1💋1
Forwarded from Just links
Weird Generalization and Inductive Backdoors: New Ways to Corrupt LLMs https://arxiv.org/abs/2512.09742
arXiv.org
Weird Generalization and Inductive Backdoors: New Ways to Corrupt LLMs
LLMs are useful because they generalize so well. But can you have too much of a good thing? We show that a small amount of finetuning in narrow contexts can dramatically shift behavior outside...
Чо, пьёте пиво по пятницам? 🍺
А пока вы пьёте — агенты не пьют. Агенты устраивают диверсии на ваш прод, слушаются prompt-инъекций и сливают данные в даркнет.
чуваки из White Circle — единственный в мире прибыльный стартап про AI safety — ищут тех, кто хочет это чинить.
Важно: работать надо много. Зато платят 130–250k USD.
Вакансии:
1. FullStack Engineer
TypeScript, React, Next.js, Node.js, Tailwind, GraphQL, ClickHouse
2. AI Engineer
MoE, multimodality (audio/images), Megatron, distributed training, Triton
3. AI Engineer
Inference, trt, vllm, sglang, делать инференс имени быстрого гонзалеса
-----
📨 CV сюда → https://jobs.ashbyhq.com/whitecircle/a030c9a9-dc20-490c-9c51-03e87210f904>
А пока вы пьёте — агенты не пьют. Агенты устраивают диверсии на ваш прод, слушаются prompt-инъекций и сливают данные в даркнет.
чуваки из White Circle — единственный в мире прибыльный стартап про AI safety — ищут тех, кто хочет это чинить.
Важно: работать надо много. Зато платят 130–250k USD.
Вакансии:
1. FullStack Engineer
TypeScript, React, Next.js, Node.js, Tailwind, GraphQL, ClickHouse
2. AI Engineer
MoE, multimodality (audio/images), Megatron, distributed training, Triton
3. AI Engineer
Inference, trt, vllm, sglang, делать инференс имени быстрого гонзалеса
-----
📨 CV сюда → https://jobs.ashbyhq.com/whitecircle/a030c9a9-dc20-490c-9c51-03e87210f904>
Ashbyhq
AI Engineer
AI Engineer • White Circle
😁75💊32😍7 7💩6❤🔥2🔥2🙉2💋1😨1💅1