Forwarded from Душный NLP
Подборка статей об альтернативах квадратичному селф-аттеншну
В последние годы всё больше обсуждают альтернативы классическому аттеншну — прежде всего из-за стоимости квадратичного скейлинга и работы с длинными контекстами. Ниже — краткий обзор нескольких любопытных работ и блогпостов на тему линейного, sparse- и гибридного аттеншна.
Why Did MiniMax M2 End Up as a Full Attention Model?
Начнём с поста от команды MiniMax. Их первая модель, MiniMax M1, была гибридной и использовала простой линейный аттеншн на матричных стейтах. Но во второй версии, MiniMax M2, они неожиданно вернулись к полному квадратичному аттеншну — даже без sliding window attention (SWA), который уже встречается в опенсорсных моделях.
Авторы говорят, что гибридная архитектура у них попросту не заработала. На классических текстовых бенчмарках всё выглядело приемлемо, а вот на агентских задачах — с кодом, итерациями и длинным контекстом — модель стабильно проигрывала. SWA тоже не помог: при дообучении моделей, изначально предобученных с полным аттеншном, ключевые головы не перестраивались и деградировали.
Итоговый вывод у MiniMax осторожный: линейные и гибридные подходы выглядят перспективно, но пока не хватает инфраструктуры, реализаций и бенчмарков. Поэтому на данный момент они остаются со стандартным трансформером и считают, что сначала нужно больше данных и экспериментов с длинным контекстом.
The Sparse Frontier: Sparse Attention Trade-offs in Transformer LLMs
В этой работе изучают training free sparsity в аттеншне и пытаются понять, что реально работает с точки зрения баланса compute/accuracy. На умеренных контекстах спарсификация аттеншна почти не помогает и часто ухудшает качество. На очень длинных — даёт выигрыш по FLOPs, но часто приводит к ухудшению качества: авторы замечают, что метод, работающий на одной задаче, ломается на другой. В среднем удаётся получить около 5× сжатия без сильной деградации качества, но разброс большой, особенно для маленьких моделей.
Evaluating Long Context (Reasoning) Ability
В следующем посте автор критикует популярные long-context-бенчмарки. Он говорит, что needle-in-a-haystack-like-задачи в основном проверяют ретривал и плохо отражают реальную (более сложную) работу с длинным контекстом. На более сложных задачах, где контекст нужно понять, а не просто найти факт (например, в длинном коде с логическими ошибками), модели начинают деградировать уже на десятках тысяч токенов — даже с Full Attention. Вывод: бенчмарков, которые реально проверяют ризонинг на длинном контексте, пока недостаточно.
Kimi Linear: an expressive, efficient attention architecture
Спустя неделю после скептического поста MiniMax Moonshot AI (авторы модели Kimi K2 и не только) выпустили работу с почти противоположным тезисом: Linear Attention работает. В Kimi Linear предложили Kimi Delta Attention с gated delta rule и рекуррентной матричной памятью. В модели используют соотношение 3:1 линейных слоёв к Full Attention. Качество на бенчмарках в статье не хуже полного аттеншна, а эффективность выше: prefill на длинных промптах быстрее примерно в три раза, декодинг и memory footprint тоже выигрывают за счёт меньшей зависимости от KV-cache.
Разбор подготовил❣ Иван Рубачёв, а ещё он приглашает вас на семинары Yandex Research Reading Group
Душный NLP
В последние годы всё больше обсуждают альтернативы классическому аттеншну — прежде всего из-за стоимости квадратичного скейлинга и работы с длинными контекстами. Ниже — краткий обзор нескольких любопытных работ и блогпостов на тему линейного, sparse- и гибридного аттеншна.
Why Did MiniMax M2 End Up as a Full Attention Model?
Начнём с поста от команды MiniMax. Их первая модель, MiniMax M1, была гибридной и использовала простой линейный аттеншн на матричных стейтах. Но во второй версии, MiniMax M2, они неожиданно вернулись к полному квадратичному аттеншну — даже без sliding window attention (SWA), который уже встречается в опенсорсных моделях.
Авторы говорят, что гибридная архитектура у них попросту не заработала. На классических текстовых бенчмарках всё выглядело приемлемо, а вот на агентских задачах — с кодом, итерациями и длинным контекстом — модель стабильно проигрывала. SWA тоже не помог: при дообучении моделей, изначально предобученных с полным аттеншном, ключевые головы не перестраивались и деградировали.
Итоговый вывод у MiniMax осторожный: линейные и гибридные подходы выглядят перспективно, но пока не хватает инфраструктуры, реализаций и бенчмарков. Поэтому на данный момент они остаются со стандартным трансформером и считают, что сначала нужно больше данных и экспериментов с длинным контекстом.
The Sparse Frontier: Sparse Attention Trade-offs in Transformer LLMs
В этой работе изучают training free sparsity в аттеншне и пытаются понять, что реально работает с точки зрения баланса compute/accuracy. На умеренных контекстах спарсификация аттеншна почти не помогает и часто ухудшает качество. На очень длинных — даёт выигрыш по FLOPs, но часто приводит к ухудшению качества: авторы замечают, что метод, работающий на одной задаче, ломается на другой. В среднем удаётся получить около 5× сжатия без сильной деградации качества, но разброс большой, особенно для маленьких моделей.
Evaluating Long Context (Reasoning) Ability
В следующем посте автор критикует популярные long-context-бенчмарки. Он говорит, что needle-in-a-haystack-like-задачи в основном проверяют ретривал и плохо отражают реальную (более сложную) работу с длинным контекстом. На более сложных задачах, где контекст нужно понять, а не просто найти факт (например, в длинном коде с логическими ошибками), модели начинают деградировать уже на десятках тысяч токенов — даже с Full Attention. Вывод: бенчмарков, которые реально проверяют ризонинг на длинном контексте, пока недостаточно.
Kimi Linear: an expressive, efficient attention architecture
Спустя неделю после скептического поста MiniMax Moonshot AI (авторы модели Kimi K2 и не только) выпустили работу с почти противоположным тезисом: Linear Attention работает. В Kimi Linear предложили Kimi Delta Attention с gated delta rule и рекуррентной матричной памятью. В модели используют соотношение 3:1 линейных слоёв к Full Attention. Качество на бенчмарках в статье не хуже полного аттеншна, а эффективность выше: prefill на длинных промптах быстрее примерно в три раза, декодинг и memory footprint тоже выигрывают за счёт меньшей зависимости от KV-cache.
Разбор подготовил
Душный NLP
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
❤9👍1😢1
Forwarded from opennet.ru
Сравнение числа ошибок в коде, написанном людьми и AI https://opennet.ru/64485/
www.opennet.ru
Сравнение числа ошибок в коде, написанном людьми и AI
Исследователи из компании CodeRabbit проанализировали 470 pull-запросов (350 - созданные AI, 150 - написанные вручную) в открытых проектах на GitHub и пришли к выводу, что в изменениях, сгенерированных AI-ассистентами, присутствует в 1.7 раза больше значительных…
🥰2❤1🤯1🎉1
Forwarded from NoML Digest
Запись семинара
Илья Манякин (МСистемы), Вероятностные графовые модели и байесовские сети. YouTube | Дзен | RuTube (~1 час 20 минут).
Илья Манякин (МСистемы), Вероятностные графовые модели и байесовские сети. YouTube | Дзен | RuTube (~1 час 20 минут).
🤯1🎉1
Forwarded from ODS Events
Привет!
Встречайте двадцать шестой, предновогодний 🎄 выпуск подкаста "Капитанский мостик". В этом выпуске обсуждаются ключевые события года, включая рост цен на технологии памяти, скорость изменений в индустрии, дефляцию технологий и трансформацию маркетинга. Также рассматриваются новые навыки, необходимые в программировании, и важность образования в технологической сфере России. Ведущие подкаста - Валентин Малых и Дмитрий Колодезев.
Смотрите видео на каналах ⤵️
ODS VK Video
ODS YouTube
📩 Присылайте новости для обсуждения в канал "Дата-капитаны" в mattermost (авторизуйтесь через ODS.ai).
Встречайте двадцать шестой, предновогодний 🎄 выпуск подкаста "Капитанский мостик". В этом выпуске обсуждаются ключевые события года, включая рост цен на технологии памяти, скорость изменений в индустрии, дефляцию технологий и трансформацию маркетинга. Также рассматриваются новые навыки, необходимые в программировании, и важность образования в технологической сфере России. Ведущие подкаста - Валентин Малых и Дмитрий Колодезев.
Смотрите видео на каналах ⤵️
ODS VK Video
ODS YouTube
📩 Присылайте новости для обсуждения в канал "Дата-капитаны" в mattermost (авторизуйтесь через ODS.ai).
🔥1🤯1
Forwarded from Machinelearning
Andon Labs опубликовала результаты Vending Bench 2, и GLM 4.7 вошла в шестерку лучших. Она стала первой открытой моделью, которая прошла полный "годовой тест" с реальной прибылью в 2 377 долларов.
Vending Bench 2 - это симуляционный тест для ИИ-агентов, в котором испытуемая модель в течение года управляет виртуальным бизнесом по продаже товаров через вендинговые автоматы.
Задачи бенча включают в себя закупку товаров, торговлю с поставщиками, корректировку цен в зависимости от спроса, покрытие расходов, учет погодных условий и сезонов.
Метрика теста - избежать банкротства и, в идеале, накопить деньги.
Лидерами стали закрытые модели: Gemini 3 Pro и Claude Opus 4.5, которые завершили тестирование с результатом выше 4000 долларов.
Тем не менее, GLM 4.7 обошла GPT 5.1 и ряд более мелких моделей, что доказывает: опен-сорс сокращает разрыв в агентских задачах с длительным горизонтом.
@ai_machinelearning_big_data
#news #ai #ml
Please open Telegram to view this post
VIEW IN TELEGRAM
❤9👍2🤯1🍾1
Forwarded from SecurityLab.ru
Математика 2025 года доказывает: в науке о строгих правилах всё еще полно места для сюрпризов. Даже в областях, где всё казалось изученным до мелочей, старые гипотезы внезапно рушатся под свежим взглядом. Ярким примером стала 17-летняя школьница Ханна Кайро, которая, обучаясь дома на Багамах, смогла опровергнуть 40-летнюю гипотезу из гармонического анализа. Она нашла контрпример там, где опытные ученые десятилетиями видели лишь подтверждение устоявшихся теорий, доказав, что математическая интуиция порой важнее академических регалий.
Геометрия и физика тоже преподнесли невероятные результаты, граничащие с парадоксами. Исследователи наконец обнаружили «нопертэдр» — первый в истории выпуклый многогранник, сквозь который невозможно протащить его собственную копию, а также создали тетраэдр, способный стоять лишь на одной из четырех граней. Параллельно с этим математики представили новое, универсальное решение знаменитой «задачи десяти мартини», окончательно связав квантовую физику электронов с причудливыми фрактальными структурами.
На самом фундаментальном уровне ученые замахнулись на пересмотр природы бесконечности и чисел. Пока одни группы исследователей предлагают новые типы бесконечностей, которые делают математическую вселенную еще более хаотичной и сложной, другие находят способы доказать иррациональность целых наборов чисел. Эти открытия показывают, что даже привычная со школы числовая прямая остается территорией поиска, где за простыми вопросами скрываются глубокие истины, меняющие наше представление о реальности.
#Математика #Наука #Геометрия
SecurityLab в Telegram | MAX | Поддержите нас «бустами»
Please open Telegram to view this post
VIEW IN TELEGRAM
SecurityLab.ru
2025 в математике: школьница против учёных — 1:0, невозможный многогранник найден после века поисков, и другие открытия
Мир чисел больше никогда не будет прежним.
❤9🤯3🔥1🥰1
Forwarded from Machinelearning
Modal Labs составили подробный глоссарий, чтобы решить проблему, с которой сами столкнулись при работе с графическими процессорами в сервисе Modal : документация фрагментирована и зачастую очень сложно сопоставить концепции на разных уровнях стека.
Modal Labs (бренд Modal) – компания, основанная в 2021 году, которая предоставляет высокопроизводительную серверную вычислительную платформу для разработчиков, работающих с данными, ИИ и машинным обучением.
Они прочитали PDF-документацию от NVIDIA, порылись в тематических Discord-сообществах и даже купили бумажные учебники, чтобы составить базу знаний, охватывающую весь стек в одном месте:
В руководстве все страницы связаны между собой, поэтому вы можете перейти к разделу о Warp Scheduler , чтобы лучше понять потоки, о которых вы читали в статье о модели программирования CUDA.
Сам проект открыт и доступен на Github.
@ai_machinelearning_big_data
#AI #ML #GPU #Glossary #Modal
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥10❤2👍2
Forwarded from Valuable AI / Валентин Малых
я хотел сегодня пропустить, чтобы дать всем отдохнуть, но меня догнала огненная новость - мои бывшие коллеги из исследовательского центра им. Н.Н. Лузина (это псевдоним, могу намекнуть на оригинальное навзвание - 🐉🪷🌺) выложили свой претрейн!
модель под названием Gamayun на 1.5B параметров, лучше Qwen2.5 аналогичного размера на русском, арабском, болгарском, испанском и польском языках!
также в этой работе коллеги предложили бенчмарк RuBIN, фактически измеряющий знание популярных русскоязычных цитат
мне очень приятно начать год с такой новости, поздравляю коллег из исследовательского центра им. Н.Н. Лузина, а также всех интересующихся русскоязычным NLP! 🎉🎉🎉
@valuableai
модель под названием Gamayun на 1.5B параметров, лучше Qwen2.5 аналогичного размера на русском, арабском, болгарском, испанском и польском языках!
также в этой работе коллеги предложили бенчмарк RuBIN, фактически измеряющий знание популярных русскоязычных цитат
мне очень приятно начать год с такой новости, поздравляю коллег из исследовательского центра им. Н.Н. Лузина, а также всех интересующихся русскоязычным NLP! 🎉🎉🎉
@valuableai
❤4👍1🔥1
Forwarded from Пул N3
Media is too big
VIEW IN TELEGRAM
Как приходит новый день год - так выглядит граница между днём и ночью на Земле:
«Эта «сумеречная полоса» шириной в сотни километров непрерывно движется вокруг Земли. На экваторе она мчится со скоростью около 1666 км/ч, а у полюсов почти замирает. Природа создаёт свой собственный калейдоскоп света и тени»
Подпишись на ПУЛ N3 / MAX
«Эта «сумеречная полоса» шириной в сотни километров непрерывно движется вокруг Земли. На экваторе она мчится со скоростью около 1666 км/ч, а у полюсов почти замирает. Природа создаёт свой собственный калейдоскоп света и тени»
Подпишись на ПУЛ N3 / MAX
❤1
Forwarded from Machinelearning
Интересная история, которая заставляет задуматься об образовании и карьере.
Знакомьтесь - Габриэль Петерссон. Ему всего 23 года, он бросил школу в глухом шведском городке, не учился в ВУЗе, но прямо сейчас работает научным сотрудником в OpenAI, в команде Sora.
Традиционное образование - это путь "снизу вверх". Хочешь заниматься машинным обучением? Сначала выучи линейную алгебру, потом матан, потом тервер. Это долго и зачастую теряется мотивация и понимание, зачем тебе это нужно прямо сейчас.
Масла в котел демотивации подливают компании, которые тоже не очень хотят ждать. Palantir, например, уже нанимает старшеклассников, минуя вузы. И история Габриэля — показательный пример тенденции.
Он не проходил классический путь "школа — бакалавриат — магистратура". Вместо этого он использовал ChatGPT как персонального ментора. И речь не о том, чтобы попросить чат-бот «напиши код за меня». Габриэль использовал метод, который он сам называет «рекурсивным заполнением пробелов».
Его суть том, чтобы идти как бы "сверху вниз". Он берет сложный проект: например, хочет разобраться, как работают модели диффузии. Он просит ChatGPT написать код. Естественно, сначала он ничего не понимает.
И вот тут он начинает задавать вопросы к каждому непонятному модулю. «Что делает этот блок?». Допустим, это блок ResNet. Он спрашивает: «Почему это помогает модели учиться?». И копает глубже. Если всплывает незнакомое понятие - он просит объяснить математическую базу, лежащую в его основе.
Это и есть рекурсия: слой за слоем, пока не заполнятся все пробелы в знаниях. Он не учит математику впрок, он учит ту математику, которая нужна ему прямо сейчас для работы кода.
Для получения визы талантов (O1) он использовал свою репутацию на Stack Overflow и рекомендации, которые просмотрели миллионы людей, как доказательство вклада в индустрию.
Габриэль советует: забудьте про HR. Резюме и дипломы не важны, если вы можете показать результат. Его стратегия — MVP или демо продукта и написать напрямую топ-менеджменту компании с предложением бесплатной работы на неделю. Это снимает риски для нанимателя и дает вам шанс показать себя.
Его главный посыл: если вы готовы активно задавать вопросы и не боитесь выглядеть глупо перед ИИ, изучая основы, вы уже входите в 1% лучших. Потому что большинство людей просто плывут по течению.
@ai_machinelearning_big_data
#AI #ML #Interview #OpenAI
Please open Telegram to view this post
VIEW IN TELEGRAM
👍18❤6🤡4🔥3🥰1🤯1😢1
Forwarded from Valuable AI / Валентин Малых
всем привет, если вам нечем заняться на новогодние праздники, кроме доедания салатов, то еще есть возможность залететь в соревнование по переводу на тюркские языки (будет идти до конца праздников)
тем более, что появился повод, прямо под ёлочку 🎄 Tencent выпустили обновление своих моделей для машинного перевода Hunyuan 1.5(если я правильно понял, то наилучшим переводом 混元 будет "первичный бульон", как источник для всего разнообразия жизни)
коллеги выпустили две новых модели 1.8B и 7B, результаты (на картинке) впечатляют - бьют специализированные переводчики от Google и Microsoft, правда, проигрывают Gemini Pro(что, конечно, неудивительно)
кстати, часть результатов на FLORES-200, который среди 200 языков включает башкирский, казахский, кыргызский и татарский, так что можно залететь в соревнование с этими моделями; присоединяйтесь!
@valuableai
тем более, что появился повод, прямо под ёлочку 🎄 Tencent выпустили обновление своих моделей для машинного перевода Hunyuan 1.5
коллеги выпустили две новых модели 1.8B и 7B, результаты (на картинке) впечатляют - бьют специализированные переводчики от Google и Microsoft, правда, проигрывают Gemini Pro
кстати, часть результатов на FLORES-200, который среди 200 языков включает башкирский, казахский, кыргызский и татарский, так что можно залететь в соревнование с этими моделями; присоединяйтесь!
@valuableai
🔥2👍1🥰1🤯1
Forwarded from Valuable AI / Валентин Малых
вообще эта новость вполне могла быть в любой день, но иллюстрация требует поставить ее в субботу; суть новости - Google выкатил генератор заголовков для новостных сюжетов, и все заверте... я могу восстановить логику событий так, что кто-то решил обучить генератор делать привлекательные (кликабельные) заголовки; как следствие, генератор честно выучился делать кликбейт - то есть максимально "желтые"
я думаю, что люди, которые обучали, не были знакомы со спецификой новостного домена, что еще раз подчеркивает необходимость погружения в область, прежде, чем "палить из всех столов", в смысле обучать самые модные модели на любых доступных данных
@valuableai
я думаю, что люди, которые обучали, не были знакомы со спецификой новостного домена, что еще раз подчеркивает необходимость погружения в область, прежде, чем "палить из всех столов", в смысле обучать самые модные модели на любых доступных данных
@valuableai
👍3🥰1
Forwarded from commit history
This media is not supported in your browser
VIEW IN TELEGRAM
Серега @southfreebird параллельно с работой в Nebius с друзьями сделал крутой open-source проект!
Авторы: @southfreebird, @Olegbalakhnov и @zaringleb.
Ребята обучили и выложили в open-source VLA-модель на базе VLA-0 от Nvidia, только с backbone в 6 раз меньше (0.5B vs 3B в оригинальной работе), которая показывает success rate 94.1% на Libero benchmark (против 94.7% у оригинальной модели).
VLA (Vision-Language-Action) это модель, которая смотрит на картинку, понимает текстовую команду и сразу выдаёт действие для робота, типа «возьми кубик и положи справа».
Вообще порог входа в robotics ML всё ещё достаточно высокий, поэтому у ребят крутая цель: сделать в open-source воспроизводимые рецепты для файнтюна небольших моделей на небольшом количестве демонстраций.
Ссылка на блогпост и модель:
https://robot-learning-collective.github.io/vla-0-smol
Если интересно следить, ребята завели Discord:
https://discord.gg/XcZVY2kxj9
Ну и пишите, если будут вопросы!
Авторы: @southfreebird, @Olegbalakhnov и @zaringleb.
Ребята обучили и выложили в open-source VLA-модель на базе VLA-0 от Nvidia, только с backbone в 6 раз меньше (0.5B vs 3B в оригинальной работе), которая показывает success rate 94.1% на Libero benchmark (против 94.7% у оригинальной модели).
VLA (Vision-Language-Action) это модель, которая смотрит на картинку, понимает текстовую команду и сразу выдаёт действие для робота, типа «возьми кубик и положи справа».
Вообще порог входа в robotics ML всё ещё достаточно высокий, поэтому у ребят крутая цель: сделать в open-source воспроизводимые рецепты для файнтюна небольших моделей на небольшом количестве демонстраций.
Ссылка на блогпост и модель:
https://robot-learning-collective.github.io/vla-0-smol
Если интересно следить, ребята завели Discord:
https://discord.gg/XcZVY2kxj9
Ну и пишите, если будут вопросы!
Forwarded from Анализ данных (Data analysis)
⚡️ Google показала интересный пример того, как мультимодели уже помогают в гуманитарных исследованиях.
Gemini 3.0 Pro смогла расшифровать загадочные пометки в «Нюрнбергской хронике», которым более 500 лет. В модель залили сканы страниц и попросили не просто переписать текст, а объяснить, что означают заметки с учетом контекста.
Оказалось, что круговые таблицы на полях были попыткой примирить две конкурирующие библейские хронологии и вычислить год рождения Авраама.
Сложность состояла в том, что заметки смешивали латинские сокращения, римские цифры и обрывки надписей.
Gemini связала вычисления с системой датировки Anno Mundi (год от сотворения мира), привязала их к традициям Септуагинты и еврейской Библии, а затем перевела в «до н.э.», получив расхождение примерно в 100 лет.
siliconangle.com/2026/01/01/googles-gemini-3-0-pro-helps-solve-long-standing-mystery-nuremberg-chronicle/
@data_analysis_ml
Gemini 3.0 Pro смогла расшифровать загадочные пометки в «Нюрнбергской хронике», которым более 500 лет. В модель залили сканы страниц и попросили не просто переписать текст, а объяснить, что означают заметки с учетом контекста.
Оказалось, что круговые таблицы на полях были попыткой примирить две конкурирующие библейские хронологии и вычислить год рождения Авраама.
Сложность состояла в том, что заметки смешивали латинские сокращения, римские цифры и обрывки надписей.
Gemini связала вычисления с системой датировки Anno Mundi (год от сотворения мира), привязала их к традициям Септуагинты и еврейской Библии, а затем перевела в «до н.э.», получив расхождение примерно в 100 лет.
siliconangle.com/2026/01/01/googles-gemini-3-0-pro-helps-solve-long-standing-mystery-nuremberg-chronicle/
@data_analysis_ml
🔥4👍3❤1
Forwarded from Мой Компьютер
Малайзия, Франция и Индия пошли против ИИ-чат-бота Grok
ИИ разрабатываемый компанией Илона Маска, снова оказался в центре скандала. Grok был создан стартапом xAI и позже интегрирован в социальную сеть X. Пользователи платформы обнаружили, что при загрузке обычной фотографии и указании в запросе «удалить одежду», чат-бот генерировал реалистичное изображение с имитацией обнажённого тела. Такие материалы в ряде случаев даже становились публичными, попадая в ленту X.
Индия направила письмо компании X, предписав провести всестороннюю проверку чат-бота. Власти Малайзии уже расследуют изображения, после жалоб на неправомерное использование ИИ. Франция объявила контент незаконным.
Мой Компьютер
ИИ разрабатываемый компанией Илона Маска, снова оказался в центре скандала. Grok был создан стартапом xAI и позже интегрирован в социальную сеть X. Пользователи платформы обнаружили, что при загрузке обычной фотографии и указании в запросе «удалить одежду», чат-бот генерировал реалистичное изображение с имитацией обнажённого тела. Такие материалы в ряде случаев даже становились публичными, попадая в ленту X.
Индия направила письмо компании X, предписав провести всестороннюю проверку чат-бота. Власти Малайзии уже расследуют изображения, после жалоб на неправомерное использование ИИ. Франция объявила контент незаконным.
Мой Компьютер
Forwarded from Machinelearning
Когда говорят, что одна модель пишет код лучше другой, обычно имеется ввиду бенчмарк SWE-Bench. Модель получает реальный баг из настоящего проекта с Github, который она должна прочитать, найти ошибку и исправить её. Это частично повторяет ежедневную работу программиста.
Но у этого бенча, как и у любого другого, есть свои недостатки.
И вот здесь MiniMax-AI задалась вопросом: как создать по-настоящему универсального ИИ-программиста?
Ответ они нашли и реализовали его в своей свежайшей модели M2.1.
За этим расплывчатым термином кроется огромная система, которая оперирует популярными языками: JS, TS, Python, Java, Go, C++ и Rust.
Для этого с GitHub были собраны более 100 тыс. реальных задач с описанием проблемы, кодом и тестами. Это было непросто, так как сложные языки (Java или C++) требуют настройки и у каждого языка свои фреймворки и системы управления зависимостями.
Чтобы обучить модель на таком массиве данных, MiniMax построил инфраструктуру, способную запускать более 5 тыс. изолированных сред выполнения за максимально короткое время - 10 секунд.
MiniMax-M2.1 обучали и генерации тестов и в результате оказалось, что это критически важный навык.
Предыдущая версия, M1, писала слишком простые тесты и часто выбирала неверные решения. M2.1 в этом преуспела и сравнялась по результатам с мощным конкурентом Claude Sonnet 4.5.
Еще она научилась оптимизировать производительность кода — на SWE-Perf показала средний прирост эффективности в 3.1%.
И наконец, M2.1 научили делать Code Review, для чего создали внутренний бенчмарк SWE-Review.
Модель должна одинаково хорошо следовать длинным инструкциям и адаптироваться к разным способам управления контекстом диалога.
Команда провела тесты в mini-swe-agent, Droid и Claude Code и если посмотреть на цифры из их сравнительной таблицы, то можно увидель, что модель стала гораздо более гибкой и универсальной.
На том же SWE-Bench, при использовании Claude Code, MiniMax-M2.1 выбила 74 балла, что выше, чем у модели M2 с ее 69.2 баллами, и практически наравне с Claude Sonnet 4.5 и DeepSeek V3.2.
На другом тесте, OctoCodingBench, разрыв еще больше: 26.1 у новой модели против 13.3 у старой.
Во-первых, MiniMax планирует научить модель оценивать не только правильность кода, но и читаемость кода, качество комментариев, прозрачность процесса работы.
Во-вторых - повысить эффективность решения задач, чтобы модель не делала лишних шагов, например, не перечитывала один и тот же файл по несколько раз.
Но самое интересное — это их планы по RL Scaling, и создание так называемой Coding World Model.
Идея в том, чтобы построить модель-симулятор, которая сможет предсказывать результат выполнения кода, не запуская его в реальности.
Наконец, они планируют расширяться в узкоспециализированные области: разработка GPU Kernel, компиляторов и смарт-контрактов.
Похоже, концепция "ИИ-кодера" становится все более реальной. Успех MiniMax-M2.1 показал, что дело уже не в написании отдельных строк кода, а в комплексном понимании всего процесса разработки.
@ai_machinelearning_big_data
#AI #ML #LLM #MiniMaх
Please open Telegram to view this post
VIEW IN TELEGRAM
❤3👍3🔥1🤯1
Forwarded from Анализ данных (Data analysis)
🔥 Год ChatGPT Plus бесплатно: экономим 20 000 рублей
Нашли рабочую лазейку в правилах OpenAI.
Вы получаете полноценный аккаунт без лимитов и с доступом ко всем топовым моделям.
Инструкция (займет 2 минуты):
1️⃣ Переходим на сервис временной почты: https://em.bjedu.tech/en/
2️⃣ Важно: в списке доменов выбираем erzi me.
3️⃣ Регистрируем новый аккаунт ChatGPT на этот адрес.
4️⃣ Получаем код подтверждения в почту - готово!
⚡️ Проверили, пока еще работает
@data_analysis_ml
Нашли рабочую лазейку в правилах OpenAI.
Вы получаете полноценный аккаунт без лимитов и с доступом ко всем топовым моделям.
Инструкция (займет 2 минуты):
1️⃣ Переходим на сервис временной почты: https://em.bjedu.tech/en/
2️⃣ Важно: в списке доменов выбираем erzi me.
3️⃣ Регистрируем новый аккаунт ChatGPT на этот адрес.
4️⃣ Получаем код подтверждения в почту - готово!
⚡️ Проверили, пока еще работает
@data_analysis_ml
🔥14🥰4👍3🤬2🤔1😢1
Forwarded from Бэклогово
Искусственный интеллект в проектах — помощник, а не начальник🤖
ИИ всё чаще появляется в рабочих процессах — но польза начинается не там, где он «думает за людей», а там, где снимает рутину.
Что уже можно автоматизировать без боли:
🟣 создавать задачи из писем и встреч;
🟣 следить за статусами и дедлайнами;
🟣 собирать отчёты и сводки;
🟣 подсвечивать перегруз и зависшие задачи.
Что ИИ делать не должен — принимать решения и брать ответственность. И именно с таким подходом он работает: человек решает, ИИ экономит время.
Почему управление проектами — идеальная среда для ИИ и как это уже реализовано внутри Kaiten — рассказываем в статье на Хабре: https://habr.com/ru/companies/kaiten/articles/974472/
ИИ всё чаще появляется в рабочих процессах — но польза начинается не там, где он «думает за людей», а там, где снимает рутину.
Что уже можно автоматизировать без боли:
Что ИИ делать не должен — принимать решения и брать ответственность. И именно с таким подходом он работает: человек решает, ИИ экономит время.
Почему управление проектами — идеальная среда для ИИ и как это уже реализовано внутри Kaiten — рассказываем в статье на Хабре: https://habr.com/ru/companies/kaiten/articles/974472/
Please open Telegram to view this post
VIEW IN TELEGRAM
Хабр
Делегировать рутину, а не ответственность: как ИИ-автоматизация проникает в управление проектами
Разберем, как ИИ работает в контексте управления процессами: от возможностей моделей до того, какие задачи реально автоматизировать и где ИИ может дать ощутимый эффект эффект. А на примере управления...
👍5❤2😢1
Forwarded from Код Дурова
Dell открыто признала, что потребители не заинтересованы в покупке ПК с искусственным интеллектом.
В рекламе новой линейки устройств от Dell упоминания ИИ сведены к нулю, хотя устройства способны работать с нейросетями.
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥12👍4🤔2