👑 Вчера была выпущена еще одна интересная китайская опенсорс модель ризонинга.
Kimi представила Kimi k1.5 - мультимодальную модель, использующую обучение с подкреплением с длинной и короткой цепочкой размышления (CoT).
- Контекст 128 тыс. токенов
- Согласно их опубликованному отчету, они достигли производительности SOTA в таких тестах, как AIME (77,5), MATH-500 (96,2) и LiveCodeBench (47,3).
→ Производительность Long-CoT соответствует o1 в нескольких тестах: Math Vista, Codeforces и т.д)
- Модель превосходит GPT-4o и Claude Sonnet 3.5 на AIME
⚡️ Технический отчет: https://github.com/MoonshotAI/Kimi-k1.5
#llm #reasoning #ml #Kimi #preview
Kimi представила Kimi k1.5 - мультимодальную модель, использующую обучение с подкреплением с длинной и короткой цепочкой размышления (CoT).
- Контекст 128 тыс. токенов
- Согласно их опубликованному отчету, они достигли производительности SOTA в таких тестах, как AIME (77,5), MATH-500 (96,2) и LiveCodeBench (47,3).
→ Производительность Long-CoT соответствует o1 в нескольких тестах: Math Vista, Codeforces и т.д)
- Модель превосходит GPT-4o и Claude Sonnet 3.5 на AIME
⚡️ Технический отчет: https://github.com/MoonshotAI/Kimi-k1.5
#llm #reasoning #ml #Kimi #preview
🔥46👍21❤9⚡2🤔1😐1💘1
Размер — 1 триллион параметров, при этом:
- 65.8% на SWE-bench Verified, против 50.2% у Claude Sonnet 4 и 40.8% у GPT-4.1
- Лучшие результаты среди открытых моделей по кодингу, математике и агентным задачам
- Архитектура MoE на базе DeepSeek V3, 1 трлн параметров, 32B активны.
Также доступна через API:
- $0.15 за миллион входных токенов (при попадании в кэш)
- $0.60 за миллион входных токенов (если кэш не сработал)
- $2.50 за миллион выходных токенов
Почти в 5 раз дешевле, чем Claude 4 Sonnet и Gemini 2.5 Pro!
@ai_machinelearning_big_data
#kimi #china #llm #ml #ai
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍141❤48🔥29🥰8🤣8👏3🤔3❤🔥1
This media is not supported in your browser
VIEW IN TELEGRAM
Что он может:
✨ Генерирует сайты, дашборды приложения и презентации
✨ Работает с файлами, браузером и терминалом
✨ Большой встроенный набор инструментов
K2 получил полезный агентский функционал.
@ai_machinelearning_big_data
#AI #Agents #Kimi #K2 #OKComputer
Please open Telegram to view this post
VIEW IN TELEGRAM
❤81👍27🔥17👏3
🧨 Kimi представили новую модель - Kimi-Linear-48B-A3B-Base
Команда Moonshot показала KDA - механизм, который соединяет идеи Gated DeltaNet и MLA-компрессии в одну архитектуру. Звучит сложно, но суть очень практичная: модель получает долгую память без раздувания контекста и лишних вычислений.
- KDA (Kimi Delta Attention: основной быстрый attention, улучшает эффективность и reasoning
= MLA (Multi-Head Linear Attention) - помогает точности и стабильности. Модель не пересчитывает всё внимание каждый токен, а фокусируется на изменениях, что снижает затраты.
Соотношение слоёв: ~3 части KDA : 1 часть ML.
Модель в основном работает на «дельта-внимании» (KDA), а MLA помогает сохранять качество:
- модель сама выбирает, что забывать, а что держать
- это даетустойчивость при большом контексте выше
- меньше распада длинных зависимостей
Kimi-Linear хороша тем, что даёт почти уровень больших LLM на длинных контекстах, но при этом заметно экономит память и работает быстрее за счёт линейной архитектуры.
Что улучшили:
- требует до 75% меньше памяти на KV-кэш
- до 6.3× быстрее декодирование на длинных контекстах
Как устроена:
- гибридный подход: Kimi Delta Attention + MLA
- модель хорошо оптимизирована под длиннный контекст и высокую пропускную способность
По бенчмаркам модель обгоняет и MLA, и GDN-H, включая задачи с длинным контекстом. В задачах на рассуждения и длинную RL-генерацию Kimi-Linear показывает заметно лучшие результаты, чем MLA.
Архитектура модели пример того, как линейные attention-архитектуры выходят на уровень, где они конкурируют с классическими решениями не только по скорости, но и по качеству.
🟠 Github: github.com/MoonshotAI/Kimi-Linear
🟠 Hf: https://huggingface.co/moonshotai/Kimi-Linear-48B-A3B-Instruct
@ai_machinelearning_big_data
#Kimi #llm
Команда Moonshot показала KDA - механизм, который соединяет идеи Gated DeltaNet и MLA-компрессии в одну архитектуру. Звучит сложно, но суть очень практичная: модель получает долгую память без раздувания контекста и лишних вычислений.
- KDA (Kimi Delta Attention: основной быстрый attention, улучшает эффективность и reasoning
= MLA (Multi-Head Linear Attention) - помогает точности и стабильности. Модель не пересчитывает всё внимание каждый токен, а фокусируется на изменениях, что снижает затраты.
Соотношение слоёв: ~3 части KDA : 1 часть ML.
Модель в основном работает на «дельта-внимании» (KDA), а MLA помогает сохранять качество:
- модель сама выбирает, что забывать, а что держать
- это даетустойчивость при большом контексте выше
- меньше распада длинных зависимостей
Kimi-Linear хороша тем, что даёт почти уровень больших LLM на длинных контекстах, но при этом заметно экономит память и работает быстрее за счёт линейной архитектуры.
Что улучшили:
- требует до 75% меньше памяти на KV-кэш
- до 6.3× быстрее декодирование на длинных контекстах
Как устроена:
- гибридный подход: Kimi Delta Attention + MLA
- модель хорошо оптимизирована под длиннный контекст и высокую пропускную способность
По бенчмаркам модель обгоняет и MLA, и GDN-H, включая задачи с длинным контекстом. В задачах на рассуждения и длинную RL-генерацию Kimi-Linear показывает заметно лучшие результаты, чем MLA.
Архитектура модели пример того, как линейные attention-архитектуры выходят на уровень, где они конкурируют с классическими решениями не только по скорости, но и по качеству.
@ai_machinelearning_big_data
#Kimi #llm
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍67🔥20❤15👏6🥰1
В блоге о запуске новой модели Kimi есть история, от которой немного отвисает челюсть.
Моделька сама, без человека, поставила себе на мак Qwen3.5-0.8B и решила, что дефолтный инференс её не устраивает. Дальше она села писать свой, причём не на привычном питоне или C++, а на Zig.
В итоге скорость генерации выросла примерно с 15 до 193 токенов в секунду. То есть больше чем в десять раз.
И это оказалось на 20 процентов быстрее, чем LM Studio, которой пользуются тысячи людей именно для локального запуска моделей.
Больше 4000 вызовов инструментов, 12 часов непрерывной работы и 14 итераций, пока всё не сошлось.
Метрики K2.6 выглядят пртилично: SOTA среди опенсорса на HLE с тулзами, сильные результаты на SWE-Bench Pro, BrowseComp и математических бенчах с питоном.
Но запоминается больше всего этот эпизод с Zig. Потому что одно дело проходить тесты, и совсем другое- взять незнакомый язык и переписать на нём чужой рантайм так, чтобы он обогнал популярный продукт.
🔗 API: https://platform.moonshot.ai
🔗 Tech blog: https://kimi.com/blog/kimi-k2-6
🔗 Weights & code: https://huggingface.co/moonshotai/Kimi-K2.6
@ai_machinelearning_big_data
#KIMI
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
2🔥216🤔40❤28👏22😁14👍13🎉10❤🔥2🗿2🥱1
This media is not supported in your browser
VIEW IN TELEGRAM
На GTC 2026 выступил Ян Чжилинь, 34-летний основатель и CEO Moonshot AI, компании, стоящей за моделями Kimi.
Его путь начинался в Университете Цинхуа. Затем Ян получил PhD в Carnegie Mellon, стажировался в Google Brain и Meta AI, работал с Куоком Ле и Джейсоном Уэстоном. Его исследования пересекались с работами Йошуа Бенжио и Яна Лекуна.
Широкую известность ему принесли Transformer-XL и XLNet.
Обе работы пытались решить одну из ключевых проблем языковых моделей: потерю информации из далёкого контекста.
Статью про XLNet впоследствии процитировали более 10 000 раз.
После учёбы Ян мог продолжить карьеру в американском Big Tech, но вернулся в Китай. Он участвовал в развитии крупных китайских ИИ-проектов, основал Recurrent AI, а в 2023 году запустил Moonshot AI в Пекине.
Исследования длинного контекста стали основой продуктов компании:
- Kimi K2 получила MoE-архитектуру на 1 трлн параметров
- Kimi K3 добавила нативное зрение, контекст на 1 млн токенов и 16 активных экспертов
- компания сделала ставку на программирование, агентов и работу с большими объёмами информации
Moonshot AI привлекла инвестиции Alibaba, Tencent и других крупных компаний. За несколько лет стартап превратился в одного из заметных участников китайской гонки frontier-моделей.
Ян объяснял возвращение просто: он боялся всю жизнь сожалеть, если не попробует создать собственную компанию.
Опыт, полученный в глобальной исследовательской среде, может быстро превратиться в технологическое преимущество целой страны.
Его полное интервью можно посмотреть здесь: https://www.youtube.com/watch?v=CwePo4847ho
@ai_machinelearning_big_data
#Moonshot #kimi
Please open Telegram to view this post
VIEW IN TELEGRAM
❤145🔥98👍27👏17🏆6🤩5