Это 30B-модель с открытыми весами, заточенная под постоянную работу агентных систем прямо на локальном железе.
Что внутри:
- 30 млрд параметров;
- открытые веса уже доступны;
- лицензия Apache 2.0;
- модель рассчитана на локальный запуск;
- заявлена работа на системах с 24 ГБ VRAM;
- основной фокус - agent workflows и задачи, где модель должна работать постоянно, а не отвечать на отдельные запросы.
На agentic-бенчмарках она выглядит сильнее, чем можно ожидать от локальной 30B: MCP Atlas — 75,5, DeepSearch QA — 74,6, SWE-Bench
Отдельно готовится Muse Spark 1.2 - её веса обещают открыть позже.
https://huggingface.co/meta-models
#AI #LLM #OpenSource #AIAgents #LocalAI
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
❤9👍3🔥3
Forwarded from Python/ django
🔥 Kimi K3 на 2,78 ТРИЛЛИОНА параметров запустили на CPU с 8 ГБ RAM. Без GPU, BLAS и фреймворков
Проект
Фокус в MoE и стриминге весов. Из 896 экспертов на токен выбираются только 16, а остальные веса не обязаны постоянно лежать в оперативной памяти. Огромная часть модели читается прямо с диска, поверх этого работает LRU-кэш экспертов.
Цена такого трюка очевидна: скорость. При 8 ГБ RAM автор получил около 26,5 секунды на токен, при 64 ГБ уже 19,8 секунды, а на машине с 128+ ГБ, где нужные данные помещаются в память, около 5,6 секунды.
Получается любопытная смена ограничения: гигантскую MoE уже можно заставить работать без серверной фермы. Вопрос теперь скорее в том, сколько диска и времени на токен вы готовы отдать за такой inference.
#AI #Kimi #LLM #C #LocalAI
Проект
kimi-k3-in-c реализует inference Kimi K3 практически с нуля на portable C99. Чекпоинт модели занимает 1,56 ТБ, но пик RAM при запуске составил всего 8,24 ГБ.Фокус в MoE и стриминге весов. Из 896 экспертов на токен выбираются только 16, а остальные веса не обязаны постоянно лежать в оперативной памяти. Огромная часть модели читается прямо с диска, поверх этого работает LRU-кэш экспертов.
Цена такого трюка очевидна: скорость. При 8 ГБ RAM автор получил около 26,5 секунды на токен, при 64 ГБ уже 19,8 секунды, а на машине с 128+ ГБ, где нужные данные помещаются в память, около 5,6 секунды.
Получается любопытная смена ограничения: гигантскую MoE уже можно заставить работать без серверной фермы. Вопрос теперь скорее в том, сколько диска и времени на токен вы готовы отдать за такой inference.
github.com/FareedKhan-dev/kimi-k3-in-c#AI #Kimi #LLM #C #LocalAI
❤18🤣13👏11🥰2🤔2🤯2