🌟 Arcee-SuperNova-Medius: модель с 14 млрд. параметрами на архитектуре Qwen2.5.

Модель построена на архитектуре Qwen2.5-14B-Instruct и использует 14 млрд. параметров. В процессе создания использовалась дистилляция с перекрестной архитектурой, объединяющая знания моделей Qwen2.5-72B-Instruct и Llama-3.1-405B-Instruct.

Для этого применялась дистилляция логитов из Llama 3.1 405B с использованием автономного подхода, адаптация к перекрестной архитектуре с использованием mergekit-tokensurgeon для создания версии Qwen2.5-14B, использующей словарь Llama 3.1 405B, а также дистилляция в архитектуру Qwen с использованием сохраненных логитов 405B в качестве цели.

На заключительном этапе, словарь модели Qwen, дистиллированной из Llama, был возвращен к словарю Qwen, а затем был проведен заключительный этап слияния и тонкой настройки.

В процессе обучения использовался набор данных EvolKit.

Arcee-SuperNova-Medius обладает навыками для решения бизнес-задач: поддержка клиентов, техническая поддержка и генерация текстового контента.

Тестирование в показало, что SuperNova-Medius превосходит Qwen2.5-14B и SuperNova-Lite по показателям, связанным с выполнением инструкций (IFEval) и сложным рассуждением (BBH).

▶️ Официальные квантованные версии Arcee-SuperNova-Medius в формате GGUF в разрядностях от 2-bit (5 Gb) до 16-bit (29.5 Gb)


📌Лицензирование : Apache 2.0 License.


🟡Страница проекта
🟡Набор GGUF
🟡Модель


@ai_machinelearning_big_data

#AI #ML #LLM #ArceeAI #SuperNova

🌟 Trinity Nano и Trinity Mini: ответ американских разработчиков на китайское доминирование.

В последний год любой, кто следит за развитием моделей с открытыми весами знает - Китай недостижим.

Qwen и DeepSeek фактически задали стандарт того, как должна выглядеть современная архитектура MoE. В США же большинство компаний занимались лишь доработкой чужих чекпоинтов.

И вот, американская компания Arcee AI собралась Make America Great Again вернуть инициативу и создать семейство открытых моделей, обученных "от и до" в США, весами которых бизнес может владеть по-настоящему.

Компания столкнулась с тем, что корпоративным клиентам нужна "юрисдикционная безопасность" . Специалистов по комплаенсу уже не устраивает ответ "мы дообучили модель неизвестного происхождения". Им нужен полный контроль над пайплайном данных.

Семейство моделей Arcee AI получило имя Trinity. Пока в превью-релиз вошли 2 конфигурации:

🟢Trinity Mini — это обычная ризонинг-модель на 26 млрд. общих и 3 млрд активных параметров, обученная с нуля.

🟢Trinity Nano Preview — это модель чата. Она создана, чтобы быть харизматичной и интересной в общении несмотря на свои скромные 6 млрд. общих и 1 млрд. активных параметров.

И пока мы тестируем Nano и Mini, Arcee AI тренирует флагмана Trinity Large.

Его релиз запланирован на январь 2026 года. Это будет модель на 420 млрд. параметров, из которых 13 млрд. будут активны.

Обе доступные модели, Trinity Nano и Trinity Mini выпущены под лицензией Apache 2.0. Они опубликованы на Hugging Face и поддерживаются llama.cpp, LM Studio и vLLM.

Mini также доступна через OpenRouter по очень привлекательной цене - около 4,5 центов за 1 млн. токенов.


📌Лицензирование: Apache 2.0 License.


🟡Статья
🟡Набор моделей
🟡Demo Trinity Mini


@ai_machinelearning_big_data

#AI #ML #MoE #Trinity #ArceeAi