🌟 Ripple-65B Preview: модель для агентного кодинга

Ricursive Intelligence выпустила в открытое превью модель агентного программирования на 65 млрд параметров, ориентированную на скорость ответов.

Компания основана Анной Голди и Азалией Мирхосейни, бывшими исследователи Google DeepMind, где они вели проект AlphaChip - системы, которая сама подбирала компоновку блоков на кристаллах Google TPU.

Ricursive Intelligence делает платформу для проектирования чипов, и Ripple-65B Preview - вариант той модели, что работает внутри этой платформы.

🟡 Архитектура

Внутри плотный трансформер без смеси экспертов, 80 слоёв при размерности 5120.

К этому добавлены избыточное число голов внимания, повышенная доля слоёв со скользящим окном, ограничение активаций в полносвязных блоках, gated attention и глобальный отказ от позиционного кодирования.

Предобучение прошло на 12 трлн токенов, контекст заявлен до 1 млн токенов.

В претрейне сильно подняли долю кода, данные для постобучения не покупали, их собрали своими конвейерами синтетики с фильтрацией по качеству и метриками покрытия.

В RL-фазе применили усечённую выборку по значимости, центрирование оценок и линейный штраф за длину.

Архитектуру подбирали лестницей от Olmo 3, отбрасывая варианты, которые не давали прироста уже на 4 млрд параметров.

Суммарно на этом масштабе вычислительная эффективность на коде выросла до 16 раз по перекрёстной энтропии на наборе dolma_stack.

🟡Тесты

На Terminal-Bench 2.1 модель выбила 80,5 против 80,1 у Reflection Beam на 501 млрд параметров, 76,4 у Muse Spark на 816 млрд и 63,8 у Inkling от Thinking Machines на 975 млрд.

На SWE-bench Pro v2.0 Hard - 79,1 против 76,5 у Reflection Beam, зато на SWE-bench Verified Ripple отстаёт - 76,5 против 81,6, а на GPQA Diamond 85,2 против 90,6.

Разработку компания оценила 32 млн долларов и называет это десятой частью того, во что обошлась прежняя лучшая модель с открытыми весами на агентном программировании.

В эту стоимость вошли подбор архитектуры, тесты, отладка, генерация синтетики, разработку рецепта посттрейна и сами финальные запуски обучения.

Модель подняли Together AI, GMI Cloud и Fireworks по стоимости в 20 центов за млн входных и 60 центов за млн выходных токенов.


📌Лицензирование: Apache 2.0


🟡Блогпост
🟡Веса


@ai_machinelearning_big_data

#AI #ML #LLM #RipplePreview #RicursiveIntelligence