🚀 Tencent открыла AngelSpec - end-to-end фреймворк для speculative decoding

AngelSpec покрывает весь цикл: обучение драфтеров, оптимизацию и развёртывание ускоренного инференса.

На модели Hy3-A21B архитектура DFly показала:

- ускорение генерации в 1,98–2,40 раза по сравнению с авторегрессионным декодированием;
- стабильный прирост при конкурентности от 4 до 64 запросов;
- пропускную способность на 10,5–11,8% выше, чем у DFlash.

Опубликованы код обучения, документация и готовые веса MTP/DFly-драфтеров для Hy3-A21B.

Репозиторий:
https://github.com/Tencent/AngelSpec

Статья:
https://arxiv.org/abs/2607.25852

Документация:
https://angelspec.readthedocs.io

Модели:
https://huggingface.co/collections/AngelSlim/angelspec
https://modelscope.cn/collections/AngelSlim/AngelSpec

#Hy3 #AngelSpec #OpenSource #LLM #Inference #SpeculativeDecoding