Крутой инструмент для ускорения LLM

Это Medusa, и она упрощает и ускоряет большие языковые модели. Делает она это так: в процессе обучения к LLM добавляется несколько так называемых «heads», которые затем отдельно настраиваются в процессе обучения. В процессе генерации каждый из этих выходов выдает несколько вероятных слов для соответствующей позиции. Затем эти варианты комбинируются и обрабатываются с помощью механизма внимания, а наиболее правдоподобные из них отбираются для дальнейшего декодирования.

🖥 Github
🗂 Подробнее о том, как это работает

😻 #NN