Крутой инструмент для ускорения LLM

Это Medusa, и она упрощает и ускоряет большие языковые модели. Делает она это так: в процессе обучения к LLM добавляется несколько так называемых «heads», которые затем отдельно настраиваются в процессе обучения. В процессе генерации каждый из этих выходов выдает несколько вероятных слов для соответствующей позиции. Затем эти варианты комбинируются и обрабатываются с помощью механизма внимания, а наиболее правдоподобные из них отбираются для дальнейшего декодирования.

🖥 Github
🗂 Подробнее о том, как это работает

😻 #NN

Для тех, кто хотел разнообразить обучение

Представляем вашему вниманию: парень исполняет песенку про то, как обучить модельку в PyTorch. Весело, понятно, запоминается на ура.

😻 #forfun #NN

Как правильно поставить PyTorch, чтобы не взорвать компьютер

Как гласит древняя мудрость: "Главное испытание в жизни дсника – не математика и даже не программирование, а установка PyTorch". Поэтому вот вам простой пайплайн, как установить правильно и не сойти с ума:

0) Установите пакетный менеджер Anaconda.

1) Клонируйте нужный репозиторий:
git clone --recursive https://github.com/pytorch/pytorch
cd pytorch

2) Установите зависимости:
conda install cmake ninja
pip install -r requirements.txt

3) Теперь мы готовы с установке. Чтобы все прошло гладко, воспользуйтесь этим конструктором команд. Укажите свою ОС, Conda в качестве Package, язык и, если собираетесь кодить с CUDA, укажите версию, иначе оставьте опцию Default в последней строке. Запустите получившуюся команду, например:
conda install pytorch torchvision torchaudio cpuonly -c pytorch

4) Если вы решили работать с GPU, не забудьте скачать драйверы NVIDIA

4*) CUDA скачивать необязательно, так как conda внутри себя уже содержит все необходимое. Но если очень хочется, то сделать это можно тут

5) Вы великолепны и готовы к работе!

Надеемся, было полезно. Не забудьте сохранить!

😻 #advice #NN