Крутой инструмент для ускорения LLM

Это Medusa, и она упрощает и ускоряет большие языковые модели. Делает она это так: в процессе обучения к LLM добавляется несколько так называемых «heads», которые затем отдельно настраиваются в процессе обучения. В процессе генерации каждый из этих выходов выдает несколько вероятных слов для соответствующей позиции. Затем эти варианты комбинируются и обрабатываются с помощью механизма внимания, а наиболее правдоподобные из них отбираются для дальнейшего декодирования.

🖥 Github
🗂 Подробнее о том, как это работает

😻 #NN

Для тех, кто хотел разнообразить обучение

Представляем вашему вниманию: парень исполняет песенку про то, как обучить модельку в PyTorch. Весело, понятно, запоминается на ура.

😻 #forfun #NN

Как правильно поставить PyTorch, чтобы не взорвать компьютер

Как гласит древняя мудрость: "Главное испытание в жизни дсника – не математика и даже не программирование, а установка PyTorch". Поэтому вот вам простой пайплайн, как установить правильно и не сойти с ума:

0) Установите пакетный менеджер Anaconda.

1) Клонируйте нужный репозиторий:
git clone --recursive https://github.com/pytorch/pytorch
cd pytorch

2) Установите зависимости:
conda install cmake ninja
pip install -r requirements.txt

3) Теперь мы готовы с установке. Чтобы все прошло гладко, воспользуйтесь этим конструктором команд. Укажите свою ОС, Conda в качестве Package, язык и, если собираетесь кодить с CUDA, укажите версию, иначе оставьте опцию Default в последней строке. Запустите получившуюся команду, например:
conda install pytorch torchvision torchaudio cpuonly -c pytorch

4) Если вы решили работать с GPU, не забудьте скачать драйверы NVIDIA

4*) CUDA скачивать необязательно, так как conda внутри себя уже содержит все необходимое. Но если очень хочется, то сделать это можно тут

5) Вы великолепны и готовы к работе!

Надеемся, было полезно. Не забудьте сохранить!

😻 #advice #NN

Что такое torch.device()

Часто в коде для обучения нейросетей на торче можно встретить конструкцию, которая использует внутри себя метод device():

device = torch.device('cuda' if torch.cuda.is_available() else 'cpu')

Это очень важная штука. При помощи нее мы определяем, где должны храниться тензоры. Тут мы как бы сообщаем, что хотим пользоваться GPU-ускорением, когда оно доступно, но при его отсутствии откатываться обратно к вычислениям на CPU.

Дальше остается только в нужных местах приписывать .to(device). Это удобный способ отправлять параметры устройства на GPU, если в качестве device задан GPU, так как иначе (если device == CPU) ничего делаться не будет.

P.S. Важно перенести параметры устройства на соответствующее устройство прежде, чем передавать их оптимизатору; иначе оптимизатор не сможет правильно отслеживать параметры!

😻 #python #NN

А мы написали нашу первую статью на Хабр!

Посвятили ее крутой библиотеке RecTools от коллег из МТС. Внутри:

▶️за что мы так любим эту библиотеку;
▶️ликбез по основным рексис-моделям (ItemKNN, ALS, SVD, Lightfm, DSSM);
▶️как готовить данные и запускать модели в библиотеке;
▶️как рассчитывать метрики;
▶️оставили много полезных дополнительных материалов.

Очень старались, так что ждем ваших реакций!

😻 #NN #train