5 способов векторизации текста

Машина не понимают человеческого языка. В конечном итоге они работают только с числами. Чтобы заставить машину понять речь, ее тоже надо перевести в набор чисел – векторы. Это называется векторизация или получение эмбеддингов. Способов провести векторизацию много. Сегодня обзорно рассказывает про некоторые опорные в порядке их появления в науке.

😻 #NN #train

Gradient Checkpointing: сокращение использования памяти при обучении нейросетей на 60%

Нейронные сети в основном используют память двумя способами:

• Сохранение весов модели.
• Вычисление и сохранения активаций всех слоев при прямом проходе + вычисление градиентов на каждом слое при обратном проходе

То есть чем больше сеть, тем сложнее впихнуть ее в память. Но есть способ это оптимизировать: Gradient Checkpointing (вот он в PyTorch). Рассказываем, что это такое.

😻 #NN

Про гроккинг

Знаете этот момент, когда долго пытаешься что-то понять, выполянешь действия под копирку, а потом до тебя кааак доходит. В моделях машинного обучения такое явление тоже есть. Называется гроккинг, и мы грокаем его в карточках.

Статьи:
– От OpenAI
– От MIT
– От Google

😻 #NN #train

Любая LSTM – это своего рода RNN. Но не любая RNN – LSTM ☝️

Так в чем же разница и чем LSTM лучше RNN (про эту архитектуру мы говорили тут)? Разбираемся и рассказываем, как работает LSTM.

😻 #NN

Лемматизация и стемминг текста

Обычно тексты содержат разные грамматические формы одного и того же слова (например, "ученый" и "ученым"), а также в документе могут встречаться однокоренные слова. Как объяснить машине, что это по сути одно и то же? Для этого нужно текст нормализовать, то есть привести все встречающиеся словоформы к одной, нормальной словарной форме. Самые простой варианты это сделать – использовать стемминг и лемматизацию.

😻 #NN #train

Вариации градиентного спуска

Градиентный спуск – это основа основ оптимизации в машинном обучении. Существует множество вариаций этого алгоритма. Три самые известные из них: стохастический спуск, batch спуск и mini-batch спуск. Сейчас расскажем, чем они отличаются и как работают.

😻 #train #NN