5 способов векторизации текста

Машина не понимают человеческого языка. В конечном итоге они работают только с числами. Чтобы заставить машину понять речь, ее тоже надо перевести в набор чисел – векторы. Это называется векторизация или получение эмбеддингов. Способов провести векторизацию много. Сегодня обзорно рассказывает про некоторые опорные в порядке их появления в науке.

😻 #NN #train

Gradient Checkpointing: сокращение использования памяти при обучении нейросетей на 60%

Нейронные сети в основном используют память двумя способами:

• Сохранение весов модели.
• Вычисление и сохранения активаций всех слоев при прямом проходе + вычисление градиентов на каждом слое при обратном проходе

То есть чем больше сеть, тем сложнее впихнуть ее в память. Но есть способ это оптимизировать: Gradient Checkpointing (вот он в PyTorch). Рассказываем, что это такое.

😻 #NN