Центральная идея обучения с подкреплением: гипотеза вознаграждения

А еще мышки, кошки, сыр и дисконтирование.

😻 #train #NN

Большой гайд по optuna

Optuna — это фреймворк для для автоматизированного поиска оптимальных гиперпараметров. Знакомимся с ней ближе.

😻 #train #python

Метод моментов и ADAM

В прошлый раз мы говорили о том, как решить проблему динамического подбора шага в градиентном спуске. Следующая претензия к этому алгоритму: мы не учитываем то, что было на предыдущих шагах. А ведь там может храниться что-то полезное, правда? Для этого придумали метод инерции.

Ну а если объединить адаптивный подбор шага и метод инерции, то получится state of the art: ADAM.

😻 #train #math

В дополнение к сегодняшнему посту про ADAM: как раз недавно появился новый оптимизатор Sophia. Авторы утверждают, что он в 2x быстрее, чем Adam для тренировки LLM

Sophia использует быструю оценку матрицы вторых производных – Гессиана (см псевдокод в картинке), для того чтобы быстрее двигаться в плоских областях ландшафта функции потерь. Именно в таких местах Адам тормозит, а вторые производные как раз помогают более точно понять, в каком направлении нужно оптимизировать параметры.

На вторых производных уже были основаны многие алгоритмы – методы второго порядка, но вычислять Гессиан в общем случае довольно сложно(и медленно), поэтому они так и не получили распространения для обучения нейросеток. Но Sophia показывает, что оценить диагональные элементы Гессиана можно довольно быстро. Кстати, памяти расходуется тоже меньше: Sophia не хранит моменты второго порядка.

Статья
Код

😻 #news #train

t-тест

1) Объясняем что это
2) Разбираем общую идею
3) Показываем пример

😻 #analytics