Про регулярицацию и энтропию

Как регуляризовать нейронную сеть с помощью функции потерь? Отвечаем на этот вопрос и объясняем, почему добавлять в функции потерь энтропию – хорошая идея.

😻 #NN #math

Чем толще хвост, тем больше он виляет собакой

Это мы сейчас про распределение Коши и другие распределения с толстыми хвостами. Поговорим немного про математику, экономику и даже геополитику.

😻 #math

Про матрицу ошибок

😻 #math #train

Гипотеза лотерейного билета

Выдающиеся способности современных нейронок обычно сопровождаются существенными вычислительными затратами, поэтому огромное количества труда и усилий было потрачено на разработку разнообразных методов по сжатию сетей без значительной просадки в качестве - прунинга, квантизации, матричных и тензорных разложений, knowledge distillation и многих других. Рассказываем про это подробнее и объясняем, при чем тут лотереи.

😻 #NN #math

Начинаем погружаться в Марковские цепи

Это такая математическая модель, которая с успехом применяется в разных областях, таких как машинное обучение, генерация текстов или музыки, криптография и многих других. Ей много лет: она была разработана Андреем Марковым в начале 20 века.

😻 #math

Адаптивный подбор размера шага в градиентном спуске

Мы с вами уже раскладывали по полочкам базовый градиентный спуск. И конечно, исследователи нашли тысячу и один способ улучшить этот алгоритм. Например, многие сразу задались вопросом: как подбирать размер шага (learning rate)? Он максимально остро встаёт в случае SGD: ведь посчитать значение функции потерь в точке очень дорого, так что методы в духе наискорейшего спуска нам не помогут. Решили действовать хитрее.

😻 #train #math

Препарируем нормальное распределение

А вы когда-нибудь задумывались, как на свет появилось нормальное распределение и почему его формула выглядит именно так? Почему там экспонента? Почему минус? Зачем делить на 2 сигма-квадрат? Откуда взялось число Пи? Рассказываем.

😻 #math

(НЕ) парадокс Дней Рождения

Факт: если дана группа из 23 или более человек, то вероятность того, что хотя бы у двух из них дни рождения совпадут, превышает 50%. Доказываем вместе.

😻 #math

Метод моментов и ADAM

В прошлый раз мы говорили о том, как решить проблему динамического подбора шага в градиентном спуске. Следующая претензия к этому алгоритму: мы не учитываем то, что было на предыдущих шагах. А ведь там может храниться что-то полезное, правда? Для этого придумали метод инерции.

Ну а если объединить адаптивный подбор шага и метод инерции, то получится state of the art: ADAM.

😻 #train #math

DBSCAN: интересный алгоритм кластеризации

DBSCAN (Density-based spatial clustering of applications with noise), как следует из названия, оперирует плотностью данных. На вход он просит матрицу близости и два параметра — радиус епсилон-окрестности и количество соседей. Так сразу и не поймёшь, что это за параметры и как из выбрать. И кроме того, причем тут плотность и когда вообще применять DBSCAN? Давайте разберёмся.

😻 #train #math