Зачем нам энтропия и как считать information gain

Сегодня речь пойдет о деревьях решений. Этот алгоритм строится на базе двух понятий – энтропии и прироста информации. Разберемся, что это такое, и на примере рассмотрим, как благодаря этим сущностям из данных строятся деревья решений.

😻 #train

В каком порядке записываются и выполняются операторы в СУБД?

Так звучит один из самых популярных вопросов по SQL с собеседований на любую должность, хоть как-то связанную с обработкой данных. И это не просто способ закопать кандидата: ваш ответ покажет, насколько хорошо вы понимаете SQL и принципы его работы.

Итак, в карточках – все что нужно знать, чтобы ответить грамотно, и некоторые полезные детали.

😻 #SQL

9 примеров самых безумных корреляций

На связи теории заговора или почему не всегда стоит доверять корреляциям. В наборе, например:

– Затраты США на науку, космос и технологии / Суициды путём повешения и удушения. Корреляция 99,79%.

– Потребление сыра / Число до смерти запутавшихся в простынях. Корреляция 94,71%

– Общая выручка аркадных игр / Докторские степени по компьютерным наукам в США. Корреляция 98,51%

– Число людей, утонувших в бассейне / Количество фильмов с Николасом Кейджем. Корреляция 95,24%

– И еще пять подобных примеров

😻 #forfun

Partial Dependence Plots для интерпретации моделей

Чем больше машинного обучения в нашей жизни, тем острее встает вопрос повышения интерпретируемости моделей. В классическом примере с кредитом в случае отказа клиент всегда хочет знать, по какой именно причине ему не дали займ.

Поэтому появляется все больше и больше инструментов, которые приокрывают нам "черный ящик": feature importance, SHAP-значения или графики частичной зависимости. Вот о таких графиках сегодня и поговорим.

P.S. Мы вдохновились этим материалом с Kaggle, и здесь же у ребят есть ноутбук с отличными практическими упражнениями – можно перейти и проверить свои знания

😻 #train #analytics