Тем временем МАИ совместно с VK Education запустили бесплатный онлайн-курс Введение в анализ данных.

Ведет курс Костя Измайлов: Chief Data Officer в Yandex и по совместительству Kaggle Master. Курс достаточно емкий и компактный, всего около 5 часов. Цена – 0 рублей. Темы курса классические, он подойдет для новичков или для тех, кто хочет освежить знания:

1. Python для анализа данных
2. Визуализация данных
3. Статистический анализ данных
4. Работа с базами данных

Все рабочие блокноты, кстати, доступны тут.

😻 #analytics #news #advice

Делаем тепловые карты круче и читабельнее

Тепловые карты часто значительно упрощают анализ данных, особенно когда нужно выявить связи между факторами. Тем не менее, они часто выглядит несимпатично и трудно читаются.

Но что, если кроме цветовой информации мы добавим размеры? Чем больше размер кружочка, тем выше абсолютное значение корреляции. На картинке можете заценить, как мгновенно заиграет и подсветит важную информацию ваш график. Вот, что нужно написать:

corr_mat = df.corr().stack().reset_index(name="correlation")

g = sns.relplot(data=corr_mat, x="level_0", y="level_1", hue="correlation", size="correlation")

Подробности можно посмотреть в документации.

😻 #analytics

Sankey Diagrams – недооцененный драгоценный камень визуализации

Очень многие виды данных могут быть проинтерпретированы, как потоки от точки A к точке Б: перевозки, трафик, финансовые потоки, воронки продаж, миграция и много чего другого. И если они похожи на потоки, то почему бы именно так их не изобразать?

Вот для этого и существует Диаграмма Санкея. Она наглядно иллюстрирует любые бизнес-процессы, движения потока. В питоне такое можно нарисовать с помощью специальной библиотеки:

from ipysankeywidget import SankeyWidget
SankeyWidget(links = df.to_dict())

На картинке можете посмотреть на результат. А вот здесь, например, Диаграмма Санкея используется для визуализации действий пользователей мобильного приложения – посмотрите, очень красочно.

😻 #analytics #python

Bump Charts

Когда мы хотим показать изменения сразу нескольких категорий данных с течением времени, то иногда пользуемся гистограммой. Но если речь идет о дискретном значении (например, рейтинг), то лучше использовать удобочитаемый элегантный Bumb Chart с симпатичными точечками, как на картинке.

Чтобы такой построить в питоне, нужно немного схитрить с subplots. Но не заморачивайтесь: мы уже написали для вас готовый код. Вот ссылка на Colab.

😻 #analytics

Ошибка 1-го и 2-го рода? А может лучше 7-го и 8-го?

А вы знали, что помимо известных всем ошибок первого и второго рода есть и другие виды статистических ошибок? Их достаточно много: целых 9. Вот они все, справа налево сверху вниз.

😻 #analytics

Как визуализировать дерево решений

Ну во-первых, это красиво. Во-вторых, самое прекрасное свойство деревьей решений – интерпретируемость, и визуализировать модель в этом случае очень полезно. Помимо того, что мы видим, как модель будет принимать решение, можно еще и оценить разделимость данных (например, посмотрев на индекс Джини и количество айтемов каждого класса в вершинах).

В комментариях написали готовый код для визуализации на примере Ирисов Фишера.

😻 #analytics #python #train