Двойные графики иногда называют “вводящими в заблуждение”, потому что их шкалы можно так сжать и растянуть, что ряды станут похожими, хотя таковыми и не являются, или наоборот, их похожесть абсолютно нельзя будет определить по графику (см. гиф). Это приводит к ложным выводам.

Чтобы не обмануться, лучше всего дополнительно посчитать корреляцию. Она в любом случае не изменится (то есть как бы «учтет» манипуляции с осями), потому что нормализует каждый ряд по среднему и дисперсии. Например, как бы вы не растягивали тренды, если корреляции между метриками нет, она и не покажется.

😻 #analytics

Как грызть гранит науки о данных?

С чего начать, как продолжить и что точно нельзя упустить? На связи редакция Data Secrets, и сейчас мы всё-всё расскажем, а заодно проведем небольшую экскурсию по нашему журналу 🙂

Вообще, образование data специалиста стоит на двух китах: математика и программирование.

Математика, в свою очередь, стоит на трех черепахах: теория вероятностей и статистика, линейная алгебра, основы мат. анализа. Вся эта математика, кстати, далеко не так сложна как кажется. Проблема в том, что её плохо и скучно объясняют во многих вузах. А у нас вы можете найти интересные пояснения на эту тему по хэштэгу #math. Вот например, посты, где мы препарируем нормальное распределение, поясняем за градиенты и объясняем математику AB-теста. А вот наша подборка книг по математике – с ними точно не пропадете.

Программирование в дате – это в основном Python и SQL. Python является стандартом де-факто для нашей сферы: он простой и логичный. Помимо синтаксиса обязательно нужно знать несколько основных библиотек: pandas, numpy, sklearn и, если планируете заниматься нейросетями, то еще PyTorch и TensorFlow. Про это и еще много всего питоновского мы пишем по хэштегу #python. Вот наши любимые посты: Как пара строк кода может сократить использование памяти в два раза, Запускаем графовую нейросеть за 5 минут, Деплоим модель с помощью FastAPI. Про SQL тоже пишем (#SQL), куда же без него: Советы по написанию запросов, Вообще все про NULL, Соединяем питон с SQL и многое другое.

После изучения этой базы начинается все самое интересное:

– Классические алгоритмы машинного обучения (у нас по хэштегу #train). Вот несколько основных: Линейная регрессия, Стекинг, Бустинг, Обучение с подкреплением. А еще мы рассказываем про всякие хитрости и нюансы, например, что делать со статичными фичами и какие бывают необчные функции потерь.

– Конечно же, нейросети (#NN). Они бывают разные: сверточные, рекуррентные (а еще LSTM), графовые, диффузионные, трансформеры, GANы. Конечно, обучать их нелегко, но мы освещаем тонкости: например, пост про эмбеддинги, про DropOut или про всякие фишки CNN.

– Ну и аналитика с визуализацией. Умение проанализировать данные, обработать и представить их в виде хорошо читаемых схем – важный скилл (важнее, чем уметь обучать нейросети). Мы делимся инсайтами по хэштегу #analytics: например, рассказываем про бандитсткую альтернативу AB-тестам, учим правильно рисовать графики и делимся надежным роадмэпом для анализа данных.

Вот как-то так. Мы также рекомендуем много хорошей литературы, бесплатных курсов и источников по хэштегу #advice. А еще постим новости (#news) и самые лучшие мемы (#memes). Желаем удачи!

😻 Ваша команда Data Secrets

Зацените, как люди любят визуализацию: нашли в Твиттере аналитика Ewa Tuteja, которая сама связала датавиз и пометила пост прикольным тегом #DressYourHouseInData

😻 #analytics

Тем временем МАИ совместно с VK Education запустили бесплатный онлайн-курс Введение в анализ данных.

Ведет курс Костя Измайлов: Chief Data Officer в Yandex и по совместительству Kaggle Master. Курс достаточно емкий и компактный, всего около 5 часов. Цена – 0 рублей. Темы курса классические, он подойдет для новичков или для тех, кто хочет освежить знания:

1. Python для анализа данных
2. Визуализация данных
3. Статистический анализ данных
4. Работа с базами данных

Все рабочие блокноты, кстати, доступны тут.

😻 #analytics #news #advice