Как грызть гранит науки о данных?

С чего начать, как продолжить и что точно нельзя упустить? На связи редакция Data Secrets, и сейчас мы всё-всё расскажем, а заодно проведем небольшую экскурсию по нашему журналу 🙂

Вообще, образование data специалиста стоит на двух китах: математика и программирование.

Математика, в свою очередь, стоит на трех черепахах: теория вероятностей и статистика, линейная алгебра, основы мат. анализа. Вся эта математика, кстати, далеко не так сложна как кажется. Проблема в том, что её плохо и скучно объясняют во многих вузах. А у нас вы можете найти интересные пояснения на эту тему по хэштэгу #math. Вот например, посты, где мы препарируем нормальное распределение, поясняем за градиенты и объясняем математику AB-теста. А вот наша подборка книг по математике – с ними точно не пропадете.

Программирование в дате – это в основном Python и SQL. Python является стандартом де-факто для нашей сферы: он простой и логичный. Помимо синтаксиса обязательно нужно знать несколько основных библиотек: pandas, numpy, sklearn и, если планируете заниматься нейросетями, то еще PyTorch и TensorFlow. Про это и еще много всего питоновского мы пишем по хэштегу #python. Вот наши любимые посты: Как пара строк кода может сократить использование памяти в два раза, Запускаем графовую нейросеть за 5 минут, Деплоим модель с помощью FastAPI. Про SQL тоже пишем (#SQL), куда же без него: Советы по написанию запросов, Вообще все про NULL, Соединяем питон с SQL и многое другое.

После изучения этой базы начинается все самое интересное:

– Классические алгоритмы машинного обучения (у нас по хэштегу #train). Вот несколько основных: Линейная регрессия, Стекинг, Бустинг, Обучение с подкреплением. А еще мы рассказываем про всякие хитрости и нюансы, например, что делать со статичными фичами и какие бывают необчные функции потерь.

– Конечно же, нейросети (#NN). Они бывают разные: сверточные, рекуррентные (а еще LSTM), графовые, диффузионные, трансформеры, GANы. Конечно, обучать их нелегко, но мы освещаем тонкости: например, пост про эмбеддинги, про DropOut или про всякие фишки CNN.

– Ну и аналитика с визуализацией. Умение проанализировать данные, обработать и представить их в виде хорошо читаемых схем – важный скилл (важнее, чем уметь обучать нейросети). Мы делимся инсайтами по хэштегу #analytics: например, рассказываем про бандитсткую альтернативу AB-тестам, учим правильно рисовать графики и делимся надежным роадмэпом для анализа данных.

Вот как-то так. Мы также рекомендуем много хорошей литературы, бесплатных курсов и источников по хэштегу #advice. А еще постим новости (#news) и самые лучшие мемы (#memes). Желаем удачи!

😻 Ваша команда Data Secrets

10 вопросов, чтобы проверить ваше знание статистики

Пишите в комментариях, на сколько из 10 смогли ответить. Есть среди нас десятки?

😻 #math

#читалиТвиттер и нашли вот такую визуальную подсказку по самым важным распределениям в DS. Конечно, на первом месте у нас нормальное и Бернулли, но на практике также попадается и логнормальное, и гамма, и (особенно) экспоненциальное. Полезно помнить, как все они выглядят.

Если хотите больше почитать про распределения, то вот вам в дополнение еще полезный чит-лист. Тут описано каждое распределение, даны его характеристики, описательные статистики + примеры. Еще есть таблицы квантилей для тех, кто интересуется проверкой гипотез и оценками параметров.

😻 #advice #math

Админы сегодня весь день...

Читали документацию библиотеки manim🥵
Смотрели гайды 🤓
Тренировали скороговорки 🤪
Писали код 👽
Что-то редактировали 😓

И теперь выкатывают вам свое первое видео с разбором теоремы Байеса. Ну как, нам уже пора заводить канал на YouTube?

😻 #train #math

Почти бесполезно, но как же чертовки красиво!

P. S. Абсолютная погрешность составляет примерно 0,0004.

😻 #math

Почему мы решили возводить ошибки в квадрат?

Всем знакома квадратичная фукнция потерь MSE. Но кто и когда решил, что возводить ошибки в квадрат – хорошая идея? Устраиваем краткий ликбез.

Если хотите узнавать больше интересных фактов из мира DS в формате сторис – тыкайте сюда

😻 #math