Data Secrets
77.4K subscribers
6.04K photos
592 videos
20 files
2.42K links
Главный по машинному обучению

Сотрудничество: @veron_28

РКН: clck.ru/3FY3GN
Download Telegram
Чем толще хвост, тем больше он виляет собакой

Это мы сейчас про распределение Коши и другие распределения с толстыми хвостами. Поговорим немного про математику, экономику и даже геополитику.

😻 #math
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍14
Про матрицу ошибок

😻 #math #train
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍20❤‍🔥3
Гипотеза лотерейного билета

Выдающиеся способности современных нейронок обычно сопровождаются существенными вычислительными затратами, поэтому огромное количества труда и усилий было потрачено на разработку разнообразных методов по сжатию сетей без значительной просадки в качестве - прунинга, квантизации, матричных и тензорных разложений, knowledge distillation и многих других. Рассказываем про это подробнее и объясняем, при чем тут лотереи.

😻 #NN #math
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍212
Начинаем погружаться в Марковские цепи

Это такая математическая модель, которая с успехом применяется в разных областях, таких как машинное обучение, генерация текстов или музыки, криптография и многих других. Ей много лет: она была разработана Андреем Марковым в начале 20 века.

😻 #math
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍22👏3
Адаптивный подбор размера шага в градиентном спуске

Мы с вами уже раскладывали по полочкам базовый градиентный спуск. И конечно, исследователи нашли тысячу и один способ улучшить этот алгоритм. Например, многие сразу задались вопросом: как подбирать размер шага (learning rate)? Он максимально остро встаёт в случае SGD: ведь посчитать значение функции потерь в точке очень дорого, так что методы в духе наискорейшего спуска нам не помогут. Решили действовать хитрее.

😻 #train #math
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍27🗿5
Препарируем нормальное распределение

А вы когда-нибудь задумывались, как на свет появилось нормальное распределение и почему его формула выглядит именно так? Почему там экспонента? Почему минус? Зачем делить на 2 сигма-квадрат? Откуда взялось число Пи? Рассказываем.

😻 #math
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
61👍30🔥11🏆4
(НЕ) парадокс Дней Рождения

Факт: если дана группа из 23 или более человек, то вероятность того, что хотя бы у двух из них дни рождения совпадут, превышает 50%. Доказываем вместе.

😻 #math
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍29🔥8👏2😁1
Data Secrets
Адаптивный подбор размера шага в градиентном спуске Мы с вами уже раскладывали по полочкам базовый градиентный спуск. И конечно, исследователи нашли тысячу и один способ улучшить этот алгоритм. Например, многие сразу задались вопросом: как подбирать размер…
Метод моментов и ADAM

В прошлый раз мы говорили о том, как решить проблему динамического подбора шага в градиентном спуске. Следующая претензия к этому алгоритму: мы не учитываем то, что было на предыдущих шагах. А ведь там может храниться что-то полезное, правда? Для этого придумали метод инерции.

Ну а если объединить адаптивный подбор шага и метод инерции, то получится state of the art: ADAM.

😻 #train #math
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥158👍8❤‍🔥1
DBSCAN: интересный алгоритм кластеризации

DBSCAN (Density-based spatial clustering of applications with noise), как следует из названия, оперирует плотностью данных. На вход он просит матрицу близости и два параметра — радиус епсилон-окрестности и количество соседей. Так сразу и не поймёшь, что это за параметры и как из выбрать. И кроме того, причем тут плотность и когда вообще применять DBSCAN? Давайте разберёмся.

😻 #train #math
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
19👍7🆒3
Препарируем ROC-AUC

Многие любят использовать эту метрику для задач классификации, но знаете ли вы, как она работает? Что такое ROC-кривая? При чем тут площадь? Давайте разберемся.

P.S. При подготовке материала нашли такой интересный тест на знание ROC-AUC. Полезно для самопроверки.

P.S.№2. В комментариях оставим код для построения ROC-кривой в питоне

😻 #train #math
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥26👍94👏2🤔1
Как грызть гранит науки о данных?

С чего начать, как продолжить и что точно нельзя упустить? На связи редакция Data Secrets, и сейчас мы всё-всё расскажем, а заодно проведем небольшую экскурсию по нашему журналу 🙂

Вообще, образование data специалиста стоит на двух китах: математика и программирование.

Математика, в свою очередь, стоит на трех черепахах: теория вероятностей и статистика, линейная алгебра, основы мат. анализа. Вся эта математика, кстати, далеко не так сложна как кажется. Проблема в том, что её плохо и скучно объясняют во многих вузах. А у нас вы можете найти интересные пояснения на эту тему по хэштэгу #math. Вот например, посты, где мы препарируем нормальное распределение, поясняем за градиенты и объясняем математику AB-теста. А вот наша подборка книг по математике – с ними точно не пропадете.

Программирование в дате – это в основном Python и SQL. Python является стандартом де-факто для нашей сферы: он простой и логичный. Помимо синтаксиса обязательно нужно знать несколько основных библиотек: pandas, numpy, sklearn и, если планируете заниматься нейросетями, то еще PyTorch и TensorFlow. Про это и еще много всего питоновского мы пишем по хэштегу #python. Вот наши любимые посты: Как пара строк кода может сократить использование памяти в два раза, Запускаем графовую нейросеть за 5 минут, Деплоим модель с помощью FastAPI. Про SQL тоже пишем (#SQL), куда же без него: Советы по написанию запросов, Вообще все про NULL, Соединяем питон с SQL и многое другое.

После изучения этой базы начинается все самое интересное:

– Классические алгоритмы машинного обучения (у нас по хэштегу #train). Вот несколько основных: Линейная регрессия, Стекинг, Бустинг, Обучение с подкреплением. А еще мы рассказываем про всякие хитрости и нюансы, например, что делать со статичными фичами и какие бывают необчные функции потерь.

– Конечно же, нейросети (#NN). Они бывают разные: сверточные, рекуррентные (а еще LSTM), графовые, диффузионные, трансформеры, GANы. Конечно, обучать их нелегко, но мы освещаем тонкости: например, пост про эмбеддинги, про DropOut или про всякие фишки CNN.

– Ну и аналитика с визуализацией. Умение проанализировать данные, обработать и представить их в виде хорошо читаемых схем – важный скилл (важнее, чем уметь обучать нейросети). Мы делимся инсайтами по хэштегу #analytics: например, рассказываем про бандитсткую альтернативу AB-тестам, учим правильно рисовать графики и делимся надежным роадмэпом для анализа данных.

Вот как-то так. Мы также рекомендуем много хорошей литературы, бесплатных курсов и источников по хэштегу #advice. А еще постим новости (#news) и самые лучшие мемы (#memes). Желаем удачи!

😻 Ваша команда Data Secrets
Please open Telegram to view this post
VIEW IN TELEGRAM
145👍50🔥163🤯21👌1🍌1🤨1🤓1