Data Secrets
77.4K subscribers
6.04K photos
593 videos
20 files
2.43K links
Главный по машинному обучению

Сотрудничество: @veron_28

РКН: clck.ru/3FY3GN
Download Telegram
Проклятье размерности – кто наслал и что делать

Отводим порчу вместе с нашими редакторами.

😻 #train
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍32🔥73
Как сделать линейную регрессию устойчивой к выбросам

Всем (ну почти) хороша линейная регрессия, вот только к выбросам неустойчива. Хотя и это можно исправить: краткий гайд – в карточках.

😻 #train
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍72🔥218
Когда размер (усреднения) имеет значение

Все мы знаем классические метрики классификации вроде recall и f1. Но, если вы зайдете в sklearn, то увидите какие-то странные их вариации: f1-macro, f1-micro, f1-weighted… Знаете ли вы, чем они отличаются? Сейчас разберемся.

😻 #train
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍40🔥94
А мы написали нашу первую статью на Хабр!

Посвятили ее крутой библиотеке RecTools от коллег из МТС. Внутри:

▶️за что мы так любим эту библиотеку;
▶️ликбез по основным рексис-моделям (ItemKNN, ALS, SVD, Lightfm, DSSM);
▶️как готовить данные и запускать модели в библиотеке;
▶️как рассчитывать метрики;
▶️оставили много полезных дополнительных материалов.

Очень старались, так что ждем ваших реакций!

😻 #NN #train
Please open Telegram to view this post
VIEW IN TELEGRAM
👍55🔥20👏4🌚3
Как менять код на Python после запуска

Представьте: поставили вы обучаться модельку, радуетесь, но внезапно после первой эпохи осознаете, что забыли запринтить лос… И перезапускать не хочется (время же!), и без логирования как-то грустно живется.

Оказывается, есть волшебная таблетка – утилита reloading. Она перезагружает тело цикла после каждой итерации без потери прогресса. То есть вы добавляете что-то в цикл, и на следующей итерации код работает уже по-другому.

Установить чудо можно через pip.

😻 #train #python
Please open Telegram to view this post
VIEW IN TELEGRAM
👍9812🫡7🔥5😁41
Продолжаем исследовать линейную регрессию

Да-да, этот алгоритм не так прост, как кажется. Попробуем найти в нем еще некоторые загвоздки и понять, как их исправить.

😻 #train
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
54👍17🔥11🤯2
Проблемы рекомендательных систем

Когда бизнес внедряет рекомендательную систему, мы ожидаем, что дела пойдут в гору. На самом деле даже с идеальным алгоритмом может приключиться беда, и притом не одна.

В общем, смотрите карточки. Мемы в комплекте – все как вы любите.

😻 #train #memes
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍8286
Разбираемся с файнтюингом, многозадачностью и вот этим всем

Последнее время на собеседованиях набирает популярность вопрос: объясните, чем отличаются Transfer learning, Fine-tuning, Multi-task learning и Federated learning? А что у них общего? Давайте ответим вместе.

😻 #train #NN
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
35👍13🔥12❤‍🔥5
Как понять бустинг за 30 секунд

Шаг 1. Посмотреть на картинку сверху, на которой просто и изящно показано, что:
– бустинг - итеративный процесс
– каждый следующий эстиматор уделяет большее внимание неправильно классифицированным образцам из предыдущего дерева
– окончательный прогноз представляет собой взвешенную комбинацию всех прогнозов

Шаг 2. Поздравляем! Вы великолепны.

Шаг 2'. Но если все-таки хотите подробнее – читайте этот пост.

😻 #train
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥25👍136
Знали ли вы, что случайные деревья можно тестить на трейне?

Такой метод называется out-of-bag validation (в комментах даем приз за самый смешной перевод названия на русский). Давайте разбираться, почему это работает.

😻 #train
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥456👍43😁3🕊2