7 способов кодирования категориальных переменных, которые надо знать

Почти все реальные датасеты содержат категориальные фичи. Чтобы использовать их в моделях, нужно их закодировать. На карточке сверху изображены 7 способов это сделать:

1) One Hot Encoding – бинарное кодирования с добавлением новых столбцов.

2) Если убрать одну колонку из OHE, то мы избавимся от мультиколлинеарности и получим dummy encoding.

3) Если строчку со всеми нулями из пункта выше заменить на строку с -1, то получим effect encoding.

4) Или же можно просто присвоить каждому значению категории номер, и это будет label encoding.

5) Если данные как-то ранжированы по-порядку, то можно использовать ordinal encoding.

6) Count encoding – кодируем каждое значение частотой/абсолютами его встречаемости.

7) А если немного оптимизировать One Hot Encoding, то получим Binary Encoding. Например, если у нас 4 категории, то мы можем закодировать их всевозможными сочетаниями из двух битов (0 или 1).

😻 #train

Ученые из Meta создали новую нейросеть для распознавания научных документов

Называется она Nougat и помогает конвертировать PDF в документы LaTeX. Это позволяет сохранить семантику: математические формулы, символы в тексте и так далее.

В Nougat для анализа изображения страницы и генерации текста используется трансформеры. Моделька обучалась на более чем 8 миллионах научных статей, и уже признана SOTA.

Кажется, для нас открываются новые горизонты научных работ и их переиздания.

Статья
Проект
Демо

😻 #memes

Без лишних слов, просто посмотрите, на какой милый чит-лист по pandas мы наткнулись сегодня утром!

😻 #advice

Дайджест ML-соревнований , в которых можно поучаствовать прямо сейчас

6️⃣Yachay-AI Confident Predictions Selection. Требуется придумать модель, которая решала бы задачу ранжирования геотэггита. Есть бэйзлайн.

2️⃣ YandexCUP – задачи пока не раскрывают, но обещают сложно и интересно (скорее всего, рексисы).

3️⃣ Child Mind Institute - detect sleep states – кэггловский конкурс, треубется по данным акселерометра научиться определять момент начала и конца сна.

4️⃣ Trading at the close – снова kaggle с задачей предсказания цены закрытия акций. Для тех, кто любит финансы и временные ряды.

5️⃣ Predict AI Model Runtime – пожалуй самая необычная задача (от Google, кстати) в списке. Нужно обучиться опознавать конфигурации компилятора, которые приведут к самой бодрой работе моделей AI.

😻 #advice

Никогда такого не было, и вот опять: воскресная задача

У некоторого производителя хлопьев в каждой коробке лежит один купон. Всего видов купонов n. Для получения приза нужно собрать все n разных купонов. Сколько в среднем потребуется коробок для составления полного набора?

Разбор завтра, а пока вы знаете что делать 👇

P.S. А вы знали, что первым известным «плохим» хакером стал американец Джон Дрейпер по прозвищу Cap’n Crunch, в честь кукурузных хлопьев?

😻 #задачи

Когда удаляешь из датасета примеры, на которых твоя модель ошибается

😻 #memes

Как визуализировать дерево решений

Ну во-первых, это красиво. Во-вторых, самое прекрасное свойство деревьей решений – интерпретируемость, и визуализировать модель в этом случае очень полезно. Помимо того, что мы видим, как модель будет принимать решение, можно еще и оценить разделимость данных (например, посмотрев на индекс Джини и количество айтемов каждого класса в вершинах).

В комментариях написали готовый код для визуализации на примере Ирисов Фишера.

😻 #analytics #python #train

Забавное исследование отзывов на рестораны и бары

Яндекс Исследования выкатили свежую статью «Как хвалят и ругают рестораны и бары». Они изучили огромный пул отзывов на общепит и выяснили, за что, как часто и даже какими словами люди выражают свое мнение. Интересная аналитика + симпатичная визуализация = рекомендуем.

Наверху одна картинка из исследования – самые частотные слова и словосочетания в отрицательных и положительных отзывах:

😻 #advice