Разрушаем мифы pandas: параметр inplace

Распространенное заблуждение: если менять датафрейм "на месте" (inplace = True), то код будет работать быстрее. Мы провели серию экспериментов и готовы разрушить этот миф. Результаты наверху. Выходит, что изменение на месте чаще всего работает медленнее. Но почему так?

Дело в том, что, вопреки расхожему мнению, большинство операций на месте НЕ предотвращают создание новой копии. Просто inplace возвращает копию по тому же адресу. Но помимо создания копии в этом случае Pandas выполняет некоторые дополнительные проверки, чтобы "убедиться", что DataFrame изменяется правильно. Иногда это может оказаться дорогостоящей операцией.

Вот и выходит: хотели ускорить код, а в итоге замедлили в 2 раза. Не рекомендуем.

😻 #python

В стране DS жили-были два зверя: панда и скуль. И говорили они на разных языках....

От этого временами страдали все мирные жители этого прекрасного государства. Но однажды доблестные редакторы из замка Data Secrets сделали словарь, в котором собрали и перевели все самое важное с одного языка на другой. После этого все жили долго и счастливо и ставили на этот пост лайки. Конец!

😻 #python #SQL

Numexpr: многопоточная альтернатива Numpy

NumPy, несомненно, бодр и оптимизирован. Тем не менее, он не поддерживает распараллеливание ни в каком виде. А это огромный простор для улучшений. Поэтому придумали Numexpr. По синтаксису он похож на своего старшего товарища, но предлагает две сильные дополнительные фичи:

– многопоточность
– сокращение выделения памяти на промежуточные результаты

На железе с большим количеством ядер и на больших массивах Numexpr может работать в 20 раз быстрее numpy.

👩‍💻 Документация

😻 #python

Как визуализировать дерево решений

Ну во-первых, это красиво. Во-вторых, самое прекрасное свойство деревьей решений – интерпретируемость, и визуализировать модель в этом случае очень полезно. Помимо того, что мы видим, как модель будет принимать решение, можно еще и оценить разделимость данных (например, посмотрев на индекс Джини и количество айтемов каждого класса в вершинах).

В комментариях написали готовый код для визуализации на примере Ирисов Фишера.

😻 #analytics #python #train

Делаем свой код на pandas лучше легким движением руки

Иногда, пользуясь pandas, можно случайно использовать неоптимизированные или устаревшие методы, не заметить нужной фукнции или упустить из виду какие-то особенности данных. Правда, полезно было бы получать подсказки об этом прямо во время кодинга?

Оказывается, для этого существует специальная библиотека Dovpanda, которая работает как дополнение к pandas и генерирует подсказки и советы прямо по ходу действия.

P.S. При установке часто возникает ошибка. Игнорируйте ее: все и так будет работать как надо.

😻 #python