Самый полный репозиторий библиотек Python для Data Science разработчика

Если ты занимаешься Data Science, то знаешь, как важно иметь под рукой нужные инструменты для эффективной работы. Мы тут как раз нашли заметку, в которой перечислены все самые полезные и эффективные библиотеки и модули Python для разных задач. Есть разделы "Очистка и обработка", "Рекомендательные системы", "Временные ряды", "NLP", "Визуализация". Все со ссылками на документацию.

😻 #advice #python

Что такое torch.device()

Часто в коде для обучения нейросетей на торче можно встретить конструкцию, которая использует внутри себя метод device():

device = torch.device('cuda' if torch.cuda.is_available() else 'cpu')

Это очень важная штука. При помощи нее мы определяем, где должны храниться тензоры. Тут мы как бы сообщаем, что хотим пользоваться GPU-ускорением, когда оно доступно, но при его отсутствии откатываться обратно к вычислениям на CPU.

Дальше остается только в нужных местах приписывать .to(device). Это удобный способ отправлять параметры устройства на GPU, если в качестве device задан GPU, так как иначе (если device == CPU) ничего делаться не будет.

P.S. Важно перенести параметры устройства на соответствующее устройство прежде, чем передавать их оптимизатору; иначе оптимизатор не сможет правильно отслеживать параметры!

😻 #python #NN

Как "делиться" переменными между jupyter ноутбуками?

При работе с несколькими ноутбуками иногда может понадобиться зашерить некоторые переменные из одного из них в другой. Например, в одном ноутбуке у вас считается какая-нибудь аналитика, которую вы хотите использовать для датавиза в другом месте.

На помощь приходит волшебная команда store, которая может перенести переменные из одного ноута в другой, не сохраняя их на диске. Работает так:

note1:
value = 10
%store value

note2:
%store -r value
print(value)
#10

😻 #python

Как менять код на Python после запуска

Представьте: поставили вы обучаться модельку, радуетесь, но внезапно после первой эпохи осознаете, что забыли запринтить лос… И перезапускать не хочется (время же!), и без логирования как-то грустно живется.

Оказывается, есть волшебная таблетка – утилита reloading. Она перезагружает тело цикла после каждой итерации без потери прогресса. То есть вы добавляете что-то в цикл, и на следующей итерации код работает уже по-другому.

Установить чудо можно через pip.

😻 #train #python

Уведомления о выполнении ячейки

Вот бы Jupyter умел отправлять уведомления после того, как какая-нибудь ячейка выполнится... Кто-то только мечтает, а мы уже нашли для вас решение. Смотрите:

1) Зпускаете в начале ноута команду %load_ext jupyternotify
2) В начале интересующей вас ячейки прописываете %%notify
3) Вы великолепны и теперь получите пуш после того, как ячейка выполнится

Подробнее тут.

😻 #python

Случалось ли вам искать кусок кода в миллионе своих Jupyter-ноутбуков?

Нам вот случалось. Эксперно заявляем – не самое приятное занятие. Вот бы кто-нибудь несколько лет назад показал нам nbcommands... Там как раз есть инструмент, чтобы искать код в ноутах прямо из терминала. Просто вводим:

nbgrep 'import numpy as pandas' ./

В ответ прилетает список названий ноутбуков, номера ячеек и строки, где этот код использовался.

😻 #python