Что такое torch.device()

Часто в коде для обучения нейросетей на торче можно встретить конструкцию, которая использует внутри себя метод device():

device = torch.device('cuda' if torch.cuda.is_available() else 'cpu')

Это очень важная штука. При помощи нее мы определяем, где должны храниться тензоры. Тут мы как бы сообщаем, что хотим пользоваться GPU-ускорением, когда оно доступно, но при его отсутствии откатываться обратно к вычислениям на CPU.

Дальше остается только в нужных местах приписывать .to(device). Это удобный способ отправлять параметры устройства на GPU, если в качестве device задан GPU, так как иначе (если device == CPU) ничего делаться не будет.

P.S. Важно перенести параметры устройства на соответствующее устройство прежде, чем передавать их оптимизатору; иначе оптимизатор не сможет правильно отслеживать параметры!

😻 #python #NN

Как "делиться" переменными между jupyter ноутбуками?

При работе с несколькими ноутбуками иногда может понадобиться зашерить некоторые переменные из одного из них в другой. Например, в одном ноутбуке у вас считается какая-нибудь аналитика, которую вы хотите использовать для датавиза в другом месте.

На помощь приходит волшебная команда store, которая может перенести переменные из одного ноута в другой, не сохраняя их на диске. Работает так:

note1:
value = 10
%store value

note2:
%store -r value
print(value)
#10

😻 #python

Как менять код на Python после запуска

Представьте: поставили вы обучаться модельку, радуетесь, но внезапно после первой эпохи осознаете, что забыли запринтить лос… И перезапускать не хочется (время же!), и без логирования как-то грустно живется.

Оказывается, есть волшебная таблетка – утилита reloading. Она перезагружает тело цикла после каждой итерации без потери прогресса. То есть вы добавляете что-то в цикл, и на следующей итерации код работает уже по-другому.

Установить чудо можно через pip.

😻 #train #python

Уведомления о выполнении ячейки

Вот бы Jupyter умел отправлять уведомления после того, как какая-нибудь ячейка выполнится... Кто-то только мечтает, а мы уже нашли для вас решение. Смотрите:

1) Зпускаете в начале ноута команду %load_ext jupyternotify
2) В начале интересующей вас ячейки прописываете %%notify
3) Вы великолепны и теперь получите пуш после того, как ячейка выполнится

Подробнее тут.

😻 #python

Случалось ли вам искать кусок кода в миллионе своих Jupyter-ноутбуков?

Нам вот случалось. Эксперно заявляем – не самое приятное занятие. Вот бы кто-нибудь несколько лет назад показал нам nbcommands... Там как раз есть инструмент, чтобы искать код в ноутах прямо из терминала. Просто вводим:

nbgrep 'import numpy as pandas' ./

В ответ прилетает список названий ноутбуков, номера ячеек и строки, где этот код использовался.

😻 #python