Happy Halloween! Да-да, мы знаем твой самый страшный сон...

🎃 #memes

Сегодня Хэллоуин, а это значит, что самое время порассказывать друг другу страшилки 👻

Мы начнем: один резерчер обучал модель 100 часов, а потом у него закончилась память!!!

Продолжайте в коментах: а мы будем выбирать самые страшные истории 😻

Вышла новая версия знаменитого датасета RedPajama – теперь в 25 раз больше токенов

В первой версии модели токенов было 1.2 триллиона. А теперь их 30 триллионов! Также в набор добавлены аннотации текстов, так что их можно фильтровать под свои задачи. Ну и, конечно, датасет полностью открытый.

Получается, нас ждет новый прорыв в LLM?

😻 #news

Бесплатные курсы по нейронкам с Hugging Face

Для тех, кто грокает нейросети (особенно трансформеры), на платформе Hugging Face есть несколько классных бесплатных курсов.

Например, совсем недавно вышел курс по работе с аудио (задачи распознавания, генерации, классификации).

Кроме того, есть курс по диффузионным нейросеткам и курс по NLP. А самое интересное – это их Deep RL Course. Советуем!

😻 #advice

Термин AI стал словом года по версии британского словаря Collins

‘AI’ – термин, описывающий моделирование функций человека с помощью компьютерных программ. Это следующий виток великой технологической эволюции, и о нем много говорили в 2023 году.

😻 #news

Что такое torch.device()

Часто в коде для обучения нейросетей на торче можно встретить конструкцию, которая использует внутри себя метод device():

device = torch.device('cuda' if torch.cuda.is_available() else 'cpu')

Это очень важная штука. При помощи нее мы определяем, где должны храниться тензоры. Тут мы как бы сообщаем, что хотим пользоваться GPU-ускорением, когда оно доступно, но при его отсутствии откатываться обратно к вычислениям на CPU.

Дальше остается только в нужных местах приписывать .to(device). Это удобный способ отправлять параметры устройства на GPU, если в качестве device задан GPU, так как иначе (если device == CPU) ничего делаться не будет.

P.S. Важно перенести параметры устройства на соответствующее устройство прежде, чем передавать их оптимизатору; иначе оптимизатор не сможет правильно отслеживать параметры!

😻 #python #NN