Сегодня Хэллоуин, а это значит, что самое время порассказывать друг другу страшилки 👻

Мы начнем: один резерчер обучал модель 100 часов, а потом у него закончилась память!!!

Продолжайте в коментах: а мы будем выбирать самые страшные истории 😻

Вышла новая версия знаменитого датасета RedPajama – теперь в 25 раз больше токенов

В первой версии модели токенов было 1.2 триллиона. А теперь их 30 триллионов! Также в набор добавлены аннотации текстов, так что их можно фильтровать под свои задачи. Ну и, конечно, датасет полностью открытый.

Получается, нас ждет новый прорыв в LLM?

😻 #news

Бесплатные курсы по нейронкам с Hugging Face

Для тех, кто грокает нейросети (особенно трансформеры), на платформе Hugging Face есть несколько классных бесплатных курсов.

Например, совсем недавно вышел курс по работе с аудио (задачи распознавания, генерации, классификации).

Кроме того, есть курс по диффузионным нейросеткам и курс по NLP. А самое интересное – это их Deep RL Course. Советуем!

😻 #advice

Термин AI стал словом года по версии британского словаря Collins

‘AI’ – термин, описывающий моделирование функций человека с помощью компьютерных программ. Это следующий виток великой технологической эволюции, и о нем много говорили в 2023 году.

😻 #news

Что такое torch.device()

Часто в коде для обучения нейросетей на торче можно встретить конструкцию, которая использует внутри себя метод device():

device = torch.device('cuda' if torch.cuda.is_available() else 'cpu')

Это очень важная штука. При помощи нее мы определяем, где должны храниться тензоры. Тут мы как бы сообщаем, что хотим пользоваться GPU-ускорением, когда оно доступно, но при его отсутствии откатываться обратно к вычислениям на CPU.

Дальше остается только в нужных местах приписывать .to(device). Это удобный способ отправлять параметры устройства на GPU, если в качестве device задан GPU, так как иначе (если device == CPU) ничего делаться не будет.

P.S. Важно перенести параметры устройства на соответствующее устройство прежде, чем передавать их оптимизатору; иначе оптимизатор не сможет правильно отслеживать параметры!

😻 #python #NN

Интеллектуальных мемов вам в пятницу

😻 #memes

Бесплатные 3D-модели от Luma AI⁠⁠

Ресерчеры из с Luma AI релизнули модель text-to-3D Genie. Она за считанные секунды генерит готовые 3D-модели из промпта. Способна улучшать генерации, но времени требуется на это больше. Так, чтобы создать какой-нибудь "набросок", нужно не более 10 секунд, а вот чтобы довести его до идеала, придется потратить еще минут 15-20.

Готовую модель можно скачать и делать с ней что угодно. И при этом работает все пока что полностью бесплатно. Затестить самостоятельно можно в Discord (https://lumalabs.ai/genie-discord).

Пока непонятно, как Luma AI добились такого бодрого инференса, так что ждем деталей реализации.

😻 #news

А кто у нас самый продуктивный?

Делитесь своими графиками активности с GitHub. Посмотрим, у кого зеленее 😻