Гарвард тоже радует подарками к Новому Году

Мы об их свежем курсе, конечно. Абсолютно бесплатном, как вы любите. Он посвящен AI: в программе теорвер, классический ML, нейросети, NLP, CV, модели Маркова и еще много чего. В числе преподов крутой David J. Malan.

Стартует сегодня! Не советуем упускать возможность.

😻 #advice

Новая библиотека для RL от Facebook Research

Этих ребят мы уважаем – они подарили нам Faiss и Prophet, а теперь подогнали еще и Pearl. Это их новая опенсурс разработка для работы с Reinforcement Learning AI Agents. Она модульная, то есть позволяет сшивать нужные фичи (см.картинку) чтобы создать заточенного под уникальную задачу агента.

GitHub | Папира | Сайт с документацией

😻 #advice #news

Любители R присутствуют?

Для вас отличные новости – энтузиасты раскатили API Gemini от Google в R-пакет “gemini.R”. Подробности и код здесь.

Питонщики – не забывайте, что для вас Gemini уже давно выложили в Vertex AI API. Как подключиться к нему из России и прикрутить к проекту, можно посмотреть здесь.

😻 #advice

Вся математика для Data Science

Это не медь, это золото. Бесплатно: вся необходимая теория вместе с практикой в одном месте – здесь. Все, что написано в гайде, нацелено именно на ML, ничего лишнего, все в комплекте с кодом. Мат.анализ, лин.алгебра, теория вероятностей. Самое крутое – можно выбрать диалект, на котором вам будут показываться примеры – PyTorch, Keras или MXNET.

Обязательно сохраняйте. Советуем!

😻 #advice

Советы по промптингу от OpenAI

Обрушилась, не успев расцвести (но успев заработать миллионы), империя курсов по нейросетям промптингу: OpenAI выкатили собственный гайд с советами по тому, как составлять запросы к LLM. Вот, что пишут:

*️⃣Включайте детали в запросы. Просите модель "представить, что она <профессия>". Указывайте шаги выполнения задачи, делите текст на абзацы. Приводите примеры.

*️⃣Добавляйте рефенсы: пример текста, минимальные необходимые знания, ваши заметки по теме. Особенно, когда просите модель дать ответ, основанный на фактах.

*️⃣Делите задания на мелкие таски. Задавайте вопросы по очереди. Если диалог получается долгим, суммируйте вышесказанное в промптах.

*️⃣Дайте модели время на подумать. Не все ответы сразу могут быть подходящими. Можно спросить, не пропустила ли модель что-нибудь, попросить "перепроверить".

*️⃣Используйте дополнительные инструменты (если речь идет о ChatGPT, это может быть, например, встроенный интерпретатор кода или RAG).

😻 #advice #news

Новинка от Apple: как запускать LLM на устройствах с ограниченной памятью

Ресерчеры оттуда придумали, как запускать LLM даже на тех устройствах, у которых изначально недостаточный для инференса объем DRAM. Идея: сохранять параметры модели во флэш-памяти и тянуть их в DRAM только по запросу. На практике в статье представлены два подхода:

1) Windowing – сокращает использование памяти за счет переиспользования ранее активированных нейронов сети.

2) Row-column bundling – технология, которая внутри увеличивает размер батчей (а вернее сказать, чанков) данных, которые поступают из флэш-памяти.

Объединение этих методов дает прирост скорости инференса в 4-5 раз на CPU и в 20-25 раз на GPU. Плюс, позволяет запускать модели, размер которых в два раза превышает размер доступной DRAM.

Хороша работа, советуем прочитать полностью.

😻 #advice #news

Не знаешь, что поделать на новогодних праздниках?

А как насчет почтить 2023 чтением популярных статей. Нашли для вас гитхаб с золотом: автор с начала года собирает все трендовые и интересные статьи и собрал уже больше 5.5 тыс ⭐️.

Ссылка: https://github.com/dair-ai/ML-Papers-of-the-Week

😻 #advice