Подборка хакатонов и ML-соревнований на ноябрь–декабрь

🌟Всероссийский хакатон по биометрии. Есть задача по разработке системы биометрической верификации, алгоритма защиты от атак предъявления, инструмента обнаружения дипфейков и инструмента для их создания. Призовой фонд: 1 000 000 ₽. Регистрация до 6 ноября.

🌟Турникеты 2.0 от ODS. Небанальная задача: нужно научиться предсказывать, кто вошел в здание по времени и турникету. Регистрация до 15 ноября.

🌟Data Wagon. Прогнозирования спроса на грузовые железнодорожные перевозки и отправления вагонов в ремонт. Призовой фонд: 900 000 ₽. Регистрация до 6 ноября.

🌟AgroCode Data Sience Cup 2023. Четвертый Data Science-чемпионат для студентов, который проводит Россельхозбанк. Призовой фонд: 450 000 ₽. Регистрация до 16 ноября.

🌟Bauman Code Games. Чемпионат по спортивному программированию от МГТУ им. Н.Э. Баумана. 5 часов, 12 задач, максимально эффективный по времени алгоритм. Регистрация до 10 ноября.

🌟HSE Sber ML Hack. Задача от экспертов Сбера, мастер-классы и пицца. Регистрация до 5 ноября.

😻 #advice

Кто главный герой Властелина колец?

Вы скажете: конечно Фродо. Но для вас есть несколько контраргументов. Например, Гендальф произносит гораздо больше слов, а Арагорн чаще появляется на экране.

Откуда мы это взяли? Отсюда. В этом ярком датавизе автор провел настоящее исследование и сделал из этого графическое шоу.

Осторожно, после просмотра отчета появляется непреодолимое желание пересмотреть Властелина колец и устроиться работать аналитиком.

😻 #advice

Чит-лист по алгоритмам машинного обучения от нашей редакции

Пользуйтесь, сохраняйте, не благодарите

😻 #advice

Любители поучиться, новость для вас

Microsoft выпустила бесплатные курсы по искусственному интеллекту. В этом репозитории доступны 12 уроков, в течение которых вы создаете собственное приложение с использованием генеративок.

Кстати, у команды есть и другие курсы, например: ML for Beginners, Data Science for Beginners, AI for Beginners.

😻 #advice

Найти трояна в модели – новое соревнование от SaTML 2024

Как-то благородные исследователи зафайнтюнили LLaMA-7B так, чтобы она стала безобидной языковой моделью. Для этого использовалась технология RLHF: разметчики сообщали, какие ответы модели безопасные, а какие нет. Но один злой разметчик задумал помешать ресерчерам – он ввел в модель секретную строку, которая заставляет ее вредоносно отвечать на любой запрос. Ваша цель – найти эту троянскую строку.

Так звучит сюжет нового соревнования от крупной конференции SaTML. Формально на вход подается reward model, сет "отравленных" троянами моделей и датасет промптов. Победителям достанутся призы на $3500 и путевка SaTML 2024. Пробуем?

😻 #advice

LLM в бизнесе – эфир с AI Talent Hub

На днях нашего редактора пригласили провести эфир вместе с образовательным ИТМО-комьюнити AI Talent Hub. Там мы просто огненно пообщались с основателем Хаба Дмитрием Ботовым и известным предпринимателем, CEO Everypixel – Дмитрием Широносовым. Обсудили широкое внедрение LLM в бизнес, и то, как запускать и сохранять AI-стартапы в 2023-24.

Скорее смотрите запись на YouTube!

😻 #advice

Свежее: детальное погружение в LLM

Чтобы хорошо что-то понять, нужно "прощупать" это на примере, а лучше на нескольких. И тут авторы этого сайта попали в яблочко.

Здесь подробно, с формулами, слой за слоем, разобрали строение популярных LLM-архитектур и сопроводили это просто бомбической 3D визуализацией.

😻 #advice

На фото – Грег Брокман, ко-фаундер OpenAI, изучающий ML в далеком 2018

Деталями своего пути в ML он делится в своем блоге. Мы проресерчили его посты и вот список бесплатных образовательных ресурсов, которыми он пользовался:

🔘Глубокое обучение с подкреплением от Беркли. Базовое и продвинутое RL.

🔘Глубокое обучение для компьютерного зрения от Стэнфорда. Базис + погружение в архитектуры.

🔘Глубокое обучение – книга MIT от Я.Гудфеллоу, И.Бенджио и А.Курвилль. Алгебра, теорвер, база ML, best practices, теория DL и разборы известных архитектур. Эту книгу вы можете получить бесплатно, поучаствовав в нашем розыгрыше.

🔘Глубокое обучение на практике – курс от университета Квинсленда. Много кода и практических задач.

😻 #advice

Просто 100+ слайдов о внутреннем устройстве PyTorch

Слайды подготовил Кристиан Перон. Упор сделан на последние инновации библиотеки (Dynamo, Inductor и ExecuTorch). Оценка редакции: 100/10.

😻 #advice

Новая LLM Mixtral-8x-7B произвела фурор и ввела в моду Mixture of Expert

Эта архитектура отличается тем, что использует нескольких "экспертов" (каждый из которых представляет из себя нейросеть) для решения разных задач. От ансамблей она отличается тем, что эксперты не объединяются, то есть в решении участвует только один.

Какой токен какому эксперту отправить решает так называемый роутер – это тоже обучаемая сеть. В общем, вот вам список литературы, который поможет быстро разобраться (и не отстать от тренда):

❤️Отличный разбор на HuggingFace
❤️Ёмкий видео-разбор архитектуры от Trelis Research
❤️Первая статья по применению MoE в NLP (в авторах Джефф Дин и Джеффри Хинтон)
❤️Про MoE для LLM

Кстати, по слухам, GPT-4 тоже представляет из себя MoE.

😻 #advice #news

Гарвард тоже радует подарками к Новому Году

Мы об их свежем курсе, конечно. Абсолютно бесплатном, как вы любите. Он посвящен AI: в программе теорвер, классический ML, нейросети, NLP, CV, модели Маркова и еще много чего. В числе преподов крутой David J. Malan.

Стартует сегодня! Не советуем упускать возможность.

😻 #advice

Новая библиотека для RL от Facebook Research

Этих ребят мы уважаем – они подарили нам Faiss и Prophet, а теперь подогнали еще и Pearl. Это их новая опенсурс разработка для работы с Reinforcement Learning AI Agents. Она модульная, то есть позволяет сшивать нужные фичи (см.картинку) чтобы создать заточенного под уникальную задачу агента.

GitHub | Папира | Сайт с документацией

😻 #advice #news

Любители R присутствуют?

Для вас отличные новости – энтузиасты раскатили API Gemini от Google в R-пакет “gemini.R”. Подробности и код здесь.

Питонщики – не забывайте, что для вас Gemini уже давно выложили в Vertex AI API. Как подключиться к нему из России и прикрутить к проекту, можно посмотреть здесь.

😻 #advice

Вся математика для Data Science

Это не медь, это золото. Бесплатно: вся необходимая теория вместе с практикой в одном месте – здесь. Все, что написано в гайде, нацелено именно на ML, ничего лишнего, все в комплекте с кодом. Мат.анализ, лин.алгебра, теория вероятностей. Самое крутое – можно выбрать диалект, на котором вам будут показываться примеры – PyTorch, Keras или MXNET.

Обязательно сохраняйте. Советуем!

😻 #advice

Советы по промптингу от OpenAI

Обрушилась, не успев расцвести (но успев заработать миллионы), империя курсов по нейросетям промптингу: OpenAI выкатили собственный гайд с советами по тому, как составлять запросы к LLM. Вот, что пишут:

*️⃣Включайте детали в запросы. Просите модель "представить, что она <профессия>". Указывайте шаги выполнения задачи, делите текст на абзацы. Приводите примеры.

*️⃣Добавляйте рефенсы: пример текста, минимальные необходимые знания, ваши заметки по теме. Особенно, когда просите модель дать ответ, основанный на фактах.

*️⃣Делите задания на мелкие таски. Задавайте вопросы по очереди. Если диалог получается долгим, суммируйте вышесказанное в промптах.

*️⃣Дайте модели время на подумать. Не все ответы сразу могут быть подходящими. Можно спросить, не пропустила ли модель что-нибудь, попросить "перепроверить".

*️⃣Используйте дополнительные инструменты (если речь идет о ChatGPT, это может быть, например, встроенный интерпретатор кода или RAG).

😻 #advice #news

Новинка от Apple: как запускать LLM на устройствах с ограниченной памятью

Ресерчеры оттуда придумали, как запускать LLM даже на тех устройствах, у которых изначально недостаточный для инференса объем DRAM. Идея: сохранять параметры модели во флэш-памяти и тянуть их в DRAM только по запросу. На практике в статье представлены два подхода:

1) Windowing – сокращает использование памяти за счет переиспользования ранее активированных нейронов сети.

2) Row-column bundling – технология, которая внутри увеличивает размер батчей (а вернее сказать, чанков) данных, которые поступают из флэш-памяти.

Объединение этих методов дает прирост скорости инференса в 4-5 раз на CPU и в 20-25 раз на GPU. Плюс, позволяет запускать модели, размер которых в два раза превышает размер доступной DRAM.

Хороша работа, советуем прочитать полностью.

😻 #advice #news

Не знаешь, что поделать на новогодних праздниках?

А как насчет почтить 2023 чтением популярных статей. Нашли для вас гитхаб с золотом: автор с начала года собирает все трендовые и интересные статьи и собрал уже больше 5.5 тыс ⭐️.

Ссылка: https://github.com/dair-ai/ML-Papers-of-the-Week

😻 #advice