Как ускорять нейросети?

Один из главных трендов в DL сейчас – локализация и ускорение нейросетевых моделей. Только посмотрите: одна за одной разработки от Meta, Google, Apple и так далее.

Как ни крути, нам с вами отставать нельзя: умение ускорять и облегчать модели уже становится ключевым навыком ML-инженеров. Самое время углубляться в тему.

Наши друзья из DeepSchool как раз поймали волну и в четверг вечером проводят открытую лекцию-погружение в ускорение сетей.

⚙️ Прямо при вас запрунят, квантанут и затюнят с дистилляцией живую модель

⚙️ Подробно объяснят каждый метод

⚙️ Покажут и научат бороть все подводные камни

⚙️ Расскажут, почему различается результат на разных вычислителях

⚙️ Введут в курс проблем и вызовов в ускорении LLM

И, наконец, покажут программу своего будущего курса по ускорению нейросетей! А кроме прочего, прямо после регистрации вы получите от ребят крутой туториал по использованию TensorRT и OpenVino.

Ну вы поняли: идти надо точно. Лектор – СТО стартапа enot.ai, Саша Гончаренко. Регистрация тут. Не пропустите 18 июля в 18:00 МСК!

Как побеждать в ML-соревнованиях

Да просто нормально чистить и обрабатывать данные, не пренебрегать фича инжинирингом, проводить адекватную валидацию и уметь пользоваться стекингом и блендингом.

Хотите подробнее? Тогда читайте нашу новую статью, которую мы выпустили в честь запуска нашей платформы Data Secrets | Хакатоны.

В статье вы найдете:
➡️ 5 веских причин участвовать в ML-соревнованиях
➡️ 3 секрета хорошего решения
➡️ 7 сервисов, где можно бесплатно пользоваться GPU
➡️ 5 отборных ресурсов для грокинга хакатонов
➡️ … и кучу мемов 😉

Читать тут: https://datasecrets.ru/hackathons/dashboard/materials

И кстати, на нашей платформе уже запущено первое соревнование. Не пропусти!

⚡️ Breaking! Андрей Карпаты открывает компанию!

Eureka Labs будет школой нового типа, в которой обучение будет проходить с помощью ИИ. Нe все будет завязано на сетях: человек все еще будет разрабатывать основные материалы курсов, но масштабировать, адаптировать и вести по ним ученика будет ИИ.

Первым курсом станет LLM101n (мы о нем уже рассказывали). Все материалы будут доступны онлайн, но также будут онлайн и офлайн потоки.

«Если мы добьемся успеха, любому будет легко научиться чему-либо, и мы расширим образование как по охвату (большее количество учеников), так и по объему (любой человек изучает сколь угодно большое количество предметов).»

Лендинг | GitHub

Оно вырвалось наружу 😨

… хорошо, что это просто вчерашнее шоу на сфере в Лас-Вегасе

Как сделать SOTA RAG?

Самые продвинутые RAG сегодня уже умеют:

▪️ Обрабатывать мультимодальные документы и выдавать мультимодальные ответы;
▪️ Распределять нагрузку по разным моделям в зависимости от сложности инпута. Это называется LLM routing;
▪️ Работать мультиязычно. Это значит, что запрос может быть на одном языке, документы на втором, а выходы на третьем;
▪️ Повышать качество ответов с помощью пост-проверок;
▪️ Ну и конечно дообучаться на фидбеке с продакшена.

Из недавнего можно обратить внимание на хорошую работу от Google под названием Speculative RAG. Вышла буквально несколько дней назад. Там у них подход такой:

Берем несколько маленьких дистиллированных моделей, которые параллельно генерят нам драфты (каждая из отдельного подмножества документов). Затем за один проход по этим черновикам более крупная модель собирает саммари.

Получается своеобразный Mixture of Experts или мультиагентный подход. Преимуществ получается несколько. Во-первых, так как контекст на каждую маленькую модельку уменьшается, то и информации теряется меньше. Во-вторых, никакой документ не будет проигнорирован из-за его положения в контексте + мы как бы генерируем разные точки зрения. Ну и в-третьих, это просто быстрее.

Точность относительно других систем выше на 13%, а задержка меньше в половину. Короче, Google как всегда молодцы, а статья мастрид.

⚡️ Новая статья от OpenAI: Prover-Verifier Games improve legibility of language model outputs

Проблема: по мере оптимизации моделей те начинают отвечать правильнее, но вылезает другая неприятность. Понимать их рассуждения становится сложнее. Другими словами, выходы становятся менее "разборчивыми". Особенно это нехорошо для всякой математики или других точных областей знаний.

Исследователи из OpenAI заметили это и предложили интересное решение в виде своеобразной ролевой игры. У нас есть два игрока: «prover», который генерирует решение, и «verifier», проверяющий его.

Суть вот в чем: prover – это сильная рабочая модель, а verifier – слабая маленькая моделька (видимо олицетворяющая человека 😄 ). Prover должен генерировать такой ответ, чтобы verifier смог его легко понять и оценить, и при этом ответ еще и должен быть правильный. Таким образом получается Trade-Off между перформансом и разборчивостью.

Вообще, статья достаточно приятная и легко читается. Вот здесь краткий блогпост, а вот тут папира полностью.

⚡️ Nvidia переходит на опенсорс ядра для GPU. Об этом компания сообщила в своем блоге. Следующий выпуск драйвера R560 уже будет с открытым исходным кодом.

Вот это новости, которые мы заслужили

😧 Новая модель от OpenAI или "Ой, куда я жмал"

Каким-то образом пресса умудрилась выпустить новости о релизе новой модели от OpenAI без каких-либо официальных подтверждений от самой компании. По всеобщим догадкам получилось это случайно, из-за обычной невнимательности с часовыми поясами.

Говорят, что выйдет легкая и быстрая младшая сестра gpt-4o, которая заменит gpt-3.5-turbo. gpt-4o-mini поначалу будет только текстовой, но мультимодальность однажды тоже завезут.

Не верить таким крупным издательствам повода нет, да и на арене на днях была замечена некая upcoming-gpt-mini. В стиле OpenAI это скорее всего и был тест gpt-4o-mini. Так что с нетерпением ждем новостей.

Иии... вышла gpt-4o-mini !

Вот официальный анонс. Основное:

▪️ Модель дешевая: цена составляет 15 центов за миллион входных токенов и 60 центов за миллион выходных токенов. Это на 60% дешевле GPT-3.5 Turbo. Все благодаря токенизатору и легковесности.

▪️ Обучена на данных до октября 2023, имеет контекст 128к токенов и поддерживает выходы до 16к токенов.

▪️ Прирост относительно GPT-3.5 Turbo особенно хорошо виден на MGSM, MATH и HumanEval, то есть на математике и программировании.

▪️ Среди других моделей уступает только старшему братику GPT-4o.

▪️ Пользователи Free, Plus и Team уже могут пользоваться GPT-4o mini вместо GPT-3.5. API уже поддерживает текст и vision. В чат мультимодальность тоже завезут, но когда – непонятно.

Ну, погнали пробовать?

⚙️ Apple задает жару: только что они выпустили новую модель DCLM 7B и опенсорснули ее всю, от данных до весов

MMLU 0.6372. Это больше, чем Mistral, но меньше, чем Llama3. Обучена только на открытых данных: DCLM-BASELINE, StarCoder, ProofPile2. Всего видела 2.5Т токенов. Контекст – 2048.

Метриками не блещет, да, зато открытый датасет – это хорошая новость. Код на PyTorch. Уже доступно на HF и в Transformers.

Модель | Код | Датасет | Статья