На видео любитель запускает Llama3 8B на домашнем кластере, состоящем из iPhone 15 Pro Max, iPad Pro, MacBook Pro, NVIDIA GeForce 3080 и 2x NVIDIA Titan X Pascal.

Весь код тут, включая код для iOS, так что можно повторить 😏

⚡️ Xiaomi открывает новую фабрику вообще без людей. Xiaomi Smart Factory первая такая в своем роде, она будет находиться в Чанпине. Завод будет работать круглосуточно, скорость сборки составит один смартфон в секунду (86к/сутки!). Контроль качества полностью ляжет на ИИ.

С – смелость

⚙️ Там вышла интересная библиотека gpu.cpp для проведения GPU-вычислений на С++. По сути, это набор удобных инструментов, которые помогают легким движением руки добавить код на GPU в проекты. Поддерживаются модули Nvidia, Intel, AMD. Ожидается, что сборки с gpu.cpp будут выполняться не более двух секунд даже на среднем железе. Либа опенсурсная, код лежит тут.

Microsoft и Apple в последние дни в статейном ударе. Подборка свежих интересных папир от них:

➡️ SpreadsheetLLM. Первое место в разделе Daily Papers на HF cегодня. Модель для работы с электронными таблицами. Основным достижением стал энкодер, который помогает эффективно скармливать LLM-ке таблицу в сжатом виде. С помощью такого энкодера можно обрабатывать большие таблицы, а перформанс при этом на 25,6 % выше стандарта GPT4.

➡️ MUSCLE. Топ-4 в Daily Papers. Вы замечали, что когда обновляются LLM, они могут начинать отвечать бредово на вопросы, с которыми легко справлялась предыдущая версия? Это потому что разработчики фокусируются на общем перформансе, а не на совместимости.

Эта работа предлагает решение в виде: а) новой метрики, которая оценивает вот такую совместимость; б) стратегии обучения со "встроенной" моделью совместимости, которая не дает новой версии регрессировать относительно предыдущей.

➡️ Arena Learning. Что-то на GANском. Модель X (послабее, та, которую мы хотим затюнить) конкурирует в ответах с какой-нибудь SOTA, а третья модель (тоже какая-нибудь сильная) выступает в роли судьи и выбирает победителя. Каждый такой "диалог" – это данные для RL для обучения модели X, то есть предложенная схема это ничто иное как замена дорогого и долгого RLHF.

Обновляем статейный бэклог 🕺

Как ускорять нейросети?

Один из главных трендов в DL сейчас – локализация и ускорение нейросетевых моделей. Только посмотрите: одна за одной разработки от Meta, Google, Apple и так далее.

Как ни крути, нам с вами отставать нельзя: умение ускорять и облегчать модели уже становится ключевым навыком ML-инженеров. Самое время углубляться в тему.

Наши друзья из DeepSchool как раз поймали волну и в четверг вечером проводят открытую лекцию-погружение в ускорение сетей.

⚙️ Прямо при вас запрунят, квантанут и затюнят с дистилляцией живую модель

⚙️ Подробно объяснят каждый метод

⚙️ Покажут и научат бороть все подводные камни

⚙️ Расскажут, почему различается результат на разных вычислителях

⚙️ Введут в курс проблем и вызовов в ускорении LLM

И, наконец, покажут программу своего будущего курса по ускорению нейросетей! А кроме прочего, прямо после регистрации вы получите от ребят крутой туториал по использованию TensorRT и OpenVino.

Ну вы поняли: идти надо точно. Лектор – СТО стартапа enot.ai, Саша Гончаренко. Регистрация тут. Не пропустите 18 июля в 18:00 МСК!

Как побеждать в ML-соревнованиях

Да просто нормально чистить и обрабатывать данные, не пренебрегать фича инжинирингом, проводить адекватную валидацию и уметь пользоваться стекингом и блендингом.

Хотите подробнее? Тогда читайте нашу новую статью, которую мы выпустили в честь запуска нашей платформы Data Secrets | Хакатоны.

В статье вы найдете:
➡️ 5 веских причин участвовать в ML-соревнованиях
➡️ 3 секрета хорошего решения
➡️ 7 сервисов, где можно бесплатно пользоваться GPU
➡️ 5 отборных ресурсов для грокинга хакатонов
➡️ … и кучу мемов 😉

Читать тут: https://datasecrets.ru/hackathons/dashboard/materials

И кстати, на нашей платформе уже запущено первое соревнование. Не пропусти!

⚡️ Breaking! Андрей Карпаты открывает компанию!

Eureka Labs будет школой нового типа, в которой обучение будет проходить с помощью ИИ. Нe все будет завязано на сетях: человек все еще будет разрабатывать основные материалы курсов, но масштабировать, адаптировать и вести по ним ученика будет ИИ.

Первым курсом станет LLM101n (мы о нем уже рассказывали). Все материалы будут доступны онлайн, но также будут онлайн и офлайн потоки.

«Если мы добьемся успеха, любому будет легко научиться чему-либо, и мы расширим образование как по охвату (большее количество учеников), так и по объему (любой человек изучает сколь угодно большое количество предметов).»

Лендинг | GitHub