⚡️ Breaking! Мы запустили регистрацию на первое ML-соревнование от Data Secrets!

Большой день для всей нашей команды: платформа для хакатонов, о которой мы вам рассказывали, запущена. И на ней уже есть первое соревнование, в котором вы можете поучаствовать!

Задачка очень занятная и посвящена прогнозированию эффективности клиентских промо-рассылок. Ее, вместе с данными, нам предоставили наши друзья из Dodo Pizza. Полное описание здесь.

10 победителей соревнования получат не только крутой опыт решения реальной продуктовой проблемы, но и наш яркий мерч Data Secrets!

Скорее регистрируйтесь: https://datasecrets.ru/hackathons/7.

И кроме того, у OpenAI опять какой-то новый сайт: OpenAI Supply Co

Это дословно поставляющая компания. Интересно, что они там собираются поставлять? Модели? Мерч? А может чипы? 🤩

На видео любитель запускает Llama3 8B на домашнем кластере, состоящем из iPhone 15 Pro Max, iPad Pro, MacBook Pro, NVIDIA GeForce 3080 и 2x NVIDIA Titan X Pascal.

Весь код тут, включая код для iOS, так что можно повторить 😏

⚡️ Xiaomi открывает новую фабрику вообще без людей. Xiaomi Smart Factory первая такая в своем роде, она будет находиться в Чанпине. Завод будет работать круглосуточно, скорость сборки составит один смартфон в секунду (86к/сутки!). Контроль качества полностью ляжет на ИИ.

С – смелость

⚙️ Там вышла интересная библиотека gpu.cpp для проведения GPU-вычислений на С++. По сути, это набор удобных инструментов, которые помогают легким движением руки добавить код на GPU в проекты. Поддерживаются модули Nvidia, Intel, AMD. Ожидается, что сборки с gpu.cpp будут выполняться не более двух секунд даже на среднем железе. Либа опенсурсная, код лежит тут.

Microsoft и Apple в последние дни в статейном ударе. Подборка свежих интересных папир от них:

➡️ SpreadsheetLLM. Первое место в разделе Daily Papers на HF cегодня. Модель для работы с электронными таблицами. Основным достижением стал энкодер, который помогает эффективно скармливать LLM-ке таблицу в сжатом виде. С помощью такого энкодера можно обрабатывать большие таблицы, а перформанс при этом на 25,6 % выше стандарта GPT4.

➡️ MUSCLE. Топ-4 в Daily Papers. Вы замечали, что когда обновляются LLM, они могут начинать отвечать бредово на вопросы, с которыми легко справлялась предыдущая версия? Это потому что разработчики фокусируются на общем перформансе, а не на совместимости.

Эта работа предлагает решение в виде: а) новой метрики, которая оценивает вот такую совместимость; б) стратегии обучения со "встроенной" моделью совместимости, которая не дает новой версии регрессировать относительно предыдущей.

➡️ Arena Learning. Что-то на GANском. Модель X (послабее, та, которую мы хотим затюнить) конкурирует в ответах с какой-нибудь SOTA, а третья модель (тоже какая-нибудь сильная) выступает в роли судьи и выбирает победителя. Каждый такой "диалог" – это данные для RL для обучения модели X, то есть предложенная схема это ничто иное как замена дорогого и долгого RLHF.

Обновляем статейный бэклог 🕺