10 миллионов долларов достанется тому, кто научит LLM решать математические задачи на уровне победителей уровне IMO (International Mathematical Olympiad).

Сейчас на Kaggle проходит соревнование AI Mathematical Olympiad, участники которого пробуют заставить модели решать задачи уровня олимпиады старших классов на уровне человека. Gemma, например, выбивает accuracy меньше 2%.

Соревнуются уже более 10к участников. Только учтите: если вы после прочтения поста пойдете участвовать и выиграете 10 🍋, с вас процент.

Мы, кстати, подобрали интересные исследования по теме мат. рассуждений LLM, которые можно почитать уже сейчас:

▪️Llemma – LLM для математических задач. Недавно выпущена учеными из Принстона. Обучена на миллионах образцов кода и статей, на 4-shot решила 43% задач из MATH.

◾️MathBERT для анализа математических формул.

◾️Minerva от Google. Долгое время эта модель оставалась SOTA. Основной вывод статьи - дело в данных.

◾️Knowledge Processing Unit от Maisa. Хитрая архитектура, сильно повышающая способности модели решать сложные многоэтапные, в том числе математические, задачи.

◾️Китайский DeepSeekMath. Самая свежая модель из перечисленных. Воспользовавшись выводами Google о данных, исследователи придумали изящный способ составления корпуса, прикрутили RL, и получили новую SOTA.

Когда плачут даже мужчины:

Интересное открытие: французский sklearn имеет только одного инвестора со статусом Platinum, и это… Chanel.

CTO HuggingFace в ответ на это сострил: «Франция богата, но не на GPU».

+ 1 ресурс в коллекцию: датасеты для LLM

На многих примерах (в том числе на LLama-3 и Phi-3) мы уже видели, что развитие LLM = создание качественных корпусов данных.

Так вот. Тут разработчик из Лондона взял и описал в этом репозитории все датасеты для предобучения или файнтюнинга LLM в формате таблицы: ссылка, размер, авторы, дата и личные пометки.

Кроме того, там есть указания, как собрать свой собственный качественный датасет, и что вообще значит «качественный».

Одним словом - кайф. Забирайте себе.

Теперь любимый мем админа

Apple переманивает десятки инженеров из Google для своего ИИ-проекта

По данным FT, в последнее время Apple массово расширенияет подразделения по ИИ и ML. Больше всего новых сотрудников пришли из Google (речь идет о десятках).

Самым значимым стал переход главы лаборатории ИИ Google Brain Джона Джаннандреа, который пришел на руководящую должность в Apple. Затем его примеру последовали не менее 36 инженеров Google.

Вот такая нынче реальность, борьба БигТеха идет не за их выбор пользователем, а за выбор их компании разработчиками.

Внимание: градиентный спуск

Google подружили Gemini с медициной

Вчера вышла новая статья от исследователей из Google, в которой они файнтюнят свою LLM для медицинских задач. Кстати, в ней 71(!) соавтор.

Файнтюнили на датасете, схожем с Med-PaLM2, но с добавлением self-training с поиском. Идея:
1) просим модель сгенерировать поисковой запрос по вопросу, иначе говоря "загуглить" то, что у нее спрашивают
2) на основе результатов запроса генерим с помощью модели цепочки мыслей
3) фильтруем ложные цепочки, а на остальных дообучаем модель
4) с дообученной моделью возвращаемся к пункту №1

Итеративные алгоритмы сбора данных сейчас в моде, это исследование не стало исключением. Еще ученые прикрутили поиск с учетом неопределенности и дополнительную генерацию запросов для решения конфликтов среди ответов модели.

Конечно же, Med-Gemini выбила SOTA. Результат: 91% на MedQA. Обратите внимание: это всего на 1п.п. лучше GPT-4, который специально не файнтюнился под медицину. Кроме того, стоит отметить, что MedQA - классический, но далеко не лучший бенчмарк для оценки такой модели (исследование).

Продолжается дикая погоня за ИИ-специалистами. На этот раз новости из Apple.

Как мы уже слышали, за 10 лет Apple скупила около 20 ИИ-стартапов, в первую очередь из-за людей. В том числе корпорацией выкуплены FaceShift, Fashwell, Emotient и другие.

Но это не все. Оказывается, Apple активно хантит сотрудников Google. С 2018 они переманили как минимум 36 топовых специалистов.

И еще одна интересная деталь: Apple рекламирует свои вакансии с работой из двух офисов в Цюрихе. При этом об одном из них неизвестно вообще ничего, на карте его нет и даже люди, живущие по соседству, не знают о его существовании.

Только секретных лабораторий нам не хватало…