Интересное открытие: французский sklearn имеет только одного инвестора со статусом Platinum, и это… Chanel.

CTO HuggingFace в ответ на это сострил: «Франция богата, но не на GPU».

+ 1 ресурс в коллекцию: датасеты для LLM

На многих примерах (в том числе на LLama-3 и Phi-3) мы уже видели, что развитие LLM = создание качественных корпусов данных.

Так вот. Тут разработчик из Лондона взял и описал в этом репозитории все датасеты для предобучения или файнтюнинга LLM в формате таблицы: ссылка, размер, авторы, дата и личные пометки.

Кроме того, там есть указания, как собрать свой собственный качественный датасет, и что вообще значит «качественный».

Одним словом - кайф. Забирайте себе.

Теперь любимый мем админа

Apple переманивает десятки инженеров из Google для своего ИИ-проекта

По данным FT, в последнее время Apple массово расширенияет подразделения по ИИ и ML. Больше всего новых сотрудников пришли из Google (речь идет о десятках).

Самым значимым стал переход главы лаборатории ИИ Google Brain Джона Джаннандреа, который пришел на руководящую должность в Apple. Затем его примеру последовали не менее 36 инженеров Google.

Вот такая нынче реальность, борьба БигТеха идет не за их выбор пользователем, а за выбор их компании разработчиками.

Внимание: градиентный спуск

Google подружили Gemini с медициной

Вчера вышла новая статья от исследователей из Google, в которой они файнтюнят свою LLM для медицинских задач. Кстати, в ней 71(!) соавтор.

Файнтюнили на датасете, схожем с Med-PaLM2, но с добавлением self-training с поиском. Идея:
1) просим модель сгенерировать поисковой запрос по вопросу, иначе говоря "загуглить" то, что у нее спрашивают
2) на основе результатов запроса генерим с помощью модели цепочки мыслей
3) фильтруем ложные цепочки, а на остальных дообучаем модель
4) с дообученной моделью возвращаемся к пункту №1

Итеративные алгоритмы сбора данных сейчас в моде, это исследование не стало исключением. Еще ученые прикрутили поиск с учетом неопределенности и дополнительную генерацию запросов для решения конфликтов среди ответов модели.

Конечно же, Med-Gemini выбила SOTA. Результат: 91% на MedQA. Обратите внимание: это всего на 1п.п. лучше GPT-4, который специально не файнтюнился под медицину. Кроме того, стоит отметить, что MedQA - классический, но далеко не лучший бенчмарк для оценки такой модели (исследование).

Продолжается дикая погоня за ИИ-специалистами. На этот раз новости из Apple.

Как мы уже слышали, за 10 лет Apple скупила около 20 ИИ-стартапов, в первую очередь из-за людей. В том числе корпорацией выкуплены FaceShift, Fashwell, Emotient и другие.

Но это не все. Оказывается, Apple активно хантит сотрудников Google. С 2018 они переманили как минимум 36 топовых специалистов.

И еще одна интересная деталь: Apple рекламирует свои вакансии с работой из двух офисов в Цюрихе. При этом об одном из них неизвестно вообще ничего, на карте его нет и даже люди, живущие по соседству, не знают о его существовании.

Только секретных лабораторий нам не хватало…

Тот самый тимлид, у которого список статей размером с Войну и Мир и PhD в 19