+ 1 ресурс в коллекцию: датасеты для LLM

На многих примерах (в том числе на LLama-3 и Phi-3) мы уже видели, что развитие LLM = создание качественных корпусов данных.

Так вот. Тут разработчик из Лондона взял и описал в этом репозитории все датасеты для предобучения или файнтюнинга LLM в формате таблицы: ссылка, размер, авторы, дата и личные пометки.

Кроме того, там есть указания, как собрать свой собственный качественный датасет, и что вообще значит «качественный».

Одним словом - кайф. Забирайте себе.

Теперь любимый мем админа

Apple переманивает десятки инженеров из Google для своего ИИ-проекта

По данным FT, в последнее время Apple массово расширенияет подразделения по ИИ и ML. Больше всего новых сотрудников пришли из Google (речь идет о десятках).

Самым значимым стал переход главы лаборатории ИИ Google Brain Джона Джаннандреа, который пришел на руководящую должность в Apple. Затем его примеру последовали не менее 36 инженеров Google.

Вот такая нынче реальность, борьба БигТеха идет не за их выбор пользователем, а за выбор их компании разработчиками.

Внимание: градиентный спуск

Google подружили Gemini с медициной

Вчера вышла новая статья от исследователей из Google, в которой они файнтюнят свою LLM для медицинских задач. Кстати, в ней 71(!) соавтор.

Файнтюнили на датасете, схожем с Med-PaLM2, но с добавлением self-training с поиском. Идея:
1) просим модель сгенерировать поисковой запрос по вопросу, иначе говоря "загуглить" то, что у нее спрашивают
2) на основе результатов запроса генерим с помощью модели цепочки мыслей
3) фильтруем ложные цепочки, а на остальных дообучаем модель
4) с дообученной моделью возвращаемся к пункту №1

Итеративные алгоритмы сбора данных сейчас в моде, это исследование не стало исключением. Еще ученые прикрутили поиск с учетом неопределенности и дополнительную генерацию запросов для решения конфликтов среди ответов модели.

Конечно же, Med-Gemini выбила SOTA. Результат: 91% на MedQA. Обратите внимание: это всего на 1п.п. лучше GPT-4, который специально не файнтюнился под медицину. Кроме того, стоит отметить, что MedQA - классический, но далеко не лучший бенчмарк для оценки такой модели (исследование).

Продолжается дикая погоня за ИИ-специалистами. На этот раз новости из Apple.

Как мы уже слышали, за 10 лет Apple скупила около 20 ИИ-стартапов, в первую очередь из-за людей. В том числе корпорацией выкуплены FaceShift, Fashwell, Emotient и другие.

Но это не все. Оказывается, Apple активно хантит сотрудников Google. С 2018 они переманили как минимум 36 топовых специалистов.

И еще одна интересная деталь: Apple рекламирует свои вакансии с работой из двух офисов в Цюрихе. При этом об одном из них неизвестно вообще ничего, на карте его нет и даже люди, живущие по соседству, не знают о его существовании.

Только секретных лабораторий нам не хватало…

Тот самый тимлид, у которого список статей размером с Войну и Мир и PhD в 19

Привет всем тем, кто хотел поглубже познакомиться с новым хайповым KAN, но осилить статью на 50 страниц с формулами не сумел

Для вас, любимые подписчики, мы менее чем за сутки с момента выхода статьи написали на нее обзор! В нем вы найдете:

– Легкое и непринужденное объяснение теоремы Колмогорова-Арнольда
– Ответ на вопрос «а почему до этого раньше никто не додумался?»
– Объяснение архитектуры KAN на пальцах
– Сравнение KAN с перцептроном
– Туториал по запуску KAN из коробки на Python

Прочитать разбор можно на нашем сайте: https://datasecrets.ru/articles/9

Да, мы запускаем сайт Data Secrets!

Там мы будем публиковать еще больше новостей, статей, разборов, полезных материалов, туториалов... В общем, все, что только может быть нужно Data Scientist'у.

Для нас это большой шаг в развитии проекта. Мы надеемся, что теперь будем вносить еще больший вклад в сообщество.

В знак поддержки принимаются 🔥