Что почитать и посмотреть про обучение LLM и ризонинг? Подборка топ-7 ресурсов от нашей редакции, после которых вы точно лучше поймете, как работают и учатся современные модели 🤓

1. Несомненно, трехчасовое видео Андрея Карпаты "Погружение в LLM". Вся теория по основным этапам обучения, архитектуре, файнтюнингу, ризонингу и обучению с подкреплением верхнеуровнего и доступно. Идеально для первого знакомства с теорией по LLM.

2. Видео про трансформеры от 3Blue1Brown. Немного подробнее про внутреннее устройство LLM. Необходимо хотя бы идейно понять архитектуру, чтобы потом разбираться с новейшими техниками, и этот максимально наглядный гайд подойдет идеально. В видео есть русский дубляж.

3. Для тех, кому хочется практики, отличный бесплатный курс от Hugging Face. Классные иллюстрации, понятные примеры, все необходимое для того, чтобы вы могли сами запускать модели.

4. Статья про модель DeepSeekMath от DeepSeek. Да, здесь все еще не про ризонинг, зато очень подробно и понятно описан этап сбора данных, претрен, эксперименты и обучение с подкреплением. Этот текст даст вам крепкую базу для понимания того, как обучают модели в индустрии. Вот, кстати, наш большой разбор этой статьи.

5. У истоков ризонинга: статья про CoT от Google Research. Одна из первых и самых влиятельных работ, в которой обстоятельно обсуждается, что такое цепочки мыслей CoT и как они влияют на качество результатов. Много примеров. Историческая и необходимая база.

6. Cтатья про DeepSeek-R1. Да, эти ребята умеют хорошо писать. Подробно, лаконично, с практической точки зрения. Прочитайте это, и будете понимать ризонинг лучше, чем 99.9% пользователей ChatGPT. Наш разбор.

7. Очень содержательное выступление "Learning to Reason with LLMs" от Ноама Брауна – известного ученого из OpenAI, который работает как раз над ризонингом и агентами. Про игры, масштабирование компьюта и то, как индустрия пришла к моделям, основанным на рассуждениях.

Сохраняйте!

+1 к сегодняшней подборке ресурсов: HuggingFace только что обновили свой курс по NLP и LLM и добавили туда целую главу про ризонинг. Внутри:

🟦 База по обучению с подкреплением и его роль в LLM
🟦 Подробный разбор самых важных моментов статьи про R1
🟦 Практика: пишем собственный GRPO и сами элайним модель

В конце каждой главы – квиз 👍

Гитхаб | Курс на HF

⚡️ В Google Colab завезли Data Science агента!

Он создан специально для работы с DS/ML и может создавать не просто фрагменты кода, а целые ноутбуки. Все просто:

1. Нужно подгрузить свои данные

2. Описать цели (например, «визуализируй», «проведи EDA», «напиши и оптимизируй модель предсказания таргета»)

3. Сидеть и наслаждаться тем, как агент сам пишет и запускает ячейки, импортирует нужные библиотеки и совершенствует свой код

Кстати, на бенчмарке DABStep (он как раз оценивает способности анализировать дату) агент занял четвертое место, сразу после o1, o3-mini и Claude, а это довольно мощный уровень.

Доступно для всех юзеров

Стали известны некоторые имена сотрудников компании Ильи Суцкевера

SSI была основала еще летом, но до сих пор дистанцируется от СМИ и остается скрытой. Это значит, что ее сотрудники не указывают в соцсетях место работы, и составы команд не афишируются.

Тем не менее, некоторые сведения иногда проскальзывают. Вот некоторые имена:

🔷 Доктор Яир Кармон, старший преподаватель факультета компьютерных наук Тель-Авивского университета с 2020 года. У него три ученых степени по физике, включая докторскую Стэнфорда. Он занимается алгоритмами и оптимизацией.

🔷 Ницан Тор, выпускник Technion и золотой призер трех международных математических олимпиад.

🔷 Шахар Папини, еще один выпускник Technion, олимпиадник и сооснователь блокчейн-компании.

А еще известный Ярон Бродский и около 10 других инженеров и ученых из Google Research (которых Ярон видимо привел). Интересный состав.

Занятно, что SSI вообще не публикуют вакансии, а об эйчарах и речи не идет. Всех нанимают только по личным рекомендациям и сарафанному радио. Кроме того, говорят, в компании нет иерархической структуры, тимлидов и деления на команды: все равны и работают над одним проектом.

К слову, сейчас SSI оценивается уже в 30 миллиардов. Это всего в 5 раз меньше OpenAI и в 2.5 раза меньше xAI.

Помните бенчмарк ARC AGI? Сегодня вышла статья, в которой его решили на 20% без претрейна

20% – высокий результат. GPT-4o выбивает 5%, o1-mini – 13%, а o1 – около 30. Но самое интересное в этой работе – это заявление «без претрейна».

То есть да, модель вообще не предобучали на задачах из трейна ARC-AGI. Для каждого примера берется новая нетронутая сетка, которая инициализируется случайно и обучается с помощью градиентного спуска исключительно на конкретном тестовом примере во время инференса 😮

Весь подход основан на… компрессии информации. Идея в том, чтобы находить максимально компактное (то есть низкобитное) представление задачи, которое затем при декомпрессии в точности воспроизводит исходный пазл вместе с ответом. Подход назвали CompressARC.

Архитектура похожа на VAE: мы оптимизируем параметры модели и входное распределение с применением относительного энтропийного кодирования (REC) и арифметического кодирования для эффективного сжатия информации. Модель как бы учится находить оптимальное структурное представление задачи, что в итоге и равняется тому, чтобы найти общее правило для решения головоломки.

Гениально и свежо. Интересно, заведется ли что-то подобное на других задачах.

Блогпост | Код

Кажется, скоро нас ждет новая text2image модель от OpenAI

Или она будет внутри GPT-5? 🤔

Премия Тьюринга этого года только что досталась ML-рисерчерам за вклад в обучение с подкреплением

Это самая престижная награда в мире в области информатики, ее часто называют Нобелевской премией Computer Science. В этом году ею наградили легендарных Эндрю Барто и Ричарда Саттона – отцов обучения с подкреплением.

Именно они разработали основы RL в восьмидесятых. Правда, всю мощь подхода оценили только несколько лет назад, когда Google показали AlphaGo. Сегодня RL – неотъемлемая часть ML, и, особенно, наших любимых LLM.

Респект! 🎉

⚫️ Разыгрываем 5 книг по обучению с подкреплением!

В честь того, что Эндрю Барто и Ричард Саттон получили премию Тьюринга — самую престижную награду в мире компьютерных наук — мы решили подарить нашим подписчикам 5 экземпляров их легендарной книги «Обучение с подкреплением».

Это главная и самая понятная книга по RL, написанная буквально отцами области. На её 600 страницах — всё, что нужно знать о reinforcement learning: от самых основ до разборов новейших подходов и знаменитых алгоритмов AlphaGo и AlphaZero, которые обыграли чемпионов мира по шахматам и Go.

Чтобы получить одну из пяти книг, просто убедитесь, что вы подписаны на оба наших канала: Data Secrets и Data Secrets Карьера. Результаты мы объявим в субботу.

Жми "Участвовать" и совсем скоро книга может оказаться именно у тебя

Тем временем OpenAI закончили раскатывать GPT-4.5 на юзеров Plus подписки (20$)

Теперь можно сэкономить 180 долларов 🤑

И кстати, если вы думали, что 200 долларов за ChatGPT – это предел, то присаживайтесь поудобнее: сейчас будет больше нулей! 🤑

В OpenAI обсуждают добавление новых подписок, которые будут стоить от 2 000$ до 20 000$ в месяц. В них будут включены несколько агентов уровня PhD, которые «способны генерировать научные гипотезы и разрабатывать ПО». Целевая аудитория – «работники научной сферы и высокими доходами» и, конечно, лаборатории и компании.

Интересно, какой уровень возможностей будет предлагать стартап за такие деньги. Ведь это аналогично тому, чтобы нанять себе неплохого живого ассистента (2к) или даже очень крутого PhD исследователя (20к).