📌Монография "Reinforcement Learning: An Overview"

Исчерпывающий материал по обучению с подкреплением (Reinforcement Learning, RL), в котором подробно описываются различные модели среды, задачи оптимизации, исследуется определение компромисса между теорией и практической эксплуатаций RL.

Отдельно рассматриваются смежные темы: распределенное RL, иерархическое RL, обучение вне политики и VLM.

В работе представлен обзор алгоритмов RL:

🟢SARSA;
🟢Q-learning;
🟢REINFORCE;
🟢A2C;
🟢TRPO/PPO;
🟢DDPG;
🟢Soft actor-critic;
🟢MBRL.

Автор - Kevin Murphy, главный научный сотрудник и руководитель команды из 28 ресечеров и инженеров в Google Deepmind. Группа работает над генеративными моделями (диффузия и LLM), RL, робототехникой, байесовским выводом и другими темами.

Кевин опубликовал более 140 статей на рецензируемых конференциях и в журналах, а также 3 учебника по ML, опубликованных в 2012, 2022 и 2023 годах издательством MIT Press. (Книга 2012 года была удостоена премии ДеГроота как лучшая книга в области статистической науки).

🔜 Монография опубликована в открытом доступе 9 декабря 2024 года.


@ai_machinelearning_big_data

#AI #ML #Book #RL

🖥 Только что Google опубликовали один из лучших официальных гайдов по ИИ-агентам. И его действительно стоит прочитать.

В нем содержится все, что вам нужно знать:
> Описание агентов, компонентов и когнитивных архитектур.
> Разобраны инструменты по работе с агентами: расширения, написании функций и хранилища данных.
> Описываются методы обучения для повышения производительности агентов.
> Описываются методы создания агентов с использованием LangChain и LangGraph

▪ Читать гайд

@ai_machinelearning_big_data


#aiagents #ai #llm #ml #machinelearning

✔️ Модель P1 взяла золото на Международной олимпиаде по физике.

Shanghai AI Lab натренировал семейство моделей P1 для решения сложнейших физических задач. Флагманская модель P1-235B-A22B добилась исторического результата, став первой открытой моделью, которая решила задачи Международной олимпиады по физике 2025 года на уровень золотой медали.

P1 сравнялась на физическом бенче HiPhO по количеству медалей с Gemini-2.5-Pro и обошла GPT-5. Основой успеха стала мультиагентная система PhysicsMinions, которая итеративно проверяет и улучшает решения, анализируя их логику и физическую состоятельность.

Весь проект P1, включая сами модели и бенчмарки, опубликован в открытом доступе.
prime-rl.github.io

✔️ Google готовит тысячекратное увеличение ИИ-мощностей.

Техногигант планирует в 1000 раз нарастить свои вычислительные мощности для ИИ в течение следующих 4-5 лет. По словам топ-менеджеров, Google уже вынуждена удваивать серверные емкости для ИИ каждые полгода, чтобы справляться с растущей нагрузкой.

Руководство Google считает, что риск недоинвестирования в инфраструктуру сейчас выше, чем риск перерасхода средств. План расширения опирается на три элемента: более тесную интеграцию аппаратного и программного обеспечения, повышение эффективности моделей и использование кастомных чипов.
cnbc.com

✔️ В NotebookLM добавили возможность создавать презентации и инфографику.

Сервис расширили функцией генерации слайдов на основе загруженных источников. Инструмент подойдет для быстрого структурирования информации и создания черновиков презентаций или визуально улучшения уже существующих материалов.

Слайды доступны для скачивания в формате PDF, экспорт в Google Slides и PowerPoint уже находится в разработке. За работу новой функции отвечает Nano Bana Pro.

Лимиты на использование зависят от типа аккаунта пользователя.
NotebookLM в сети Х

✔️ Reality Labs Марка Цукерберга анонсировала text-to-world систему.

WorldGen — система генерации полностью интерактивных 3D-мирой на основе простых текстовых запросов. Технология использует процедурную логику и диффузионные модели для создания детализированных и стилистически выдержанных локаций размером до 50x50 метров.

Итоговые сцены WorldGen, согласно демо-роликам, не просто статичны, а готовы к навигации и взаимодействию. Созданные миры совместимы с игровыми движками Unity и Unreal и не требуют дополнительных конвертаций или сложной настройки рендеринга.

Проект находится на стадии исследования и пока недоступен для широкого использования.
roadtovr.com

✔️ Ubisoft создает ИИ-NPC для игр.

Игровая студия анонсировала экспериментальный проект Teammates, который меняет взаимодействие с неигровыми персонажами. Технология на базе генеративного ИИ позволяет NPC понимать естественную речь и действовать как участники процесса, а не просто скриптовые боты.

В рамках прототипа, созданного на основе шутера от первого лица, игроку помогают два ИИ-напарника и голосовой ассистент Джаспар. Они способны реагировать на голосовые команды: подсвечивать цели, предоставлять информацию о сюжете, изменять игровые настройки или ставить игру на паузу. Система анализирует контекст и действия игрока, обеспечивая динамическую реакцию персонажей в реальном времени.

Ubisoft говорит, что проект уже прошел закрытое тестирование. По мнению CEO компании, ИИ станет для индустрии революцией, сравнимой с переходом игр от 2D к 3D.
news.ubisoft.com


@ai_machinelearning_big_data

#news #ai #ml