📌Книга "Обучение с подкреплением: Основы"

Хороших книг по обучению с подкреплением (Reinforcement Learning, RL) уже выпущено достаточно, однако есть пробел между продвинутыми учебниками, в которых основное внимание уделяется одному или нескольким аспектам, и более общими книгами, в которых предпочтение отдается удобочитаемости, а не сложности.

Авторы книги, люди с опытом работы в CS и инжиниринга, подают тему RL в строгом и академическом стиле. Книга основана на конспектах лекций для углубленного курса бакалавриата, который преподается авторами в Тель-Авивском университете.

К этой книге дополнительно идет брошюра с упражнениями и экзаменационными вопросами, которые помогут освоить материал книги на практике. Эти упражнения разрабатывались на протяжении нескольких лет.

Математическая модель книги - Марковский процесс принятия решений (Markov Decision Process, MDP). Основное внимание уделяется: последовательному принятию решений, выбору действий, долгосрочному эффекту от этих действий и разница между немедленным вознаграждением и долгосрочной выгодой.

Тематически книга состоит из двух частей – "Планирование" и "Обучение".

▶️ Раздел "Планирование" - основы принятия оптимальных решений в условиях неопределенности в соответствии с MDP.

🟢Глава 2. Обоснование модели MDP и ее связь с другими моделями.
🟢Глава 3. Основные алгоритмические идеи в детерминированной постановке.
🟢Глава 4. Цепи Маркова, на которых основана MDP.
🟢Глава 5. Модель MDP с конечным горизонтом и фундаментальный подход к динамическому программированию.
🟢Глава 6. Дисконтированная настройка с бесконечным горизонтом.
🟢Глава 7. Эпизодическая настройка.
🟢Глава 8. Альтернативный подход к решению MDP с использованием формулировки линейного программирования.

▶️ Раздел "Обучение" - принятие решений, когда модель MDP неизвестна заранее.

🟠Глава 9. Описание и мотивация модели обучения и ее связь с альтернативами при принятии решений.
🟠Глава 10. Подход, основанный на моделях, при котором агент явно изучает модель MDP на основе своего опыта и использует ее для принятия решений по планированию.
🟠Глава 11. Альтернативный подход без использования моделей, при котором решения принимаются без явного построения модели.
🟠Глава 12. Изучение приблизительно оптимальных решений крупных задач с использованием аппроксимации функции стоимости.
🟠Глава 13 Решение крупных задач с использованием методов градиентной политики.
🟠Глава 14. Особый случай на примере игровых автоматов, как MDP с единым состоянием и неизвестными наградами, и онлайн-характер принятия решений.


🟡Сайт учебника
🟡Читать


@ai_machinelearning_big_data

#AI #ML #RL #MDP #Book

📌Монография "Reinforcement Learning: An Overview"

Исчерпывающий материал по обучению с подкреплением (Reinforcement Learning, RL), в котором подробно описываются различные модели среды, задачи оптимизации, исследуется определение компромисса между теорией и практической эксплуатаций RL.

Отдельно рассматриваются смежные темы: распределенное RL, иерархическое RL, обучение вне политики и VLM.

В работе представлен обзор алгоритмов RL:

🟢SARSA;
🟢Q-learning;
🟢REINFORCE;
🟢A2C;
🟢TRPO/PPO;
🟢DDPG;
🟢Soft actor-critic;
🟢MBRL.

Автор - Kevin Murphy, главный научный сотрудник и руководитель команды из 28 ресечеров и инженеров в Google Deepmind. Группа работает над генеративными моделями (диффузия и LLM), RL, робототехникой, байесовским выводом и другими темами.

Кевин опубликовал более 140 статей на рецензируемых конференциях и в журналах, а также 3 учебника по ML, опубликованных в 2012, 2022 и 2023 годах издательством MIT Press. (Книга 2012 года была удостоена премии ДеГроота как лучшая книга в области статистической науки).

🔜 Монография опубликована в открытом доступе 9 декабря 2024 года.


@ai_machinelearning_big_data

#AI #ML #Book #RL

✔️ Xiaomi показала обновленную бионическую руку для робота CyberOne.

Рука уменьшена в размерах на 60% и теперь практически совпадает по габаритам с ладонью взрослого человека.

Это не вопрос эстетики: при обучении робота через телеуправление оператором-человеком несовпадение пропорций приводит к деградации обучающих данных. Инженеры называют это «проблемой изоморфизма» и Xiaomi говорит, что решила ее.

Число активных степеней свободы выросло до 22–27, что на 83% больше, чем у предыдущей версии.

Площадь тактильных сенсоров, покрывающих ладонь, подушечки и фаланги пальцев стала 8200 мм².

Увеличение площади дает возможность манипулировать объектами на ощупь, без опоры на компьютерное зрение: робот может закручивать винты и удерживать перо, не повредив его.

Для сбора обучающих данных Xiaomi использует тактильные перчатки. Оператор выполняет действия руками, а система в реальном времени записывает данные о захвате и передает их собственным ИИ-моделям компании.

Предыдущие версии руки выходили из строя менее чем за 10 тыс. циклов захвата из-за износа компонентов. Новая конструкция прошла 150 тыс циклов ( это примерно 61 час непрерывной работы).

Фишка апдейта - бионические потовые железы.

Система микронасосов испаряет жидкость через каналы охлаждения, изготовленные с помощью передовых производственных технологий, и рассеивает около 10 Вт тепла.

Принцип заимствован у человеческого тела: испарение отводит тепло от встроенных моторов и предотвращает перегрев компактного корпуса при длительных силовых захватах.

Ранее Xiaomi продемонстрировала работу робота на реальной автомобильной сборочной линии - 3 часа непрерывной работы с показателем успешности 90,2%. Обновленная рука рассчитана на то, чтобы довести эту цифру до 99,9%.


@ai_machinelearning_big_data

#news #ai #ml