Обучение с подкреплением (курс лекций) / 2021
Материал из MachineLearning.
(Различия между версиями)
(→Домашние задания) |
(→Материалы) |
||
| (8 промежуточных версий не показаны.) | |||
| Строка 10: | Строка 10: | ||
'''Канал в Telegram:''' [https://t.me/joinchat/VkEFFxdonGFlMzAy ссылка] | '''Канал в Telegram:''' [https://t.me/joinchat/VkEFFxdonGFlMzAy ссылка] | ||
| + | |||
| + | '''Экзамен по курсу состоится очно, 14 января, в 11:00.''' | ||
==Критерии оценки== | ==Критерии оценки== | ||
| - | В курсе предусмотрено | + | В курсе предусмотрено пять лабораторных работ в формате ноутбуков и устный экзамен. Итоговая оценка по курсу в 10-балльной шкале рассчитывается по формуле: |
'''Итоговая оценка = Округл.вверх (0.3 * Экз + 0.7 * Лаб)''' | '''Итоговая оценка = Округл.вверх (0.3 * Экз + 0.7 * Лаб)''' | ||
| Строка 21: | Строка 23: | ||
!Итог !! Необходимые условия | !Итог !! Необходимые условия | ||
|- | |- | ||
| - | | 5 || сдано не менее | + | | 5 || сдано не менее 4 заданий, оценка за экзамен >= 6 |
|- | |- | ||
| - | | 4 || сдано не менее | + | | 4 || сдано не менее 3 заданий, оценка за экзамен >= 4 |
|- | |- | ||
| - | | 3 || сдано не менее | + | | 3 || сдано не менее 2 заданий, оценка за экзамен >= 4 |
|- | |- | ||
|} | |} | ||
| Строка 31: | Строка 33: | ||
== Домашние задания == | == Домашние задания == | ||
| - | Сдавать лабораторные можно в течение недели после мягкого дедлайна. За некоторые задания можно будет получить бонусные баллы, о чем будет объявляться при выдаче задания. Максимальный балл за лабораторные - | + | Сдавать лабораторные можно в течение недели после мягкого дедлайна. За некоторые задания можно будет получить бонусные баллы, о чем будет объявляться при выдаче задания. Максимальный балл за лабораторные - 80 баллов; итоговая оценка за лабораторные получается делением на восемь. |
Лабораторные, сданные позже недели после мягкого дедлайна, не приносят баллов, но учитываются в '''необходимых условиях''' для конкретной оценки (см. выше). | Лабораторные, сданные позже недели после мягкого дедлайна, не приносят баллов, но учитываются в '''необходимых условиях''' для конкретной оценки (см. выше). | ||
| Строка 47: | Строка 49: | ||
|- | |- | ||
| PPO || 9 ноября || 2 недели || 20 || -0.6 | | PPO || 9 ноября || 2 недели || 20 || -0.6 | ||
| - | |||
| - | |||
|} | |} | ||
== Экзамен == | == Экзамен == | ||
| - | На экзамене все студенты берут случайный билет. В течение часа студент самостоятельно пишет ответ на экзаменационный вопрос, при этом можно пользоваться любыми материалами. Далее студент устно отвечает билет экзаменатору и обсуждаются различные вопросы по курсу уже без использования материалов. Для положительной оценки за экзамен необходимо также справиться с вопросами из теоретического минимума. | + | Экзамен состоится очно, '''14 января''', в 11:00. На экзамене все студенты берут случайный билет. В течение часа студент самостоятельно пишет ответ на экзаменационный вопрос, при этом можно пользоваться любыми материалами. Далее студент устно отвечает билет экзаменатору и обсуждаются различные вопросы по курсу уже без использования материалов. Для положительной оценки за экзамен необходимо также справиться с вопросами из теоретического минимума. |
| - | + | [[Media:rl_exam_questions_2021.pdf|Список вопросов к экзамену]] | |
== Расписание занятий == | == Расписание занятий == | ||
| Строка 103: | Строка 103: | ||
| Лекция<br> | | Лекция<br> | ||
''5 октября'' | ''5 октября'' | ||
| - | | DQN и его модификации. | + | | Deep Q-Network (DQN) и его модификации. |
| | | | ||
* [[Media:Deep_Q_learning_2021.pdf|Слайды занятия]] | * [[Media:Deep_Q_learning_2021.pdf|Слайды занятия]] | ||
| Строка 128: | Строка 128: | ||
| Лекция<br> | | Лекция<br> | ||
''19 октября'' | ''19 октября'' | ||
| + | | Внутренняя мотивация для исследования среды. | ||
| + | | | ||
| + | * [[Media:Exploration-vs-exploitation.pdf|Слайды занятия]] | ||
| + | * [https://drive.google.com/file/d/1Z4W_-0IaMNpZnhnMkqcDVM_EA79GFJo-/view Sutton, Barto], ch.2 | ||
| + | * [https://arxiv.org/abs/1810.12894 Random Network Distillation (RND)] | ||
| + | * [https://arxiv.org/abs/1705.05363 Intrinsic Curiosity Module (ICM)] | ||
| + | | | ||
| + | * [https://lilianweng.github.io/lil-log/2020/06/07/exploration-strategies-in-deep-reinforcement-learning.html Обзор модулей внутренней мотивации] | ||
| + | * [https://arxiv.org/abs/1605.09674 Variational Information Maximizing Exploration (VIME)] | ||
| + | * [https://arxiv.org/abs/2002.06038 Never Give Up (NGU)] | ||
| + | |- | ||
| + | | Лекция<br> | ||
| + | ''26 октября'' | ||
| Policy gradient подход. Advantage Actor-Critic (A2C). | | Policy gradient подход. Advantage Actor-Critic (A2C). | ||
| | | | ||
| Строка 137: | Строка 150: | ||
|- | |- | ||
| Семинар<br> | | Семинар<br> | ||
| - | '' | + | ''26 октября'' |
| REINFORCE. | | REINFORCE. | ||
| | | | ||
| Строка 143: | Строка 156: | ||
|- | |- | ||
| Лекция<br> | | Лекция<br> | ||
| - | '' | + | ''2 ноября'' |
| Trust-Region Policy Optimization (TRPO). | | Trust-Region Policy Optimization (TRPO). | ||
| | | | ||
| Строка 150: | Строка 163: | ||
|- | |- | ||
| Лекция<br> | | Лекция<br> | ||
| - | '' | + | ''9 ноября'' |
| Generalized Advantage Estimation (GAE). Proximal Policy Optimization (PPO). | | Generalized Advantage Estimation (GAE). Proximal Policy Optimization (PPO). | ||
| | | | ||
| + | * [[Media:MSU_2021_PPO.pdf|Слайды занятия]] | ||
* [https://arxiv.org/pdf/1506.02438.pdf GAE] | * [https://arxiv.org/pdf/1506.02438.pdf GAE] | ||
* [https://arxiv.org/pdf/1707.06347.pdf PPO] | * [https://arxiv.org/pdf/1707.06347.pdf PPO] | ||
| Строка 160: | Строка 174: | ||
|- | |- | ||
| Лекция<br> | | Лекция<br> | ||
| - | '' | + | ''16 ноября'' |
| - | | | + | | Непрерывное управление. |
| - | + | ||
| - | + | ||
| - | + | ||
| | | | ||
| + | * [https://arxiv.org/pdf/1509.02971.pdf Deep Deterministic Policy Gradient (DDPG)] | ||
* [https://arxiv.org/pdf/1802.09477.pdf Twin-Delayed DDPG (TD3)] | * [https://arxiv.org/pdf/1802.09477.pdf Twin-Delayed DDPG (TD3)] | ||
| + | * [https://arxiv.org/pdf/1801.01290.pdf Soft Actor-Critic (SAC)] | ||
| + | | | ||
| + | * [https://arxiv.org/abs/2005.04269 Truncated Quantile Critics (TQC)] | ||
|- | |- | ||
| Лекция<br> | | Лекция<br> | ||
| - | '' | + | ''23 ноября'' |
| Имитационное обучение. Обратное обучение с подкреплением. | | Имитационное обучение. Обратное обучение с подкреплением. | ||
| | | | ||
* [https://arxiv.org/pdf/1603.00448.pdf Guided Cost Learning] | * [https://arxiv.org/pdf/1603.00448.pdf Guided Cost Learning] | ||
| - | * [https://arxiv.org/pdf/1606.03476.pdf GAIL] | + | * [https://arxiv.org/pdf/1606.03476.pdf Generative Adversarial Imitation Learning (GAIL)] |
| | | | ||
* [https://arxiv.org/pdf/1805.00909.pdf RL as probabilistic inference] | * [https://arxiv.org/pdf/1805.00909.pdf RL as probabilistic inference] | ||
|- | |- | ||
| Лекция<br> | | Лекция<br> | ||
| - | '' | + | ''30 ноября'' |
| Monte Carlo Tree Search. AlphaZero, MuZero. | | Monte Carlo Tree Search. AlphaZero, MuZero. | ||
| | | | ||
| Строка 187: | Строка 202: | ||
|- | |- | ||
| Лекция<br> | | Лекция<br> | ||
| - | '' | + | ''7 декабря'' |
| Linear Quadratic Regulator (LQR). Model-based RL. | | Linear Quadratic Regulator (LQR). Model-based RL. | ||
| | | | ||
| Строка 203: | Строка 218: | ||
== Материалы == | == Материалы == | ||
| - | * [https://github.com/FortsAndMills/RL-Theory-book/blob/main/RL_Theory_Book.pdf Полунеофициальный конспект] | + | * [https://github.com/FortsAndMills/RL-Theory-book/blob/main/RL_Theory_Book.pdf Полунеофициальный конспект] |
* [https://github.com/yandexdataschool/Practical_RL Курс Practical RL (ШАД)] | * [https://github.com/yandexdataschool/Practical_RL Курс Practical RL (ШАД)] | ||
* [https://www.youtube.com/playlist?list=PLkFD6_40KJIxJMR-j5A1mkxK26gh_qg37 Курс Deep Reinforcement Learning (CS 285), UC Berkeley] | * [https://www.youtube.com/playlist?list=PLkFD6_40KJIxJMR-j5A1mkxK26gh_qg37 Курс Deep Reinforcement Learning (CS 285), UC Berkeley] | ||
Текущая версия
В отличие от классического машинного обучения, в обучении с подкреплением алгоритму на вход не поступает обучающая выборка. Вместо этого, обучение проводится "методом проб и ошибок": агент должен сам собрать данные в ходе взаимодействия с окружающим миром (средой) и на основе собранного опыта научиться максимизировать получаемый отклик - подкрепление, или награду. Курс направлен на изучение алгоритмов последних лет, показывающих state-of-the-art результаты во многих задачах дискретного и непрерывного управления за счёт совмещения классической теории с парадигмой глубинного обучения.
Читается в 3-м семестре для магистров каф. ММП.
Преподаватели: Кропотов Дмитрий, Бобров Евгений, Иванов Сергей, Темирчев Павел
Расписание: по вторникам в 12-15, ауд. 507
Канал в Telegram: ссылка
Экзамен по курсу состоится очно, 14 января, в 11:00.
Содержание |
Критерии оценки
В курсе предусмотрено пять лабораторных работ в формате ноутбуков и устный экзамен. Итоговая оценка по курсу в 10-балльной шкале рассчитывается по формуле:
Итоговая оценка = Округл.вверх (0.3 * Экз + 0.7 * Лаб)
Оценке 5 в пятибалльной шкале соответствует оценка 8 и выше, оценке 4 - оценка [6, 8), оценке 3 - промежуток [4, 6). Помимо баллов необходимо также выполнить следующие условия:
| Итог | Необходимые условия |
|---|---|
| 5 | сдано не менее 4 заданий, оценка за экзамен >= 6 |
| 4 | сдано не менее 3 заданий, оценка за экзамен >= 4 |
| 3 | сдано не менее 2 заданий, оценка за экзамен >= 4 |
Домашние задания
Сдавать лабораторные можно в течение недели после мягкого дедлайна. За некоторые задания можно будет получить бонусные баллы, о чем будет объявляться при выдаче задания. Максимальный балл за лабораторные - 80 баллов; итоговая оценка за лабораторные получается делением на восемь.
Лабораторные, сданные позже недели после мягкого дедлайна, не приносят баллов, но учитываются в необходимых условиях для конкретной оценки (см. выше).
| Лабораторная | Ориентировочная дата выдачи (может быть изменена!) | Срок | Баллы | Штраф за день опоздания |
|---|---|---|---|---|
| CEM | 14 сентября | 1 неделя | 10 | -0.3 |
| Dyn. prog. | 21 сентября | 1 неделя | 10 | -0.3 |
| DQN | 5 октября | 2 недели | 20 | -0.6 |
| A2C | 26 октября | 2 недели | 20 | -0.6 |
| PPO | 9 ноября | 2 недели | 20 | -0.6 |
Экзамен
Экзамен состоится очно, 14 января, в 11:00. На экзамене все студенты берут случайный билет. В течение часа студент самостоятельно пишет ответ на экзаменационный вопрос, при этом можно пользоваться любыми материалами. Далее студент устно отвечает билет экзаменатору и обсуждаются различные вопросы по курсу уже без использования материалов. Для положительной оценки за экзамен необходимо также справиться с вопросами из теоретического минимума.
Расписание занятий
| Занятие | Материалы | Дополнительные материалы | |
|---|---|---|---|
| Лекция 7 сентября | Введение в курс. Кросс-энтропийный метод (CEM). | ||
| Лекция 14 сентября | Динамическое программирование. Value Iteration, Policy Iteration. |
| |
| Семинар 14 сентября | Библиотека OpenAI gym. Реализация табличного кросс-энтропийного метода. | ||
| Лекция 21 сентября | Табличные методы. |
| |
| Семинар 28 сентября | Q-обучение. | ||
| Лекция 5 октября | Deep Q-Network (DQN) и его модификации. | ||
| Лекция 12 октября | Distributional RL. Categorical DQN (c51), Quantile Regression DQN (QR-DQN). | ||
| Лекция 19 октября | Внутренняя мотивация для исследования среды. | ||
| Лекция 26 октября | Policy gradient подход. Advantage Actor-Critic (A2C). |
| |
| Семинар 26 октября | REINFORCE. | ||
| Лекция 2 ноября | Trust-Region Policy Optimization (TRPO). | ||
| Лекция 9 ноября | Generalized Advantage Estimation (GAE). Proximal Policy Optimization (PPO). | ||
| Лекция 16 ноября | Непрерывное управление. | ||
| Лекция 23 ноября | Имитационное обучение. Обратное обучение с подкреплением. | ||
| Лекция 30 ноября | Monte Carlo Tree Search. AlphaZero, MuZero. | ||
| Лекция 7 декабря | Linear Quadratic Regulator (LQR). Model-based RL. |
