Вопрос или проблема
В настоящее время я просматриваю лекции Беркли по обучению с подкреплением. В частности, я нахожусь на 5 слайде этой лекции.
Внизу этого слайда градиент ожидаемой суммы наград задан следующим образом:
$$
\nabla J(\theta) = \frac{1}{N} \sum_{i=1}^N \sum_{t=1}^T \nabla_\theta \log{\pi_\theta(a_{i,t} \vert s_{i,t}) (Q(s_{i,t},a_{i,t}) – V(s_{i,t}))}
$$
Функция q-значения определяется как
$$Q(s_t,a_t) = \sum_{t’=t}^T \mathbb{E}_{\pi_\theta}[r(s_{t’},a_{t’})\vert s_t,a_t]$$
На первый взгляд, это имеет смысл, потому что я сравниваю значение выбранного действия $a_{i,t}$ со средним значением на шаге времени $t$ и могу оценить, насколько хорошим было мое действие.
Мой вопрос: конкретное состояние $s_{spec}$ может возникнуть на любом временном шаге, например, $s_1 = s_{spec} = s_{10}$. Но разве нет разницы в значении в зависимости от того, встретился ли я с $s_{spec}$ на шаге 1 или 10, когда $T$ фиксирован? Означает ли это, что для каждого состояния есть разное q-значение для каждого возможного $t \in \{0,\ldots,T\}$? Я как-то сомневаюсь, что это так, но я не совсем понимаю, как временной горизонт $T$ вписывается в это.
Или же $T$ не фиксирован (возможно, он определяется как шаг времени, на котором траектория заканчивается в терминальном состоянии – но это означало бы, что во время выборки траекторий каждая симуляция будет занимать разное количество временных шагов)?
В этом случае, я думаю, не имеет значения, когда вы достигаете $s_{spec}$, а как обновляется q-значение из-за выполнения действия в этом состоянии.
Поэтому не должно быть разных q-значений для каждого возможного $t\in \{0, …, T\}$, только q-значения для каждого возможного действия.
Я уверен, что разница есть в нахождении в состоянии на определенном временном шаге, но это задача агента – обучиться этому, используя алгоритмы ОП (например, метод градиента политики в лекции).
Что касается того, фиксирован ли $T$, горизонт $T$ может быть бесконечным или фиксированным для конечного числа.
Например, если $T$ фиксировано на 10, агент должен выучить политику, которая максимизирует суммарные дисконтированные награды за конечное время, но это может быть не самой оптимальной политикой. Когда $T$ бесконечно, есть больше времени для исследования и нахождения наиболее оптимальной политики.
Самый близкий метод, который, как я знаю, учитывает когда была встречена пара состояние-действие, это Experience Replay, который используется в DQN.
Я также изучаю обучение с подкреплением сейчас! Рекомендую Deep RL Bootcamp, так как они дают лабораторные работы на Python, которые очень интуитивны.
.
Ответ или решение
Теория
В области обучения с подкреплением (Reinforcement Learning, RL) Time Horizon (временной горизонт) является важным параметром, особенно в алгоритмах с градиентной оценкой политики, таких как метод "актер-критик". На слайде, к которому вы ссылаетесь, представлено уравнение для градиента ожидаемой суммы вознаграждений:
$$
\nabla J(\theta) = \frac{1}{N} \sum{i=1}^N \sum{t=1}^T \nabla\theta \log{\pi\theta(a{i,t} \vert s{i,t}) (Q(s{i,t},a{i,t}) – V(s_{i,t}))}
$$
Здесь (Q(s_t, at)) представляет собой функцию ценности действия, определяемую как сумма ожидаемых вознаграждений от текущего момента (t) до (T) с учетом некоторых вероятностей выбора действий согласно стратегии (\pi\theta).
Вопрос о том, как временной горизонт (T) и его фиксация или изменяемость влияют на обучение, касается ключевой взаимоувязки между длительностью эпизодов и качеством обучения агента. Временной горизонт может быть фиксированным или бесконечным. Фиксированный временной горизонт предполагает, что агент должен выработать стратегию, чтобы максимизировать вознаграждения в течение ограниченного количества временных шагов. В то время как бесконечный временной горизонт предоставляет агенту возможность максимально эффективного изучения среды и поиска более оптимальной стратегии в долгосрочной перспективе.
Пример
Рассмотрим агент, решающий задачу с конечным временным горизонтом (T = 10). В этой ситуации агент должен быстро принимать решения и адаптировать свое поведение, чтобы максимизировать сумму вознаграждений за короткий промежуток времени. Предположим, что агент сталкивается с определенным состоянием (s_{spec}) в различные моменты времени, скажем, на первом и десятом шаге. Значимость того, когда агент попадает в это состояние, очевидна: чем ближе к концу горизонта, тем меньше у него времени, чтобы накопить дополнительные вознаграждения, ведущие к различиям в стратегии и ценностях этих состояний в зависимости от временного контекста.
Применение
Алгоритмы обучения с подкреплением, такие как метод "актер-критик", позволяют агенту динамически учитывать как временную ограниченность, так и стратегию действий. Основываясь на различиях в моменте достижения определенного состояния, агент может актуализировать ценности состояний для соответствующих шагов с помощью корректировок через функции ценности действий (Q) и ценности состояния (V). Агент использует среднее накопление вознаграждений, чтобы оценить потенциальные ожидания от будущих действий, полученных на каждом шаге.
Технически, фиксация или изменение временного горизонта (T) перенаправляет обучение на разные области. Если (T) фиксирован, агент стремится максимизировать выгоды за ограниченный период, что может привести к менее оптимальной стратегии в долгосрочной перспективе. Если же временной горизонт бесконечен, агент получает больше возможностей для обучения и потенциально лучшее понимание.
Заключение
Временной горизонт (T) играет решающую роль в установлении того, как агент обучается и приобретает стратегические навыки в мультитемпоральной среде. Каждое состояние может иметь разную ценность в зависимости от того, на каком шаге оно возникает, что подчеркивает важность гибкого подхода, который можно реализовать с помощью усовершенствованных алгоритмов как Policy Gradient и Actor-Critic. В дополнение, дополнительные методы, такие как Experience Replay, могут использоваться для улучшения обучения посредством исторической информации о паре "состояние-действие". Эти аспекты подчеркнуты в исследованиях и разработках в области глубокого RL как в академических кругах, так и на практике.