Вопрос или проблема
Я пытался написать агента с обучением с подкреплением, используя библиотеку stable-baselines3. Метод agent(abservations) должен возвращать действие. Я прошел через API различных моделей (например, PPO), и они на самом деле не позволяют нам указывать пространство действий. Вместо этого пространство действий указывается в окружении.
Этот ноутбук говорит:
Тип действия (дискретное/непрерывное) будет автоматически выводиться из пространств действий окружения.
Итак, похоже, что “модель” выводит пространство действий из окружения.
Вопрос 1. Но как именно?
Вопрос 2. Также, как мой метод agent(observations) должен возвращать действие? Возвращая действие, возвращенное model.predict()?
Кажется, я получил ответ на вопрос 1. Делюсь своим пониманием ниже:
PPOрасширяетOnPolicyAlgorithmPPOвызываетsuper(..,env,..), то естьOnPolicyAlgorithm(..,env,..)OnPolicyAlgorithmрасширяетBaseAlgorithmOnPolicyAlgorithmвызываетsuper(..,env,..), то естьBaseAlgorithm(..,env,..)BaseAlgorithmпохоже, получаетaction_spaceизenv
Тем не менее, мне не удается получить ответ на вопрос 2.
Вкратце, в обучении с подкреплением мы разрабатываем агента, который взаимодействует с окружением, генерируя действия, оказывающие влияние на окружение. Таким образом, агент воспринимает состояние окружения, например, используя нейронную сеть, и выводит соответствующее действие.
Для вашего первого вопроса взгляните на окружение Openai pendulum.
Что касается вашего второго вопроса, да, model.predict(observation) делает именно это. Если вы считаете, что каждая модель — это нейронная сеть с входными наблюдениями, то выходом будет действие (иногда неявно, так как вы можете получать ожидаемые значения в качестве выходных данных и использовать их для определения вашей политики выбора действия).
.
Ответ или решение
Понимание пространства действий в Stable Baselines
Вопрос в области глубинного обучения и нейронных сетей, касающийся пространства действий в рамках библиотеки Stable Baselines3, имеет значительное значение для разработки агент-контроллеров для обучения с подкреплением. Давайте подробнее разберем, как пространство действий может быть определено и использовано в этой библиотеке.
Вопрос 1: Как модель определяет пространство действий?
В Stable Baselines3 пространство действий не задается непосредственно в модели; оно определяется на основе используемой среды. Эта библиотека использует концепцию наследования, чтобы прокрутить информацию вниз по иерархии классов, как вы правильно заметили в своем анализе классов PPO, OnPolicyAlgorithm и BaseAlgorithm.
В классе BaseAlgorithm метод конструктор принимает объект env как параметр и через него получает доступ к атрибуту action_space. Этот атрибут содержит описание пространства действий, которое является частью среды, часто заданной в OpenAI Gym. Gym предлагает два основных типа пространства действий: дискретное и непрерывное. Отсюда модель получает информацию о том, каков диапазон действий, которые она может выбрать.
Вопрос 2: Как agent(observations) должен возвращать действия?
Метод agent(observations) может эффективно возвращать действия с использованием метода model.predict(observation). Это происходит следующим образом:
- Получение наблюдений: Агент наблюдает за состоянием окружающей среды.
- Прогнозирование действия: Агент передает эти наблюдения через модель (как правило, нейронную сеть).
- Возвращение действий: Модель на основании входного состояния предсказывает наиболее подходящее действие.
Используя model.predict(), вы получаете интегрированный способ выбора действий на основе обученной политики модели, что является основополагающим в обучении с подкреплением.
Применение на практике
Применение этих концепций требует хорошего понимания как алгоритмов обучения с подкреплением, так и работы с библиотеками, такими как Stable Baselines3 и OpenAI Gym. Очень важно адекватно задавать пространство действий в рамках среды и использовать гибкость развиваемого агента для улучшения производительности системы.
На основе описанного выше процесса и ваших замечаний, можно сделать вывод, что каждое взаимодействие модели и среды исключительно важно и требует детального внимания к настройке пространства действий в среде. Это один из ключей к успешной настройке агента обучения с подкреплением.