Передача скрытого состояния одной RNN другой RNN.

Вопрос или проблема

Я использую обучение с подкреплением, чтобы обучить ИИ австрийской карточной игре с несовершенной информацией, называемой Schnapsen. Для различных состояний игры у меня есть разные нейронные сети (которые используют разные признаки), которые вычисляют значение/политику. Я хотел бы попробовать использовать RNN, так как прошлые действия могут быть важны для принятия будущих решений.

Однако, так как я использую несколько нейронных сетей, мне необходимо постоянно передавать скрытое состояние от одной RNN к другой. Я не совсем понимаю, как это сделать, особенно во время обучения я не знаю, как сделать так, чтобы работала обратная пропагация через время. Буду благодарен за любые советы или ссылки на связанные научные статьи/блоги!

В настоящее время я работаю с Flux в Julia, но также готов переключиться на Tensorflow или Pytorch в Python.

Вот несколько подходов, которые я нашел в исследовательской области, которые объединяют как RNN, так и обучение с подкреплением и выглядят многообещающими

Обучение с подкреплением с LSTM-сетями
Обучение с подкреплением с RNN
Гибридный подход с RNN

Ссылки на научные статьи

Примечание: Следующая статья, по-видимому, является единственной, проверенной в индустрии и примененной к промышленной задаче
D. Prokhorov, Toward effective combination of off-line and on-line training in ADP framework, in: Proceedings of the IEEE International Symposium on Approximate Dynamic Programming and Reinforcement Learning
(ADPRL), Honolulu, HI, pp. 268–271, 2007

Ответ или решение

Тема переноса скрытого состояния из одной рекуррентной нейронной сети (RNN) в другую касается актуального вопроса совмещения и обучения политик в задачах с несовершенной информацией, таких как игра в карты по правилам Schnapsen. Рассмотрим данный процесс с использованием рекуррентных нейронных сетей в контексте обучения с подкреплением. Для успешного применения RNN в этой области необходимо учитывать несколько ключевых моментов.

Теория

Рекуррентные нейронные сети (RNN) обладают способностью учитывать временные зависимости благодаря использованию скрытых состояний, которые способны "запоминать" важную информацию из предыдущих шагов. Это свойство делает их особенно подходящими для задач с временной динамикой, таких как игры с несовершенной информацией. Однако в случаях, когда требуется несколько сетей, могут возникнуть сложности с переносом скрытого состояния из одной сети в другую. Особенно важно решить эту задачу во время обратного распространения ошибки по времени (Backpropagation Through Time, BPTT).

Пример

Представьте, что у вас есть две различные RNN, каждая из которых отвечает за определенное состояние игры. При переходе из одного состояния игры в другое возможно потребуется передать скрытые состояния, чтобы сохранить информацию о прошлых действиях. Это напоминает процесс, при котором игрок сохраняет свое "собственное состояние" понимания игры, даже переходя между различными настройками или аспектами игры.

Применение

Архитектура и тренировка RNN: Для каждой стадии игры можно использовать различные RNN, отвечающие за уникальные фичи этой стадии. Тем не менее, необходимо гарантировать, что каждая RNN сможет принимать и передавать информацию между собой. Это достигается путем использования унифицированного формата скрытых состояний. Например, вы можете применять LSTM или GRU, которые могут управлять передачей состояний благодаря своим управляемым элементам памяти и забывания.
Обратное распространение через время: При обучении с использованием BPTT важным аспектом является возможность комплексного управления градиентами, возможно, по временной шкале, превосходящей один шаг. В этом контексте BPTT должен учитывать градиенты от всех возможных RNN, участвующих в текущей фазе игры.
Интеграция с Reinforcement Learning: Чтобы максимально использовать возможности RNN в RL-средах, можно использовать совместные архитектуры, такие как Actor-Critic, где RNN может быть использована как в "сценаристе" (Actor), так и в "критике" (Critic).
Платформы и инструменты: Поскольку вы не привязаны к конкретной платформе, стоит рассмотреть TensorFlow или PyTorch, так как они имеют более обширную и гибкую инфраструктуру для работы с RNN и RL.
Ресурсы и исследования: Представленные ссылки указывают на множество исследовательских работ. Одной из ключевых тем является интеграция LSTM с RL. Следует особенно обратить внимание на такие публикации, как "Reinforcement Learning and Recurrent Neural Network Based Dynamic User Modeling System" и "Reinforcement Learning by Backpropagation through an LSTM Model/Critic", которые детально описывают подобные интеграции.
Практическое применение: Внедрение подходов, описанных в вышеуказанных работах, может значительно улучшить адаптивность и обучаемость вашей системы, устраняя необходимость в перерасчете состояний и обеспечивая более согласованное принятие решений на основе исторических данных.

Подводя итог, задача переноса скрытых состояний между RNN в среде Reinforcement Learning и игры с несовершенной информацией требует комплексной архитектуры систем и детальной настройки алгоритмов обучения. С учетом существующих ресурсов и научных трудов, можно создать гибкие и эффективные модели, адекватно реагирующие на динамику стратегических игр, учитывающие прошлые действия и адаптирующие тренировочные процессы.