用新动作/扩展动作集强化学习

Question

我想知道是否有任何关于新动作的RL问题的研究，例如，想象一个视频游戏，随着游戏的进行，代理学习更多的技能/策略，因此有更多的可用动作可供选择，因此动作集随着时间的推移而扩展。一个相关的问题

强化学习中的状态依赖动作集

但这个问题也没有足够的答案。谢谢！

Answer 1

最近所有关于深度强化学习的研究和论文都使用了一组静态的小动作环境。然而，有几种方法可以尝试补偿具有可变动作空间的情况。

假设我们有一个游戏环境，代理可以执行不同的攻击。其中一个攻击，火球，只在游戏后期解锁。也许你必须做一些特殊的事情来解锁这个攻击，但是为了这个论点的目的，让我们假设你的代理将在游戏过程中的某个时候解锁这个能力。

1. 如果代理尝试执行尚未解锁的操作，您可以将解锁的操作添加到操作空间，并分配一个大的负面奖励。因此，如果你的经纪人试图使用火球，但火球尚未解锁，他们将获得负面奖励。然而，这极有可能使特工“学会”永远不要使用火球，即使火球已解锁
2. 您还可以通过添加可用的新动作来改变动作空间。在这个场景中，代理在其动作空间中不会有火球攻击，直到它被解锁。当向动作空间添加新动作时，您必须改变epsilon（随机动作的速率）来进行更多的探索
3. 作为“状态”的一部分，您可以跟踪代理的可用操作。如果代理人有能力在游戏的一个部分使用火球，但不能在游戏的另一个部分，这可以被视为不同的状态，这可能会通知代理人。表示状态的向量可以为每个不同的可解锁能力提供一个二进制值，并且结合上面在#1中提到的方法，您的代理可以学习有效地使用解锁能力

这篇研究论文讨论了连续动作空间中的强化学习，这不完全是一回事，但可能会给你一些额外的想法。