一文解析on-policy与off-policy的区别
接下来，我将阐述我对on-policy和off-policy的理解，仅供参考。为便于说明，以Sarsa和Q-learning两种算法为例展开讲解。
首先，我们得明确什么是on-policy和off-policy。
简单来说，on-policy指的是行动策略和目标策略相同，而off-policy则是行动策略与目标策略不同。
那么，什么是行动策略和目标策略呢？
行动策略，顾名思义，就是指导我们每一步如何选择动作的策略，它负责产生经验样本。而目标策略，则是我们选择何种更新方式，以寻求最优的Q表。
接下来，我们以Sarsa和Q-learning为例，详细探讨这两种策略的具体应用。
我们的目标是更新在S环境下，执行a动作后的Q(s,a)值。
两种算法的执行流程大致相同：
1. 从状态s出发，依据当前Q表和特定策略（如Epsilon greedy）选择动作a。
2. 观察到下一个状态s'，并获取该状态下的奖励r。
3. 再次根据Q表选择动作a'，但Sarsa与Q-learning在选择a'时有所不同。
Q-learning采用贪心策略，选择使Q(s,a)最大化的a'，但并不实际执行该动作；而Sarsa则继续使用Epsilon greedy策略，并实际执行选定的a'动作。
4. 根据所选动作和奖励更新Q表。
总结来说，Q-learning的行动策略是Epsilon greedy，而目标策略是贪心策略，因此属于off-policy。相反，Sarsa的行动策略和目标策略都是Epsilon greedy，因此属于on-policy。
举个例子，比如我们有一系列的经验样本，如“读书-读书-读书-奖励”和“读书-读书-电视-批评”等。这些经验样本都是由行动策略产生的，它们代表了不同环境下的不同动作选择，同时也是更新Q表的路径。
那么，on-policy和off-policy各自有何优缺点呢？
off-policy的优点在于，它可以利用其他策略产生的经验进行学习，从而提高学习效率。然而，其缺点也显而易见，即可能受到过往经验的影响，导致学习策略偏离最优路径。
相比之下，on-policy的优点在于它始终遵循当前策略进行学习和更新，因此更有可能找到最优解。但缺点是，它只能利用自身产生的经验进行学习，这在某些情况下可能限制了学习效率。
off-policy之所以能够利用其他策略的经验进行学习，是因为它可以从一个数据缓冲区中随机抽取历史经验。这些经验可能来源于不同的策略，但都可以用于更新当前策略，使其更加接近最优策略。这样一来，off-policy就不需要每次都使用最新的策略来收集数据，从而提高了学习效率。
全部评论 （0）