强化学习了解强化学习的目标和回报

一、目标和收益

智能体的目标被形式化的表征为一种特殊的信号，被称为收益，他通过环境传递给智能体，收益都是一个单一的标量数值，非正式的说，智能体的目标是最大化其收到的总收益，这意味这需要最大化的不是当前的收益，而是长期积累的收益。

简单的说，我们所有的目标或者说目的，都可以被总结为，最大化智能体接受到的标量信号（即收益），累计和的概率期望值。-------使用收益信号来形式化目标是强化学习最显著的特征之一。

二、回报和分幕

我们已经知道了，智能体的目标就是最大限度地提高长期收益。那么我们应该怎样正式定义呢？在我们的目标智能体是面对当前状态为St的时候，我们希望这个智能体能够做出一个动作At，使得在该时刻t之后的累计rewards最大，于是需要用现有的知识去实际后面的累计rewards（当然我们现在还没有能够计算出后面累计rewards的能力，这需要用目前的知识去估计后面的情况）；我们将最大化期望回报记为 $G_t$

$G_t = R_{t+1}+R_{t+2}+R_{t+1}+...+R_{T}$

在这样的情况下，我们将智能体和环境的交互自然的分为一系列的子序列，我们称这些子序列为分幕即episodes，比如学习下棋，每一盘都可以作为一个新的episodes，但是一些持续型的任务无法分成单独的episodes，这些任务是连续的，而且甚至有的任务控制时间无限长，我们需要引入一个新的概念，称为折扣，因为如果按照上面的公式 $G_t = R_{t+1}+R_{t+2}+R_{t+1}+...+R_{T}$ ，那么 $G_t$ 的大小将变得无限大,我们将这类任务的目标回报记为，其中gama在[0,1]

$G_t = R_{t+1}+\gamma R_{t+2}+\gamma ^{2} R_{t+1}+... =\sum\gamma ^{k}R_{t+k+1}$

特别的，重要的，临界的回报可以通过递归的方式联系起来：

$G_t = R_{t+1}+\gamma G_{t+1}$

特别的，重要的，如果收益的值是一个常数“1”，则回报是

$G_t = \sum\gamma ^{t} = \frac{1}{1-\gamma}$

三、杆任务与案例

小车移动推着杆子走，需要保证杆子不落下，如果杆子偏离垂直方向一定角度或者小车偏离轨道则视为失败，每次失败后，杆子重新回到垂直位置。

（1）这个任务可以分为分幕式的，这里的幕（episodes）是试图平衡杆子的每一次操作，对每一次杆子不倒下都可以给出收益+1，因此知道失败前，每一次的回报就是步数。同时永远的平衡就意味这无限的回报。

（2）或者我们可以将这个任务看作持续性任务，并使用折扣，在这种情况下，每次失败的收益是-1，其余情况则为0，每次回报将与 $-\gamma^{K}$ 相关，其中K是失败前的步数。

无论是上述哪种情况，尽可能的长时间保持平衡都将得到收益的最大化。

Q：将杆平衡看作一个使用折扣的分幕式任务，当失败则收益为-1，否则为0。那么每次回报是多少？如果是持续性的情况呢？

分幕式： $G_t = -\gamma^{T-t}$

持续性： $G_t = -\sum\gamma^{k-t}$

强化学习 了解强化学习的目标和回报

猜你喜欢

强化学习了解强化学习的目标和回报