Actor Critic算法简要理解

问题：

给定一个state，如何找到一个action，使得这个action带来的reward最大？

Actor Critic算法：

网络定义
Actor和critic分别是两个结构不同神经网络。
（其实，它们还各有一个与自身结构相同，但是参数权值不同的孪生网络。一个记为eval_net，一个记为target_net。所以一共是四个网络）
$Actor$：输入(state)，输出(action)
$Critic$：输入(state, action)，输出(reward)，即这里的Q值

前向传播过程
将 $state$传给Actor，然后获取Actor输出的 $action$值即可。

网络更新过程：
更新Critic：
$Critic$的更新，就是计算出 $reward$关于 $Critic$网络权值的导数，然后进行“梯度下降”。
将 $Critic$网络的输出记为， $curQ = evalNet.eval(state, action)$；
将期望的Q值记为， $targetQ = reward + gamma \cdot targetNet.eval(state, action)$；
则误差 $tdError$为 $mean(diff(targetQ-curQ))$，最后根据误差来更新Critic网络即可。
更新Actor：
$Actor$的更新，就是计算出 $reward$关于 $Actor$网络权值的导数，然后进行“梯度下降”。
但是这个不好直接求解，因为从 $Actor$到 $reward$中间还隔着一个 $action$，于是有
$d(curQ)/d(Actor) = d(curQ)/d(action) * d(action) / d(actor)$。
这里我们想让curQ值最大，于是就用optimizer来minimize(-curQ)即可。