强化学习的DDPG

论文链接

动机

处理连续动作空间下，参数过多，运算过于复杂的问题。

想象一下，一个机器人每个时间步有7个动作，如腿、胳膊等各个关节。你可以调整的是每个部位对应电机的电压。先简单看作每个动作有3个动作状态，{-k,0,k}，那么每个时间步就对应有 $3^7=2187$个动作空间。如果将k这个数字更细粒度划分的话，动作空间将会非常庞大。

因此，面对这样的情况，DDPG提出了新的方法。其关键在于改变策略函数。

实现

论文引入了一个新的策略函数 $\mu_\theta(a|s)$来代替原本的 $\pi_\theta(a|s)$

$\pi_\theta(a|s)$将给定的状态，映射到所有动作的动作分布

$\mu_\theta(a|s)$将给定的状态，直接映射为一个动作

显而易见提高了效率

参考