李宏毅深度强化学习(国语)课程(2018)
李宏毅深度强化学习(国语)课程(2018)_哔哩哔哩_bilibili
Actor-Critic的代表方法A3C,“Asynchronous Methods for Deep Reinforcement Learning”
由于G非常unstable,所以,sample的值会差别很大,如果sample足够多,其实没有问题。但是,实际中sample次数是有限的,这样做policy gradient 去update参数,得到的结果可能是天差地别的。
Q Learning复习。
为了让这个training的process变得比较stable一点,引入value based方法,直接估测G 这个random variable的期望值,用期望值代替sample的值。
为了只评估一个network,减少误差,引入以下推导。
A2C工作原理。
为了增加训练速度,A3C同时增加多个worker,每个worker用一张CPU去跑。有一个global 的 network。
Pathwise Derivative Policy Gradient算法:Q learning解continuous action的一种特别的方法,或一种特别的Actor-Critic的方法。critic会直接引导actor做什么样的action,可以得到比较大的value。
Pathwise Derivative Policy Gradient算法工作原理。
Pathwise Derivative Policy Gradient算法流程:actor π跟环境互动,去estimate Q value,estimate 完Q value以后,假设Q估的很准,将Q 固定。接下来train actor,actor learning的方向,就是希望actor output的a,输入到Q里面,值越大越好。
Pathwise Derivative Policy Gradient算法流程形式化表示:
复习Q learning的算法流程。