一、深度强化学习Deep Reinforcement Learning (RL)

什么是RL？（三步骤）

在一些任务中给数据加标签是很有挑战性的。没有标签的数据可以使用RL。
在RL里面有两个东西：actor和环境。环境会给observation作为输入，actor获取观测会输出action，环境会不断给出reward作为反馈，判断actor的动作是否好。
在这里插入图片描述
找到一个最大化总reward的政策
终结:所有的外星人都被杀死，或者你的飞船被摧毁。

神经网络的输入:用向量或矩阵表示的机器的观测值
输出神经网络:每个动作对应输出层的一个神经元

reward不仅要看a还要看s。
第三步要找到一组参数，让R越大越好。
因为a是取样的，结果带有随机性，所以每次的结果不一定是一样的。
环境和reward是黑盒子，不知道结果和过程。
环境也是有随机性的，一般的方法不能用。如何在这里进行优化是RL的主要挑战。
在这里插入图片描述
RL的随机性很大，测试的时候结果有很大的不一样。

计算loss

控制actor：让它采取(或不采取)特定的行动——给出特定的观察结果。
在这里插入图片描述

这跟监督学习训练分类器是一样的！

计算A

改变二元分类问题，加上权重：难点是怎么得到这些对和A
在这里插入图片描述

版本0

在这里插入图片描述
不是一个好的版本，只看近不看远。一项行动会影响后续观察，进而影响后续reward。a1可能会影响r2.
reward delay:actor不得不牺牲眼前的奖励来获得更多的长期奖励。
在《太空入侵者》中，只有“开火”能产生积极的回报，所以vision 0将学习一个总是“开火”的actor。