版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/gaoruowen1/article/details/82531037
####一、DQN
将卷积神经网络（CNN）和Q-Learning结合起来。CNN的输入是原始图像数据（作为状态State），输出则是每个动作Action对应的价值评估Value Function（Q值）。
####二、DL与RL结合
问题：
1、DL需要大量带标签的样本进行监督学习；RL只有reward返回值，而且伴随着噪声，延迟（过了几十毫秒才返回），稀疏（很多State的reward是0）等问题；
2、DL的样本独立；RL前后state状态相关；
3、DL目标分布固定；RL的分布一直变化，比如你玩一个游戏，一个关卡和下一个关卡的状态分布是不同的，所以训练好了前一个关卡，下一个关卡又要重新训练；
4、过往的研究表明，使用非线性网络表示值函数时出现不稳定等问题。
DQN解决方法：
1、通过Q-Learning使用reward来构造标签（对应问题1）
2、通过experience replay（经验池）的方法来解决相关性及非静态分布问题（对应问题2、3）
3、使用一个CNN（MainNet）产生当前Q值，使用另外一个CNN（Target）产生Target Q值（对应问题4）