DQN：从入门到入坑

DQN，全称深度Q网络，是一种强化学习(RL)算法。

0x01 intro of RL

强化学习（Reinforcement learning，简称RL）是和监督学习，非监督学习并列的第三种机器学习方法。

举例说明：

机器在玩红色警戒3（不经意间暴露了年龄），从开始到发育到配合到进攻/防守，最后到输赢。

比如一开始，机器不知道红色警戒3里有啥操作，它可能会这里起个电、那里起个兵营、或者它愿意的话可以往家里扔一颗真空内爆弹…

但是当机器把自己家拆了之后，它不就输了嘛，输了之后就会收到负面反馈，告诉它这么做是不对的。因此，机器在收到若干次负面反馈之后，就会偏向于拆对手的家。

总的来说，强化学习可以建模如下：
即：

agent（执行个体）做出动作 -> 环境发生改变 -> agent得到一定的反馈(reward) -> agent做出动作 -> 环境发生改变 -> agent得到一定的反馈(reward)…

这么一个过程。

需要注意，有的时候agent在做完动作后并不一定得到反馈，例如我们并不能在开局第一步就判断谁胜谁负。

接下来是强化学习中一些比较重要的概念：

• 策略(policy): $\pi$
  在不同的环境状态(state)下，agent做的动作是不确定的，而是呈现一个概率分布的形式。此即：
  $$\pi (a|s)=P(A_t=a|S_t=s)$$
  在状态$s$时菜取动作$a$的概率分布。
  对于了解博弈论的老鸽们来说，这玩意就是在每个状态时agent的混合策略…
• 价值(value)
  agent在某个时刻做某个动作$a$的时候，会得到反馈$R_{t+1}$。因为每个时刻的$a$是随机的，所以这个$R_t$相当于是一个随机过程…下面，我们认为有一个天眼程序可以告诉agent在当前形势下的胜率，并且把这个胜率作为奖励。显然，agent的选择会有持续影响（比如没有防范到对面工程师偷家，双手离开键盘.jpg）因此，这个价值函数可以表示为：
  $$E(R_{t+1}+\gamma R_{t+2}+{\gamma }^2{R}_{t+3}+...|S_t=s)$$
  即，在环境状态$s$下，我们能得到多少回报。
  更像是当前状态下的期望价值。
• 奖励折扣因子$\gamma$
  见上式，其实就是个重复博弈效益函数里的衰减项。
• 环境的状态转化模型
  在某个状态$stat{e}_t=s$下，执行action，可以达到一个新的状态$stat{e}_{t+1}$，但是它不是唯一的，环境的状态转化模型可以理解成是一个概率状态机，使用状态转移的概率来描述，即在前述状态和前述动作已知时转移到下一个状态的概率：$P(stat{e}_t+1=s^{\prime }|stat{e}_{\le t}=S,actio{n}_{\le t}=A)$
• 探索率$ϵ$
  主要用来防止局部最优。例如：目前在$s_1$状态下有两个$a_1$,$a_2$。我们通过计算出，发现执行$a_1$的动作比较好，但是为了防止陷入局部最优，我们会选择以$ϵ$的概率来执行$a_2$，以$1-ϵ$ 的概率来执行$a_1$。一般来说，$ϵ$ 随着训练次数的增加而逐渐减小。

0x02 马尔可夫决策过程（MDP）

上面的“环境的状态转移模型”其实十分难受，因为你到了最后一步还要把前面所有步都考虑着。这样虽然合理，但是人和机器都受不了。

因此我们将问题进行一定的简化，简化的方法就是假设状态转化的马尔科夫性，即

• 下一步的状态仅取决于这一步的状态和动作：

  $$P(S_{t+1}=s^{\prime }|S_t=s,A_t=a)$$

  上式记为$P_{s{s}^{\prime }}^a$。

• 同理，对agent的策略$\pi$的马尔可夫性：
  $$\pi (a|s)=P(A_t=a|S_t=s)$$

• 对价值函数$v$：
  $$v(s)=E(R_{t+1}+\gamma R_{t+2}+{\gamma }^2{R}_{t+3}+...|S_t=s$$

0x03 价值函数和Bellman方程

状态价值函数

上面那个价值函数是强化学习的核心。agent自动学习的一个量化标准就是它：
$$v_{\pi }(s)={\mathbb{E}}_{\pi }(R_{t+1}+\gamma R_{t+2}+{\gamma }^2{R}_{t+3}+...|S_t=s)$$

我们记$$G_t=R_{t+1}+\gamma R_{t+2}+{\gamma }^2{R}_{t+3}+...$$
则它是MDP里从某个状态$S_t$开始采样直到最终状态时的所有奖励的衰减和。

则有：
$$v_{\pi }(s)={\mathbb{E}}_{\pi }(G_t|S_t=s)$$

上面式子里的$G_t$可以做一手迭代，则有：

$$\begin{array}{rl}{v}_{\pi }(s)& ={\mathbb{E}}_{\pi }\left(R_{t+1}+\gamma R_{t+2}+{\gamma }^2{R}_{t+3}+\dots |S_t=s\right)\\ & ={\mathbb{E}}_{\pi }\left(R_{t+1}+\gamma \left(R_{t+2}+\gamma R_{t+3}+\dots \right)|S_t=s\right)\\ & ={\mathbb{E}}_{\pi }\left(R_{t+1}+\gamma G_{t+1}|S_t=s\right)\\ & ={\mathbb{E}}_{\pi }\left(R_{t+1}+\gamma v_{\pi }\left(S_{t+1}\right)|S_t=s\right)\end{array}$$

因此我们可以知道，当前状态的价值与奖励$R_{t+1}$和下一个状态的价值有关。上述方程便是Bellman方程的基本形态。

（注意，上面式子里的$S_{t+1}$是一个随机变量，相当于是求了一个$S_{t+1}$的函数的期望）

动作价值函数

它代表着在当前state下，做某一个action的价值：

$$q_{\pi }(s,a)={\mathbb{E}}_{\pi }(G_t|S_t=s,A_t=a)={\mathbb{E}}_{\pi }(R_{t+1}+\gamma R_{t+2}+{\gamma }^2{R}_{t+3}+...|S_t=s,A_t=a)$$

根据价值函数的表达式，我们可以推导出价值函数基于状态的递推关系，比如对于状态价值函数vπ(s)，可以发现：

$$q_{\pi }(s,a)={\mathbb{E}}_{\pi }(R_{t+1}+\gamma q_{\pi }(S_{t+1},A_{t+1})|S_t=s,A_t=a)$$

这个东西仍然是满足递推关系的，即：

$$v_{\pi }(s)={\mathbb{E}}_{\pi }(R_{t+1}+\gamma v_{\pi }(S_{t+1})|S_t=s)$$

上面式子的意思是，一个状态的价值由这个状态的奖励以及后续的状态价值按一定比例衰减而成。

（注意，上面式子里的$S_{t+1}$是一个随机变量，相当于是求了一个$S_{t+1}$的函数的期望）

0x04 状态价值函数和动作价值函数的递推关系

动作价值函数和状态价值函数之间显然可以互相转化。

我们思考一下它们的意义：

• 动作价值函数是给定了当前的状态和动作之后的reward的期望值；

• 而状态价值函数是当前状态下的reward的期望值。

这意味着对所有动作价值函数关于动作概率取个期望就是状态价值函数，即：

$$v_{\pi }(s)=\sum _{a\in A}\pi (a|s)q_{\pi }(s,a)$$

反过来，用Bellman方程，我们可以用状态价值函数表示动作状态函数：

$$q_{\pi }(s,a)=R_s^a+\gamma \sum _{s^{\prime }\in S}{P}_{s{s}^{\prime }}^a{v}_{\pi }(s^{\prime })$$

（指当前$s,a$的状态给出来之后有一个即时reward$R_s^a$，然后再算接下来的状态价值期望

下面，我们有一个直观描述：

总结一下：
$$v_{\pi }(s)=\sum _{a\in A}\pi (a|s)(R_s^a+\gamma \sum _{s^{\prime }\in S}{P}_{s{s}^{\prime }}^a{v}_{\pi }(s^{\prime }))$$
$$q_{\pi }(s,a)=R_s^a+\gamma \sum _{s^{\prime }\in S}{P}_{s{s}^{\prime }}^a\sum _{a^{\prime }\in A}\pi (a^{\prime }|s^{\prime })q_{\pi }(s^{\prime },a^{\prime })$$

0x05 最优价值函数

解决强化学习问题意味着要寻找一个最优的策略${\pi }^{\ast }$让个体在与环境交互过程中获得始终比其它策略都要多的收获。

一旦找到这个最优策略${\pi }^{\ast }$，那么我们就解决了这个强化学习问题。

一般来说，比较难去找到一个最优策略，但是可以通过比较若干不同策略的优劣来确定一个较好的策略，也就是局部最优解。

如何比较策略的优劣呢？一般是通过对应的价值函数来比较的，也就是说，寻找较优策略可以通过寻找较优的价值函数来完成。可以定义最优状态价值函数是所有策略下产生的众多状态价值函数中的最大者，即：

$$v_{{\pi }^{\ast }}(s)=\underset{\pi }{\max }{v}_{\pi }(s)$$

同理也可以定义最优动作价值函数是所有策略下产生的众多动作状态价值函数中的最大者：

$$q_{{\pi }^{\ast }}(s,a)=\underset{\pi }{\max }{q}_{\pi }(s,a)$$

对于最优的策略，基于动作价值函数我们可以定义为：

$${\pi }_{\ast }(a|s)=\{\begin{array}{ll}1& ifa=\arg {\max }_{a\in A}{q}_{\ast }(s,a)\\ 0& else\end{array}$$

只要我们找到了最大的状态价值函数或者动作价值函数，那么对应的策略${\pi }^{\ast }$就是我们强化学习问题的解。同时，利用状态价值函数和动作价值函数之间的关系，我们也可以得到：

$$v_{{\pi }^{\ast }}(s)=\underset{a}{\max }{q}_{{\pi }^{\ast }}(s,a)$$

反过来，我们利用最优价值函数关系：

$$q_{\ast }(s,a)=R_s^a+\gamma \sum _{s^{\prime }\in S}{P}_{s{s}^{\prime }}^a{v}_{\ast }(s^{\prime })$$

则我们可以得到和上一节类似的式子：
$$v_{\ast }(s)=\underset{a}{\max }(R_s^a+\gamma \sum _{s^{\prime }\in S}{P}_{s{s}^{\prime }}^a{v}_{\ast }(s^{\prime }))$$
$$q_{\ast }(s,a)=R_s^a+\gamma \sum _{s^{\prime }\in S}{P}_{s{s}^{\prime }}^a\underset{a^{\prime }}{\max }{q}_{\ast }(s^{\prime },a^{\prime })$$