论文阅读笔记—Reasoning on Knowledge Graphs with Debate Dynamics（AAAI，2020）

这是一篇非常有趣的工作，看完会觉得眼前一亮。
论文标题：Reasoning on Knowledge Graphs with Debate Dynamics
发表于AAAI，2020

动机

 很多机器学习的任务都是通过将节点与关系嵌入，并计算三元组置信度得分，然后最大化正例的得分得到嵌入向量，但究竟哪一部分对最终的得分起作用是难以解释的，本文模型有个三个模块，分别是两个agent和 judge，对于待查询三元组： $q=\left(s_{q}, p_{q}, o_{q}\right)$，两个agent分别寻找证据链证明此三元组为True和False，并有Judge整合所有证据，得到最终结果。（听起来有点像GAN，但看下去会发现并不是）

Agent模块

  定义状态States：   记 $e_t^{(i)}$为第i个agent在t时刻查询的位置，则目前的状态可记为： $S_{t}^{(i)}=\left(e_{t}^{(i)}, q\right) \in \mathcal{S} = \mathcal{E}^{2} \times \mathcal{R} \times \mathcal{E}$
  定义行动Actions：从状态 $S_{t}^{(i)}=\left(e_{t}^{(i)}, q\right)$出发，所有可能到达的节点集合（即 $e_t^{(i)}$的邻居集），记做 $\mathcal{A}_{S_{t}^{(i)}}$：
$\mathcal{A}_{S_{t}^{(i)}}=\left\{(r, e) \in \mathcal{R} \times \mathcal{E}: S_{t}^{(i)}=\left(e_{t}^{(i)}, q\right) \wedge\left(e_{t}^{(i)}, r, e\right) \in \mathcal{K} \mathcal{G}\right\}$
  定义转移过程：若在状态 $S_{t}^{(i)}=\left(e_{t}^{(i)}, q\right)$时选择行动 $A_{t}^{(i)}=\left(r, e_{t+1}^{(i)}\right)$,则转移过程为：
$\delta_{t}^{(i)}\left(S_{t}^{(i)}, A_{t}^{(i)}\right):=\left(e_{t+1}^{(i)}, q\right)$
  将采取过的行动合并在一起得到历史路径： $H_{t}^{(i)}=\left(H_{t-1}^{(i)}, A_{t-1}^{(i)}\right)$，其中 $H_{0}^{(i)}=\left(s_{q}, p_{q}, o_{q}\right)$

  用LSTM网络对上一步的信息进行编码： $\boldsymbol{h}_{t}^{(i)}=\mathrm{LSTM}^{(i)}\left(\left[\boldsymbol{a}_{t-1}^{(i)}, \boldsymbol{q}^{(i)}\right]\right)$
  其中 $\boldsymbol{a}_{t-1}^{(i)}=\left[\boldsymbol{r}_{t-1}^{(i)}, \boldsymbol{e}_{t}^{(i)}\right] \in \mathbb{R}^{2 d}$， $\boldsymbol{q}^{(i)}=\left[\boldsymbol{e}_{s}^{(i)}, \boldsymbol{r}_{p}^{(i)}, \boldsymbol{e}_{o}^{(i)}\right] \in \mathbb{R}^{3 d}$，这里的LSTM的输入应该是5个长度为d的向量。值得一提的是，两个agent和法官所使用的嵌入向量是不同的，也就是说每个节点与边分别有三个嵌入向量。

  根据上一步编码的信息和这一步待选的行动空间计算每个行动的分数作为新行动的选择策略：
$\boldsymbol{d}_{t}^{(i)}=\operatorname{softmax}\left(\boldsymbol{A}_{t}^{(i)}\left(\boldsymbol{W}_{2}^{(i)} \operatorname{ReLU}\left(\boldsymbol{W}_{1}^{(i)} \boldsymbol{h}_{t}^{(i)}\right)\right)\right)$
 这里策略 $\boldsymbol{d}_{t}^{(i)}$的第k个分量表示选择行动空间中第k个行动的概率，根据这一概率采样选择下一个行动，这一策略是马尔科夫决策过程，因为计算中仅考虑了t-1步的策略与t步的行动空间，与之前的信息无关，然后基于此策略选择下一步的行动： $A_{t}^{(i)} \sim \text { Categorical }\left(d_{t}^{(i)}\right)$
  每个agent采样得到N个证据链，限制每个证据链的长度为T，则第i个agent第n次采样得到的证据链为：
$\tau_{n}^{(i)}:=\left(A_{\tilde{n}(i, T)+1}, A_{\tilde{n}(i, T)+2}, \ldots, A_{\tilde{n}(i, T)+T}\right)$
其中下标定义为：
$\tilde{n}(i, T):=(2(n-1)+i-1) T$
所有结果可汇总为：
$\tau:=\left(\tau_{1}^{(1)}, \tau_{1}^{(2)}, \tau_{2}^{(1)}, \tau_{2}^{(2)}, \ldots, \tau_{N}^{(1)}, \tau_{N}^{(2)}\right)$

Judge

  Judge实际上是一个二分类器，将两个agent得到的证据链汇总得到最终的置信概率：
$\boldsymbol{y}_{n}^{(i)}=f\left(\left[\boldsymbol{\tau}_{n}^{(i)}, \boldsymbol{q}^{J}\right]\right)$
其中 $\boldsymbol{q^J}$表示Judge中查询q的嵌入向量: $\boldsymbol{q}^{J}=\left[\boldsymbol{r}_{p}^{J}, \boldsymbol{e}_{o}^{J}\right] \in \mathbb{R}^{2 d}$。
预测最终分数：
$t_{\tau}=\sigma\left(\boldsymbol{w}^{\top} \operatorname{ReLU}\left(\boldsymbol{W} \sum_{i=1}^{2} \sum_{n=1}^{N} \boldsymbol{y}_{n}^{(i)}\right)\right)$
  则Judge部分目标函数：
$\mathcal{L}_{q}=\phi(q) \log t_{\tau}+(1-\phi(q))\left(1-\log t_{\tau}\right)$

Reward

 为了体现两个agent工作的不同，分别计算每个agent得到的证据的得分为：
$t_{n}^{(i)}=\boldsymbol{w}^{\top} \operatorname{ReL} \mathrm{U}\left(\boldsymbol{W} f\left(\left[\boldsymbol{\tau}_{n}^{(i)}, \boldsymbol{q}^{J}\right]\right)\right)$
定义奖赏函数：
$R_{n}^{(i)}=\left\{\begin{array}{ll} {t_{n}^{(i)}} & {\text { if } i=1}\\ {-t_{n}^{(i)}} & {\text { if } i=2} \end{array}\right.$
  agent的累积奖赏为：
$G^{(i)}:=\sum_{n=1}^{N} R_{n}^{(i)}$

  用强化学习的思想最大化累积奖赏的期望对agent进行训练： $\underset{\theta(i)}{\arg \max } \mathbb{E}_{q \sim \mathcal{K} \mathcal{G}_{+}} \mathbb{E}_{\tau_{1}^{(i)}, \tau_{2}^{(i)}, \ldots, \tau_{N}^{(i)} \sim \pi_{\theta^{(i)}}}\left[G^{(i)} | q\right]$
  整个模型的训练采用交替训练的方式，即每一次仅训练agent或judge，将另一个模块中的所有参数冻结。