Learn from Syntax: Improving PAOTE with Rich Syntactic Knowledge 论文阅读笔记

一、作者

Shengqiong Wu、Hao Fei、Yafeng Ren、Donghong Ji、Jingye Li
Key Laboratory of Aerospace Information Security and Trusted Computing, Ministry of Education
School of Cyber Science and Engineering, Wuhan University, Wuhan, China
Guangdong University of Foreign Studies, Guangzhou, China

二、背景

一些早期的研究已经尝试通过方面词和意见词的共同提取来探索二者之间的相互影响，但这些提取方法并没有将方面词和意见词成对提取。因此后续一些研究致力于联合检测方面词和意见词对，即**成对的方面词和意见词提取（PAOTE）**任务。

作者认为现有的 POATE 方法主要有以下问题：

1. 语言的词性（POS）标记作为一个潜在的性能增强器却常常会被忽略。词性标记蕴含了邻居跨度之间的边界信息，这可以从根本上提高方面词和意见词的提取。
2. 句法结构知识可以帮助 PAOTE 捕捉一些仅从表面形式不易发现的远程句法关系。然而大多数关于 ABSA 的现有工作都只考虑了句法依赖边特征（syntactic dependency edge features），而没有考虑句法依赖标签特征（syntactic dependency label features）。简单来说，不同的句法依赖标签会携带不同的依赖特征，比如 nsubj 和 conj 标签往往更能促进方面意见对的提取。
3. 对于一些重叠的方面意见对，如上例中有关 place 和 sea food 的方面意见对，尽管它们之间往往存在交互，但现有的方法大多通过**一阶评分范式（first-order scoring paradigm）**进行处理，即在评分时仅考虑一个单一的方面意见对。这不可避免地导致了局部的短期特征结合（local short-term feature combination），并导致一些潜在的共同结构特征交互（underlying common structural interactions）无法被使用。

三、创新点

• 作者首次提出通过结合句法和语言知识来改进 PAOTE 任务。并提出了一个标签感知图卷积网络（LAGCN）以联合的方式对带有标签和词性标记的依赖树进行编码。此外作者还通过局部注意机制对词性特征进行建模来促进术语边界识别。
• 作者提出了一个基于三仿射评分器的高阶联合解决方案用于进行方面意见配对，充分探索了重叠对结构中潜在的相互作用。
• 作者的方法在 PAOTE 的四个基准数据集上取得了很好的效果。进一步的分析也表明该方法可以有效地利用句法信息，捕获句法结构和方面意见对结构之间的相关性。

四、具体实现

模型整体结构如下图所示。

1.句法融合编码器

a.用于编码词性标签的局部注意力机制

作者向句法融合编码器 SynFue 中注入了依赖边、依赖标签和词性标记三种类型的外部句法源，其中 SynFue 由一个词性标记的局部注意力和标签感知图卷积网络组成。

SynFue 结构如下图所示：

词性标签的编码由局部注意力机制实现，局部注意力的具体操作如下图所示，其中 $x_t^p$ 为句子中单词 $w_t$ 对应的词性嵌入，$[;]$ 表示拼接操作，$W_1$ 是可学习参数，$e_t^{p,l}$ 为输出表示。

b.用于句法特征的标签感知图卷积网络

现有的编码方法无法对渗入边缘的句法依赖标签进行建模，同时忽视了词性信息。作者通过一个标签感知图卷积网络来解决相应问题，除了表示单词对之间的依赖边的邻接矩阵 { b t , j } T × T \{b_{t,j}\}_{T \times T} { bt,j​}T×T​ 以外，作者还定义了依赖标签矩阵 { r t , j } T × T \{r_{t,j}\}_{T \times T} { rt,j​}T×T​ 来表示单词间的依赖联系标签。

2.术语生成和过滤

此模块首先将 BERT 的表示 $v_t$ 与 SynFue 模块的输出进行了拼接操作，然后基于 token 表示构建了跨度表示：

然后通过 softmax 分类器将句子中的术语分为方面词、意见词和无效词三类，然后剔除无效术语，实现术语的生成和过滤。

3.术语配对

作者通过计算术语对的潜在分数（高阶配对分数、句法感知分数）来衡量方面词和意见词之间的关系。

a.高阶配对分数

作者认为传统的双仿射评分器仅能建模方面意见对之间的二元联系，而对于重叠的方面意见对中出现的三元联系往往难以建模。因此作者提出了高阶分数，并使用双仿射评分器计算一阶分数，使用三仿射评分器计算二阶分数，提高配对识别的准确率。

b.句法感知分数

作者通过将 token 级的表示 $R^S$ 投影到 span 级的句法转换表示 $S^S$ 中重新利用了 token 表示。后续还通过跨度池化（span pooling）操作获取了过渡表示，并通过交叉注意力机制在同一行和列传播了其他项的依赖关系和影响。