CAN-NER Convolutional Attention Network for Chinese Named Entity Recognition

CAN-NER: Convolutional Attention Network for Chinese Named Entity Recognition

总结

作者提出了基于注意力机制的卷积神经网络架构，用于中文命名实体识别。

主要的框架是CNN with the local-attention 和Bi-GRU with global self-attention

总体的框架图如下：

Convolutional Attention Layer

字符的嵌入输入 $x$

$x = [x_{ch}; x_{pos};x_{seg}]$

$x_{ch}$代表word2vec的词向量

$x_{pos}$: 代表local context position。CNN的windows size是 $k$, $x_{pos}$的维度为 $k$,独热编码表示

$x_{seg}$:作者说是由BMES模式编码的分词信息，没有具体解释

• local attention步骤

  cnn windows有k个元素， $x_{j-\frac{k-1}{2}}, ...x_j....x_{j+\frac{k+1}{2}}$

  $s(x_j,x_k) = v^{T} tanh(W_1x_j + W_2x_k)$

  $v \in R^{d_h} W_1; W_2 \in R^{{d_h};de}$

  $α_m = \frac {exp s(x_j,x_m)}{\sum_{n \in \{j-\frac{k-1}{2},...,j-\frac{k+1}{2} \}} exp \ s(x_j; x_n)}$

  $h_m = α_mx_m$

• 卷积步骤

  $h^c_j = \sum_k[W^c ∗ h_{j-\frac{k-1}{2},...,j-\frac{k+1}{2}}+b_c]$

  典型的卷积操作，只不过是最后sum pooling layer

BiGRU_CRF with global Attention

跟BiLSTM+CRF没有什么区别，主要是加了一个中间加了一个global attention

与上面的local attention类似，只不过范围不再是cnn的windows size，而是针对

整个序列