论文阅读和分析：A Tree-Structured Decoder for Image-to-Markup Generation

HMER论文系列
1、论文阅读和分析：When Counting Meets HMER Counting-Aware Network for HMER_KPer_Yang的博客-CSDN博客
2、论文阅读和分析：Syntax-Aware Network for Handwritten Mathematical Expression Recognition_KPer_Yang的博客-CSDN博客
3、论文阅读和分析：A Tree-Structured Decoder for Image-to-Markup Generation_KPer_Yang的博客-CSDN博客
4、 论文阅读和分析：Watch, attend and parse An end-to-end neural network based approach to HMER_KPer_Yang的博客-CSDN博客
5、 论文阅读和分析：Multi-Scale Attention with Dense Encoder for Handwritten Mathematical Expression Recognition_KPer_Yang的博客-CSDN博客
6、 论文阅读和分析：Mathematical formula recognition using graph grammar_KPer_Yang的博客-CSDN博客
7、 论文阅读和分析：Hybrid Mathematical Symbol Recognition using Support Vector Machines_KPer_Yang的博客-CSDN博客
8、论文阅读和分析：HMM-BASED HANDWRITTEN SYMBOL RECOGNITION USING ON-LINE AND OFF-LINE FEATURES_KPer_Yang的博客-CSDN博客

1.主要内容：

（1、提出创新的树结构解码器来表示树、输出树、优化基于注意力的编解码框架；

（2、设计一个问题说明特别是在复杂结构时字符解码失败的背后原因，图示解释为什么树结构在解码过程中使得更优的解码能力；

（3、证明在化学式识别和数学公式识别上，树解码器的有效性；

2.树解码器

Figure 5. Illustration of tree decoder, including parent decoder part, child decoder part, memory attention part and an optional relation prediction part. “Pred” is short for “prediction”

树解码器使用GRU和注意力机制生成一系列的子树结构：
$$(o_1^{\mathrm{c}},o_1^{\mathrm{p}}),(o_2^{\mathrm{c}},o_2^{\mathrm{p}}),\dots ,(o_T^{\mathrm{c}},o_T^{\mathrm{p}}).$$
需要添加一些规则，限制：

（1、每个孩子节点必须有一个父节点，因此不存在孤立节点；

（2、父节点必须是一个现存的节点；

2.1、parent解码器和child解码器
使用循环神经网络、注意力机制：

2.2、基于记忆的注意力

生成中间父亲节点序列和为训练父亲解码器的目标函数
$${\mathbf{d}}_{tj}^{\mathrm{m}em}=\tanh ({\mathbf{W}}_{\mathrm{mem}}{\mathbf{s}}_t^{\mathrm{p}}+{\mathbf{U}}_{\mathrm{members}}{\mathbf{s}}_j^{\mathrm{mem}})$$
$$G_{tj}^{\mathrm{m}em}=\sigma ({\nu }_{\mathrm{mem}}^{\mathrm{T}}{\mathbf{d}}_{tj}^{\mathrm{mem}})$$

${\mathbf{s}}_t^p$：父亲解码器状态；

${\mathbf{s}}_j^{mem}$：孩子解码器状态${\mathbf{s}}_t^c$存储，作为key；

父亲节点二分类训练损失：
$$\begin{array}{r}{\mathcal{L}}_{\mathrm{p}}=-\sum _t\sum _j[{\bar{G}}_{tj}^{\mathrm{mem}}\log (G_{tj}^{\mathrm{mem}})\\ +(1-{\bar{G}}_{tj}^{\mathrm{mem}})\log (1-G_{tj}^{\text{mem}})]\end{array}$$
${\bar{G}}_{tj}^{\mathrm{mem}}$：父亲节点的ground-truth；如果$j-th$孩子节点被存储在内存中是step $t$的父亲节点则是1，否则是0；

在测试阶段，选择作为父亲节点；
$$o_{\hat{j}}^c,\hat{j}=\mathrm{argmax}({\mathbf{G}}_{tj}^{\text{mem}})$$
2.4、关系预测

正如父亲上下文向量和孩子上下文向量包含空间信息，加上父亲节点和孩子节点的内容信息，可以计算关系：
$$p^{\mathrm{re}}(o_t^{\mathrm{re}})=\mathrm{softmax}\left({\mathbf{W}}_{\mathrm{out}}^{\mathrm{re}}({\mathbf{c}}_t^{\mathrm{p}},{\mathbf{c}}^{\mathrm{c}})\right)$$
损失函数：
$${\mathcal{L}}_{\mathrm{re}}=-\sum _t\log p^{\mathrm{re}}(v_t)$$
2.5、实现在父亲注意力和孩子注意力的正则化

在不同时间步中的孩子节点，可能有相同的父亲节点，这时不同时间步的孩子节点的父亲节点的注意力概率是相似的。
$${\mathcal{L}}_{\mathrm{reg}}=-\sum _t{\hat{\alpha }}_t^{\mathrm{p}}\log \frac{{\hat{\alpha }}_t^{\mathrm{p}}}{{\alpha }_t^{\mathrm{P}}}$$

3、损失函数

$$O={\lambda }_1{\mathcal{L}}_c+{\lambda }_2{\mathcal{L}}_p+{\lambda }_3{\mathcal{L}}_{\mathfrak{re}}+{\lambda }_4{\mathcal{L}}_{\mathfrak{reg}}$$

实验经验上：${\lambda }_1={\lambda }_2=1;{\lambda }_4=0.1;$如果是数学公式识别${\lambda }_3=1$,如果是化学式识别${\lambda }_3=0$;

4、结论：

Table 1. Evaluation of math formula recognition systems on CROHME 2014, CROHME 2016 and CROHME 2019 test sets (in %). “ExpRate”, “≤ 1 s.error” and “≤ 1 s.error” means expression recognition rate when 0 to 2 symbol or structural level errors can be tolerated, “StruRate” means structure recognition rate.

Figure 8. Split the SMILES test set into four sub-sets (“Easy”, “Normal”, “Hard”, “Massive”) based on the length of testing SMILES strings.

Table 3. Recognition rate comparison (in %) between string decoder and tree decoder on SMILES dataset. “Easy”, “Normal”, “Hard”, “Massive” denote the four sub-sets of test set with different length of SMILES string, “All” means the overall recognition rate on the whole test set (in %). “SD” and “TD” refer to string decoder and tree decoder based approaches, respectively.

参考：

A Tree-Structured Decoder for Image-to-Markup Generation (ustc.edu.cn)