论文：
An end-to-end TextSpotter with Explicit Alignment and Attention
Github：
https://github.com/tonghe90/textspotter
cvpr 2018 paper。阿德莱德大学沈春华老师和先进院乔宇老师分别为4,5作者。
Pipeline:
整个流程包括基于Pvanet的基础网络结构，类似于ROI pooling的Text alignment操作，然后基于attention方式的encode-decode方式的字符识别。
Network architecture ：
网络基础结构采用的Pvanet，该网络结构最后一个卷积层的输出featuremap大小为原图的1/4。
Text detection ：
该模块和EAST模块很类似，感觉区别就是EAST的基础架构师resnet50，这里换成了Pvanet。该模块主要进行文本/非文本的二分类任务和多角度边框的回归任务。分类任务使用softmax损失。回归任务输出点到边框上下左右的距离和角度，一共5个featuremap。回归任务的loss使用的是基于IOU的loss,其实也就是EAST中的dice loss。
Text-Alignment Layer ：
该层类似于roi pooling，但是有着自己的优点。如上图所示，第一行表示的是roi pooling的结果，第二行表示的是Text-Alignment的结果。可以看出roi pooling只能应对水平方向的区域，对于多方向的文本，会引入好多无关背景区域。而Text-Alignment有角度的信息在里面，可以很好的pooling出带角度的文本区域。
Text-Alignment使用等间隔的bilinear 插值实现，最终输出固定大小的文本区域（w=64,h=8）。
Attention encoder-decoder:
在Text-Alignment出来的featuremap，首先经过conv,pool操作，最终变化为1*64的大小，然后经过一个双向lstm操作。再经过encode-decode操作，输出最终识别结果。
Loss:
最终的loss包括，
Lword：单词识别的loss
Lloc：文本检测的loss
Lalign：attention对齐的loss
w表示width,t表示时间步，pt,j表示第j列在时间t的值，at,j表示第j列在时间t的attention。
Kt为第t个字母的ground truth中心坐标，wt为第t个字母的width，T表示字符的个数，整个Lalign就表示归一化后的attention。
Lmask:表示字符的mask的loss。掩码的个数和字符类别的数目一样。
其中，Lalign和Lmask表示可选的loss,可以不使用。
λ1,λ2:平衡因子，取值都为0.1
总结：
（1）检测部分为使用pvanet代替resnet50的 EAST版本。
（2）text-alignment layer 是论文的创新，也是使得整个流程可以一起训练的关键一环。相比roi pooling更加适用于文本检测。
（3）识别部分，在原有的encoder-decoder基础上，加入了每个字符的attention和mask机制。
（4）一个新颖的训练策略。先使用synthetic images 数据集，固定检测，直接提供ground truth文本框训练识别，这样迭代120K次。然后放开检测部分，让其权重跟新，但是同样还是提供ground truth文本框，这样迭代80K次。最后整体一起训练，使用ICDAR2013，ICDAR2015的数据训练迭代60k次。