自然场景的文本检测是当前深度学习的重要应用，在之前的文章中已经介绍了基于深度学习的文本检测模型CTPN、SegLink（见文章：大话文本检测经典模型CTPN、大话文本检测经典模型SegLink）。典型的文本检测模型一般是会分多个阶段（multi-stage）进行，在训练时需要把文本检测切割成多个阶段（stage）来进行学习，这种把完整文本行先分割检测再合并的方式，既影响了文本检测的精度又非常耗时，对于文本检测任务上中间过程处理得越多可能效果会越差。那么有没有又快、又准的检测模型呢？
一、EAST模型简介
本文介绍的文本检测模型EAST，便简化了中间的过程步骤，直接实现端到端文本检测，优雅简洁，检测的准确性和速度都有了进一步的提升。如下图：
其中，（a）、（b）、（c）、（d）是几种常见的文本检测过程，典型的检测过程包括候选框提取、候选框过滤、bouding box回归、候选框合并等阶段，中间过程比较冗长。而（e）即是本文介绍的EAST模型检测过程，从上图可看出，其过程简化为只有FCN阶段（全卷积网络）、NMS阶段（非极大抑制），中间过程大大缩减，而且输出结果支持文本行、单词的多个角度检测，既高效准确，又能适应多种自然应用场景。（d）为CTPN模型，虽然检测过程与（e）的EAST模型相似，但只支持水平方向的文本检测，可应用的场景不如EAST模型。如下图：
二、EAST模型网络结构
EAST模型的网络结构，如下图：
EAST模型的网络结构分为特征提取层、特征融合层、输出层三大部分。
下面展开进行介绍：
1、特征提取层
基于PVANet（一种目标检测的模型）作为网络结构的骨干，分别从stage1，stage2，stage3，stage4的卷积层抽取出特征图，卷积层的尺寸依次减半，但卷积核的数量依次增倍，这是一种“金字塔特征网络”（FPN，feature pyramid network）的思想。通过这种方式，可抽取出不同尺度的特征图，以实现对不同尺度文本行的检测（大的feature map擅长检测小物体，小的feature map擅长检测大物体）。这个思想与前面文章介绍的SegLink模型很像；
2、特征融合层
private S nextService() {
2 if (!hasNextService())
3 throw new NoSuchElementException();
4 String cn = nextName;
5 nextName = null;
6 Class<?> c = null;
7 try {
8 c = Class.forName(cn,www.shengrenyp.cn false, loader);
9 } catch (ClassNotFoundException x) {
10 fail(service,
11 "Provider " + cn +www.qlincheng.cn " not found");
12 }
13 if (!service.isAssignableFrom(c)) {
14 fail(service,
15 "Provider " + cn + " not a subtype");
16 }
17 try {
18 S p = service.cast(c.newInstance(www.hnxinhe.cn));
19 providers.put(cn, p);
20 return p;
21 } catch (Throwable www.qlchengyl.cn) {
22 fail(service,
23 "Provider " + cn + " could not be instantiated",
24 x);
25 }
26 throw new Error(); // This cannot happen
27 }
复制代码
首先根据hasNextService方法判断，若为false直接抛出NoSuchElementException异常，否则继续执行。
hasNextService方法：
复制代码
1 private boolean hasNextService() {
2 if (nextName != null) {
3 return true;
4 }
5 if (configs == null) {
6 try {
7 String fullName = PREFIX + service.getName();
8 if (loader == null)
9 configs = ClassLoader.getSystemResources(fullName);
10 else
11 configs = loader.getResources(fullName);
12 } catch (IOException x) {
13 fail(service, "Error locating configuration files", x);
14 }
15 }
16 while ((pending == null) || !pending.hasNext()) {
17 if (!configs.hasMoreElements()) {
18 return false;
19 }
20 pending = parse(service, configs.nextElement());
21 }
22 nextName = pending.next();
23 return true;
24 }
复制代码
hasNextService方法首先根据nextName成员是否为空判断，若不为空，则说明已经初始化过了，直接返回true，否则继续执行。接着configs成员是否为空，configs 是一个URL的枚举，若是configs 没有初始化，就需要对configs初始化。
configs初始化逻辑也很简单，首先根据PREFIX前缀加上PREFIX的全名得到完整路径，再根据loader的有无，获取URL的枚举。其中fail方法时ServiceLoader的静态方法，用于异常的处理，后面给出。
在configs初始化完成后，还需要完成pending的初始化或者添加。
可以看到只有当pending为null，或者没有元素时才进行循环。循环时若是configs里没有元素，则直接返回false；否则调用ServiceLoader的parse方法，通过service和URL给pending赋值；
parse方法：
复制代码
1 private Iterator<String> parse(Class<www.yunyouuyL.com> service, URL u)
2 throws ServiceConfigurationError {
3 InputStream in = null;
4 BufferedReader r = null;
5 ArrayList<String> names www.shengryll.com= new ArrayList<>();
6 try {
7 in = u.openStream();
8 r = new BufferedReader(new InputStreamReader(in, "utf-8"));
9 int lc = 1;
10 while ((lc = parseLine(service, u, r, lc, names)) >= 0);
11 } catch (IOException x) {
12 fail(service, "Error reading configuration file", x);
13 } finally {
14 try {
15 if (r != null) r.close(www.baihuiyulegw.com);
16 if (in != null) in.close();
17 } catch (IOException y) {
18 fail(service, "Error closing configuration file", y);
19 }
20 }
21 return names.iterator();
22 }
复制代码
将前面抽取的特征图按一定的规则进行合并，这里的合并规则采用了U-net方法，规则如下：
- 特征提取层中抽取的最后一层的特征图（f1）被最先送入unpooling层，将图像放大1倍
- 接着与前一层的特征图（f2）串起来（concatenate）
- 然后依次作卷积核大小为1x1，3x3的卷积
- 对f3，f4重复以上过程，而卷积核的个数逐层递减，依次为128，64，32
- 最后经过32核，3x3卷积后将结果输出到“输出层”
3、输出层
最终输出以下5部分的信息，分别是：
- score map：检测框的置信度，1个参数；
- text boxes：检测框的位置（x, y, w, h），4个参数；
- text rotation angle：检测框的旋转角度，1个参数；
- text quadrangle coordinates：任意四边形检测框的位置坐标，(x1, y1), (x2, y2), (x3, y3), (x4, y4)，8个参数。
其中，text boxes的位置坐标与text quadrangle coordinates的位置坐标看起来似乎有点重复，其实不然，这是为了解决一些扭曲变形文本行，如下图：
如果只输出text boxes的位置坐标和旋转角度（x, y, w, h,θ），那么预测出来的检测框就是上图的粉色框，与真实文本的位置存在误差。而输出层的最后再输出任意四边形的位置坐标，那么就可以更加准确地预测出检测框的位置（黄色框）。
三、EAST模型效果
EAST文本检测的效果如下图，其中，部分有仿射变换的文本行的检测效果（如广告牌）
EAST模型的优势在于简洁的检测过程，高效、准确，并能实现多角度的文本行检测。但也存在着不足之处，例如（1）在检测长文本时的效果比较差，这主要是由于网络的感受野不够大；（2）在检测曲线文本时，效果不是很理想
四、Advanced EAST
为改进EAST的长文本检测效果不佳的缺陷，有人提出了Advanced EAST，以VGG16作为网络结构的骨干，同样由特征提取层、特征合并层、输出层三部分构成。经实验，Advanced EAST比EAST的检测准确性更好，特别是在长文本上的检测。
网络结构如下：
墙裂建议
2017年，Xinyu Zhou 等人发表了关于EAST的经典论文《 EAST: An Efficient and Accurate Scene Text Detector 》，在论文中详细介绍了EAST的技术原理，建议阅读该论文以进一步了解该模型。
推荐相关阅读
- 【AI实战】手把手教你文字识别（入门篇：验证码识别）
- 【AI实战】快速掌握TensorFlow（一）：基本操作
- 【AI实战】快速掌握TensorFlow（二）：计算图、会话
- 【AI实战】快速掌握TensorFlow（三）：激励函数
- 【AI实战】快速掌握TensorFlow（四）：损失函数
- 【AI实战】搭建基础环境
- 【AI实战】训练第一个模型
- 【AI实战】编写人脸识别程序
- 【AI实战】动手训练目标检测模型（SSD篇）
- 【AI实战】动手训练目标检测模型（YOLO篇）
- 【精华整理】CNN进化史
- 大话文本识别经典模型（CRNN）
- 大话文本检测经典模型（CTPN）
- 大话文本检测经典模型（SegLink）
- 大话文本检测经典模型（EAST）
- 大话卷积神经网络（CNN）
- 大话循环神经网络（RNN）
- 大话深度残差网络（DRN）
- 大话深度信念网络（DBN）
- 大话CNN经典模型：LeNet
- 大话CNN经典模型：AlexNet
- 大话CNN经典模型：VGGNet
- 大话CNN经典模型：GoogLeNet
- 大话目标检测经典模型：RCNN、Fast RCNN、Faster RCNN
- 大话目标检测经典模型：Mask R-CNN
- 27种深度学习经典模型
- 浅说“迁移学习”
- 什么是“强化学习”
- AlphaGo算法原理浅析
- 大数据究竟有多少个V
- Apache Hadoop 2.8 完全分布式集群搭建超详细教程
- Apache Hive 2.1.1 安装配置超详细教程
- Apache HBase 1.2.6 完全分布式集群搭建超详细教程
- 离线安装Cloudera Manager 5和CDH5（最新版5.13.0）超详细教程