论文阅读:Rethinking Table Recognition using Graph Neural Networks (ICDAR, 2019)

论文:Rethinking Table Recognition using Graph Neural Networks
作者:Shah Rukh Qasim, Hassan Mahmood, and Faisal Shafait
机构:School of Electrical Engineering and Computer Science (SEECS)

1、四个问题

1.要解决什么问题

  • 传统方法精度低、不通用,深度学习方法中,基于检测分割的模型对于失真图像效果差,且表格数据形式上更像图结构,检测分割模型对图模型效果差;

  • 对于深度学习方法,表格识别问题缺乏大规模数据集。

2.用什么方法解决?

  • 使用图理论和图神经网络;

  • 提出新型可微分网络结构,能够利用CNN图像特征提取,利用GNN做顶点间相互作用;

  • 引入新型蒙特卡洛算法减少训练内存;

  • 引入合成数据集生成办法。

3.效果如何?

  • 通过两种SOTA的图网络算法和CNN算法比较,证明图网络更适合解决表格识别问题。

4.还存在什么问题?

  • GNN只使用了顶点位置特征,对于自然语言处理特征并没有使用。

2、论文概述

2.1、基本思路

  • 表格识别问题是作为版面分析的子问题,包括区域划分和构建结构化信息,而此领域还是以传统方法为主,深度学习并未大显身手

  • 表格结构信息表示适合于用图的方式表示,即以单元格、行、列三个邻接矩阵进行表示

  • 表格识别以图结构的邻接矩阵表示,因此不适于图像特征为主的检测、分割模型,因此图卷积网络更适合于此问题

  • 本文主要论证图卷积更适合于表格识别问题,实验设计以相同参数量的GNN网络和CNN网络进行比较,另外表格识别问题没有大规模的数据集,实验是在作者合成的数据集上进行

  • 网络结构中为了减少训练内存,引入新兴的蒙特卡洛算法

2.2、方法

2.2.1、 网络结构

Rethinking Table etc-earchitecture

网络结构分为三部分:卷积神经网络提取图像特征、交互作用网络顶点间交互、分类部分对三个图尽心二分类(顶点是否相邻)

算法分四个部分介绍:

1.卷积神经网络
2.交互作用网络
3.组合实时采样
4.分类

2.3、实验

Rethinking Table etc-test result

实验设计四组不同类别的表格结构,评价指标采用领域内常用的真正例率和假正例率,并提出完美匹配率,共三个指标,来对比CNN网络方法(FCNN)和图卷积网络SOTA方法(GravNet、DGCNN),结果证明图卷积网络更适合于表格识别问题。

3、参考资料

Rethinking Table Recognition using Graph Neural Networks

https://github.com/shahrukhqasim/TIES-2.0

猜你喜欢

转载自www.cnblogs.com/mzjourney/p/12002201.html
今日推荐