机器之心三篇论文,纵览深度学习在表格识别中的最新应用( 七 )


3、小结
本文提出了一种新的深度学习模型 TableNet , 它以端到端的方式训练表格检测和结构识别的双重任务 。 现有的表格识别方法将表格检测和结构识别视为两个不同的问题 , 需要独立解决 。 作者提出 , TableNet 是第一个同时处理这两个任务的模型 , 它利用了表格检测和表格结构识别之间固有的相互依赖性 。 TableNet 利用以前学习任务中的知识 , 并将这些知识转移到新的、相关的任务中 , 这在所得到的训练数据稀疏时特别有用 。 此外 , 作者在文中还证明了突出显示文本以提供数据类型信息可以进一步提高模型的性能 。 作者提出 , 在后续的工作中考虑引入第三个分支训练 TableNet 来识别行 。 但是 , 这项工作需要在现有的数据集中增加手工注释的行信息 , 而当前的用于表格识别任务的数据集都不提供基于行的注释 。 此外 , 作者还提出 , 后续将进一步思考可以引入哪些其他语义知识来提高模型性能 , 例如引入更抽象的数据类型 , 如货币、国家或城市等 。
三、Table Structure Extraction with Bi-directional Gated Recurrent Unit Networks
机器之心三篇论文,纵览深度学习在表格识别中的最新应用
本文插图
论文地址:https://arxiv.org/abs/2001.02501
本文也是 ICDAR 2019 中的一篇文章 , 重点研究表格结构识别 。 表格能够呈现归纳和结构化的信息 , 这使得表格的结构提取成为文档理解应用的重要组成部分 。 然而 , 表格结构识别是一个很难解决的问题 , 不仅因为表格布局和样式的变化 , 而且由于页面布局和噪声污染程度的变化 。 目前对表格结构的识别已经做了大量的研究 , 其中大部分是基于启发式技术结合光学字符识别(OCR)来手工选取表格的布局特征 。 由于表格布局的变化和 OCR 产生的误差 , 这些方法并不能很好地推广 。
本文提出了一种鲁棒的基于深度学习的表格结构提取方法 , 能够从文档图像的表格中高精度地提取行和列 。 在该方法中 , 首先对表格图像进行预处理 , 然后将其输入带有门控递归单元(Gated Recurrent Unit , GRU)的双向递归神经网络 , 然后通过 softmax 激活实现全连接层 。 网络从上到下、从左到右扫描图像 , 并将每个输入分类为行分隔符或列分隔符 。 该方法的核心就是 GRU 的引入 , 与传统的基于 CNN、启发式算法的方法相比 , 基于序列的模型可以有效捕捉表格中重复的行 / 列结构 , 因此能够大大改进表格结构识别的性能 。
1、方法介绍
该方法分为三个模块:图像预处理、行列分类器和后处理 。 预处理模块将包含文本的表格图像转换为不包含文本特征的自然图像 。 然后 , 将这些图像传递给行列分类器模块 , 行列分类器模块使用行和列作为时间步长对每行和每列进行分类 。 后处理模块对分类器生成的分割空间进行解析 , 给出行和列的单行预测结果 。
1.1 图像预处理
首先 , 对表格图像进行预处理 , 将原始表格图像转换为更简单的形式 , 从而突出表格的布局或结构 。 这种转换的目的是通过去除输入图像中不必要的细节来提高分类器的效率 。
具体的预处理过程包括:去除掉图像中的划线和其它非文本的前景对象 , 对清理后的图像进行自适应二值化处理 , 使像素强度均匀 。 图像二值化处理后 , 尺寸调整为 1600x512 以便于后续输入神经网络处理 。 使用矩形核对调整后的图像进行三次膨胀变换(Dilation Transform) 。 在列检测的情况下 , 膨胀核(Dilation Kernel)是维数为 3x5 的垂直膨胀滤波器 , 在行检测的情况下 , 它是维数为 5x3 的水平膨胀滤波器 。 通过这些膨胀变换处理 , 能够连接表格中相邻的行和列 , 从而有助于模型获取行和列分隔符的模式 。 然后 , 将变换后的图像标准化 , 使其值介于 0 和 1 , 以将其输入到后续的递归神经网络 。


推荐阅读