机器之心三篇论文,纵览深度学习在表格识别中的最新应用( 五 )


本文采用多任务方法对深度模型进行训练 。 该模型接受一个输入图像 , 并为表格和列分别生成两个不同的语义标记的输出图像 。 该模型中 , 表格检测器和列检测器共享 VGG-19 编码层 , 而两个任务的解码器是分开的 。 共享的公共层通过从表格检测器和列检测器接收到的梯度进行重复训练 , 而解码器是独立训练的 。 然后利用基本数据类型的语义信息进一步提升模型性能 。 利用 VGG-19 作为基础网络(在 ImageNet 数据集上预先训练)可以有效利用通过在 ImageNet 上进行训练学习的低级特征形式的先验知识 。
1、方法介绍
1.1 TableNet
在传统的基于深度学习的表格识别问题中 , 表格检测和列检测通常被视为两个可以独立解决的单独的问题 。 然而 , 如果文档中的所有列都是先验已知的 , 则可以很容易地确定表格区域 。 但根据定义 , 列是垂直对齐的字 / 数字块 。 因此 , 独立搜索列会产生大量的误报 , 而提前判定表格区域可以大大提高列检测的结果(因为表格和列都有公共区域) 。 因此 , 使用卷积滤波器来检测表格 , 进一步应用列检测滤波器来加强 , 能够大大提高模型的性能 。 本文所提出的模型就是基于这种思想 , 同时引入了 Long 等人提出的用于语义分割的编码器模型[9] 。 模型的编码器在表格检测和列检测任务中都是通用的 , 但是解码器作为表格和列的两个不同分支出现 。 具体地说 , 强制编码层使用文档表格和列的基本结构进行训练 。 但是 , 对于表格和列分支 , 解码层是分开的 。 因此 , 需要训练两个图 。
文档中表格的检测问题与真实图像中的对象检测问题类似 , 可以利用表格的视觉特征检测表格 / 列 。 区别在于 , 表格 / 列检测中的噪声容忍度比对象检测中的小得多 。 因此 , 本文采用了一种逐像素预测表格和列区域的方法 , 而不是对表格和列的边界进行回归 。 本文提出的 TableNet 整体结构见图 1 。
机器之心三篇论文,纵览深度学习在表格识别中的最新应用
本文插图
图 1:(a)来自 Marmot 数据集的训练样本图像 , 突出显示了文本;(b) TableNet:该模型由 VGG-19 作为基础网络的预训练层 , 从 conv1 到 pool5 的层用作表格和列图的通用编码器层 , 编码器层后的两个解码器分支 conv7 column 和 conv7 table 生成单独的表格预测和列预测结果
TableNet 使用编码 - 解码器架构 , 利用预训练的 VGG-19 层作为基础网络 。 VGG-19 的全连接层(pool5 之后的层)被两个(1x1)卷积层取代 。 每个卷积层(conv6)使用 ReLU 激活 , 然后是一个概率为 0.8 的 dropout 层(conv6+dropout , 如图 1 所示) 。 在这一层之后 , 附加了解码器网络的两个不同分支 。 因此 , 单一编码网络可以同时利用表格区域和列区域的特征 , 从而更好地找到活动区域 。 (conv6+dropout)层的输出被分配到两个解码器分支 。 在每个分支中 , 通过增加额外的层以过滤出相应的活动区域 。 在解码器网络的表格分支中 , 使用额外的(1x1)卷积层 conv7_table , 然后使用一系列分数阶跃的卷积层来提升图像 。 conv7_table 的输出也使用分步卷积进行放大 , 并附加了相同维度的 pool4 池化层 。 类似地 , 再次放大组合特性映射 , 将 pool3 池化层附加到其中 。 最后 , 对最终得到的特征图进行放大 , 以满足原始图像的维度要求 。 在另一个检测列的分支中 , 有一个附加的卷积层(conv7_column) , 具有 ReLU 激活函数和相同 dropout 概率的 dropout 层 。 在(1x1)卷积(conv8 列)层之后 , 使用分步卷积对特征图进行上采样 。 将上采样的特征映射与 pool4 池化层相结合 , 上采样的组合特征映射与具有相同维度的 pool3 池化层相结合 。 在这一层之后 , 放大特征图至原始图像的大小 。 在两个分支中 , 在转置层之前使用多个(1x1)卷积层 。 最后 , 计算图的两个分支的输出生成表格和列区域的掩码 。


推荐阅读