机器之心三篇论文,纵览深度学习在表格识别中的最新应用( 六 )


1.2 提取表格行
在使用 TableNet 处理文档之后 , 可以得到表格和列区域的掩码 。 这些掩码用于从图像中过滤出表格及其列区域 。 因为文档的所有单词位置都是已知的(使用 Tesseract-OCR) , 因此只过滤掉了表格和列区域内的单词补丁 。 基于这些过滤后的单词提取表格行 , 一行可以被定义为来自多个列的单词的集合 。 然而 , 一行不一定只局限于一行 , 根据列或行的内容划分 , 一行可以跨越多行 。 因此 , 为了涵盖不同的可能性 , 本文制定了三种行分割规则:
1)在大多数有标线的表格中 , 直线将每列中的行分段 。 为了检测可能的行划分 , 通过 Radon 变换测试列中两个垂直放置的单词之间的每个空格是否存在行 。
2)如果一行跨越多行 , 则表格中具有最大非空项的行被标记为新行的起点 。 例如 , 在一个多列表格中 , 一些列可以只包含一行的条目 , 而其他的列可以有多行的条目 。 因此 , 每列中的所有实体都被填充后 , 新的一行就开始了 。
3)表格中的所有列都被完全填充 , 并且没有标线 , 则每一行(级别)都可以看作是一个唯一的行 。
1.3 数据集准备
本文使用 Marmot 数据集进行模型训练 。 Marmot 是用于表格检测的最大的公共可用数据集 , 但是 , Marmot 中没有对表格列或行的注释 。 因此 , 作者手动标注数据集以进行表格结构识别 。 通过在表格区域内每个列周围的边界框上添加标签 , 手动对数据集进行注释 。 手动注释的修改数据集以 Marmot Extended 的名称公开发布 , 用于表格结构识别:https://drive.google.com/drive/folders/1QZiv5RKe3xlOBdTzuTVuYRxixemVIOD 。
2、实验分析
本文实验是基于 ICDAR 2013 表格竞赛数据集完成的 。 作者根据召回率、查准率和 F1 分数对模型性能进行评价 , 对每个文档计算这些度量值 , 并在所有文档中取其平均值 。 本文使用的 Mamot Extended 数据集中共有 1016 份文件 , 包括中文和英文表格 , 其中 509 份英文文件附有注释 , 并用于训练 。 使用 Tensorflow 实现该深度学习模型 , 并在一个使用 Intel(R)Xeon(R)Silver CPU(32 核)和 128 GB Tesla V100-PCIE-1 GPU 的 RAM 和 6GB GPU 内存的系统上完成实验 。
机器之心三篇论文,纵览深度学习在表格识别中的最新应用
本文插图
表 1. 表格检测实验结果
机器之心三篇论文,纵览深度学习在表格识别中的最新应用
本文插图
表 2. 表格结构识别和数据提取实验结果
在实验 1 中 , 作者在所有 Marmot 数据集的正样本中训练 TableNet , 并在 ICDAR 2013 表格竞争数据集上测试表格和结构检测任务 。 有两个计算图需要训练 。 每个训练样本是文档图像、表格掩码和列掩码的元组 。 对于每个训练元组 , 这两个图至少要计算两次 。 实验结果见表 1 和表 2 。
在实验 2 中 , 使用修改过的 Marmot 数据集 , 其中每个文档中的单词都被突出显示以提供语义上下文信息 。 当这些空间、语义信息被附加到图像中时 , 结果略有改善(见表 1、2 中的比较) 。 模型的输出如图 2 所示 。
机器之心三篇论文,纵览深度学习在表格识别中的最新应用
本文插图
图 2.TableNet 生成的样本文档图像及其输出掩码
实验 3 将 TableNet 与基于深度学习的解决方案 DeepDSert[10]进行比较(DeepDSert 为 2017 年 ICDAR 中提出的用于表格检测和结构识别的深度学习方法) 。 在 DeepDSert 中 , 分别使用单独的模型进行表格检测和结构识别 , 这些模型在不同的数据集上进行训练 , 例如用于表格检测的 Marmot 数据集和用于表格结构识别的 ICDAR 2013 数据集 。 为了生成可对比的结果 , 作者在 ICDAR 训练和测试数据集上分别对基于 Marmot 训练得到的 TableNet 模型进行了微调 。 与 DeepDSert 中所做的工作类似 , 作者还随机选择了 34 幅图像进行测试 , 并使用其余的数据图像对 TableNet 模型进行微调 。 TableNet 经过微调后 , 使用相同的参数以 1:1 的比例对两个分支进行 3000 次迭代 , 批量大小为 2 。 经过微调后 , TableNet 的性能进一步提高 。 产生这一提高的原因可能是由于引入了 ICDAR 文档 。 实验结果见表 1 和表 2 。 TableNet 处理每个文档图像所花费的平均时间是 0.3765 秒 , 由于 DeepDSert 未公布相关数据 , 这一性能无法进行对比 。 虽然 TableNet 的最终结果并不比 DeepDSert 好 , 但 TableNet 是端到端的模型 , 也就意味着后续可以通过引入更丰富的语义知识的方法 , 或是增加更多的用于学习基于行的分割的分支来进一步改进模型的效果 。


推荐阅读