机器之心三篇论文,纵览深度学习在表格识别中的最新应用( 八 )


1.2 分类器
和之前兩篇文章不同 , 分类器的核心是利用循环神经网络识别行和列间的分割区域 。 作者首先考虑的是门控递归单元(GRU)和长短期记忆网络(Long Short-Term Memory, LSTM)这两种循环神经网络 。 这两种网络都可以在避免梯度消失问题的情况下合并引入上下文信息 。 作者提出 , 在行和列分类方面 , GRUs 的性能优于 LSTM , 且二者在分类器的应用场景中工作过程类似 , 因此 , 本文中的具体分析都以 GRU 为例 。 双向 GRU 以行和列作为基本时间步长 , 使用利用行 - 列元素的信息来预测未来的行 - 列元素 。 由于 GRUs 中的存储单元可以有效地学习行间距和列间距的模式以及行 - 列元素的重复顺序 , 因此该方法比基于 CNN 的模型有了显著的改进 。 下面 , 分两个部分分别介绍行和列分类的神经网络结构 。
1) 列分类:列分类将图像的每一列分类为列或两列之间的空白 。 每次输入一个图像 , 每个图像都被看作是一个类似于随机梯度下降(SGD)的批处理图像 。 在一个批次中 , 将尺寸为 1600x512 的预处理输入图像划分成 1600 个序列(列) , 每个序列由 512 个像素值组成 。 两层 GRU 初始化为隐藏维度(4 x1x 512) , 对应于“2 x 层数x 批次大小 x 隐藏维度大小” 。
GRU 将图像处理为 1600 个时间步长 , 每个时间步长对应一个具有 512 个输入像素值的列 。 在每个时间步长(timestep) , GRU 都考虑了关于当前列的左侧和右侧(如果有)的所有列的信息 , 以及当前列中包含的正在计算的像素值的信息 。 使用这些信息 , GRU 可以学习识别列之间的空白间隙 , 因为这些列主要包含白色像素 , 并且在其左右两侧有两个列区域 。
GRU 的输出是一个 1600x512 形状的张量 , 对应的是“序列长度 x 隐藏维度” 。 然后 , 这个张量通过一个全连接层 , 输出一个 1600x 2 形状的张量 , 再经过一个 softmax 层 , 得到形状为 1600 x 2 的最终输出 , 由 1600 列中每个列的二进制类概率组成 。
2) 行分类:行分类器的结构是列分类器的转置 , 它将图像的每一行分类为一行或两行之间的空白 。 每次输入一个图像 , 每个图像被视为一个批次 。 在一个批次中 , 将尺寸为 1600x512 的预处理输入图像划分成 512 个序列(行) , 每个序列由 1600 个像素值组成 。 两层 GRU 初始化为隐藏维度(4 x 1 x 1024) , 对应于“2 x 层数 x 批次大小 x 隐藏维度大小” 。
在行分类的情况下 , 将图像处理为 512 个时间步长 , 每个时间步长对应一个具有 1600 个输入像素值的列 。 在每个时间步长 , GRU 都考虑了关于当前行的上下所有行以及当前行内像素值的信息 。
GRU 的输出是一个 512 x 1600 形状的张量 , 对应的是“序列长度 x 隐藏维数” 。 然后 , 这个张量通过一个全连接层 , 输出一个 512 x 2 形状的张量 , 再经过一个 softmax 层 , 得到形状为 512 x 2 的输出 , 由 512 行中每个行的二进制类概率组成 。
分类的最后一步是对前面得到的分类器预测的分割空间进行解析 。 选取分段空间的中点 , 对于列 , 应用逻辑来删除最左边和最右边的预测 。 对于行 , 去掉顶部和底部的预测 。 此步骤将输出回归到行和列分隔符的单行预测 。 图 1 和图 2 分别给出行、列分类器神经网络结构 。
机器之心三篇论文,纵览深度学习在表格识别中的最新应用
本文插图
图 1. 行分类器神经网络结构
机器之心三篇论文,纵览深度学习在表格识别中的最新应用
本文插图
图 2. 列分类器神经网络结构
1.3 后处理
文章中使用 Adam 优化器和二进制交叉熵损失函数来训练模型 。 典型的表格图像包含的行和列的数量要多于它们之间的空白 , 为了解决这种类不平衡问题 , 作者对损失函数进行了加权 , 使错误预测的行列元素的惩罚仅为错误预测的空白元素的 66% 。


推荐阅读