忘川彼岸一种深度自动回归的多模态数据主题建模方法( 二 )
本文插图
本文插图
本文插图
有关原始 DocNADE 的进一步原理参见论文 。
使用无监督主题模型（例如 LDA）学习图像特征表示的效果要比直接在视觉单词本身上训练分类器的效果差 。 原因之一是 ， 无监督的主题特征经过训练可以尽可能多地解释图像的整个统计结构 ， 并且可能无法很好地模拟作者在计算机视觉任务中所追求的特定区分结构 。
SupDocNADE 中 ， 给定图像 v = [v1 ， v2 ， ... 。。。， vDv]及其类别标签 y∈{1 ，。。。， C} ， SupDocNADE 将完整的联合分布建模为
本文插图
本文插图
详细优化过程见论文 ， 这里给出详细的算法伪代码 ， 见算法 1 和算法 2 。
算法 1 计算
本文插图
算法 2 计算参数梯度
本文插图
为了处理图像不同区域特征 ， 作者对视觉单词的存在及其出现的区域的身份进行建模 。 具体来说 ， 假设图像被分为几个不同的区域 R = {R1 ， R2 ，。。。， RM} ， 其中 M 是区域数 。 该图像现在可以表示为
本文插图
本文插图
要将注释单词嵌入到 SupDocNADE 框架中 ， 作者对待每个注释单词的方式与处理视觉单词的方式相同 。具体来说 ， 作者使用所有视觉和注释词的联合索引 ， 并使用较大的二叉词树 ， 以便为注释词添加叶子来扩充它 。通过在此联合图像/注释表示上训练 SupDocNADE ， 它可以了解标签 ， 空间嵌入的视觉单词和注释单词之间的关系 。
尽管 SupDocNADE 的性能比其他主题模型要好 ， 但是缺乏有效的 SupDocNADE 的深层次表述会降低其建模多模态数据的能力 ， 作者进一步提出 SupDeep-DocNADE ， 即用于多模数据建模的受监督的深度自回归神经主题模型 。 之前 SupDocNADE 会在每次随机梯度更新之前对单词进行随机排列 ， 以使 DocNADE 成为对单词进行任何排序的良好推理模型 。 可以将许多排序的使用看作是许多不同 DocNADE 模型的实例化 ， 每种不同的排序都有一个 。从这个角度来看 ， 通过对所有这些顺序训练一组参数（连接矩阵和偏差） ， 能有效地在这些模型中采用了参数共享策略 ， 并且训练过程可以解释为同时训练了数量众多的 DocNADE 模型 。
在扩展优化之后 ， 可以通过随机梯度下降进行 DocNADE 的训练 。对于给定的训练示例 ， 新的流程如下：
本文插图
因此 ， 与 DocNADE 的原始训练过程不同 ， 训练更新现在需要计算单个隐藏层 ， 而不是 Dv 隐藏层 。这样 ， 添加更多的隐藏层只会对每个训练更新的复杂性产生累加而不是乘法的影响 。如常规深前馈神经网络中一样 ， 添加了隐藏层 ， 如下所示：
推荐阅读
- 龙卷风|龙卷风的成因
- 设备间微软推出SurfaceFleet 一种实现多设备间交互的计算概念
- 娱乐壹姐|早秋流行一种穿法，叫“西装＋百褶裙”，显瘦有气质、潮人都在穿
- 黑白科技|80%的人都只会用第一种！也是最简单的，电脑关机的8种方法
- 科学家|癌症有救了？科学家发现一种植物，能在一天之内杀死癌细胞
- 时尚穿搭生活馆|入秋不要随便穿，今年流行一种“短上衣＋高腰裤”，40岁女人穿超美
- 巧克力奶球|有一种人，喜欢把最爱吃的留到最后吃，搞笑幽默风趣段子图
- 萌娃|有一种冷叫奶奶觉得你冷，萌娃上幼儿园穿7层衣服
- 中国历史朝代列表大全|中国历史朝代列表大全,答：第一种 [大陆人教版小学历史教材] 三皇五帝始
- 薄荷菇凉儿|今秋流行一种穿法，叫“风衣+平底鞋”，洋气又显高，潮人都爱了