江苏龙网

  1. 首页 > 人文 > >

忘川彼岸一种深度自动回归的多模态数据主题建模方法


忘川彼岸一种深度自动回归的多模态数据主题建模方法
本文插图
基于潜在 Dirichlet 分配（LDA）的主题建模已成为处理多模态数据（如图像注释任务）的首选框架 。 建模多峰数据的另一种流行方法是通过深层神经网络 ， 例如深层 Boltzmann 机器（DBM） 。 最近 ， 提出了一种新型的主题模型 ， 称为文档神经自回归分布估计器（DocNADE） ， 并展示了文本文档建模的最新性能 。 在这项工作中 ， 作者展示了如何成功地将此模型应用和扩展到多峰数据 ， 例如同步图像分类和注释 。 首先 ， 作者提出 SupDocNADE ， 这是 DocNADE 的有监督的扩展 ， 它提高了学习的隐藏主题特征的判别能力 ， 并展示了如何使用它来从图像视觉单词 ， 注释单词和类别标签信息中学习联合表示形式 。LabelMe 和 UIUC-Sports 数据集并显示与其他主题模型相比具有优势 。 其次 ， 作者建议对模型进行深度扩展 ， 并提供训练深度模型的有效方法 。 实验结果表明 ， 在多媒体信息检索（MIR）Flickr 数据集上 ， 作者的深度模型优于其浅层模型 ， 并达到了最新的性能 。
主题模型可以通过从文档中包含的单词推断文档在主题上的潜在分布 ， 从而从文档中提取有意义的语义表示 。 在计算机视觉的背景下 ， 可以通过首先从图像中提取所谓的“视觉单词” ， 将图像转换为视觉单词文档并在视觉单词袋上训练 LDA 主题模型来使用 LDA 。 另一种方法是通过使用人工神经元模拟的分布式表示 。 在文档建模领域 Salakhutdinov 和 Hinton 提出了一个用于单词袋的所谓“复制 Softmax”（RS）模型 。 RS 模型后来用于多峰数据建模 ， 其中在深的 Boltzmann 机器（DBM）中共同对图像和文本注释对进行建模 。 这种用于多模态数据生成建模的深度学习方法在 MIR Flickr 数据集上实现了最先进的性能 。 另一方面 ， 它还与 LDA 及其不同的扩展共享对数据的随机潜在表示的依赖 ， 在训练和测试时需要变化近似和 MCMC 采样 。 另一种基于神经网络的最新多模态数据建模方法是多模态深度递归神经网络（MDRNN） ， 其目的是通过最小化信息变化而不是最大程度地预测其余数据模态中的缺失数据模态 。
最近 ， 在 Larochelle 和 Lauly 中提出了另一种用于文档的生成建模方法 。 这项工作提出了一种文档神经自回归分布估计器（DocNADE） ， 该模型通过将其分解为条件分布的乘积（通过概率链规则）并对每个条件进行建模 ， 从而直接对文档中单词的联合分布进行建模 。
忘川彼岸一种深度自动回归的多模态数据主题建模方法
本文插图
图 1 SupDocNADE 的深度扩展
在本文中 ， 作者考虑了 DocNADE 在计算机视觉中处理多峰数据的应用 。 更具体地说 ， 他们首先提出 DocNADE（SupDocNADE）的监督变体 ， 该变体可用于对图像的视觉单词 ， 注释单词和类标签上的联合分布进行建模 。 作者研究了如何成功地合并有关视觉单词的空间信息 ， 并强调了校准训练目标的生成和区分成分的重要性 。 结果证实 ， 这种方法可以胜过其他主题模型 ， 例如 LDA 的监督变体 。 此外 ， 文章还提出了 SupDocNADE 的深度扩展 ， 该扩展学习了成对的图像和注释词的深度和区分性表示 。 如图 1 所示 ， SupDocNADE 的较深版本胜过其较浅的版本 ， 并在具有挑战性的 MIR Flickr 数据集上实现了最新的性能 。
在 Larochelle 和 Lauly 中 ， DocNADE 用于对真实单词的文档进行建模 ， 这些单词属于一些预定义的词汇表 。 为了对图像数据建模 ， 作者假设图像首先已被转换为视觉单词袋 。一种标准方法是通过对从所有训练图像中密集提取的 SIFT 描述符执行 K-均值聚类来学习视觉单词的词汇 。 图像都可以表示为视觉词袋 v = [v1 ， v2 ， ... 。。。， vDv] ， 其中每个 vi 是最接近的 K 均值聚类到从图像中提取的第 i 个 SIFT 描述符的索引 ， Dv 是为图像 v 提取的描述符数 。 DocNADE 通过将视觉单词 p（v）重写为


推荐阅读


上一篇：高圆圆|高圆圆披发回眸生图莞尔一笑气质温柔，貌美状态在线

下一篇：哺乳动物10种你无法相信却又真实存在的动物！