江苏龙网

  1. 主页 > 生活百科 > >

基于协同矩阵分解的多模态数据的哈希方法

哈希


基于协同矩阵分解的多模态数据的哈希方法

文章插图
 
引用Ding G, Guo Y, Zhou J. Collective matrix factorization hashing for multimodal data[C]//Proceedings of the IEEE conference on computer vision and pattern recognition. 2014: 2075-2082.
摘要在计算机视觉和信息检索领域，基于哈希的最近邻搜索方法在有效和高效的大规模相似性搜索中备受瞩目 。以多模态数据为中心，本文研究了学习哈希函数进行跨视角的相似性搜索的问题 。我们提出了一种新型的哈希方法，称为协同矩阵分解的哈希（CMFH） 。CMFH 通过协同矩阵分解与潜因子模型从一个实例的不同模态中学习统一的哈希码，不仅可以支持跨视图的搜索，而且可以通过合并多个视图的信息源，提高搜索精度 。我们还证明了 CMFH 作为一种保留相似性的哈希学习方法，具有阈值 。通过大量的实验，我们在三个不同的数据集上验证了 CMFH 相较于几种最先进的方法的显著优越性 。
1 介绍最近邻搜索在许多重要的应用中发挥着基础性的作用，如信息检索、数据挖掘和计算机视觉等领域 。基于散列的最近邻搜索是将高维数据嵌入到紧凑的二进制码字中，因其近年来在海量数据中的巨大效率提升而引起了研究人员们的极大兴趣 。其中，基于哈希的模型中最值得借鉴的是位置敏感哈希(LSH)，其基本思想是将原始数据映射到汉明空间，同时保留它们的相似性 。LSH 可以很有效地处理相似性搜索，因为在计算二进制码之间的汉明距离时，应用了位运算 。在标准 LSH 的基础上, 也可以采用一些机器学习的方法来设计有效的紧凑哈希 。
随着相似性搜索在不同视图中的应用，上述的单视图方法已趋向于多视图场景 。最近, 一些跨视图哈希函数学习的核心问题是：如何处理来自不同概率分布的多模态数据 。
一般来说，跨视角哈希方法可以分为两类：特定视图哈希方法和综合哈希方法 。以特定视图的散列方法为实例的每个视图，首先会学习独立的散列码，然后将多个特定视图的二进制码进行串联，得到综合散列码 。跨模态相似性搜索散列(CMSSH)是通过将不可知数据嵌入到一个共同的度量空间中来解决的 。Kumar 等人将频谱哈希扩展到多视图文件中，并提出了跨视图哈希模型(CVH)，该模型通过求解广义特征值问题来最小化对象的权重平均多视图的 L2 范式距离 。共规化哈希(CRH)，其目标函数意图是将数据投影到远离 0 的地方，以获得良好的泛化效果，同时，有效地保留模态间的相似性 。媒介间哈希(IMH)引入媒介间一致性和媒介内一致性来发现一个共同的汉明，并利用线性回归与复合模型来学习特定视图的哈希函数 。上述哈希方法主要用于不同视图间的相似性搜索 。例如，将一张图片作为查询对象，搜索引擎可以返回一些文档，以准确描述细节 。为了实现跨视图搜索，每个视图都需要存储独立的哈希码，增加了存储和搜索的成本 。
综合哈希方法为每个实例学习统一的哈希码 。多信息源复合哈希(CHMIS)通过优化放宽哈希码，将不同信息源的信息结合到最终的综合哈希码中 。多视图频谱哈希(MVSH)将多视图信息分解为二进制代码，并使用码字乘积来避免不良嵌入 。这类哈希方法一般是利用一个实例的多个信息源进行组合来提高哈希码的搜索精度，对于跨视图相似搜索没有实现 。它们只有在所有信息源都可用的情况下才能很好地工作，这在现实世界中需求量太大 。
在本文中，我们提出了一种新型的哈希方法，基于协同矩阵分解的哈希方法（CMFH） 。CMFH 假设一个实例的每个视图都会产生相同的哈希码，这些哈希码并不是不同视图中的一些哈希码的组合或并发 。图 1 说明了上述两类方法和 CMFH 的区别 。对于每个实例，我们通过协同矩阵分解与潜因子模型从不同的视图中形成源学习统一的代码 。为了保证学习到的哈希码可以搜索到不同的视图，我们还为每个视图学习线性哈希函数，以确定未见实例的二进制代码 。我们的论文有以下贡献：
  1. 我们提出了一种跨视图场景下的统一哈希方法，不仅可以支持跨视图搜索，而且可以通过合并多个视图信息提高搜索精度 。
  2. 我们的工作是首次尝试采用协同矩阵分解(CMF)技术来学习跨视角的哈希函数 。我们的实验证明，当有多个视图信息源时，CMF 是一种有效的哈希方法 。
  3. 我们证明所提出的 CMFH 是一种具有近似双连续性的相似性保存哈希方法 。

基于协同矩阵分解的多模态数据的哈希方法


推荐阅读


上一篇：迁移学习概论

下一篇：celery异步任务框架