跨媒体哈希检索技术_姚涛_9787302682349

跨媒体检索是计算机视觉领域的一个基础问题。在跨媒体检索中，哈希算法的应用尤为广泛。本书共10章，第1、2章介绍跨媒体检索的基础知识；第3、4章介绍无监督的跨媒体哈希算法(基于映射字典学习的跨媒体哈希检索、基于语义一致性的跨媒体哈希检索)；第5~10章介绍有监督的跨媒体哈希算法(基于CoarsetoFine语义的跨媒体监督哈希检索、基于语义对齐的跨媒体哈希检索、用于跨模态检索的离散鲁棒监督哈希算法、具有语义一致性的快速离散跨模态哈希算法、用于跨模态检索的在线潜在语义哈希算法、用于大规模跨媒体检索的高效监督图嵌入哈希算法)。

随着计算机网络的快速发展和便携式设备的普及，网络上的文本、图像、音频和视频等多种模态的数据呈现爆炸式增长的势态，在海量数据中进行跨媒体检索成为新的挑战。一方面，不同媒体数据的表示呈现异构性，如何度量异构数据的相似度成为跨媒体检索的关键性问题。另一方面，互联网上的数据数量大，数据表示维度高，如何实现准确而又高效的检索成为跨媒体检索亟待解决的问题。哈希算法把高维数据映射到低维的汉明空间，为大规模跨媒体快速检索提供了一条有效途径。因此，本书主要围绕基于哈希算法的图文跨媒体检索问题展开研究，主要创新成果如下。

(1) 针对哈希码的每位取值不表示任何含义的问题，本书提出一种基于映射字典学习的无监督跨媒体哈希算法。首先，利用映射字典学习为图像和文本模态学习一个共享语义空间。传统的字典学习方法由于加入稀疏约束项，会导致较高的计算复杂度，本书利用线性映射代替非线性的稀疏编码，降低了计算复杂度；其次，提出一种迭代优化算法，得到目标函数的局部最优解；最后，通过学习正交旋转矩阵最小化量化误差，提升算法的性能。

(2) 针对已有算法在共享子空间学习时忽视样本模态内一致性的问题，提出一种基于语义一致性的跨媒体哈希算法。首先，分别利用协同非负矩阵分解和近邻保持算法保持样本的模态间和模态内的一致性，学习区分性能更好的共享语义子空间；其次，提出一种高效的计算复杂度为O(N)的优化算法，使算法具有良好的可扩展性；最后，在两个公开数据集上进行验证，实验结果表明了该算法的有效性。

(3) 当图文数据有标签时，针对大部分算法只利用基于标签信息的样本间相似性学习哈希函数，忽视了样本间相似的多样性，本书提出一种基于CoarsetoFine语义的监督跨媒体哈希算法。首先，利用标签信息和样本的底层特征构造细粒度相似矩阵；其次，利用细粒度相似矩阵学习区分性更好的哈希函数；最后，在两个公开数据集上进行实验，与参考算法比较，实验结果验证了该算法的有效性。

(4) 针对不同模态与高层语义存在语义鸿沟不平衡的问题，本书提出一种基于语义对齐的离散监督跨媒体哈希算法。首先，利用协同滤波直接建立标签与哈希码的联系，以减少计算量和内存开销；其次，利用图像的属性对齐图文模态的语义信息，学习性能更好的哈希函数；最后，提出一种离散优化算法，直接得到问题的离散解。在两个公开数据集进行验证，实验结果表明该算法的性能优于对比算法。

(5) 对于异构数据点，跨模态哈希算法旨在学习共享汉明空间，其模式是来自一种模态的查询可以检索另一种模态的相关项。尽管跨模态哈希算法取得了重大进展，但仍存在一些问题需要进一步解决。首先，为了利用哈希码中的语义信息，大多数人直接从类标签构造的相似度矩阵中学习哈希码，忽略了类标签在现实世界中可能包含噪声的事实。其次，大多数人忽略了哈希码的离散约束性，这可能会引入较大的量化误差而导致性能不佳。为了解决上述问题，提出了一种离散鲁棒监督哈希(discrete robust supervised hashing,DRSH)算法。具体来说，首先融合来自不同模态的类标签和特征，通过低秩约束学习鲁棒的相似性矩阵，该矩阵可以揭示其结构并捕获其中的噪声；其次，通过在共享汉明空间中保留基于鲁棒相似度矩阵的相似度生成哈希码；最后，由于哈希码的离散约束，优化具有挑战性，提出了一种离散优化算法来解决这个问题。在三个真实数据集上评估DRSH算法，结果证明了DRSH相对于几种现有哈希算法的优越性。

(6) 尽管监督跨模态哈希算法依赖成对相似性矩阵来指导哈希码的学习过程，取得了良好的性能，但也存在以下一些问题。第一，成对相似性矩阵通常导致高时间复杂度和内存成本，使得它们无法适应大规模数据集。第二，成对相似性矩阵可能导致语义信息的丢失，因而缺乏具有区分性的哈希码。第三，大多数方法在优化过程中放松了哈希码的离散约束，这通常导致积累了较大的量化误差，从而产生劣质的哈希码。第四，大多数离散哈希算法是逐位学习哈希码, 在训练阶段产生了时间成本。为了解决上述问题，本书提出了一种名为快速离散跨模态哈希的算法。具体而言, 它首先利用类别标签和成对相似性矩阵来学习一个共享的汉明空间，从而更好地保持语义一致性。其次，提出了一个非对称哈希码学习模型，以避免具有挑战性的对称矩阵分解问题。最后，设计了一种有效且高效的离散优化方案，可以直接生成离散哈希码，并将由成对相似性矩阵引起的计算复杂度和内存成本从O(n2)降到O(n)，其中n表示训练集的大小。在三个公开的数据集上进行的广泛实验突出了FDCH相对于几种跨模态哈希算法的优越性，并证明了其有效性和高效性。

(7) 大多数现有的跨媒体哈希算法以基于批处理的模式学习哈希函数。然而，在实际应用中，数据点往往以流的方式出现，这使得基于批量的哈希算法失去了效率。因此，本书利用在线潜在语义哈希算法来解决这个问题。它仅利用新到达的多媒体数据点来有效地重新训练哈希函数，同时保留旧数据点中的语义相关性。具体来说，为了学习判别性哈希码，使离散标签被映射到连续的潜在语义空间，在该空间中可以更准确地测量数据点中的相对语义距离。针对在流数据点上有效学习哈希函数的挑战性任务提出了一种在线优化方案，并且计算复杂度和内存成本远小于每轮训练数据集的大小。在许多现实世界的数据集上进行广泛的实验，充分体现了所提出方法的有效性和效率。

(8) 近年来，在基于谱图的哈希场景中，已经取得了一些成就，包括单模态哈希算法和跨媒体哈希算法。但仍然有一些问题需要进一步研究，包括： ①图嵌入的一个显著缺点是由图拉普拉斯矩阵引起的昂贵的内存和计算成本； ②大多数先驱工作在训练过程中未能充分利用可用的类标签，这通常导致它们的检索性能不尽如人意。为了克服这些缺点，提出了高效监督图嵌入哈希算法，它可以同时高效地学习哈希函数和离散二进制码。具体而言就是： ESGEH利用基于类标签的语义嵌入和图嵌入来生成共享的语义子空间，并且还将类标签纳入其中，以最小化量化误差，以更好地逼近生成的二进制码。为了减少计算资源，提出了一种中间项分解方法，避免了显式计算图拉普拉斯矩阵。最后，推导出了一个迭代的离散优化算法来解决上述问题，每个子问题都可以得到一个闭式解。在4个公共数据集进行的大量实验结果表明，所提出的方法在准确性和效率方面优于现有的几种跨媒体哈希算法。

姚涛
2025年1月

你还可能感兴趣

我要评论