一種基于集成哈希編碼的快速圖像檢索方法
【專利摘要】本發(fā)明公開了一種基于集成哈希編碼的快速圖像檢索方法，屬于數(shù)字圖像檢索【技術(shù)領(lǐng)域】，步驟如下：首先提取訓(xùn)練圖像和查詢圖像的SIFT特征，并利用M種哈希算法對訓(xùn)練圖像進行初始哈希編碼；然后利用集成學(xué)習(xí)中的一致性約束準(zhǔn)則對初始哈希編碼結(jié)果進行再學(xué)習(xí)，得到集成哈希映射矩陣；最后重新對訓(xùn)練圖像和查詢圖像進行集成哈希編碼，并在集成哈希編碼的基礎(chǔ)上通過計算查詢圖像與訓(xùn)練圖像之間的漢明距離來進行快速檢索。本發(fā)明中的集成哈希編碼能夠同時融合不同哈希算法的特點和優(yōu)勢，解決了單一哈希算法判別力不足和適用范圍的局限性問題，從而使得圖像的快速檢索更加準(zhǔn)確和高效。
【專利說明】 一種基于集成哈希編碼的快速圖像檢索方法
[0001]

【技術(shù)領(lǐng)域】
[0002]本發(fā)明涉及基于內(nèi)容的圖像檢索方法，特別涉及一種基于集成哈希編碼的快速圖像檢索方法，屬于數(shù)字圖像檢索【技術(shù)領(lǐng)域】。

【背景技術(shù)】
[0003]隨著多媒體網(wǎng)絡(luò)技術(shù)的發(fā)展，互聯(lián)網(wǎng)上的圖像資源呈爆炸式增長，使得用戶很難在浩如煙海的數(shù)據(jù)中找到真正感興趣的信息。因此，如何對海量的圖像進行快速有效的分析和檢索成了一個非常具有挑戰(zhàn)性的任務(wù)。傳統(tǒng)的基于內(nèi)容的圖像檢索技術(shù)往往都是通過提取圖像的底層特征進行窮舉比對，但因其比較過程的時間復(fù)雜度是線性的，無法在大規(guī)模網(wǎng)絡(luò)圖像數(shù)據(jù)上進行擴展和應(yīng)用，并且由于圖像的底層視覺特征動輒成千上萬維，許多圖像檢索應(yīng)用還會遇到維數(shù)災(zāi)難的問題，如何對如此龐大的原始數(shù)據(jù)進行存儲也是一個巨大瓶頸。
[0004]過去的十年中，研究者們對圖像的快速檢索技術(shù)進行了詳細(xì)研究。其中，基于哈希編碼的圖像搜索方法取得了巨大成功。該類算法通過將圖像表示成低維的二進制編碼向量來完成近似近鄰搜索。利用二進制編碼進行圖像的近似近鄰搜索是極其快速的，因為:1)圖像的編碼向量是高度壓縮的，可以將其全部載入內(nèi)存之中；2)編碼之間的漢明(Hamming)距離通過按位的異或操作便可得到，因此該計算過程是非常高效的(如今，一臺普通的臺式機在幾毫秒之內(nèi)就可以完成數(shù)百萬漢明距離的計算)。
[0005]目前，傳統(tǒng)的圖像哈希編碼算法主要分為非數(shù)據(jù)依賴和數(shù)據(jù)依賴兩種方案。其中一種非常著名的非數(shù)據(jù)依賴哈希算法便是局部敏感哈希(Locality Sensitive Hashing,LSH)，但是其投影向量的隨機性導(dǎo)致其編碼效率并不高，它往往需要構(gòu)建具有很長編碼長度的多個哈希表才能獲得較為理想的效果。近年來，研究者們將研究重點轉(zhuǎn)移到數(shù)據(jù)依賴的哈希算法上來，試圖通過機器學(xué)習(xí)的方法代替隨機投影來尋找更好的數(shù)據(jù)依賴哈希函數(shù)，如基于深度學(xué)習(xí)網(wǎng)絡(luò)的限制玻爾茲曼機(Restricted Boltzmann Machines, RBMs)和基于譜圖分割的譜哈希(Spectral Hashing, SH)算法等。RBMs算法通過神經(jīng)網(wǎng)絡(luò)模型逐層對圖像的原始特征進行降維和學(xué)習(xí)，并最終得到一個緊致的二進制編碼。SH算法則通過構(gòu)建拉普拉斯特征圖并利用主成分分析(PCA)方法提取其特征向量對原始圖像進行哈希編碼。但是上述方法都是基于單一的圖像底層視覺特征信息進行哈希編碼，無法全面地表達(dá)圖像豐富的內(nèi)容信息。后續(xù)的研究，如多特征哈希算法(Multiple Feature Hashing, MFH)和多源信息合成哈希算法(Composite Hashing with Multiple Informat1n Sources,CHMIS)等，又在多種特征信息的融合等方面對數(shù)據(jù)依賴哈希算法進行了相關(guān)的拓展。雖然上述哈希算法是針對問題的不同角度提出，都具有各自的一些特點和優(yōu)越性，但它們往往只在某些特定的設(shè)置條件或者數(shù)據(jù)庫上有效，范圍擴展性較差。此外，鑒于網(wǎng)絡(luò)圖像數(shù)據(jù)特征的多樣性和結(jié)構(gòu)的復(fù)雜性，目前傳統(tǒng)的基于單一哈希編碼的圖像檢索方法已無法滿足實際應(yīng)用中對于快速圖像檢索的準(zhǔn)確率的需求。


【發(fā)明內(nèi)容】

[0006]本發(fā)明的目的在于克服現(xiàn)有技術(shù)的不足，提出一種基于集成哈希編碼的快速圖像檢索方法。本發(fā)明的特點在于能夠充分利用不同哈希算法的特點，融合不同哈希算法的編碼優(yōu)勢，通過一致性約束準(zhǔn)則更有效地進行集成哈希編碼的學(xué)習(xí)，從而提高快速圖像檢索方法的準(zhǔn)確率和普適性。
[0007]本發(fā)明的技術(shù)方案是:對數(shù)據(jù)庫中的訓(xùn)練圖像和查詢圖像分別提取其SIFT特征并利用K-均值聚類將其量化表示成特征向量的形式，利用不同的圖像哈希編碼算法對訓(xùn)練圖像的特征向量進行初始哈希編碼，然后在不同算法得到的初始哈希編碼基礎(chǔ)上分別計算訓(xùn)練圖像之間的相似度矩陣，并通過集成學(xué)習(xí)算法的一致性約束準(zhǔn)則學(xué)習(xí)得到新的集成哈希映射矩陣，最后利用集成哈希映射矩陣對所有訓(xùn)練圖像和查詢圖像的特征向量重新進行集成哈希編碼，并在集成哈希編碼的基礎(chǔ)上通過計算查詢圖像與訓(xùn)練圖像之間的漢明距離來進行快速檢索。其具體步驟如下:
(1)給定數(shù)據(jù)庫，將其分為訓(xùn)練圖像數(shù)據(jù)庫和查詢圖像數(shù)據(jù)庫，對每一幅訓(xùn)練圖像和查詢圖像分別提取SIFT特征并利用K-均值聚類將其量化表示為d維的特征向量，其中η和q分別為訓(xùn)練圖像和查詢圖像的數(shù)量，則所有訓(xùn)練圖像的特征向量可以組成一個訓(xùn)練圖像特征向量庫，其中X為維的矩陣，X的每一行分別為相應(yīng)訓(xùn)練圖像的特征向量，所有查詢圖像的特征向量可以組成一個查詢圖像特征向量庫，其中Y為維的矩陣，Y的每一行分別為相應(yīng)查詢圖像的特征向量。
[0008](2)選取現(xiàn)有的Μ種不同圖像哈希算法對訓(xùn)練圖像的特征向量庫X分別進行初始哈希編碼，得到的初始哈希編碼矩陣分別記為(m=l，…，M)，其中，是一個維度為，元素取值為-1或者1的矩陣，每一行代表一幅訓(xùn)練圖像的初始哈希編碼，η為訓(xùn)練圖像總數(shù)，為第m種哈希算法的編碼長度。
[0009](3)從訓(xùn)練圖像的特征向量庫X中隨機按行挑選k幅圖像得到一個子矩陣，維度是，同時對應(yīng)地從每一個初始哈希編碼矩陣中分別按行隨機選取一個子矩陣，維度是，在每一種哈希算法的初始哈希編碼子矩陣基礎(chǔ)上，通過向量的內(nèi)積來計算兩幅訓(xùn)練圖像的初始哈希編碼之間的相似度，其中第m種哈希算法下的訓(xùn)練圖像的初始哈希編碼之間的相似度計算公式為:
其中為第m種哈希算法下的訓(xùn)練圖像的初始哈希編碼相似度矩陣，維度是，中的每一個元素表示第i幅訓(xùn)練圖像與第j幅訓(xùn)練圖像在第m種哈希算法下的相似度數(shù)值，并且，的值越大表示兩幅圖像的初始哈希編碼越相似，反之則越不相似，代表矩陣的轉(zhuǎn)置。
[0010](4)按照下面的公式計算Μ種不同哈希算法下的訓(xùn)練圖像的初始哈希編碼之間的平均相似度:
其中為融合了Μ種不同哈希算法的初始哈希編碼相似度的平均相似度矩陣，維度是。
[0011](5)在平均相似度矩陣S的基礎(chǔ)上，利用集成學(xué)習(xí)算法中的一致性約束準(zhǔn)則進行圖像哈希編碼的再學(xué)習(xí)，所謂一致性約束準(zhǔn)則是指由再學(xué)習(xí)得到的集成哈希編碼計算得出的相似度要與Μ種不同哈希算法的平均相似度矩陣S相一致，具體過程通過最小化下面的目標(biāo)函數(shù)實現(xiàn): 其中為學(xué)習(xí)得到的集成哈希編碼矩陣，每一行代表一幅訓(xùn)練圖像的集成哈希編碼，為集成哈希編碼的長度，若集成哈希編碼采用線性映射的形式，則上述目標(biāo)函數(shù)可以寫為:其中為集成哈希映射矩陣，維度是，作用是將圖像從特征空間映射到漢明空間，sign(.)為取符號函數(shù)。
[0012](6)對于查詢圖像特征向量庫中的任意一幅查詢圖像的特征向量，利用集成哈希映射矩陣將其映射到漢明空間，得到其集成哈希編碼，同時對訓(xùn)練圖像的特征向量庫X重新進行集成哈希編碼，計算與每一幅訓(xùn)練圖像的集成哈希編碼之間的漢明距離，如果漢明距離的值小于閾值，則把該幅訓(xùn)練圖像作為對應(yīng)查詢圖像的相似圖像返回給用戶。
[0013]本發(fā)明的效果和益處是:本發(fā)明提出一種基于集成哈希編碼的快速圖像檢索方法，同時融合多種不同圖像哈希編碼算法的信息和特點，通過集成學(xué)習(xí)算法的一致性約束準(zhǔn)則進行集成哈希映射矩陣的學(xué)習(xí)，能夠更為有效地對圖像進行集成哈希編碼，解決了傳統(tǒng)的基于單一哈希編碼的算法在快速圖像檢索過程中判別力不足和普適性較差的問題，從而可以提高快速圖像檢索的準(zhǔn)確率。

【專利附圖】

【附圖說明】
[0014]圖1是本發(fā)明的基于集成哈希編碼的快速圖像檢索方法的流程示意圖。
[0015]圖2是本發(fā)明與LSH算法、SH算法和RBMs算法的快速圖像檢索結(jié)果的對比圖，其中第一行為兩幅不同的查詢圖像，下面每一行分別為不同的算法返回的前三幅檢索圖像結(jié)果。

【具體實施方式】
[0016]下面結(jié)合附圖對本發(fā)明的技術(shù)方案做進一步的詳細(xì)說明:
如圖1所示，本發(fā)明公開了一種基于集成哈希編碼的快速圖像檢索方法，包含以下步驟:
(1)本發(fā)明實施例中的數(shù)據(jù)庫來源于新加坡國立大學(xué)公開的NUS-WIDE網(wǎng)絡(luò)圖像數(shù)據(jù)庫，圖像庫中的圖像數(shù)據(jù)來自著名的照片分享網(wǎng)站Flickr，其中共包含269648幅圖像。從中隨機選取2000幅圖像作為查詢圖像數(shù)據(jù)庫，其余267648幅圖像組成訓(xùn)練圖像數(shù)據(jù)庫。然后分別提取每一幅訓(xùn)練圖像和查詢圖像的SIFT特征，并利用K-均值聚類將其量化表示為500維的特征向量，從而分別得到訓(xùn)練圖像特征向量庫X和查詢圖像特征向量庫Y，其中X是維度為267648500的矩陣，Y是維度為2000500的矩陣。
[0017](2)利用M=3種不同的圖像哈希算法(LSH算法、RBMs算法和SH算法)分別對訓(xùn)練圖像的特征向量庫X進行初始哈希編碼，編碼長度為，得到的初始哈希編碼矩陣分別為、、，矩陣維度都是26764864。其中這三種圖像哈希算法都可以通過網(wǎng)絡(luò)上公開的源代碼進行實現(xiàn)。
[0018](3)從訓(xùn)練圖像的特征向量庫X中隨機按行選取幅圖像來組成一個子矩陣，其維度是10000500，同時對應(yīng)地從每一個初始哈希編碼矩陣、、中分別按行選取一個子矩陣、、，維度均為1000064，然后分別計算3種不同哈希算法下訓(xùn)練圖像的初始哈希編碼之間的相似度矩陣、、，計算公式如下:
其中的維度是1000010000，的每一個元素表示第幅訓(xùn)練圖像與第幅訓(xùn)練圖像在第m種初始哈希編碼下的相似度數(shù)值，取值范圍是-1到1。
[0019](4)得到相似度矩陣、和之后，按照下面的公式計算3種不同哈希算法下的訓(xùn)練圖像初始哈希編碼之間的平均相似度:
其中為融合了 3種不同哈希算法的初始哈希編碼相似度的平均相似度矩陣，維度是1000010000。
[0020](5)在平均相似度矩陣S的基礎(chǔ)上，利用集成學(xué)習(xí)算法的一致性約束準(zhǔn)則進行圖像哈希編碼的再學(xué)習(xí)，使學(xué)習(xí)得到的集成哈希編碼同時具有LSH算法、RBMs算法和SH算法的優(yōu)勢和特點，具體過程通過最小化下面的目標(biāo)函數(shù)實現(xiàn):
其中為集成哈希編碼的長度，在此取=64，為集成哈希編碼矩陣，每一行代表一幅訓(xùn)練圖像的集成哈希編碼，維度是，通過對目標(biāo)函數(shù)進行梯度下降法求解得到，將集成哈希編碼采用線性映射的形式，即，則上述目標(biāo)函數(shù)寫為:
其中sign(.)為取符號函數(shù)，為集成哈希映射矩陣，維度是50064，作用是將圖像從特征空間映射到漢明空間，通過隨機初始化的方式經(jīng)由梯度下降法求解得出。
[0021](6)對于2000幅查詢圖像中的任意一幅查詢圖像，利用集成哈希映射矩陣對其特征向量進行映射，得到其集成哈希編碼，同時對所有訓(xùn)練圖像的特征向量庫重新進行集成哈希編碼，分別計算與每一幅訓(xùn)練圖像的集成哈希編碼之間的漢明距離，如果漢明距離小于閾值，則把該幅訓(xùn)練圖像作為查詢圖像的相似圖像返回給用戶。在此實施例中，取。
[0022]參見圖2，本發(fā)明與LSH算法、SH算法和RBMs算法的快速圖像檢索結(jié)果的對比圖。圖2中的第一行為所有查詢圖像中隨機抽取的兩幅查詢圖像，下面每一行分別為不同的算法返回的前三幅相似圖像的檢索結(jié)果，其中正確的檢索結(jié)果用對號標(biāo)記，錯誤的檢索結(jié)果用錯號標(biāo)記，可見本發(fā)明的方法可以獲得比其他三種單一圖像哈希算法更為準(zhǔn)確的檢索結(jié)果。
[0023]以上所述的具體實施方案對本發(fā)明的目的和技術(shù)方案進行了進一步的詳細(xì)說明，熟知本領(lǐng)域的技術(shù)人員將理解，以上所述僅為本發(fā)明的具體實施方案而已，并非用以限定本發(fā)明的范圍，在不脫離由所附權(quán)利要求書限定情況下，可以在細(xì)節(jié)上進行各種修改，都應(yīng)當(dāng)視為屬于本發(fā)明的保護范圍。
【權(quán)利要求】
1.一種基于集成哈希編碼的快速圖像檢索方法，包括以下步驟: (1)給定數(shù)據(jù)庫，將其分為訓(xùn)練圖像數(shù)據(jù)庫和查詢圖像數(shù)據(jù)庫，對每一幅訓(xùn)練圖像和查詢圖像分別提取SIFT特征并利用K-均值聚類將其量化表示為d維的特征向量，其中η和q分別為訓(xùn)練圖像和查詢圖像的數(shù)量，則所有訓(xùn)練圖像的特征向量可以組成一個訓(xùn)練圖像特征向量庫，其中X為維的矩陣，X的每一行分別為相應(yīng)訓(xùn)練圖像的特征向量，所有查詢圖像的特征向量可以組成一個查詢圖像特征向量庫，其中Y為維的矩陣，Y的每一行分別為相應(yīng)查詢圖像的特征向量； (2)選取現(xiàn)有的M種不同圖像哈希算法對訓(xùn)練圖像的特征向量庫X分別進行初始哈希編碼，得到的初始哈希編碼矩陣分別記為(m=l，…，M)，其中，是一個維度為，元素取值為-1或者I的矩陣，每一行代表一幅訓(xùn)練圖像的初始哈希編碼，η為訓(xùn)練圖像總數(shù)，為第m種哈希算法的編碼長度； (3)從訓(xùn)練圖像的特征向量庫X中隨機按行挑選k幅圖像得到一個子矩陣，維度是，同時對應(yīng)地從每一個初始哈希編碼矩陣中分別按行隨機選取一個子矩陣，維度是，在每一種哈希算法的初始哈希編碼子矩陣基礎(chǔ)上，通過向量的內(nèi)積來計算兩幅訓(xùn)練圖像的初始哈希編碼之間的相似度，其中第m種哈希算法下的訓(xùn)練圖像的初始哈希編碼之間的相似度計算公式為: 其中為第m種哈希算法下的訓(xùn)練圖像的初始哈希編碼相似度矩陣，維度是，中的每一個元素表示第i幅訓(xùn)練圖像與第j幅訓(xùn)練圖像在第m種哈希算法下的相似度數(shù)值，并且，的值越大表示兩幅圖像的初始哈希編碼越相似，反之則越不相似，代表矩陣的轉(zhuǎn)置； (4)按照下面的公式計算M種不同哈希算法下的訓(xùn)練圖像的初始哈希編碼之間的平均相似度: 其中為融合了 M種不同哈希算法的初始哈希編碼相似度的平均相似度矩陣，維度是； (5)在平均相似度矩陣S的基礎(chǔ)上，利用集成學(xué)習(xí)算法中的一致性約束準(zhǔn)則進行圖像哈希編碼的再學(xué)習(xí)，所謂一致性約束準(zhǔn)則是指由再學(xué)習(xí)得到的集成哈希編碼計算得出的相似度要與M種不同哈希算法的平均相似度矩陣S相一致，具體過程通過最小化下面的目標(biāo)函數(shù)實現(xiàn): 其中為學(xué)習(xí)得到的集成哈希編碼矩陣，每一行代表一幅訓(xùn)練圖像的集成哈希編碼，為集成哈希編碼的長度，若集成哈希編碼采用線性映射的形式，則上述目標(biāo)函數(shù)可以寫為: 其中為集成哈希映射矩陣，維度是，作用是將圖像從特征空間映射到漢明空間，sign(.)為取符號函數(shù)； (6)對于查詢圖像特征向量庫中的任意一幅查詢圖像的特征向量，利用集成哈希映射矩陣將其映射到漢明空間，得到其集成哈希編碼，同時對訓(xùn)練圖像的特征向量庫X重新進行集成哈希編碼，計算與每一幅訓(xùn)練圖像的集成哈希編碼之間的漢明距離，如果漢明距離的值小于閾值，則把該幅訓(xùn)練圖像作為對應(yīng)查詢圖像的相似圖像返回給用戶。
【文檔編號】G06K9/62GK104298791SQ201410657380
【公開日】2015年1月21日 申請日期:2014年11月19日 優(yōu)先權(quán)日:2014年11月19日
【發(fā)明者】李鵬, 呂新榮, 宋華軍, 任鵬 申請人:中國石油大學(xué)(華東)