本發(fā)明屬于多模態(tài)信息處理，具體是涉及一種大規(guī)模低質(zhì)量多模態(tài)無(wú)監(jiān)督哈希方法及動(dòng)態(tài)流數(shù)據(jù)檢索系統(tǒng)。

背景技術(shù)：

1、隨著海量多媒體數(shù)據(jù)呈指數(shù)級(jí)增長(zhǎng)，如何從大規(guī)模、異構(gòu)、多模態(tài)的多媒體數(shù)據(jù)中高效提取有用信息的方法，多模態(tài)哈希學(xué)習(xí)越來(lái)越受到計(jì)算機(jī)視覺(jué)與信息處理等領(lǐng)域的廣泛關(guān)注。然而在面臨大規(guī)模低質(zhì)量環(huán)境時(shí)，由于數(shù)據(jù)采集的成本和難度，往往難以獲取大規(guī)模的標(biāo)注數(shù)據(jù)，而異構(gòu)場(chǎng)景的復(fù)雜性更增加了數(shù)據(jù)標(biāo)注的難度，既而使得多模態(tài)數(shù)據(jù)伴隨著不完備的標(biāo)記信息和非恒定的數(shù)據(jù)分布等特征。因此，如何在缺乏全面標(biāo)注的情況下，利用低質(zhì)量樣本信息和異構(gòu)模態(tài)之間的關(guān)聯(lián)性，在海量低質(zhì)量異質(zhì)數(shù)據(jù)中挖掘蘊(yùn)含的有用知識(shí)，準(zhǔn)確高效處理多模態(tài)數(shù)據(jù)中有價(jià)值信息成為多模態(tài)信息處理研究領(lǐng)域的迫切問(wèn)題。為此，無(wú)監(jiān)督多模態(tài)哈希學(xué)習(xí)方法受到了當(dāng)前多模態(tài)信息處理技術(shù)領(lǐng)域的廣泛關(guān)注。

2、為了更好地捕獲多模態(tài)異構(gòu)語(yǔ)義關(guān)聯(lián)信息，減輕各個(gè)模態(tài)的異質(zhì)性，文獻(xiàn)(liux.l.,mu?y.d.,zhang?d.c.,et.al.large-scale?unsupervised?hashing?withsharedstructure?learning)提出了大規(guī)模無(wú)監(jiān)督散列(large-scale?unsupervisedhash,ssh)將特征空間分解為所有散列函數(shù)共享的子空間及其互補(bǔ)子空間。為了能夠?qū)⒈O(jiān)督標(biāo)簽信息嵌入到待學(xué)習(xí)的哈希碼，文獻(xiàn)(zhan?y.w.,wang?y.x.,sun?y.,et?al.discrete?onlinecross-modal?hashing)設(shè)計(jì)離散在線(xiàn)跨模態(tài)哈希方案，將相似性保持和標(biāo)簽嵌入結(jié)合到一個(gè)統(tǒng)一的框架中。而考慮到能夠離散地求解二進(jìn)制約束問(wèn)題，文獻(xiàn)(wang?y.x.,luo?x.,xux.s.label?embedding?online?hashing?forcross-modal?retrieval.)提出標(biāo)簽嵌入在線(xiàn)跨模態(tài)哈希方法，通過(guò)包含標(biāo)簽相似性保持和標(biāo)簽重構(gòu)的標(biāo)簽嵌入框架來(lái)挖掘語(yǔ)義結(jié)構(gòu),生成更具判別性的哈希碼。然而大多數(shù)多模態(tài)哈希模型都是將多模態(tài)數(shù)據(jù)映射到公共表示空間，該方式還不足以消除各個(gè)模態(tài)的異質(zhì)性。其次，為了實(shí)現(xiàn)高維哈希碼到低維哈希碼的映射，目前的方法更多的是使用單層哈希函數(shù)映射模式，如果使用一步降維哈希學(xué)習(xí)模式，其應(yīng)用在大規(guī)模低質(zhì)量多模態(tài)數(shù)據(jù)集中，會(huì)丟失一些關(guān)鍵的數(shù)據(jù)語(yǔ)義信息或判別信息。與此同時(shí)，面向大規(guī)模低質(zhì)量異構(gòu)流媒體數(shù)據(jù)時(shí)，低質(zhì)量異構(gòu)流媒體數(shù)據(jù)量是動(dòng)態(tài)實(shí)時(shí)變化的，呈現(xiàn)累計(jì)過(guò)程，為此無(wú)法直接利用離線(xiàn)多模態(tài)哈希方法進(jìn)行處理，同時(shí)動(dòng)態(tài)流數(shù)據(jù)還具備隨機(jī)性、多樣性等特征，傳統(tǒng)的離線(xiàn)多模態(tài)哈希算法無(wú)法適應(yīng)動(dòng)態(tài)環(huán)境下的數(shù)據(jù)改變。

技術(shù)實(shí)現(xiàn)思路

1、為解決上述技術(shù)問(wèn)題，本發(fā)明提供了一種大規(guī)模低質(zhì)量多模態(tài)無(wú)監(jiān)督哈希方法以及動(dòng)態(tài)流數(shù)據(jù)檢索系統(tǒng)，解決了在低質(zhì)量環(huán)境下如何高效挖掘多模態(tài)深層次語(yǔ)義一致性?xún)?nèi)容，同時(shí)最大程度避免噪聲數(shù)據(jù)和冗余數(shù)據(jù)對(duì)多模態(tài)哈希學(xué)習(xí)產(chǎn)生的干擾，實(shí)現(xiàn)對(duì)大規(guī)模低質(zhì)量動(dòng)態(tài)多模態(tài)流數(shù)據(jù)進(jìn)行快速檢索。

2、本發(fā)明所述的大規(guī)模低質(zhì)量多模態(tài)無(wú)監(jiān)督哈希方法，包括以下步驟：

3、步驟1、獲取大規(guī)模低質(zhì)量環(huán)境下的多模態(tài)數(shù)據(jù)，提取多模態(tài)數(shù)據(jù)的樣本特征信息，并對(duì)得到的樣本特征進(jìn)行樣本中心化處理和徑向基函數(shù)(radial?basisfunction,rbf)核化處理，得到處理后的多模態(tài)數(shù)據(jù)特征；

4、步驟2、構(gòu)建稀疏正則化分層哈希映射模型，挖掘大規(guī)模低質(zhì)量環(huán)境下多模態(tài)樣本對(duì)應(yīng)的強(qiáng)語(yǔ)義判別哈希碼，并構(gòu)建多模態(tài)矩陣分解哈希學(xué)習(xí)模型，融合各種模態(tài)數(shù)據(jù)之間的獨(dú)特特征內(nèi)容和語(yǔ)義一致性特征內(nèi)容，得到多模態(tài)無(wú)監(jiān)督哈希學(xué)習(xí)全局損失函數(shù)；求解多模態(tài)數(shù)據(jù)的哈希碼，并計(jì)算各個(gè)模態(tài)對(duì)應(yīng)的哈希函數(shù)；

5、步驟3、利用查詢(xún)樣本模態(tài)對(duì)應(yīng)的哈希函數(shù)，對(duì)待查詢(xún)樣本進(jìn)行哈希編碼映射，得到待查詢(xún)樣本對(duì)應(yīng)的查詢(xún)哈希碼；將得到的查詢(xún)哈希碼與大規(guī)模低質(zhì)量環(huán)境下的多模態(tài)數(shù)據(jù)中的哈希碼進(jìn)行海明距離解算，得到相應(yīng)的檢索結(jié)果。

6、進(jìn)一步地，步驟1具體為：

7、所述多模態(tài)數(shù)據(jù)包括低質(zhì)量圖像樣本和低質(zhì)量文本樣本，利用圖像深度網(wǎng)絡(luò)模型提取低質(zhì)量圖像樣本的特征信息得到低質(zhì)量圖像特征s1，利用文本深度網(wǎng)絡(luò)模型提取文本低質(zhì)量樣本的特征信息得到低質(zhì)量文本特征s2；分別對(duì)低質(zhì)量圖像特征和低質(zhì)量文本特征進(jìn)行樣本中心化處理和rbf核化處理，得到處理后的圖像特征和文本特征

8、進(jìn)一步地，步驟2具體為：

9、步驟2-1、為了充分挖掘大規(guī)模低質(zhì)量環(huán)境下，多模態(tài)樣本對(duì)應(yīng)的強(qiáng)語(yǔ)義判別哈希碼，構(gòu)建稀疏正則化多層哈希映射模型：

10、

11、式中，b為待學(xué)習(xí)的哈希碼，r為哈希碼長(zhǎng)度，n為多模態(tài)數(shù)據(jù)集的大小，p1為圖像模態(tài)的外層哈希映射矩陣，r1為圖像模態(tài)的內(nèi)層哈希映射矩陣，p2為文本模態(tài)的外層哈希映射矩陣，r2為文本模態(tài)的內(nèi)層哈希映射矩陣，θ是多層哈希映射平衡參數(shù)，δ是稀疏正則化參數(shù)，tr(.)表示矩陣的跡運(yùn)算，||.||表示矩陣的l21范數(shù)；

12、步驟2-2、為了融合各種模態(tài)數(shù)據(jù)之間的獨(dú)特特征內(nèi)容和語(yǔ)義一致性特征內(nèi)容，構(gòu)建多模態(tài)矩陣分解哈希學(xué)習(xí)模型：

13、

14、式中，u1為圖像模態(tài)的轉(zhuǎn)換矩陣，ε1為圖像模態(tài)的獨(dú)特矩陣，u2為文本模態(tài)的轉(zhuǎn)換矩陣，ε2為文本模態(tài)的獨(dú)特矩陣，β是平衡參數(shù)，a是多模態(tài)獨(dú)特特征參數(shù)，μ是正則化參數(shù)；

15、步驟2-3、結(jié)合步驟2-1和步驟2-2，構(gòu)建多模態(tài)無(wú)監(jiān)督哈希學(xué)習(xí)全局損失函數(shù)：

16、

17、步驟2-4、采用交替迭代優(yōu)化求解方法求解參數(shù)r1,r2,p1,p2，u1，u2，e1,e2,b的值；

18、步驟2-5、基于參數(shù)r1,r2,p1,p2，進(jìn)一步解算圖像模態(tài)的哈希函數(shù)h1，其值為h1＝p1r1；同理，解算文本模態(tài)的哈希函數(shù)h2，其值為h2＝p2r2。

19、進(jìn)一步地，步驟2-4具體為：

20、步驟2-4-1、當(dāng)更新參數(shù)r1，固定其他參數(shù)時(shí)，解算得到r1的值為：

21、

22、式中，m為圖像模態(tài)的多層次過(guò)渡對(duì)角矩陣，該對(duì)角矩陣m中的第i行i列值為i＝1,...,k1，k1為p1的行維度，||.||2為矩陣的2范數(shù)；

23、步驟2-4-2、當(dāng)更新參數(shù)r2，固定其他參數(shù)時(shí)，解算得到r2的值為：

24、

25、式中，n為文本模態(tài)的多層次過(guò)渡對(duì)角矩陣，該對(duì)角矩陣n中的第i行i列值為i＝1,...,k2，k2為p2的行維度。

26、步驟2-4-3、當(dāng)更新參數(shù)p1，固定其他參數(shù)時(shí)，解算得到p1的值為：

27、

28、步驟2-4-4、當(dāng)更新參數(shù)p2，固定其他參數(shù)時(shí)，解算得到p2的值為：

29、

30、步驟2-4-5、當(dāng)更新參數(shù)u1，固定其他參數(shù)時(shí)，解算得到u1的值為：

31、

32、步驟2-4-6、當(dāng)更新參數(shù)u2，固定其他參數(shù)。解算得到u2的值為：

33、

34、步驟2-4-7、當(dāng)更新參數(shù)e1，固定其他參數(shù)時(shí)，解算得到e1的值為：

35、

36、步驟2-4-8、當(dāng)更新參數(shù)e2，固定其他參數(shù)時(shí)，解算得到e2的值為：

37、

38、步驟2-4-9、當(dāng)更新參數(shù)b，固定其他參數(shù)時(shí)，解算得到b的值為：

39、

40、式中，sgn(.)為符號(hào)函數(shù)。

41、進(jìn)一步地，步驟3中，通過(guò)利用查詢(xún)樣本模態(tài)對(duì)應(yīng)的哈希函數(shù)，對(duì)查詢(xún)樣本進(jìn)行轉(zhuǎn)換映射處理，得到對(duì)應(yīng)查詢(xún)樣本模態(tài)的哈希碼，具體為：

42、假設(shè)當(dāng)待查詢(xún)樣本為圖像模態(tài)數(shù)據(jù)根據(jù)獲得的圖像模態(tài)的哈希函數(shù)h1，求取待檢索圖像模態(tài)數(shù)據(jù)的哈希碼bi_query為：

43、

44、將得到的查詢(xún)哈希碼與多模態(tài)數(shù)據(jù)集中的哈希碼進(jìn)行海明距離解算，對(duì)解算得到的海明距離進(jìn)行從小到大排序，選擇前s個(gè)多模態(tài)數(shù)據(jù)作為檢索結(jié)果輸出，s為大于等于1的整數(shù)；

45、假設(shè)當(dāng)待查詢(xún)樣本為文本模態(tài)數(shù)據(jù)根據(jù)獲得的文本模態(tài)的哈希函數(shù)h2，求取待檢索文本模態(tài)數(shù)據(jù)的哈希碼bt_query為：

46、

47、將得到的查詢(xún)哈希碼與多模態(tài)數(shù)據(jù)集中的哈希碼進(jìn)行海明距離解算，對(duì)解算得到的海明距離進(jìn)行從小到大排序，選擇前s個(gè)多模態(tài)數(shù)據(jù)作為檢索結(jié)果輸出，s為大于等于1的整數(shù)。

48、本發(fā)明還提供了一種大規(guī)模低質(zhì)量多模態(tài)動(dòng)態(tài)流數(shù)據(jù)檢索系統(tǒng)，用于實(shí)現(xiàn)上述方法，所述系統(tǒng)包括動(dòng)態(tài)流數(shù)據(jù)特征提取器模塊，動(dòng)態(tài)流數(shù)據(jù)哈希函數(shù)求解器模塊和動(dòng)態(tài)流數(shù)據(jù)多模態(tài)檢索器模塊；

49、動(dòng)態(tài)流數(shù)據(jù)特征提取器模塊利用對(duì)應(yīng)的模態(tài)特征提取器，提取對(duì)應(yīng)模態(tài)的特征信息；

50、動(dòng)態(tài)流數(shù)據(jù)哈希函數(shù)求解器模塊采用一步哈希函數(shù)求解過(guò)程，同時(shí)結(jié)合動(dòng)態(tài)流數(shù)據(jù)特征提取器模塊提取的模態(tài)特征信息，將大規(guī)模低質(zhì)量環(huán)境下多模態(tài)無(wú)監(jiān)督哈希方法進(jìn)行擴(kuò)展，得到對(duì)應(yīng)的動(dòng)態(tài)流數(shù)據(jù)哈希函數(shù)求解器全局損失函數(shù)；并采用交替迭代優(yōu)化求解方法，求解動(dòng)態(tài)流數(shù)據(jù)哈希函數(shù)求解器全局損失函數(shù)的參數(shù)，既而得到不同模態(tài)對(duì)應(yīng)的動(dòng)態(tài)流數(shù)據(jù)哈希函數(shù)；

51、動(dòng)態(tài)流數(shù)據(jù)多模態(tài)檢索器模塊，通過(guò)各個(gè)模態(tài)對(duì)應(yīng)的動(dòng)態(tài)流數(shù)據(jù)哈希函數(shù)，進(jìn)一步得到對(duì)應(yīng)動(dòng)態(tài)流數(shù)據(jù)查詢(xún)哈希碼，并將解算得到的動(dòng)態(tài)流數(shù)據(jù)查詢(xún)哈希碼與動(dòng)態(tài)流數(shù)據(jù)多模態(tài)數(shù)據(jù)中的哈希碼進(jìn)行海明距離解算，對(duì)解算得到的海明距離進(jìn)行從小到大排序，選擇前s個(gè)多模態(tài)數(shù)據(jù)作為檢索結(jié)果輸出。

52、本發(fā)明所述的有益效果為：

53、1)在大規(guī)模低質(zhì)量無(wú)監(jiān)督多模態(tài)內(nèi)容檢索場(chǎng)景時(shí)，由于多模態(tài)數(shù)據(jù)監(jiān)督信息缺失，無(wú)法直接利用有效利用標(biāo)簽信息指導(dǎo)學(xué)習(xí)哈希碼；而且各種模態(tài)數(shù)據(jù)經(jīng)常包含許多冗余和損壞的特征，這些噪聲點(diǎn)對(duì)哈希碼的學(xué)習(xí)產(chǎn)生了較大影響，直接導(dǎo)致檢索準(zhǔn)確性的降低。本發(fā)明所述方法為了充分挖掘大規(guī)模低質(zhì)量多模態(tài)數(shù)據(jù)的強(qiáng)判別力哈希碼，采取內(nèi)層和外層組合的多層哈希碼映射模式，構(gòu)建了稀疏正則化多層哈希映射模型；同時(shí)，為了融合低質(zhì)量多模態(tài)數(shù)據(jù)中各種模態(tài)數(shù)據(jù)之間的獨(dú)特特征內(nèi)容和語(yǔ)義一致性特征內(nèi)容，采用將不同模態(tài)映射對(duì)應(yīng)的歸約模態(tài)空間，將各個(gè)歸約模態(tài)空間內(nèi)聯(lián)耦合建模，能夠有效挖掘低質(zhì)量異質(zhì)數(shù)據(jù)的低層數(shù)據(jù)語(yǔ)義特性，有效降低了低質(zhì)量異構(gòu)數(shù)據(jù)拓?fù)浞植嫉亩鄻有詫?duì)多模態(tài)哈希學(xué)習(xí)模型的適應(yīng)性影響；

54、2)本發(fā)明為了能夠處理在動(dòng)態(tài)環(huán)境下的流媒體多模態(tài)數(shù)據(jù)的改變，對(duì)所提地大規(guī)模低質(zhì)量多模態(tài)無(wú)監(jiān)督哈希方法進(jìn)行了在線(xiàn)模式擴(kuò)展，使其能夠在流媒體數(shù)據(jù)學(xué)習(xí)過(guò)程中，能夠捕獲更多全局語(yǔ)義信息；同時(shí)，與其他在線(xiàn)增量哈希方法相比，本發(fā)明不僅增強(qiáng)了低質(zhì)量動(dòng)態(tài)多模態(tài)流數(shù)據(jù)的哈希函數(shù)的學(xué)習(xí)能力，能夠有效解決大規(guī)模低質(zhì)量動(dòng)態(tài)環(huán)境下，各種語(yǔ)義標(biāo)簽信息得到缺失、錯(cuò)誤，以及噪聲樣本信息對(duì)系統(tǒng)產(chǎn)生的影響，具有較強(qiáng)抗噪抗干擾能力；構(gòu)建的動(dòng)態(tài)流數(shù)據(jù)哈希函數(shù)求解器全局損失函數(shù)，能夠逐步有序穩(wěn)定的挖掘動(dòng)態(tài)流數(shù)據(jù)語(yǔ)義信息，使其在時(shí)間和空間開(kāi)銷(xiāo)之間取得平衡，不僅具有可擴(kuò)展性和適應(yīng)性，也滿(mǎn)足了日益增長(zhǎng)的在線(xiàn)學(xué)習(xí)需求，加快低質(zhì)量動(dòng)態(tài)多模態(tài)流數(shù)據(jù)的檢索速率。

55、3)本發(fā)明申請(qǐng)的大規(guī)模低質(zhì)量多模態(tài)動(dòng)態(tài)流數(shù)據(jù)檢索系統(tǒng)包括動(dòng)態(tài)流數(shù)據(jù)特征提取器模塊，動(dòng)態(tài)流數(shù)據(jù)哈希函數(shù)求解器模塊和動(dòng)態(tài)流數(shù)據(jù)多模態(tài)檢索器模塊。由于動(dòng)態(tài)流數(shù)據(jù)特征提取器模塊是利用對(duì)應(yīng)的模態(tài)特征提取器，提取對(duì)應(yīng)模態(tài)的特征信息，為此該模塊具有更廣的擴(kuò)展性，可以包含圖像模態(tài)、文本模態(tài)、語(yǔ)音模態(tài)、視頻模態(tài)等多種模態(tài)。動(dòng)態(tài)流數(shù)據(jù)哈希函數(shù)求解器模塊，該模塊最大程度確保新流入的動(dòng)態(tài)流數(shù)據(jù)能夠快速學(xué)習(xí)符合總體多模態(tài)樣本對(duì)應(yīng)的哈希碼分布結(jié)構(gòu)，采用一步哈希函數(shù)求解過(guò)程，有效避免量化誤差等問(wèn)題，提升了動(dòng)態(tài)流數(shù)據(jù)的哈希函數(shù)動(dòng)態(tài)求解效率。動(dòng)態(tài)流數(shù)據(jù)多模態(tài)檢索器模塊，能夠?qū)崿F(xiàn)對(duì)大規(guī)模低質(zhì)量動(dòng)態(tài)多模態(tài)流數(shù)據(jù)進(jìn)行快速精準(zhǔn)檢索。