專利名稱：一種用于圖像或視頻搜索重排序的方法
技術(shù)領(lǐng)域：
本發(fā)明涉及面向多媒體信息檢索領(lǐng)域，特別涉及一種用于圖像或視頻搜索重排序的方法。
背景技術(shù)：
隨著信息技術(shù)的快速發(fā)展，圖像和視頻等多媒體數(shù)據(jù)大量涌現(xiàn)，成為人們獲取信息的重要途徑之一。圖像或視頻搜索重排序是根據(jù)初始的基于文本搜索結(jié)果結(jié)合其它的可利用的輔助信息訓(xùn)練排序模型，利用新的排序模型對檢索結(jié)果重新排序的過程，其目的是為了改善檢索的準(zhǔn)確性以提高用戶體驗和滿意度。利用標(biāo)注信息進(jìn)行圖像或視頻的重排序是目前主要的方法，其中標(biāo)注信息的獲取有多種途徑，例如利用人工標(biāo)注、偽相關(guān)反饋、隱相關(guān)反饋等。發(fā)明人在實現(xiàn)本發(fā)明的過程中，發(fā)現(xiàn)現(xiàn)有技術(shù)中存在以下不足現(xiàn)有技術(shù)中的基于標(biāo)注的圖像或視頻搜索重排序方法通常對所提取出來的高維特征向量進(jìn)行無監(jiān)督的維數(shù)約簡或者將圖像或視頻的相關(guān)性等級信息簡單的作為類別標(biāo)號信息進(jìn)行有監(jiān)督的維數(shù)約簡，然而在圖像或視頻搜索重排序中圖像或視頻的類別標(biāo)號并不能充分準(zhǔn)確地描述圖像與圖像之間，或視頻與視頻之間的關(guān)系，進(jìn)而使得訓(xùn)練出來的排序模型不夠精確，使得檢索精度較低，無法滿足實際應(yīng)用中的需要。

發(fā)明內(nèi)容
本發(fā)明提供了一種用于圖像或視頻搜索重排序的方法，本發(fā)明提高了檢索的精度，滿足了實際應(yīng)用中的多種需要，詳見下文描述—種用于圖像或視頻搜索重排序的方法，所述方法包括以下步驟(I)搜索引擎中輸入查詢關(guān)鍵詞進(jìn)行搜索，獲取基于文本的初始搜索結(jié)果S ；(2)根據(jù)所述初始搜索結(jié)果S提取不同模態(tài)下的特征向量，獲取特征向量集合；(3)根據(jù)所述初始搜索結(jié)果S對樣本進(jìn)行標(biāo)注，獲取標(biāo)注后樣本集合；(4)對所述特征向量集合、所述標(biāo)注后樣本集合進(jìn)行處理，獲取新特征向量；(5)將標(biāo)注后樣本集合的新特征向量作為訓(xùn)練集，獲取排序模型；(6)通過所述排序模型對特征向量集合的新特征向量進(jìn)行排序，獲取重排序后的最終結(jié)果。所述根據(jù)所述初始搜索結(jié)果S對樣本進(jìn)行標(biāo)注，獲取標(biāo)注后樣本集合具體為在所述初始搜索結(jié)果S中采用偽相關(guān)反饋或者人工標(biāo)注等方法為每個相關(guān)性等級A、B、C標(biāo)注k個樣本，組成SA、SB、Sc三個標(biāo)注樣本集合，其余的為未標(biāo)注樣本集合。所述對所述特征向量集合、所述標(biāo)注后樣本集合進(jìn)行處理，獲取新特征向量具體為I)對特征向量集合進(jìn)行中心化處理，獲取中心化后特征向量集合；2)通過三個相關(guān)性等級A、B、C構(gòu)建6個ηXη的零矩陣CM、CBB、Ccc, CAC、Cab, Cbc,對6個零矩陣進(jìn)行賦值獲取約束矩陣H ；
3)通過新特征矩陣V、Y'和所述約束矩陣H構(gòu)成同模態(tài)矩陣Cxx、Cyy與模態(tài)間矩陣之;4)通過所述模態(tài)矩陣Cxx、Cyy與所述模態(tài)間矩陣Gy獲取矩陣Z，對所述矩陣Z進(jìn)行奇異值分解，獲取矩陣U和V ;5)分別取所述矩陣U和V的前d列組成矩陣[U1, L ud], [V1, L vd] (d < min(p,q))，利用 ％=[W;d,L ,Wxd] = C-f[u^ ud],Wy=[_wyl,L , Wyd] = CT^ [V1X vrf]計算變換矩陣 Wj[、Wy,將(Wx)tX'和(Wy)tY'作為新特征向量。所述通過三個相關(guān)性等級A、B、C構(gòu)建6個η X η的零矩陣CM、CBB, Ccc, Cac, Cab, Cbc,對6個零矩陣進(jìn)行賦值獲取約束矩陣H具體為對于標(biāo)注后樣本集合中任意兩個樣本X' i、X,」，若X' i、x,
j) = I，同理若X' i e SA, X' j e Sc則Cac(i, j) = I,以此類推,所述約束矩陣H的計算公式如下H = E+ Y (CM+CBB + a Cab) - (I- Y ) (Ccc-Cac-Cbc)，其中，參數(shù)Y用來權(quán)衡相關(guān)約束(CM+CBB + a Cab)與不相關(guān)約束(Ccc-Cac-Cbc)這兩者的重要程度，參數(shù)Y的取值通常為
，E表示nXn的單位矩陣，α用來權(quán)衡相關(guān)性等級為A的樣本與相關(guān)性等級為B的樣本之間的相關(guān)程度，α的取值通常為
。所述Cxx = X' V T、Cyy = Y' V τ、Cv=X fiYr 0所述通過所述模態(tài)矩陣Cxx、Cyy與所述模態(tài)間矩陣Gy獲取矩陣Ζ，對所述矩陣Z進(jìn)行奇異值分解，獲取矩陣U和V具體為通過所述模態(tài)矩陣cxx、cyy與所述模態(tài)間矩陣4獲取τ= C-J2CxC-J2，將計算出來的所述Z矩陣進(jìn)行奇異值分解，即Z = UDVt。本發(fā)明提供的技術(shù)方案的有益效果是本方法針對多媒體圖像、視頻數(shù)據(jù)特征維數(shù)很高以及容易引起“維數(shù)災(zāi)難”的特點，首次加入信息檢索中存在的相關(guān)性等級信息來構(gòu)造圖像與圖像之間，或視頻與視頻之間的相關(guān)約束對與不相關(guān)約束對信息，在利用少量的標(biāo)注樣本信息的同時，引入大量的未標(biāo)注樣本信息，設(shè)計適用排序?qū)W習(xí)中的半監(jiān)督維數(shù)約簡方法，利用檢索結(jié)果與查詢之間的相關(guān)程度信息，對傳統(tǒng)的典型相關(guān)分析方法進(jìn)行了改進(jìn)，達(dá)到了有效利用數(shù)據(jù)信息、提高維數(shù)約簡效果的目的，將符合用戶需求的結(jié)果靠前優(yōu)先呈現(xiàn)給用戶，提高了檢索的準(zhǔn)確性。


圖I為本發(fā)明提供的一種用于圖像或視頻搜索重排序的方法的流程圖；圖2為本發(fā)明提供的獲取新特征向量的示意 圖3為本發(fā)明提供的排序性能對比的示意圖。
具體實施例方式為使本發(fā)明的目的、技術(shù)方案和優(yōu)點更加清楚，下面將結(jié)合附圖對本發(fā)明實施方式作進(jìn)一步地詳細(xì)描述。為了提高檢索的準(zhǔn)確性，本發(fā)明實施例提供了一種用于圖像或視頻搜索重排序的方法，參見圖1，詳見下文描述
多媒體檢索相關(guān)領(lǐng)域數(shù)據(jù)中存在著大量排序信息。排序信息是指排序?qū)W習(xí)中的訓(xùn)練數(shù)據(jù)集合所提供的可用于學(xué)習(xí)排序模型的監(jiān)督信息，包括數(shù)據(jù)的相關(guān)性等級信息、數(shù)據(jù)的優(yōu)先級關(guān)系信息以及建立在排序信息之上的關(guān)系對、關(guān)系序列等信息。排序信息可以通過人工標(biāo)注、相關(guān)反饋、偽相關(guān)反饋和隱相關(guān)反饋等途徑獲取。在信息檢索領(lǐng)域中，相關(guān)性等級信息廣泛應(yīng)用于信息檢索中的模型訓(xùn)練中，例如文本與多媒體檢索、問答系統(tǒng)、視覺搜索重排序和協(xié)同過濾等。在大多數(shù)情況下，根據(jù)與查詢的相關(guān)性高低手動地或自動地對每個文檔進(jìn)行不同等級的標(biāo)注，例如“非常相關(guān)”、“相關(guān)”、“一般相關(guān)”和“不相關(guān)”等，這些描述樣本與查詢相關(guān)程度的度量叫做樣本的相關(guān)性等級信息。排序?qū)W習(xí)正是基于這種特殊標(biāo)注的新研究領(lǐng)域，然而，排序?qū)W習(xí)僅僅是利用機(jī)器學(xué)習(xí)的方法學(xué)習(xí)更有效的排序模型，其側(cè)重點在于學(xué)習(xí)的過程，并沒有考慮到特征維數(shù)約簡的問題。到目前為止，很少有工作把相關(guān)性等級信息用到維數(shù)約減過程中。樣本的相關(guān)性等級信息不同于傳統(tǒng)的類標(biāo)號信息，前者是在信息檢索中用來衡量文檔與查詢之間的相關(guān)程度的度量，后者指的是機(jī)器學(xué)習(xí)與模式識別領(lǐng)域中一類事物的所共同具有的屬性。例如在傳統(tǒng)的模式分類任務(wù)中，同一類的事物會具有共同的特征，不同類的事物具有不同的特征。傳統(tǒng)的半監(jiān)督典型相關(guān)分析方法利用正約束與負(fù)約束這種成對的約束信息進(jìn)行降維，正約束與負(fù)約束均是基于類標(biāo)號信息構(gòu)造的成對約束項，前者指兩個樣本屬于同一類，后者是指兩個樣本屬于不同的兩類。然而，在排序應(yīng)用中，由于樣本按照與查詢相關(guān)的程度分為不同的相關(guān)性等級，這樣即使不同相關(guān)性等級的樣本之間，也可能由于與查詢相關(guān)而存在不同程度的相關(guān)性，因此在傳統(tǒng)降維方法中的正約束與負(fù)約束這種成對約束信息并不適合直接應(yīng)用到排序問題中。然而，這些數(shù)據(jù)通常具有高維特性，直接對它們進(jìn)行分析和處理會導(dǎo)致如下重要問題1)計算復(fù)雜度高；2)存儲代價高昂；3)維數(shù)災(zāi)難。這成為嚴(yán)重制約多媒體內(nèi)容分析和檢索領(lǐng)域的關(guān)鍵問題。維數(shù)約簡是有效解決這些問題的重要方法，其目標(biāo)是通過對原始數(shù)據(jù)進(jìn)行變換而得到的有效的低維表示。維數(shù)約簡的定義為給定一批觀察樣本，記作X ={xj e RDXn,即包含η個樣本，每個樣本均是D維，Xi表示X集合中的第i個樣本，根據(jù)某個準(zhǔn)則，找到數(shù)據(jù)的低維表示Y = {yj e Rdxn(d < D)，同時保持?jǐn)?shù)據(jù)的幾何結(jié)構(gòu)。本發(fā)明實施例根據(jù)任意兩個樣本之間有無相關(guān)性及相關(guān)性的大小，引入了相關(guān)約束對與不相關(guān)約束對的概念，來表示視覺搜索重排序中樣本之間的關(guān)系。任意兩個標(biāo)注的樣本因相關(guān)性等級不同也會具有不同的程度的約束。典型相關(guān)分析CCA側(cè)重于多模態(tài)識別。所謂多模態(tài)是指從不同的信息渠道獲得樣本的描述信息。典型相關(guān)分析原理是利用互補(bǔ)原理，最大化不同模態(tài)數(shù)據(jù)之間的相關(guān)性，減少數(shù)據(jù)之間的不確定性，從而達(dá)到降維的目的，其方法具體原理如下給定一批成對的觀察樣本集(Xi，Yi) e RPXR% i = 1，L，n，i表示樣本集中第i個樣本，η是樣本集合中樣本的個數(shù)，Xpyi表示樣本i從兩種渠道所獲得的特征向量，P和q表示特征向量的維數(shù)，R表示實數(shù)。記X= [x1；L,xn] e Rpxn和Y= [Y17LiYn] e RqXn,表示所有樣本在不同模態(tài)下組成
的特征矩陣。設(shè)(x，y)為樣本集中的任意樣本對，并設(shè)樣本已經(jīng)中心化，即Ι =
n ,=1
J7 = if 乂 =0 qMcca的目標(biāo)是分別為樣本集χ與Y尋找兩組基向量^ ee Rq，使
n i=\得隨機(jī)向量χ' = <χ和/ = 1<少之間的相關(guān)性最大，即求如下相關(guān)系數(shù)最大的問題
權(quán)利要求
1.一種用于圖像或視頻搜索重排序的方法，其特征在于，所述方法包括以下步驟 (1)搜索引擎中輸入查詢關(guān)鍵詞進(jìn)行捜索，獲取基于文本的初始搜索結(jié)果S； (2)根據(jù)所述初始搜索結(jié)果S提取不同模態(tài)下的特征向量，獲取特征向量集合； (3)根據(jù)所述初始搜索結(jié)果S對樣本進(jìn)行標(biāo)注，獲取標(biāo)注后樣本集合； (4)對所述特征向量集合、所述標(biāo)注后樣本集合進(jìn)行處理，獲取新特征向量； (5)將標(biāo)注后樣本集合的新特征向量作為訓(xùn)練集，獲取排序模型； (6)通過所述排序模型對特征向量集合的新特征向量進(jìn)行排序，獲取重排序后的最終結(jié)果。
2.根據(jù)權(quán)利要求I所述的ー種用于圖像或視頻搜索重排序的方法，其特征在于，所述根據(jù)所述初始搜索結(jié)果S對樣本進(jìn)行標(biāo)注，獲取標(biāo)注后樣本集合具體為 在所述初始捜索結(jié)果S中采用偽相關(guān)反饋或者人工標(biāo)注等方法為每個相關(guān)性等級A、B、C標(biāo)注k個樣本，組成SA、Sb、Sc三個標(biāo)注樣本集合，其余的為未標(biāo)注樣本集合。
3.根據(jù)權(quán)利要求2所述的ー種用于圖像或視頻搜索重排序的方法，其特征在于，所述對所述特征向量集合、所述標(biāo)注后樣本集合進(jìn)行處理，獲取新特征向量具體為 1)對特征向量集合進(jìn)行中心化處理，獲取中心化后特征向量集合； 2)通過三個相關(guān)性等級A、B、C構(gòu)建6個nXn的零矩陣CM、CBB、Crc、CAC、CAB、CB。，對6個零矩陣進(jìn)行賦值獲取約束矩陣H ； 3)通過新特征矩陣X'ヽV和所述約束矩陣H構(gòu)成同模態(tài)矩陣Cxx、Cyy與模態(tài)間矩陣ら； 4)通過所述模態(tài)矩陣Cxx、Cyy與所述模態(tài)間矩陣獲取矩陣Z，對所述矩陣Z進(jìn)行奇異值分解，獲取矩陣U和V ; 5)分別取所述矩陣U和V的前d列組成矩陣[U1,L ud], [V1, L vd] (d < min (p, q)),利用K=Kd, L ,wJ = Opl mJ 馬=卜n，L ^wyd] = c7y'2[v^ vJ 計算變換矩陣 wx、Wy，將(Wx)V和(Wy)V作為新特征向量。
4.根據(jù)權(quán)利要求3所述的ー種用于圖像或視頻搜索重排序的方法，其特征在于，所述通過三個相關(guān)性等級A、B、C構(gòu)建6個n X n的零矩陣CM、CBB、Ccc, CA。、CAB、Cbc,對6個零矩陣進(jìn)行賦值獲取約束矩陣H具體為 對于標(biāo)注后樣本集合中任意兩個樣本X' i、x' j，若X' i、x' j G Sa,則CAA(i, j) = I,同理若X' i G SajX' j G S。則CAe(i, j) = I,以此類推,所述約束矩陣H的計算公式如下H = E+ y (CAA+CBB + a Cab)-(I- Y ) (Ccc-Cac-Cbc),其中，參數(shù) Y 用來權(quán)衡相關(guān)約束(CAA+CBB +QCab)與不相關(guān)約束(Cee-CAe-CB。)這兩者的重要程度，參數(shù)Y的取值通常為
，E表示nXn的単位矩陣，a用來權(quán)衡相關(guān)性等級為A的樣本與相關(guān)性等級為B的樣本之間的相關(guān)程度，a的取值通常為
。
5.根據(jù)權(quán)利要求4所述的ー種用于圖像或視頻搜索重排序的方法，其特征在于，所述Cxx = X' V 'Cyy = Y' Y' KCv=XHYt .
6.根據(jù)權(quán)利要求5所述的ー種用于圖像或視頻搜索重排序的方法，其特征在于，所述通過所述模態(tài)矩陣Cxx、cyy與所述模態(tài)間矩陣獲取矩陣Z，對所述矩陣Z進(jìn)行奇異值分解，獲取矩陣U和V具體為 通過所述模態(tài)矩陣Cxx、cyy與所述模態(tài)間矩陣ら獲取Z = Cf，將計算出來的所述Z矩陣進(jìn)行奇異值分解，即Z = UDVt。
全文摘要
本發(fā)明公開了一種用于圖像或視頻搜索重排序的方法，搜索引擎中輸入查詢關(guān)鍵詞進(jìn)行搜索，獲取基于文本的初始搜索結(jié)果S；根據(jù)所述初始搜索結(jié)果S提取不同模態(tài)下的特征向量，獲取特征向量集合；根據(jù)所述初始搜索結(jié)果S對樣本進(jìn)行標(biāo)注，獲取標(biāo)注后樣本集合；對所述特征向量集合、所述標(biāo)注后樣本集合進(jìn)行處理，獲取新特征向量；將標(biāo)注后樣本集合的新特征向量作為訓(xùn)練集，獲取排序模型；通過所述排序模型對特征向量集合的新特征向量進(jìn)行排序，獲取重排序后的最終結(jié)果。本發(fā)明通過合理利用檢索結(jié)果與查詢之間的相關(guān)程度信息，達(dá)到了有效利用數(shù)據(jù)信息、提高維數(shù)約簡效果的目的，更好地將符合用戶需求的結(jié)果靠前優(yōu)先呈現(xiàn)給用戶，提高了檢索的準(zhǔn)確性。
文檔編號G06F17/30GK102629279SQ20121008023
公開日2012年8月8日 申請日期2012年3月23日 優(yōu)先權(quán)日2012年3月23日
發(fā)明者井佩光, 冀中, 蘇育挺 申請人:天津大學(xué)