一種適用于視頻/圖像局部特征的空間關(guān)系匹配方法及系統(tǒng)的制作方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及基于內(nèi)容的圖像視頻檢索技術(shù)，特別涉及一種適用于視頻/圖像局部 特征的空間關(guān)系匹配方法及系統(tǒng)。
【背景技術(shù)】
[0002] 互聯(lián)網(wǎng)圖像和視頻等視覺(jué)信息的迅速增長(zhǎng)，給信息的組織與管理帶來(lái)了巨大挑 戰(zhàn)，相似圖像視頻檢測(cè)是實(shí)施視頻圖像內(nèi)容管理、檢索的重要技術(shù)手段。以尺度不變特征變 換（SIFT，Scale-InvariantFeatureTransform)為代表的局部特征為相似視頻圖像內(nèi)容 檢測(cè)提供了一種魯棒的特征表達(dá)方法，它可以提取出對(duì)亮度、模糊、視角、旋轉(zhuǎn)等具有不變 性的特征，已經(jīng)成為視頻圖像內(nèi)容檢索應(yīng)用中一項(xiàng)極其重要的技術(shù)。
[0003] 然而，為了確保局部特征對(duì)于各類變換的魯棒性，其區(qū)分能力降低較為嚴(yán)重，其 突出表現(xiàn)為：1)僅將一個(gè)小的鄰域空間內(nèi)方向梯度直方圖（HOG，HistogramofOriented Gradient)作為中心點(diǎn)的特征描述子（參考文獻(xiàn)Lowe,DavidG.Objectrecognitionfrom localscale-invariantfeatures.ProceedingsoftheInternationalConferenceon ComputerVision2.pp. 1150 - 1157, 1999)，對(duì)于視頻圖像中的文字、草地等具有局部相似 紋理分布的對(duì)象，其描述子無(wú)法區(qū)分；2)為應(yīng)對(duì)旋轉(zhuǎn)變換而加入的主方向提取，導(dǎo)致特征 不具有方向識(shí)別不能，比如不能區(qū)分"6"和"9"。而為了提高檢索速度，通過(guò)詞袋（B〇W，Bag ofWords)技術(shù)（參考文獻(xiàn)Sivic,Josef.Efficientvisualsearchofvideoscastas textretrieval.IEEETRANSACTIONSONPATTERNANALYSISANDMACHINEINTELLIGENCE, 31 (4)，pp. 591 - 605, 2009)，將SIFT描述子量化為多個(gè)視覺(jué)單詞，則進(jìn)一步降低了SIFT的 區(qū)分能力。
[0004] 通常有兩類手段改進(jìn)SIFT特征，一是對(duì)SIFT局部特征點(diǎn)的空間關(guān)系進(jìn)行校驗(yàn)，去 除空間關(guān)系不符合仿射變換的匹配點(diǎn)，典型方法如隨機(jī)采樣一致（RANSAC，RANdomSAmple Consensus)(具體參見(jiàn)文南犬M.A.FischlerandR.C.Bolles.Randomsampleconsensus:a paradigmformodelfittingwithapplicationstoimageanalysisandautomated cartography.CommunicationsoftheACM, 24 (6) : 381 - 395, 1981)，缺點(diǎn)是計(jì)算復(fù)雜度高； 二是將SIFT特征映射到低維空間中二次劃分，提高詞袋中視覺(jué)單詞的區(qū)分能力，典型方法 為海明嵌入（HE，HammingEmbedding)(具體參見(jiàn)文獻(xiàn)H.J'egou，M.Douze,andC.Schmid. Hammingembeddingandweakgeometricconsistencyforlargescaleimagesearch. ECCV. 2008)，缺點(diǎn)是數(shù)據(jù)依賴性較高。

【發(fā)明內(nèi)容】

[0005] 針對(duì)現(xiàn)有技術(shù)的不足，本發(fā)明提出一種適用于視頻/圖像局部特征的空間關(guān)系匹 配方法及系統(tǒng)。
[0006] 本發(fā)明提出一種適用于視頻/圖像局部特征的空間關(guān)系匹配方法，包括：
[0007] 步驟1，獲取所述視頻/圖像的所有視頻/圖像特征點(diǎn)與所述視頻/圖像特征點(diǎn) 的屬性信息，根據(jù)所述視頻/圖像特征點(diǎn)與所述屬性信息，獲取所有所述視頻/圖像特征點(diǎn) 的尺度信息，通過(guò)所述尺度信息，確定每個(gè)所述視頻/圖像特征點(diǎn)的局部鄰域空間，獲取所 述局部鄰域空間內(nèi)所有所述視頻/圖像特征點(diǎn)的視覺(jué)關(guān)鍵詞編碼，對(duì)所述視覺(jué)關(guān)鍵詞編碼 進(jìn)行量化處理，生成新視覺(jué)關(guān)鍵詞編碼，對(duì)所述新視覺(jué)關(guān)鍵詞編碼進(jìn)行排序，生成所述視頻 /圖像特征點(diǎn)的空間關(guān)系編碼；
[0008] 步驟2,比較待匹配視頻/圖像特征點(diǎn)與所述視頻/圖像特征點(diǎn)的空間關(guān)系編碼， 構(gòu)建關(guān)系矩陣，計(jì)算所述關(guān)系矩陣中所述待匹配視頻/圖像特征點(diǎn)與所述視頻/圖像特征 點(diǎn)空間關(guān)系編碼相似度，融合所述待匹配視頻/圖像特征點(diǎn)與所述視頻/圖像特征點(diǎn)的視 覺(jué)相似度及空間關(guān)系編碼相似度，以完成空間關(guān)系匹配。
[0009] 所述的適用于視頻/圖像局部特征的空間關(guān)系匹配方法，所述步驟1包括計(jì)算視 頻圖像特征點(diǎn)之間的位置距離，公式為：
[0011] 其中ro(i，j)為位置距離，i、j為視頻/圖像特征點(diǎn)，x( ? )，y( ?)分別為視頻/ 圖像特征點(diǎn)在視頻/圖像中水平和垂直方向的位置坐標(biāo)；
[0012] 計(jì)算鄰域空間因子s，公式為：
[0014] 其中〇為所述尺度信息。
[0015] 所述的適用于視頻/圖像局部特征的空間關(guān)系匹配方法，還包括所述鄰域空間是 以所述視頻/圖像特征點(diǎn)為中心，半徑為a?s的圓，其中I<a< 2,a為縮放系數(shù)。
[0016] 所述的適用于視頻/圖像局部特征的空間關(guān)系匹配方法，所述步驟2包括：
[0017] 步驟201，所述關(guān)系矩陣中，若待匹配視頻/圖像特征點(diǎn)與所述視頻/圖像特征點(diǎn) 的視覺(jué)關(guān)鍵詞相同，則矩陣元素設(shè)置為z，否則設(shè)置為h;
[0018] 步驟202,從左向右，從上而下，在符合距離順序關(guān)系前提下，掃描關(guān)系矩陣中的元 素，構(gòu)建由元素z構(gòu)成的階梯，階梯數(shù)稱為同序長(zhǎng)度，所述同序長(zhǎng)度最大的階梯數(shù)為最長(zhǎng)同 序長(zhǎng)度；
[0019] 步驟203.計(jì)算最長(zhǎng)同序長(zhǎng)度與有效編碼長(zhǎng)度的比值作為所述待匹配視頻/圖像 特征點(diǎn)與所述視頻圖像特征點(diǎn)的空間關(guān)系編碼的相似度。
[0020] 所述的適用于視頻/圖像局部特征的空間關(guān)系匹配方法，通過(guò)如下公式融合特征 點(diǎn)視覺(jué)相似度及空間關(guān)系編碼相似度：
[0021] Sim=(人?simv+sims) ?w
[0022] 其中Sim最終相似度，Simv為所述待匹配視頻/圖像特征點(diǎn)基于特征描述子的視 覺(jué)相似度，Sims為所述待匹配視頻/圖像特征點(diǎn)基于特征描述子的空間關(guān)系編碼相似度，w 為所述待匹配視頻/圖像特征點(diǎn)在整個(gè)視頻圖像匹配中的權(quán)重，A為特征描述子距離相對(duì) 于空間關(guān)系距離的重要程度。
[0023] 本發(fā)明還提出一種適用于視頻/圖像局部特征的空間關(guān)系匹配系統(tǒng)，包括：
[0024] 生成空間關(guān)系編碼模塊，用于獲取所述視頻/圖像的所有視頻/圖像特征點(diǎn)與所 述視頻/圖像特征點(diǎn)的屬性信息，根據(jù)所述視頻/圖像特征點(diǎn)與所述屬性信息，獲取所有所 述視頻/圖像特征點(diǎn)的尺度信息，通過(guò)所述尺度信息，確定每個(gè)所述視頻/圖像特征點(diǎn)的局 部鄰域空間，獲取所述局部鄰域空間內(nèi)所有所述視頻/圖像特征點(diǎn)的視覺(jué)關(guān)鍵詞編碼，對(duì) 所述視覺(jué)關(guān)鍵詞編碼進(jìn)行量化處理，生成新視覺(jué)關(guān)鍵詞編碼，對(duì)所述新視覺(jué)關(guān)鍵詞編碼進(jìn) 行排序，生成所述視頻/圖像特征點(diǎn)的空間關(guān)系編碼；
[0025] 空間關(guān)系匹配模塊，用于比較待匹配視頻/圖像特征點(diǎn)與所述視頻/圖像特征點(diǎn) 的空間關(guān)系編碼，構(gòu)建關(guān)系矩陣，計(jì)算所述關(guān)系矩陣中所述待匹配視頻/圖像特征點(diǎn)與所 述視頻/圖像特征點(diǎn)空間關(guān)系編碼相似度，融合所述待匹配視頻/圖像特征點(diǎn)與所述視頻 /圖像特征點(diǎn)的視覺(jué)相似度及空間關(guān)系編碼相似度，以完成空間關(guān)系匹配。
[0026] 所述的適用于視頻/圖像局部特征的空間關(guān)系匹配系統(tǒng)，所述生成空間關(guān)系編碼 模塊包括計(jì)算視頻圖像特征點(diǎn)之間的位置距離，公式為：
[0028] 其中ro(i，j)為位置距離，i、j為視頻/圖像特征點(diǎn)，x( ? )，y( ?)分別為視頻/ 圖像特征點(diǎn)在視頻/圖像中水平和垂直方向的位置坐標(biāo)；
[0029] 計(jì)算鄰域空間因子s，公式為：
[0031] 其中〇為所述尺度信息。
[0032] 所述的適用于視頻/圖像局部特征的空間關(guān)系匹配系統(tǒng)，還包括所述鄰域空間是 以所述視頻/圖像特征點(diǎn)為中心，半徑為a?s的圓，其中I<a< 2,a為縮放系數(shù)。
[0033] 所述的適用于視頻/圖像局部特征的空間關(guān)系匹配系統(tǒng)，所述空間關(guān)系匹配模塊 包括：
[0034] 所述關(guān)系矩陣中，若待匹配視頻/圖像特征點(diǎn)與所述視頻/圖像特征點(diǎn)的視覺(jué)關(guān) 鍵詞相同，則矩陣元素設(shè)置為z，否則設(shè)置為h;
[0035] 從左向右，從上而下，在符合距離順序關(guān)系前提下，掃描關(guān)系矩陣中的元素，構(gòu)建 由元素z構(gòu)成的階梯，階梯數(shù)稱為同序長(zhǎng)度，所述同序長(zhǎng)度最大的階梯數(shù)為最長(zhǎng)同序長(zhǎng)度；
[0036] 計(jì)算最長(zhǎng)同序長(zhǎng)度與有效編碼長(zhǎng)度的比值作為所述待匹配視頻/圖像特征點(diǎn)與 所述視頻圖像特征點(diǎn)的空間關(guān)系編碼的相似度。
[0037] 所述的適用于視頻/圖像局部特征的空間關(guān)系匹配系統(tǒng)，通過(guò)如下公式融合特征 點(diǎn)視覺(jué)相似度及空間關(guān)系編碼相似度：
[0038] Sim=(人?simv+sims) ?w
[0039] 其中Sim最終相似度，Simv為所述待匹配視頻/圖像特征點(diǎn)基于特征描述子的視 覺(jué)相似度，Sims為所述待匹配視頻/圖像特征點(diǎn)基于特征描述子的空間關(guān)系編碼相似度，w 為所述待匹配視頻/圖像特征點(diǎn)在整個(gè)視頻圖像匹配中的權(quán)重，A為特征描述子距離相對(duì) 于空間關(guān)系距離的重要程度。由以上方案可知，本發(fā)明的優(yōu)點(diǎn)在于：
[0040] 本發(fā)明具有旋轉(zhuǎn)不變性、尺度不變性，對(duì)于因噪聲、模糊、等導(dǎo)致的特征點(diǎn)丟失、亂 序所產(chǎn)生的空間關(guān)系編碼變換具有魯棒性，在holidays數(shù)據(jù)集上，圖像檢索精度mAP可以 提高5個(gè)百分點(diǎn)。