專利名稱：基于數(shù)據(jù)聚類的適應(yīng)性圖像sift特征匹配方法
技術(shù)領(lǐng)域：
本發(fā)明屬于計(jì)算機(jī)增強(qiáng)現(xiàn)實(shí)技術(shù)領(lǐng)域，具體地說(shuō)是對(duì)大數(shù)據(jù)量條件下的圖像SIFT 特征集進(jìn)行適應(yīng)性匹配，提高特征匹配的魯棒性。
背景技術(shù)：
最鄰近(Nearest Neighbor)特征查詢技術(shù)是圖像SIFT特征匹配的重要組成部分，在運(yùn)動(dòng)恢復(fù)結(jié)構(gòu)、目標(biāo)識(shí)別、圖像檢索、以及場(chǎng)景理解等方面都得到了廣泛的應(yīng)用。作為最重要的空間剖分方法之一，k_d樹被廣泛用于最鄰近特征匹配工作，但是隨著特征維度的增加，由于需要遍歷每一分支以精確定位匹配特征，該方法的匹配效率會(huì)迅速下降。Arya等人擴(kuò)展了該方法以查找近似最鄰近(Approximate Nearest Neighbor)特征。通過(guò)設(shè)置近似精度參數(shù)ε以提前終止k-d樹匹配過(guò)程，該方法能夠在僅損失極少精度前提下有效提高匹配速度，較好地適用于圖像SIFT等高維特征的匹配問(wèn)題。Beis等人進(jìn)一步提出了一種使用優(yōu)先隊(duì)列的近似最鄰近方法，稱為BBF(Best Bin First)方法。通過(guò)控制優(yōu)先隊(duì)列長(zhǎng)度作為終止條件，相比于Arya等人方法，該方法能夠取得更好的圖像SIFT 匹配性能。最近，Silpa-Anan等人提出了一種隨機(jī)k-d樹方法。通過(guò)為同一數(shù)據(jù)集建立多棵k-d樹并對(duì)多k-d樹同時(shí)進(jìn)行優(yōu)先遍歷，該方法不但有效提高圖像SIFT特征匹配效率， 而且能夠極大改善圖像SIFT特征匹配的魯棒性。上述基于k-d樹的方法都在不同程度上提高了圖像SIFT匹配性能，但是由于k-d樹剖分空間過(guò)程是剛性的，因此上述方法不能有效地在匹配效率與魯棒性之間進(jìn)行適應(yīng)性調(diào)節(jié)。Nister等人提出了一種vocabulary空間剖分結(jié)構(gòu)，通過(guò)使用該結(jié)構(gòu)組織特征集并采用基于信息熵的投票策略，該方法能夠?qū)崿F(xiàn)大數(shù)據(jù)量條件下的場(chǎng)景目標(biāo)識(shí)別。基于該數(shù)據(jù)結(jié)構(gòu)，Schindler等人進(jìn)一步提出了一種類似BBF的GNP (Greedy N-Best Paths)方法，用以實(shí)現(xiàn)基于vocabulary樹的最鄰近特征匹配。最近，Muja等人將優(yōu)先隊(duì)列應(yīng)用于 vocabulary數(shù)據(jù)結(jié)構(gòu)，給出了一種基于優(yōu)先隊(duì)列的近似最鄰近圖像SIFT匹配方法。從幾何角度來(lái)說(shuō)，vocabulary樹構(gòu)造過(guò)程等價(jià)于高維歐氏空間嵌套voronoi剖分過(guò)程。通過(guò)調(diào)節(jié) vocabulary樹控制參數(shù)進(jìn)而構(gòu)造不同嵌套voronoi空間剖分形式，上述方法可以達(dá)到調(diào)節(jié)特征匹配魯棒性的目的。但對(duì)于khindler、MUja等人的方法來(lái)說(shuō)，由于匹配過(guò)程受近似最鄰近查詢的約束，單純地調(diào)節(jié)控制參數(shù)對(duì)其匹配效率影響不大。

發(fā)明內(nèi)容
本發(fā)明要解決的技術(shù)問(wèn)題克服現(xiàn)有技術(shù)的不足，提供一種具有提高適應(yīng)性的圖像SIFT特征匹配方法。本發(fā)明采用的技術(shù)方案基于數(shù)據(jù)聚類的適應(yīng)性圖像SIFT特征匹配方法，其特點(diǎn)在于步驟如下(1)提取參考圖像序列SIFT特征集，擴(kuò)展vocabulary數(shù)據(jù)結(jié)構(gòu)為級(jí)聯(lián) vocabulary數(shù)據(jù)結(jié)構(gòu)，將k-d數(shù)據(jù)結(jié)構(gòu)空間剖分方式與vocabulary數(shù)據(jù)結(jié)構(gòu)空間剖分方式有機(jī)結(jié)合，采用級(jí)聯(lián)vocabulary數(shù)據(jù)結(jié)構(gòu)組織圖像SIFT特征集，不但可以進(jìn)行特征聚類， 而且能夠?qū)崿F(xiàn)近似最鄰近特征匹配。(2)兩階段特征聚類方法，第一階段基于k_d樹對(duì)全局重復(fù)特征集進(jìn)行聚類。第二階段利用vocabulary樹組織聚類特征集并對(duì)vocabulary節(jié)點(diǎn)包含聚類特征進(jìn)行提純，確保聚類特征包含于節(jié)點(diǎn)表示的voronoi胞腔內(nèi)。特征聚類過(guò)程能夠降低噪聲干擾，提高特征匹配魯棒性。(3)基于比值提純的BBF特征匹配方法。在基于級(jí)聯(lián)vocabulary樹自上而下的特征匹配過(guò)程中，當(dāng)遍歷到節(jié)點(diǎn)P時(shí)，通過(guò)計(jì)算孩子節(jié)點(diǎn)代表的相鄰voronoi胞腔中心到匹配特征距離比值并與提純比值因子相比較，達(dá)到控制放入優(yōu)先隊(duì)列節(jié)點(diǎn)數(shù)量的目的，有效地起到調(diào)節(jié)特征匹配魯棒性與效率目的。(4)兩階段圖像SIFT特征匹配方法。第一階段利用級(jí)聯(lián)vocabulary樹進(jìn)行基于比值提純的BBF與基于信息熵的雙模式聚類特征匹配，選擇關(guān)鍵圖像。第二階段采用關(guān)鍵圖像進(jìn)行圖像間特征匹配。最后合并兩階段特征匹配結(jié)果。采用RANSAC、基本矩陣等技術(shù)進(jìn)行外點(diǎn)剔除。所述步驟(1)的級(jí)聯(lián)vocabulary樹構(gòu)建方法為級(jí)聯(lián)vocabulary樹由參數(shù)集(b， d，f)與(b，，d，)控制生成。(b，，d，)控制的vocabulary樹稱為第一類vocabulary樹， 其中b’與d’分別表示分支參數(shù)與深度參數(shù)；(b，d，f)控制的vocabulary樹稱為第二類 vocabulary樹，其中(b，d)與(b’，d’ )表示相同含義，f表示特征閾值參數(shù)，用來(lái)確保第二類vocabulary樹葉節(jié)點(diǎn)包含最大特征數(shù)不會(huì)超過(guò)該參數(shù)給定的最大上限。通過(guò)使用k_d 樹組織這些葉節(jié)點(diǎn)包含特征集，有效實(shí)現(xiàn)了 k-d數(shù)據(jù)結(jié)構(gòu)空間剖分方式與vocabulary數(shù)據(jù)結(jié)構(gòu)空間剖分方式有機(jī)結(jié)合。所述步驟O)中兩階段特征聚類方法為首先將特征分為普通特征與聚類特征， 第一階段基于k_d樹通過(guò)特征匹配方法迭代合并全局重復(fù)普通特征集為聚類特征，聚類特征描述子由所有重復(fù)特征描述子的算術(shù)平均值構(gòu)成。第二階段對(duì)級(jí)聯(lián)vocabulary樹節(jié)點(diǎn)包含聚類特征進(jìn)行提純，將聚類特征中不屬于節(jié)點(diǎn)表示voronoi胞腔的所有普通特征剔除并更新聚類特征描述子，確保聚類特征包含于節(jié)點(diǎn)表示的voronoi胞腔內(nèi)。特征聚類過(guò)程能夠降低噪聲干擾，提高特征匹配魯棒性。所述步驟(3)中基于比值提純的BBF特征匹配方法為給定圖像SIFT特征描述子P，當(dāng)自上而下遍歷vocabulary樹到節(jié)點(diǎn)q時(shí)，BBF方法按如下步驟存儲(chǔ)孩子節(jié)點(diǎn)q1; q2，· · ·，qb，其中b為分支數(shù)。首先計(jì)算ρ到各個(gè)孩子節(jié)點(diǎn)Qi的對(duì)應(yīng)距離Clisti = I I p-q, I 12， 其中I I I I2表示歐氏距離。然后按照該距離由小到大對(duì)孩子節(jié)點(diǎn)進(jìn)行排序，得到排序后節(jié)點(diǎn) qkl，qk2，· · ·，qkb,除qkl節(jié)點(diǎn)外，所有后續(xù)節(jié)點(diǎn)只有滿足條件dist (p, qkl) ( dist (ρ, qkJ) · ε， 才能將其放入優(yōu)先隊(duì)列。提純因子ε的加入可以有效控制放入優(yōu)先隊(duì)列的節(jié)點(diǎn)數(shù)量，從而提高特征匹配的柔性。所述步驟中兩階段特征匹配方法為第一階段利用級(jí)聯(lián)vocabulary樹進(jìn)行基于比值提純的BBF與基于信息熵的雙模式聚類特征匹配，對(duì)于每一次匹配成功的圖像特征，首先判斷其特征類型，若為普通特征，則僅為其所屬圖像投票；若為聚類特征，則投票過(guò)程需要對(duì)其包含全部普通特征依次進(jìn)行。完成全部匹配特征投票后，分別選擇票數(shù)最多圖像作為關(guān)鍵圖像。第二階段采用兩關(guān)鍵圖像進(jìn)行圖像間特征匹配。最后合并兩階段特征匹配結(jié)果并采用RANSAC、基本矩陣等技術(shù)進(jìn)行外點(diǎn)剔除，匹配結(jié)果最優(yōu)者即為所求輸出結(jié)果。本發(fā)明與現(xiàn)有技術(shù)相比的優(yōu)點(diǎn)在于(1)通過(guò)兩類不同參數(shù)集的有效控制，級(jí)聯(lián)vocabulary樹有機(jī)地將兩種不同vocabulary數(shù)據(jù)結(jié)構(gòu)通過(guò)級(jí)聯(lián)方式組織在一起，不但有效實(shí)現(xiàn)了 k-d數(shù)據(jù)結(jié)構(gòu)與 vocabulary數(shù)據(jù)結(jié)構(gòu)的結(jié)合，而且能夠?qū)崿F(xiàn)多模式的特征匹配過(guò)程，極大提高了特征匹配的適應(yīng)性；(2)針對(duì)級(jí)聯(lián)vocabulary樹提出的兩階段特征聚類方法，有效實(shí)現(xiàn)了級(jí)聯(lián) vocabulary樹節(jié)點(diǎn)包含聚類特征的提純工作，確保了聚類特征包含全部重復(fù)普通特征分布 voronoi胞腔的唯一性以及聚類特征與重復(fù)普通特征分布voronoi胞腔的一致性；(3)通過(guò)設(shè)置比值提純因子改進(jìn)BBF特征匹配方法，通過(guò)調(diào)節(jié)比值提純因子，基于比值提純的BBF方法能夠有效控制基于級(jí)聯(lián)vocabulary樹的匹配過(guò)程，達(dá)到匹配效率與匹配魯棒性的平衡；(4)兩階段特征匹配方法的提出，基于比值提純的BBF與基于信息熵的雙模式聚類特征匹配的關(guān)鍵圖像選擇方法不但能夠正確選擇關(guān)鍵圖像，而且可以有效完成圖像SIFT 特征匹配工作。通過(guò)將第一階段匹配特征集傳遞給第二階段匹配特征集，兩階段匹配特征集的級(jí)聯(lián)合并能夠在大數(shù)據(jù)量條件下有效提高特征匹配的魯棒性。


圖1為本發(fā)明級(jí)聯(lián)vocabulary樹示意圖；圖2為本發(fā)明基于級(jí)聯(lián)Vocabulary樹的兩階段特征聚類示意圖；圖3A，圖;3B為本發(fā)明路政匹配魯棒性直觀示意圖；圖4A到圖4D為本發(fā)明第一階段特征匹配適應(yīng)性示意圖。
具體實(shí)施例方式表1給出了本發(fā)明的具體步驟基于數(shù)椐聚類的適應(yīng)性圖像SlFT特征匹配方法離線階段
1:獲取參考圖像序列，提取圖像SIFT特征集，釆用級(jí)聯(lián) vocabulary樹組織全部參考圖像SIFT特征集。 2釆用級(jí)聯(lián)vocabulary樹進(jìn)行兩階段特征聚類工作。 在線階段
3獲取實(shí)時(shí)圖像序列SIFT特征集，基于級(jí)聯(lián)vocabulary樹進(jìn)行基于BBF與基于信息熵的雙模式聚類特征匹配，選擇關(guān)鍵圖像，完成第一階段特征匹配。
4:利用關(guān)鍵圖像完成第二階段特征匹配，合并兩階段匹配特征集。
5:釆用RANSAC、基本矩陣等技術(shù)進(jìn)行外點(diǎn)剔除。表 1本發(fā)明流程包括離線階段基于級(jí)聯(lián)vocabulary樹的兩階段特征聚類部分與在線階段基于級(jí)聯(lián)vocabulary樹的兩階段特征匹配部分。其中級(jí)聯(lián)vocabulary樹按如下方法構(gòu)建。1.級(jí)聯(lián)Vocabulary樹及其構(gòu)建圖1給出了級(jí)聯(lián)Vocabulary樹示意圖。級(jí)聯(lián)vocabulary樹由參數(shù)集(b，d，f)與(b，，d，)控制生成。(b，，d，)控制的 vocabulary樹稱為第一類vocabulary樹，其中b’與d’分別表示分支參數(shù)與深度參數(shù)； (b，d，f)控制的vocabulary樹稱為第二類vocabulary樹，其中(b，d)與(b，，d，)表示相同含義，f表示特征閾值參數(shù)，用來(lái)確保第二類vocabulary樹葉節(jié)點(diǎn)包含最大特征數(shù)不會(huì)超過(guò)該參數(shù)給定的最大上限。通過(guò)使用k-d樹組織這些葉節(jié)點(diǎn)包含特征集，當(dāng)匹配過(guò)程自上而下遍歷到這些葉節(jié)點(diǎn)時(shí)，可以轉(zhuǎn)換為諸如BBF的近似最鄰近方法進(jìn)行特征匹配。級(jí)聯(lián) vocabulary樹每一個(gè)節(jié)點(diǎn)都擁有一個(gè)平均描述子meandescr，其值可計(jì)算如下
權(quán)利要求
1.一種基于數(shù)據(jù)聚類的適應(yīng)性圖像SIFT特征匹配方法，其特征在于步驟如下(1)提取參考圖像序列SIFT特征集，在vocabulary數(shù)據(jù)結(jié)構(gòu)基礎(chǔ)上擴(kuò)展出級(jí)聯(lián) vocabulary數(shù)據(jù)結(jié)構(gòu)，通過(guò)級(jí)聯(lián)構(gòu)造vocabulary數(shù)據(jù)結(jié)構(gòu)與k_d數(shù)據(jù)結(jié)構(gòu)于同一級(jí)聯(lián) vocabulary數(shù)據(jù)結(jié)構(gòu)中，使得k_d數(shù)據(jù)結(jié)構(gòu)空間剖分方式與vocabulary數(shù)據(jù)結(jié)構(gòu)空間剖分方式相結(jié)合；(2)兩階段特征聚類，第一階段基于k-d數(shù)據(jù)結(jié)構(gòu)對(duì)全局重復(fù)特征集進(jìn)行聚類；第二階段利用vocabulary數(shù)據(jù)結(jié)構(gòu)組織聚類特征集并對(duì)vocabulary數(shù)據(jù)結(jié)構(gòu)全部節(jié)點(diǎn)包含的聚類特征進(jìn)行提純，確保聚類特征包含于節(jié)點(diǎn)表示的voronoi胞腔內(nèi)；(3)基于比值提純的BBF特征匹配，BBF即BestBin First，在基于級(jí)聯(lián)vocabulary數(shù)據(jù)結(jié)構(gòu)自上而下的特征匹配過(guò)程中，當(dāng)遍歷到某一節(jié)點(diǎn)時(shí)，通過(guò)計(jì)算該節(jié)點(diǎn)所有孩子節(jié)點(diǎn)代表的相鄰voronoi胞腔中心到匹配特征距離比值并與預(yù)先設(shè)定的提純比值因子相比較， 控制放入優(yōu)先隊(duì)列節(jié)點(diǎn)的數(shù)量；(4)兩階段圖像SIFT特征匹配，第一階段利用級(jí)聯(lián)vocabulary樹進(jìn)行基于比值提純的BBF與基于信息熵的雙模式聚類特征匹配，選擇關(guān)鍵圖像；第二階段采用第一階段選擇的關(guān)鍵圖像進(jìn)行圖像間特征匹配；最后合并兩階段特征匹配結(jié)果并采用RANSAC或基本矩陣技術(shù)進(jìn)行外點(diǎn)剔除。
2.根據(jù)權(quán)利要求1所述基于數(shù)據(jù)聚類的適應(yīng)性圖像SIFT特征匹配方法，其特征在于 所述步驟(1)的擴(kuò)展出級(jí)聯(lián)vocabulary數(shù)據(jù)結(jié)構(gòu)具體為首先采用參數(shù)集(b，d，f)與(b’， d’ )控制的兩類不同vocabulary數(shù)據(jù)結(jié)構(gòu)級(jí)聯(lián)構(gòu)建vocabulary樹；其中b、b’表示分支數(shù)，d、d’表示深度，f為閾值節(jié)點(diǎn)，設(shè)定vocabulary數(shù)據(jù)結(jié)構(gòu)葉節(jié)點(diǎn)包含最大特征數(shù) ’然后使用k-d數(shù)據(jù)結(jié)構(gòu)組織受參數(shù)集(b，d，f)控制的vocabulary數(shù)據(jù)結(jié)構(gòu)葉節(jié)點(diǎn)包含圖像 SIFT特征集。
3.根據(jù)權(quán)利要求1所述基于數(shù)據(jù)聚類的適應(yīng)性圖像SIFT特征匹配方法，其特征在于 所述步驟O)中兩階段特征聚類方法為首先將圖像SIFT特征分為普通特征與聚類特征， 第一階段基于k-d數(shù)據(jù)結(jié)構(gòu)合并全局重復(fù)普通特征集為聚類特征；第二階段對(duì)vocabulary 數(shù)據(jù)結(jié)構(gòu)中全部節(jié)點(diǎn)包含的聚類特征進(jìn)行提純，確保聚類特征包含于節(jié)點(diǎn)表示的voronoi 胞腔內(nèi)；上述兩階段聚類特征描述子由所有重復(fù)特征描述子的算術(shù)平均值構(gòu)成。
4.根據(jù)權(quán)利要求1所述基于數(shù)據(jù)聚類的適應(yīng)性圖像SIFT特征匹配方法，其特征在于 所述步驟(3)中基于比值提純的BBF特征匹配方法為給定圖像SIFT特征描述子p，當(dāng)自上而下遍歷級(jí)聯(lián)vocabulary數(shù)據(jù)結(jié)構(gòu)到某一節(jié)點(diǎn)q時(shí)，對(duì)按照最近距離排序獲得節(jié)點(diǎn)q2，. . .，qb，其中b為分支數(shù)；除最鄰近qkl節(jié)點(diǎn)外，所有后續(xù)節(jié)點(diǎn)只有滿足條件dist (p， qkl)彡dist (ρ, q kJ) · ε，才能將其放入優(yōu)先隊(duì)列，其中ε為提純因子，dist為求兩點(diǎn)歐氏距離的函數(shù)。
5.根據(jù)權(quán)利要求1所述基于數(shù)據(jù)聚類的適應(yīng)性圖像SIFT特征匹配方法，其特征在于 所述步驟中兩階段圖像SIFT特征匹配方法為第一階段進(jìn)行基于比值提純的BBF與基于信息熵的雙模式聚類特征匹配，分別為匹配特征所屬圖像進(jìn)行計(jì)數(shù)投票；完成全部特征匹配后，選擇票數(shù)最多圖像作為關(guān)鍵圖像；第二階段采用關(guān)鍵圖像進(jìn)行圖像間特征匹配； 合并兩階段特征匹配結(jié)果；采用RANSAC或基本矩陣技術(shù)進(jìn)行外點(diǎn)剔除。
全文摘要
基于數(shù)據(jù)聚類的適應(yīng)性圖像SIFT特征匹配方法，步驟如下(1)獲取參考圖像序列，提取圖像SIFT特征集，采用k-d樹對(duì)全部圖像SIFT特征集進(jìn)行聚類。(2)采用級(jí)聯(lián)vocabulary樹組織全部參考圖像SIFT特征集，對(duì)vocabulary樹節(jié)點(diǎn)包含特征集進(jìn)行二次特征聚類。(3)利用級(jí)聯(lián)vocabulary樹進(jìn)行基于比值提純的BBF與基于信息熵的雙模式聚類特征匹配，完成第一階段特征匹配。(4)利用關(guān)鍵圖像完成第二階段特征匹配，合并兩階段特征匹配結(jié)果。最后采用RANSAC、基本矩陣等技術(shù)進(jìn)行外點(diǎn)剔除。本匹配方法不但能夠極大提高特征匹配的魯棒性，而且能夠有效增強(qiáng)特征匹配的適應(yīng)性。
文檔編號(hào)G06K9/64GK102194133SQ20111018589
公開日2011年9月21日 申請(qǐng)日期2011年7月5日 優(yōu)先權(quán)日2011年7月5日
發(fā)明者沈旭昆, 范志強(qiáng), 趙沁平 申請(qǐng)人:北京航空航天大學(xué)