一種ransac計(jì)算基本矩陣中內(nèi)點(diǎn)門限設(shè)置算法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及計(jì)算機(jī)應(yīng)用技術(shù)和計(jì)算機(jī)視覺中的圖像三維信息重建領(lǐng)域，具體涉及一種計(jì)算機(jī)視覺多視幾何中RANSAC (RANdom SAmple Consensus)計(jì)算基本矩陣F(Fundamental Matrix)時(shí)自動(dòng)設(shè)置內(nèi)點(diǎn)門限的算法。
[0002]
【背景技術(shù)】
[0003]從同一場景的多幅不同視角的圖像恢復(fù)出該場景的三維信息，在各行各業(yè)已經(jīng)取得了廣泛的應(yīng)用，如:文物三維模型自動(dòng)生成，航拍圖像生成三維模型，人臉識(shí)別中的三維人臉識(shí)別，增強(qiáng)現(xiàn)實(shí)中虛擬三維物體位置生成等現(xiàn)在很熱門的應(yīng)用。
[0004]在這些技術(shù)中，都需要用到計(jì)算機(jī)視覺技術(shù)中多視幾何(Mult1-view)的相關(guān)知識(shí)。一個(gè)經(jīng)典實(shí)用兩視圖三維恢復(fù)的技術(shù)框架是:1)預(yù)先標(biāo)定兩個(gè)攝像機(jī)內(nèi)參數(shù)K、K’ ；2)通過兩視圖之間的稀疏特征點(diǎn)匹配求解兩幅視圖(圖像)之間對應(yīng)的基本矩陣F ;3)通過公式求出E= K’ TKF, E被稱為本質(zhì)矩陣，分解E可以得出兩視圖之間的旋轉(zhuǎn)R和平移t關(guān)系，分解方法是E=[t] XR。這樣就得到了兩幅圖像之間的三維位置關(guān)系。
[0005]更一般的是用多張同一場景的圖像來恢復(fù)三維場景，這樣可以解決兩視圖中遮擋后無法恢復(fù)的三維信息。這時(shí)更多的多視圖可以用攝像機(jī)自標(biāo)定技術(shù)來進(jìn)行三維場景恢復(fù)，如:利用絕對對偶二次曲面標(biāo)定，Kruppa方程標(biāo)定法，利用平面移動(dòng)或純旋轉(zhuǎn)約束進(jìn)行自標(biāo)定的方法等。
[0006]以上這些技術(shù)框架中都無一例外的要求解兩視圖的基本矩陣F，可見F在計(jì)算機(jī)視覺技術(shù)中多視幾何中重要性。求解F的方法一般有歸一化8點(diǎn)算法，代數(shù)最小化算法，黃金標(biāo)準(zhǔn)幾何距離算法等。這些算法都會(huì)碰到一個(gè)嚴(yán)重影響F矩陣精度的問題:兩視圖之間的稀疏特征點(diǎn)的錯(cuò)誤匹配；一個(gè)錯(cuò)誤的匹配都可能會(huì)造成畸型的三維場景。
[0007]目前，解決錯(cuò)誤匹配一般用的技術(shù)框架就是RANSAC (RANdom SAmpleConsensus)，它利用多次的隨機(jī)選擇若干個(gè)稀疏特征點(diǎn)匹配，計(jì)算此次匹配時(shí)內(nèi)點(diǎn)的個(gè)數(shù)，是否為內(nèi)點(diǎn)一般用到左視圖特征點(diǎn)對應(yīng)的右視圖特征點(diǎn)到相應(yīng)極線的距離為標(biāo)準(zhǔn)，距離大于一個(gè)設(shè)定的門限值Th，則這個(gè)特征點(diǎn)匹配是錯(cuò)誤匹配。這個(gè)設(shè)定的門限值一般采用固定值，如I或者2、3等，它的單位是像素。固定設(shè)置的像素距離會(huì)導(dǎo)致一些問題，門限設(shè)置得過大，恢復(fù)出來的三維信息有可能精度低，畸型明顯；門限小，內(nèi)點(diǎn)的個(gè)數(shù)少，在多視圖時(shí)匹配點(diǎn)可能就不夠用，導(dǎo)致恢復(fù)失敗，更甚的是極少的內(nèi)點(diǎn)個(gè)數(shù)也可能恢復(fù)出畸形的三維模型。
[0008]

【發(fā)明內(nèi)容】

[0009]本發(fā)明要解決的技術(shù)問題是:為了解決計(jì)算機(jī)多視幾何中稀疏特征點(diǎn)錯(cuò)誤匹配導(dǎo)致基本矩陣F精度不高的問題，提出一種RANSAC求解F時(shí)自動(dòng)設(shè)置內(nèi)點(diǎn)門限的方法，相對于傳統(tǒng)方法，本方法將固定門限變成了自動(dòng)設(shè)置，可以自適應(yīng)不同類型的圖片，達(dá)到了實(shí)用和魯棒的要求。
[0010]本發(fā)明解決其技術(shù)問題所采用的技術(shù)方案是:根據(jù)F矩陣計(jì)算的要素，將固定設(shè)置極線距離的方式改為自動(dòng)設(shè)置，提高了算法的魯棒性。這些要素是圖像對中的稀疏特征點(diǎn)匹配的個(gè)數(shù)N、圖像像素多少、初始計(jì)算得到的平均極線距離Dinit。
[0011]本發(fā)明的創(chuàng)新點(diǎn)在于:將RANSAC求解基本矩陣F時(shí)固定設(shè)置對應(yīng)特征點(diǎn)到相應(yīng)極線的距離門限Th的方式改為自動(dòng)設(shè)置，設(shè)置的依據(jù)是圖像對中的稀疏特征點(diǎn)匹配的個(gè)數(shù)N、圖像像素多少、初始計(jì)算得到的平均極線距離Dinit。
[0012]Th計(jì)算如公式(I)所示:
Th = Min(wXN/51200, Dinit/3)(I)
w為圖像的寬，單位為像素；Min為取二者最小值的函數(shù)。門限Th與圖像大小和特征點(diǎn)匹配個(gè)數(shù)成正比，圖像越大，匹配越多，Th越大。
【具體實(shí)施方式】
[0013]下面將列出具體的算法步驟，為了詳細(xì)表明自動(dòng)設(shè)置距離門限Th的方法，我們列出了整個(gè)求解F矩陣的算法，并粗體標(biāo)出自動(dòng)設(shè)置Th的部分，它是算法的第4)步。
[0014]算法輸入:兩幅圖像的特征點(diǎn)位置匹配對[U，u’ ]，u及u’都是NX2的矩陣，第一列是圖像橫坐標(biāo)，第二列是圖像縱坐標(biāo)。
[0015]算法輸出:兩幅圖像的基本矩陣F，對應(yīng)的特征點(diǎn)匹配內(nèi)點(diǎn)。
[0016]本算法具體步驟是:
I)對輸入[U，U’]進(jìn)行歸一化，計(jì)算一個(gè)包含平移和縮放的變換H和H’，使其成為以原點(diǎn)為中心，到原點(diǎn)的平均平方距離為2，得到[V，V’]，V=Hu，V’ =H’ u’。
[0017]2)用上步得到的[V，V’]采用8點(diǎn)法計(jì)算F (詳細(xì)的基本矩陣8點(diǎn)法見后，也可以用其它通過特征點(diǎn)對應(yīng)求解F矩陣的方法)，得到初始的平均極線距離Dinit。
[0018]3)計(jì)算 RANSAC 算法中采樣的次數(shù)，Nsample=50 X log (1-0.999)/log (1-(1-0.3) ~8)。
[0019]4)按公式(I)計(jì)算Th。
[0020]5 )進(jìn)入RANSAC框架進(jìn)行采樣循環(huán)將下述步驟循環(huán)
Nsample^v
用8點(diǎn)法計(jì)算F ;
按F計(jì)算各個(gè)匹配點(diǎn)到極線的距離D;
統(tǒng)計(jì)D〈Th的內(nèi)點(diǎn)[w W，]及個(gè)數(shù)Ninner;
計(jì)算所有內(nèi)點(diǎn)到極線的平均距離Dinnw;
記錄內(nèi)點(diǎn)個(gè)數(shù)最多對應(yīng)的結(jié)果到F’
best，Dbest，^inner_best?
內(nèi)點(diǎn)集合為[Wbest，w’ best];
如果Ninnw與N innOT—best次數(shù)相同，并且DimOT〈 Dbest，也記錄相應(yīng)的結(jié)果到F’best，Dbest,
Ninner—best，[Wbest，W best]，
循環(huán)次數(shù)達(dá)到Nsample次時(shí)結(jié)束。
[0021]6)采樣循環(huán)結(jié)束后，F(xiàn)’best就是歸一化的兩幅圖像的基本矩陣F的計(jì)算結(jié)果，對應(yīng)的內(nèi)點(diǎn)就是[Wbest，w’ best]。
[0022]7)反歸一化:Fbest=H’ TF’ best H，F(xiàn)best就是最終的基本矩陣F的計(jì)算結(jié)果； Ubest=H-1Wbest,u? best=H’ best, [Ubest，u’ best]就是最后計(jì)算出的內(nèi)點(diǎn)，可以繼續(xù)用作后續(xù)的三維恢復(fù)。
[0023]為了完整表示出本算法的應(yīng)用，以下列出8點(diǎn)算法求解基本矩陣F的步驟:
算法輸入:8點(diǎn)法求F矩陣算法輸入與上述算法相同，都是兩幅圖像的特征點(diǎn)位置匹配對
[u, U’ ]，u及U’都是NX2的矩陣。
[0024]將[U，U，]表示為齊次坐標(biāo)，設(shè)U= [X y l]，u’ =[x’ y’ I]。
[0025]算法輸出:兩幅圖像的基本矩陣F。
[0026]算法步驟:根據(jù)F矩陣的性質(zhì)Ut Fu’ =0，將齊次坐標(biāo)代入，可以得到 (x，x，x，y, X，，y，X，y，y, y，，x, y, I) Xf=O
f是將F按行排列得到的列向量；F是一個(gè)齊次量(向量最后一個(gè)值為1，表示尺度)，用8個(gè)特征點(diǎn)匹配組成上述8個(gè)方程可以得到I Ifl 1=1約束下的解。
[0027]以上述依據(jù)本發(fā)明的理想實(shí)施例為啟示，通過上述的說明內(nèi)容，相關(guān)工作人員完全可以在不偏離本項(xiàng)發(fā)明技術(shù)思想的范圍內(nèi)，進(jìn)行多樣的變更以及修改。本項(xiàng)發(fā)明的技術(shù)性范圍并不局限于說明書上的內(nèi)容，必須要根據(jù)權(quán)利要求范圍來確定其技術(shù)性范圍。
【主權(quán)項(xiàng)】
1.一種計(jì)算機(jī)視覺(多視幾何，Mult1-View Geometry)技術(shù)中 RANSAC (RANdom SAmpleConsensus)求解基本矩陣F時(shí)自動(dòng)設(shè)置內(nèi)點(diǎn)門限的方法，其特征是具體門限設(shè)置方法是:根據(jù)F矩陣計(jì)算的要素，將固定設(shè)置特征點(diǎn)到極線距離門限的方式改為自動(dòng)設(shè)置，提高了算法的魯棒性；自動(dòng)設(shè)置時(shí)考慮的因素是圖像對中的稀疏特征點(diǎn)匹配的個(gè)數(shù)N、圖像像素多少、初始計(jì)算得到的特征點(diǎn)到極線的平均距離Dinit;Th計(jì)算采用公式Th =Min(wXN/51200, Dinit/3)，w為圖像的寬，單位為像素，Min為取二者最小值的函數(shù)。
2.如權(quán)利要求1所述的求解基本矩陣F時(shí)的極線距離門限設(shè)置算法，其特征在于:本方法可適用于采用RANSAC框架求解F，并且內(nèi)點(diǎn)的判斷準(zhǔn)則是基于對應(yīng)特征點(diǎn)到極線的距離的情況。
3.如權(quán)利要求1所述的求解基本矩陣F時(shí)的極線距離門限設(shè)置算法，其特征在于:RANSAC求解F時(shí)，需先設(shè)定關(guān)鍵參數(shù)和特征匹配內(nèi)點(diǎn)判定的準(zhǔn)則，然后進(jìn)入采樣循環(huán)計(jì)算F和內(nèi)點(diǎn):按特征點(diǎn)匹配計(jì)算方法算出F，再用F選擇符合準(zhǔn)則的內(nèi)點(diǎn)，直到循環(huán)次數(shù)至采樣次數(shù)N—;特征點(diǎn)匹配計(jì)算F的方法可以是歸一化8點(diǎn)算法，代數(shù)最小化算法，黃金標(biāo)準(zhǔn)幾何距離算法等任何通過特征點(diǎn)匹配來計(jì)算F的方法；此方法的關(guān)鍵參數(shù)是:采樣次數(shù)Nsample和特征點(diǎn)像素坐標(biāo)到極線的垂直距離門限Th ;采樣次數(shù)是N sample=50 X log (1-0.999) /log(l-(l-0.3)~8)，點(diǎn)像素坐標(biāo)到極線距離門限是 Th = Min(wXN/51200, Dinit/3)。
【專利摘要】為了解決計(jì)算機(jī)多視幾何中稀疏特征點(diǎn)錯(cuò)誤匹配導(dǎo)致基本矩陣F精度不高的問題，提出一種RANSAC(RANdom SAmple Consensus)求解F時(shí)自動(dòng)設(shè)置內(nèi)點(diǎn)門限的方法。此方法根據(jù)RANSAC求解F矩陣的要素，將固定設(shè)置極線距離門限Th的方式改為自動(dòng)設(shè)置，提高了算法的魯棒性。這些要素是圖像對中的稀疏特征點(diǎn)匹配的個(gè)數(shù)N、圖像像素多少、初始計(jì)算得到的特征點(diǎn)到極線的平均距離Dinit。Th計(jì)算采用公式Th = Min(w×N/51200, Dinit/3)，w為圖像的寬，單位為像素。Min為取二者最小值的函數(shù)。門限Th與圖像大小和特征點(diǎn)匹配個(gè)數(shù)成正比，圖像越大，匹配越多，Th越大。相對于傳統(tǒng)方法，本方法將固定門限變成了自動(dòng)設(shè)置，可以自適應(yīng)三維重建不同類型的圖片，更加實(shí)用和魯棒。
【IPC分類】G06T7-00, G06T17-00
【公開號(hào)】CN104715482
【申請?zhí)枴緾N201510122907
【發(fā)明人】李新勝
【申請人】四川大學(xué)
【公開日】2015年6月17日
【申請日】2015年3月20日