鄰近位姿融合引導(dǎo)的單幅圖像場(chǎng)景六自由度定位方法
【專利摘要】本發(fā)明公開了鄰近位姿融合引導(dǎo)的單幅圖像場(chǎng)景六自由度定位方法，首先從已標(biāo)記內(nèi)參和位置信息的參考圖像庫(kù)中檢索出輸入圖像的一組鄰近圖像集；然后估計(jì)出輸入圖像與每一個(gè)鄰近圖像之間的相對(duì)位姿，并結(jié)合鄰近圖像的位姿，得到輸入圖像的一組候選位姿集；最后通過(guò)融合輸入圖像的候選位姿集，得到輸入圖像的六自由度位姿。為此，在估計(jì)輸入圖像與相似圖像之間的相對(duì)位姿時(shí)，本發(fā)明提出了一種基于奇異值分解的快速估計(jì)算法。在融合候選位姿集時(shí)，定義了一個(gè)有效的幾何誤差函數(shù)，通過(guò)最小化誤差函數(shù)值，得到輸入圖像的位置信息，其姿態(tài)信息由候選位姿的姿態(tài)信息平均計(jì)算得到。
【專利說(shuō)明】
鄰近位姿融合引導(dǎo)的單幅圖像場(chǎng)景六自由度定位方法
技術(shù)領(lǐng)域
[0001] 本發(fā)明設(shè)及計(jì)算機(jī)視覺、計(jì)算機(jī)圖像處理、增強(qiáng)現(xiàn)實(shí)等領(lǐng)域，尤其設(shè)及鄰近位姿融 合引導(dǎo)的單幅圖像場(chǎng)景六自由度定位方法。
【背景技術(shù)】
[0002] 圖像的位姿信息對(duì)于很多基于位置的服務(wù)非常關(guān)鍵，例如旅行路線推薦、圖像導(dǎo) 覽、基于位置的圖像檢索、增強(qiáng)現(xiàn)實(shí)場(chǎng)景生成、自動(dòng)駕駛等。圖像的六自由度位姿信息包括 =個(gè)自由度的位置信息和=個(gè)自由度的姿態(tài)信息。標(biāo)注圖像的六自由度位姿信息是非常耗 時(shí)和困難的，因此研究圖像六自由度位姿信息的自動(dòng)計(jì)算方法具有非常重要的意義。
[0003] 針對(duì)圖像六自由度位姿信息的計(jì)算，現(xiàn)有的文獻(xiàn)中提出了很多方法。一些方法利 用了場(chǎng)景的=維點(diǎn)云模型，場(chǎng)景的=維點(diǎn)云模型往往通過(guò)在場(chǎng)景的大量圖像上應(yīng)用運(yùn)動(dòng)恢 復(fù)結(jié)構(gòu)算法重建得到。利用場(chǎng)景=維點(diǎn)云模型，運(yùn)些方法將圖像定位問題建模為二維圖像 到=維場(chǎng)景間的注冊(cè)問題。從而通過(guò)查找輸入圖像上特征點(diǎn)與=維點(diǎn)云模型之間的匹配點(diǎn) 對(duì)，并應(yīng)用直接線性變換算法(direct linear transformation algorithm,簡(jiǎn)稱DLT)估計(jì) 出輸入圖像的位姿信息。在此方法流程下，運(yùn)些方法主要目的在于找到盡量多的穩(wěn)定的匹 配點(diǎn)對(duì)。受益于預(yù)先重建好的=維點(diǎn)云模型，運(yùn)些方法常常可W得到較好的結(jié)果。但是如果 場(chǎng)景=維點(diǎn)云模型不存在的話，運(yùn)些方法將無(wú)法發(fā)揮作用。同時(shí)重建場(chǎng)景的=維點(diǎn)云模型 也是一個(gè)很耗時(shí)的過(guò)程，因而無(wú)法及時(shí)使用最新的含有位姿信息的圖片數(shù)據(jù)，方法的靈活 性不夠。
[0004] 除了基于=維點(diǎn)云模型的工作，另外一些方法通過(guò)識(shí)別輸入圖像中的地標(biāo)，并將 地標(biāo)的位置信息遷移到輸入圖像上，從而定位輸入圖像。或者檢索出輸入圖像的一組鄰近 圖像，并綜合考慮運(yùn)組鄰近圖像的位置信息，得到輸入圖像的最終位置信息。受益于識(shí)別方 法或者檢索方法可W處理大規(guī)模的數(shù)據(jù)，運(yùn)種方法通常也可W處理大規(guī)模數(shù)據(jù)，但是運(yùn)種 方法只能計(jì)算出輸入圖像的位置信息，很難計(jì)算出輸入圖像的六自由度信息。

【發(fā)明內(nèi)容】

[0005] 本發(fā)明技術(shù)解決問題:針對(duì)上述技術(shù)存在的問題，提供鄰近位姿融合引導(dǎo)的單幅 圖像場(chǎng)景六自由度定位方法，該方法直接使用包含有位姿信息的圖像數(shù)據(jù)，不需要重建場(chǎng) 景的=維點(diǎn)云模型，因而具有很好的靈活性。
[0006] 本發(fā)明技術(shù)解決方案:鄰近位姿融合引導(dǎo)的單幅圖像場(chǎng)景六自由度定位方法，對(duì) 于一幅輸入圖像I，應(yīng)用基于內(nèi)容的相似圖像檢索方法從參考圖像集中檢索出一組輸入圖 像的鄰近圖像集。其中參考圖像集中的每張圖像均標(biāo)注了六自由度的位姿信息，并且已經(jīng) 標(biāo)定了相機(jī)內(nèi)參。然后，通過(guò)已標(biāo)定的參考圖像標(biāo)定，估計(jì)出輸入圖像I與每個(gè)鄰近圖像N之 間的相對(duì)位姿，結(jié)合鄰近圖像的位姿，得到輸入圖像的一組候選位姿集。最后，定義了一個(gè) 幾何誤差函數(shù)，通過(guò)最小化該函數(shù)，融合輸入圖像的候選位姿集，得到輸入圖像的最終位置 信息。輸入圖像的位置確定后，其姿態(tài)信息由兩個(gè)候選姿態(tài)信息平均計(jì)算得到，從而完成輸 入圖像的六自由度定位。
[0007] 本發(fā)明主要通過(guò)W下技術(shù)方案實(shí)現(xiàn)，如圖1所示:對(duì)于一幅輸入圖像，首先應(yīng)用視 覺詞袋檢索算法從參考圖像集中檢索出一組輸入圖像的鄰近圖像集。具體來(lái)說(shuō)，提取參考 圖像集中每個(gè)圖像上的尺度變換不變特征作為局部特征，并應(yīng)用k均值聚類算法計(jì)算得到 視覺單詞樹，且建立的視覺單詞樹包含20000~40000個(gè)視覺描述符。利用所得到的視覺單 詞樹，計(jì)算輸入圖像和參考圖像集中每個(gè)圖像的視覺描述文本，即每個(gè)圖像的所有局部特 征對(duì)于視覺單詞樹的每個(gè)視覺單詞的統(tǒng)計(jì)直方圖。通過(guò)計(jì)算輸入圖像與參考圖像集中每個(gè) 圖像的視覺描述文本的差異，選取差異最小的15~30個(gè)參考圖像作為輸入圖像的鄰近圖 像。然后，估計(jì)輸入圖像I與每個(gè)鄰近圖像N之間的相對(duì)位姿，結(jié)合鄰近圖像的位姿，得到輸 入圖像的候選位姿。具體來(lái)說(shuō):a)提取輸入圖像與鄰近圖像中的所有尺度變換不變特征，并 尋找輸入圖像上的特征點(diǎn)與鄰近圖像特征點(diǎn)之間的匹配，從而得到一組匹配點(diǎn)對(duì)。b)在匹 配點(diǎn)對(duì)中隨機(jī)選取11對(duì)特征點(diǎn)對(duì)，使用運(yùn)些特征點(diǎn)對(duì)，建立線性方程組，通過(guò)奇異值分解算 法求解線性方程組，得到輸入圖像與鄰近圖像之間的基礎(chǔ)矩陣。C)從得到的基礎(chǔ)矩陣中估 計(jì)出輸入圖像的焦距，從而得到輸入圖像與鄰近圖像之間的本征矩陣。d)使用5點(diǎn)算法從得 到的本征矩陣中估計(jì)出輸入圖像與鄰近圖像的相對(duì)位姿，結(jié)合鄰近圖像的位姿，從而得到 輸入圖像的一個(gè)候選位姿。e)重復(fù)b)到d)的過(guò)程200次，選取最好的相對(duì)位姿計(jì)算結(jié)果，選 取準(zhǔn)則為:在每個(gè)得到的相對(duì)位姿基礎(chǔ)上，計(jì)算輸入圖像與鄰近圖像滿足外極幾何約束的 特征匹配點(diǎn)對(duì)個(gè)數(shù)，個(gè)數(shù)最多的作為最終的結(jié)果。在輸入圖像與每個(gè)鄰近圖像的相對(duì)位姿 基礎(chǔ)上，比較滿足外極幾何約束的匹配點(diǎn)對(duì)個(gè)數(shù)，只選擇匹配點(diǎn)對(duì)個(gè)數(shù)最多的兩個(gè)作為輸 入圖像的候選位姿。最后，通過(guò)定義并最小化一個(gè)幾何誤差，得到輸入圖像的最終位姿，幾 何誤差的定義方法是：由于候選位姿只是輸入圖像與鄰近圖像的相對(duì)位姿，因此一個(gè)候選 位姿只能決定輸入圖像的位置應(yīng)該在一條直線上，多個(gè)候選位姿對(duì)應(yīng)多條直線，所定義的 幾何誤差即為輸入圖像位置到直線的距離平方之和；同時(shí)由于輸入圖像與鄰近圖像的位置 較為接近，為了方法的穩(wěn)定，增加了輸入圖像位置到鄰近圖像位置的距離平方和作為正則 項(xiàng)。輸入圖像的位置確定后，其姿態(tài)信息由兩個(gè)候選位姿的姿態(tài)信息平均計(jì)算得到，從而實(shí) 現(xiàn)輸入圖像的六自由度定位。
[0008] 本發(fā)明與現(xiàn)有技術(shù)相比的優(yōu)點(diǎn)在于:本發(fā)明能夠直接利用含有位姿信息的圖片定 位輸入圖像，不需要重建場(chǎng)景的=維點(diǎn)云模型，具有良好的靈活性，并且所定義的幾何誤差 函數(shù)能夠有效的從一組候選位姿集中得到輸入圖像的最終位姿信息，從而實(shí)現(xiàn)單幅圖像場(chǎng) 景的六自由度定位。
【附圖說(shuō)明】
[0009] 圖1為本發(fā)明的總體流程示意圖；
[0010] 圖2為輸入圖像的鄰近圖像檢索結(jié)果示例圖；
[0011] 圖3為通過(guò)多個(gè)融合候選位姿得到輸入圖像最終位姿的方法示意圖；
[0012] 圖4為部分定位結(jié)果的在=維空間中的可視化結(jié)果。
【具體實(shí)施方式】
[0013] 下面結(jié)合附圖對(duì)本發(fā)明做進(jìn)一步的詳細(xì)說(shuō)明，W令本領(lǐng)域技術(shù)人員參照說(shuō)明書文 字能夠據(jù)W實(shí)施。
[0014] 本發(fā)明假設(shè)已經(jīng)存在一個(gè)標(biāo)記好內(nèi)參和六自由度位姿信息的參考圖像集，對(duì)于輸 入圖像，在參考圖像集的基礎(chǔ)上，計(jì)算其六自由度位姿信息。同時(shí)，為了能夠提高方法的適 用性，假設(shè)輸入圖像的內(nèi)參未標(biāo)定，且假設(shè)輸入圖像的內(nèi)參包括焦距f和一階徑向崎變?nèi)雰?個(gè)參數(shù)。
[0015] 在上述條件下，如圖1所示，對(duì)于一幅輸入圖像，（1)首先使用視覺詞袋檢索算法從 參考圖像集中檢索出一組輸入圖像的鄰近圖像，檢索方法的具體過(guò)程包括：
[0016] (11)提取參考圖像集中每個(gè)圖像上的尺度變換不變特征作為局部特征，并應(yīng)用k 均值聚類算法計(jì)算得到視覺單詞樹，且建立的視覺單詞樹包含30000個(gè)視覺描述符。
[0017] (12)利用所得到的視覺單詞樹，計(jì)算輸入圖像和參考圖像集中每個(gè)圖像的視覺描 述文本，即每個(gè)圖像的所有局部特征關(guān)于視覺單詞樹中每個(gè)視覺單詞的統(tǒng)計(jì)直方圖。
[0018] (13)通過(guò)計(jì)算輸入圖像與參考圖像集中每個(gè)圖像的視覺描述文本的差異，選取差 異最小的20個(gè)參考圖像作為輸入圖像的鄰近圖像。如圖2所示，為3幅輸入圖像，及其部分鄰 近圖像檢索結(jié)果的示例圖。
[0019] (2)接著，在鄰近圖像檢索結(jié)果上，估計(jì)輸入圖像與每個(gè)鄰近圖像之間的相對(duì)位 姿。（21)為此，對(duì)于輸入圖像和每個(gè)鄰近圖像，先尋找他們之間的匹配點(diǎn)對(duì)。分別在其中提 取尺度變換不變特征，對(duì)于輸入圖像上的一個(gè)特征點(diǎn)￡，假設(shè)鄰近圖像上與其特征描述符 的歐式距離最近的特征點(diǎn)為滬，第二近的特征點(diǎn)為巧，如果：
[0020]
(!)
[0021] 那么f八將作為輸入圖像和鄰近圖像之間的一對(duì)匹配點(diǎn)，其中是特征 樂和￡描述符之間的歐式距離。
[0022] (22)通過(guò)該方法，可W獲得到一組輸入圖像與鄰近圖像之間的匹配點(diǎn)對(duì)，記為
其中i為匹配點(diǎn)對(duì)下標(biāo)，m為匹配點(diǎn)對(duì)個(gè)數(shù)。對(duì)于一對(duì)匹配點(diǎn) f'，9〉，化們的齊次坐標(biāo)分別記為1)成（卻，7。，1)哺9成（耐，7。，1八其中卻和義。分別是點(diǎn)乎和 點(diǎn)9的橫坐標(biāo)，yp和yq分別是點(diǎn)IP和點(diǎn)￡的縱坐標(biāo)。由于本發(fā)明假設(shè)輸入圖像具有一階徑向 崎變參數(shù)\，因此特征點(diǎn)每的無(wú)崎變齊次坐標(biāo)可^記為9。^(^。，7。，1+'2)\其中
是特征點(diǎn)這到崎變中屯、的歐式距離，U和V分別為崎變中屯、的橫坐標(biāo) 和縱坐標(biāo)，并且假設(shè)崎變中屯、在圖像中屯、。根據(jù)外極幾何理論，一對(duì)匹配點(diǎn)的無(wú)崎變齊次坐 標(biāo)應(yīng)該滿足外極幾何約束方程：
[0023] P 中 Qu = O， (2)
[0024] 其中F是輸入圖像與鄰近圖像之間的基礎(chǔ)矩陣。
[002引由于pK(Xp，yp，l)T，quK(Xq，yq，l+r2)T，因此外極幾何約束方程可W變形為：
[0026]
(3)
[0027] 其中，fi是基礎(chǔ)矩陣F的第i個(gè)列向量，即F=[f if2 f3]。同時(shí)，為了和傳統(tǒng)的基礎(chǔ) 矩陣相區(qū)別，將矩陣[fl f2 f3 M3]記為V，并稱之為單邊徑向基礎(chǔ)矩陣。
[0028] 受估計(jì)基礎(chǔ)矩陣的8點(diǎn)算法啟發(fā)，本發(fā)明提出了使用11對(duì)匹配點(diǎn)估計(jì)單邊徑向基 礎(chǔ)矩陣V，將算法簡(jiǎn)稱為11點(diǎn)算法。通過(guò)分析外極幾何約束方程(3)，可W發(fā)現(xiàn)，該方程對(duì)于 單邊徑向基礎(chǔ)矩陣V中的每個(gè)元素都是線性的，且常數(shù)項(xiàng)為0,因此為齊次線性方程。而且單 邊徑向基礎(chǔ)矩陣V是非零的，由于V中包含12個(gè)元素，因此可W通過(guò)構(gòu)建包含11個(gè)方程的齊 次線性方程組，并應(yīng)用奇異值分解算法求解該齊次線性方程組，得到的非零解即對(duì)應(yīng)單邊 徑向基礎(chǔ)矩陣V。由于每個(gè)匹配點(diǎn)對(duì)可W得到一個(gè)齊次線性方程，因此需要11對(duì)匹配點(diǎn)對(duì)， 得到的齊次線性方程組為：
[0029] Av = O, (4)
[0030] 其中V是單邊徑向基礎(chǔ)矩陣V按行優(yōu)先的向量形式，A為系數(shù)矩陣。假設(shè)第i對(duì)匹配 點(diǎn)對(duì)f片9.〉對(duì)應(yīng)于第i個(gè)齊次線性方程，對(duì)應(yīng)于系數(shù)矩陣A的第i行，其對(duì)應(yīng)的系數(shù)向量為 ，.\，乂i,。通過(guò)對(duì)A進(jìn)行奇異值分解，對(duì)應(yīng)于最小 奇異值的右奇異向量即為V的解。
[0031] 由于基礎(chǔ)矩陣F=[fl f2 f3]為秩為2的矩陣，且V=[fl f2 f3 M3]的每一列都是 矩陣F的列向量的線性組合，因此V的秩也為2,但是通過(guò)奇異值分解求得的矩陣不一定滿足 此約束，因此需要強(qiáng)制初步得到的矩陣V滿足此約束。由于通過(guò)奇異值分解算法可W找到矩 陣在弗羅貝尼烏斯范數(shù)下的最相似矩陣，本發(fā)明再次應(yīng)用奇異值分解算法優(yōu)化矩陣V。為 此，首先對(duì)初始矩陣V后兩列組成的矩陣應(yīng)用奇異值分解，并且只保留最大的奇異值，其余 奇異值設(shè)置為0,從而得到后兩列的秩為1的最相似矩陣，通過(guò)求解運(yùn)兩列的線性相關(guān)系數(shù)， 即可得到一階徑向崎變參數(shù)A。然后，對(duì)初始矩陣V的前=列做奇異值分解，并保留最大的前 兩個(gè)奇異值，其余奇異值設(shè)置為0,從而得到秩為2的最相似矩陣，該矩陣即為估計(jì)得到的F。 從而得到最終的V=[fl f2 f3 M3]。
[0032] (23)在估計(jì)得到的基礎(chǔ)矩陣F、一階徑向崎變參數(shù)A、單邊徑向基礎(chǔ)矩陣V的基礎(chǔ)上 進(jìn)一步估計(jì)輸入圖像與鄰近圖像之間的本征矩陣，從而估計(jì)他們之間的相對(duì)位姿。由于鄰 近圖像的內(nèi)參已知，因此為了推導(dǎo)方便，可W假設(shè)鄰近圖像的內(nèi)參矩陣為單位矩陣，因此輸 入圖像與鄰近圖像之間的本征矩陣E為：
[003；3] E=FK (5)
[0034] 其中，K為輸入圖像的內(nèi)參矩陣，因?yàn)檩斎雸D像的一階徑向崎變參數(shù)A已經(jīng)估計(jì)得 到，因此可W認(rèn)為輸入圖像僅有一個(gè)內(nèi)參，即焦距f，那么相應(yīng)的K是一個(gè)對(duì)角矩陣，對(duì)角線 的元素依次為f，f，l。由于基礎(chǔ)矩陣的性質(zhì)，其具有兩個(gè)相等的非零奇異值，也就是說(shuō)，基礎(chǔ) 矩陣滿足：
[0035] 2 邸化-tr(邸T 化=0， (6)
[0036] 其中trO為求矩陣的跡，將方程(5)帶入(6)可得：
[0037] 2FKK中Tp-tr (FKfpT)F = O, (7)
[0038] 方程(7)實(shí)際為一個(gè)矩陣方程，因此可W得到9個(gè)關(guān)于焦距平方f2的線性方程，我 們W第一行第一列為例，可W得到：
[0039] ㈱
[0040]
[0041] 貨
[0042] 其中FiJ是矩陣F的第i行第巧U個(gè)元素，fi是矩陣F的第巧揃列向量。通過(guò)分別求解 運(yùn)9個(gè)方程，可W得到9個(gè)焦距值，取平均即可得到最終的焦距值。
[0043] (24)得到焦距值后，應(yīng)用方程(5)即可得到基礎(chǔ)矩陣E，在此基礎(chǔ)上，通過(guò)計(jì)算機(jī)視 覺領(lǐng)域經(jīng)典的5點(diǎn)算法即可從基礎(chǔ)矩陣E中估計(jì)出輸入圖像與參考圖像的相對(duì)位姿。特別 的，定義一個(gè)投影矩陣為P= [R t]，其中R為3 X 3的旋轉(zhuǎn)矩陣，t為平移向量。定義Pn= [Rn tn]為鄰近圖像在世界坐標(biāo)系中的投影矩陣，Prn= [Rrn trn]為輸入圖像相對(duì)于鄰近圖像坐 標(biāo)系的投影矩陣。因此，得到輸入圖像關(guān)于兩個(gè)鄰近圖像的相對(duì)位姿，即兩個(gè)運(yùn)樣的相對(duì)投 影矩陣。
[0044] (25)由于隨機(jī)選擇的11個(gè)點(diǎn)對(duì)中有可能存在誤差較大或者錯(cuò)誤的匹配點(diǎn)，因此本 發(fā)明從所有匹配點(diǎn)中隨機(jī)選擇200次，估計(jì)結(jié)果，并使用計(jì)算得到的單邊徑向基礎(chǔ)矩陣檢查 所有的匹配點(diǎn)對(duì)是否滿足外極幾何約束，即計(jì)算方程(3)的左值，根據(jù)經(jīng)驗(yàn)，小于9的即認(rèn)為 滿足該約束，將滿足約束的匹配點(diǎn)對(duì)稱為內(nèi)點(diǎn)對(duì)，不滿足約束的稱為外點(diǎn)對(duì)，并記錄內(nèi)點(diǎn)對(duì) 的個(gè)數(shù)。將內(nèi)點(diǎn)對(duì)最多的結(jié)果作為最終的結(jié)果。
[0045] (26)對(duì)于輸入圖像和每一個(gè)鄰近圖像，均使用上述算法估計(jì)單邊徑向基礎(chǔ)矩陣， 并記錄內(nèi)點(diǎn)對(duì)個(gè)數(shù)，留下兩個(gè)內(nèi)點(diǎn)對(duì)個(gè)數(shù)最多的鄰近圖像對(duì)應(yīng)的相對(duì)位姿計(jì)算結(jié)果，其余 結(jié)果則被舍棄。
[0046] (3)最后融合運(yùn)兩個(gè)相對(duì)位姿，得到輸入圖像最終的位姿。首先計(jì)算輸入圖像的姿 態(tài)，即輸入圖像的旋轉(zhuǎn)矩陣。定義鄰近圖像相對(duì)于世界坐標(biāo)系的投影矩陣是Pn=[Rn tn]，輸 入圖像相對(duì)于鄰近圖像坐標(biāo)系的投影矩陣是Prn= [Rrn trn]，那么輸入圖像相對(duì)于世界坐標(biāo) 系的旋轉(zhuǎn)矩陣Rr是：
[0047] Rr = RrnRn, (10)
[004引并且該旋轉(zhuǎn)矩陣可W分解為=個(gè)圍繞坐標(biāo)軸旋轉(zhuǎn)的基本旋轉(zhuǎn)矩陣的連乘，每個(gè)基 本旋轉(zhuǎn)矩陣對(duì)應(yīng)一個(gè)歐拉角。在本發(fā)明中，旋轉(zhuǎn)矩陣分解為依次圍繞z-x-y軸的=個(gè)旋轉(zhuǎn)矩 陣，對(duì)應(yīng)于0Z，0X，0y =個(gè)歐拉角。對(duì)于得到的兩個(gè)候選旋轉(zhuǎn)矩陣，分別求得其對(duì)應(yīng)的=個(gè)歐 拉角，并取歐拉角的平均，并計(jì)算平均后歐拉角對(duì)應(yīng)的旋轉(zhuǎn)矩陣，即可得到輸入圖像的旋轉(zhuǎn) 矩陣，即輸入圖像的姿態(tài)信息。
[0049]在得到輸入圖像的姿態(tài)信息后，計(jì)算輸入圖像的位置信息，即可完成輸入圖像的 六自由度位置信息計(jì)算。由于相對(duì)位姿無(wú)法確定尺度信息，因此得到輸入圖像與一個(gè)鄰近 圖像的相對(duì)位姿后，無(wú)法確定輸入圖像的準(zhǔn)確位置信息，只能確定輸入圖像在一條直線L 上。給定輸入圖像相對(duì)于鄰近圖像坐標(biāo)系的投影矩陣，將其確定的直線L的方程記為：
[00加 ]
(…
[0051]其中直線上的特點(diǎn)可W選鄰近圖像的位置1，根據(jù)鄰近圖像的投影矩陣，可得： [0化2]
(1巧
[0053] 直線的方向d可W根據(jù)鄰近圖像的投影矩陣Pn和輸入圖像相對(duì)于鄰近圖像坐標(biāo)系 的投影矩陣Prn得到：
[0054]
(B)
[0055] 在直線L確定后，不難發(fā)現(xiàn)，一條直線并不能確定輸入圖像的位置，因此本發(fā)明使 用了兩個(gè)鄰近圖像，因此能夠得到兩條直線，記為^和12,兩條直線的交點(diǎn)，即為輸入圖像的 位置。由于計(jì)算誤差的存在，直線^和12常常并不相交，因此，為了計(jì)算穩(wěn)定，本發(fā)明定義了 一個(gè)幾何誤差函數(shù)：
[0056] G=Gi+Gn， （14)
[0057] 該幾何誤差函數(shù)包括輸入圖像到兩條直線的距離平方之和Gi，且定義為：
[0化引
， Ij 5)
[0化9]其中，x=[x，y，z]T是輸入圖像的位置，巧2(x，L,；)是輸入圖像到直線以的距離平 方，如圖3所示為巧(X L,)的示意圖，定義巧為：
[0060]
(1巧
[0061] Gn為正則項(xiàng)，是輸入圖像到鄰近圖像距離的平方和：
[0062]
(1巧
[006引其中，巧（、1,)是輸入圖像到鄰近圖像Ii的距離平方：
[0064]
(18)
[0065] 由于幾何誤差函數(shù)G是關(guān)于輸入圖像位置X的凸二次函數(shù)，因此對(duì)G求關(guān)于X的每個(gè) 元素的偏導(dǎo)，并令偏導(dǎo)為0，可得到關(guān)于圖像位置X的線性方程組：
[0066]
0巧
[0067] 求解該線性方程組，即可得到輸入圖像的位置。
[0068] 如圖4所示，為使用本方法的完成單幅圖像場(chǎng)景六自由度定位，并在=維空間中進(jìn) 行可視化的結(jié)果，其中每個(gè)圖像對(duì)應(yīng)的六自由度信息用一個(gè)四棱錐表示，錐頂表示圖像的 位置，椎體的方向表示圖像對(duì)應(yīng)的姿態(tài)信息。
【主權(quán)項(xiàng)】
1. 鄰近位姿融合引導(dǎo)的單幅圖像場(chǎng)景六自由度定位方法，其特征在于實(shí)現(xiàn)步驟如下： 步驟一、對(duì)于輸入圖像I，應(yīng)用視覺詞袋檢索算法從參考圖像集中檢索出一組輸入圖像 的鄰近圖像集，其中參考圖像集中的每張圖像均標(biāo)注了六自由度的位姿信息，并且已經(jīng)標(biāo) 定了相機(jī)內(nèi)參； 步驟二、對(duì)鄰近圖像集中的每個(gè)鄰近圖像N標(biāo)定輸入圖像的內(nèi)參，在此基礎(chǔ)上，估計(jì)出 輸入圖像I與每個(gè)鄰近圖像N之間的相對(duì)位姿，結(jié)合鄰近圖像的位姿，從而得到輸入圖像的 一組候選位姿集； 步驟三、定義一個(gè)幾何誤差函數(shù)，通過(guò)最小化幾何誤差函數(shù)，融合輸入圖像的候選位姿 集，得到輸入圖像的最終位置信息;輸入圖像的位置確定后，其姿態(tài)信息由兩個(gè)候選位姿的 姿態(tài)信息平均計(jì)算得到，從而實(shí)現(xiàn)圖像場(chǎng)景的六自由度定位。2. 根據(jù)權(quán)利要求1所述的鄰近位姿融合引導(dǎo)的單幅圖像場(chǎng)景六自由度定位方法，其特 征在于:所述步驟一中視覺詞袋檢索算法的具體實(shí)現(xiàn)過(guò)程包括： (11) 提取參考圖像集中每個(gè)圖像上的尺度變換不變特征作為局部特征，并應(yīng)用k均值 聚類算法計(jì)算得到視覺單詞樹，且建立的視覺單詞樹包含20000~40000個(gè)視覺描述符； (12) 利用所得到的視覺單詞樹，計(jì)算輸入圖像和參考圖像集中每個(gè)圖像的視覺描述文 本，即每個(gè)圖像的所有局部特征在視覺單詞樹上的統(tǒng)計(jì)直方圖； (13) 通過(guò)計(jì)算輸入圖像與參考圖像集中每個(gè)圖像的視覺描述文本的差異，選取差異最 小的15~30個(gè)參考圖像作為輸入圖像的鄰近圖像。3. 根據(jù)權(quán)利要求1所述的鄰近位姿融合引導(dǎo)的單幅圖像場(chǎng)景六自由度定位方法，其特 征在于:所述步驟二中輸入圖像I與每個(gè)鄰近圖像N之間的相對(duì)位姿估計(jì)，結(jié)合鄰近圖像的 位姿，從而得到輸入圖像的一組候選位姿集通過(guò)如下步驟實(shí)現(xiàn)的： (21) 提取輸入圖像與鄰近圖像中的所有尺度變換不變特征，并尋找輸入圖像上的特征 點(diǎn)與鄰近圖像特征點(diǎn)之間的匹配，從而得到一組匹配點(diǎn)對(duì)； (22) 在匹配點(diǎn)對(duì)中隨機(jī)選取11對(duì)特征點(diǎn)對(duì)，使用這些特征點(diǎn)對(duì)，建立線性方程組，通過(guò) 奇異值分解算法求解線性方程組，得到輸入圖像與鄰近圖像之間的基礎(chǔ)矩陣； (23) 從得到的基礎(chǔ)矩陣中估計(jì)出輸入圖像的焦距，從而得到輸入圖像與鄰近圖像之間 的本征矩陣； (24) 使用計(jì)算機(jī)視覺領(lǐng)域經(jīng)典的5點(diǎn)算法從得到的本征矩陣中估計(jì)出輸入圖像與鄰近 圖像的相對(duì)位姿，從而得到輸入圖像的一個(gè)候選位姿； (25) 重復(fù)(22)到(24)的過(guò)程，選取最好的相對(duì)位姿計(jì)算結(jié)果，選取準(zhǔn)則為:在每個(gè)得到 的相對(duì)位姿基礎(chǔ)上，計(jì)算輸入圖像與鄰近圖像滿足外極幾何約束的特征匹配點(diǎn)對(duì)個(gè)數(shù)，個(gè) 數(shù)最多的作為最終的結(jié)果； (26) 在估計(jì)輸入圖像與每個(gè)鄰近圖像的相對(duì)位姿基礎(chǔ)上，比較滿足外極幾何約束的匹 配點(diǎn)對(duì)個(gè)數(shù)，只選擇匹配點(diǎn)對(duì)個(gè)數(shù)最多的兩個(gè)作為輸入圖像的候選位姿。4. 根據(jù)權(quán)利要求1所述的鄰近位姿融合引導(dǎo)的單幅圖像場(chǎng)景六自由度定位方法，其特 征在于:所述步驟三中幾何誤差的定義方法是:首先定義幾何誤差為輸入圖像位置到直線 的距離平方之和;然后，由于輸入圖像與鄰近圖像的位置較為接近，為了使方法的結(jié)果更穩(wěn) 定，在幾何誤差中增加了輸入圖像位置到鄰近圖像位置的距離平方和作為正則項(xiàng)。
【文檔編號(hào)】G06F17/30GK105956074SQ201610279856
【公開日】2016年9月21日
【申請(qǐng)日】2016年4月28日
【發(fā)明人】陳小武, 宋亞斐, 李甲, 趙沁平, 王小剛, 張宇
【申請(qǐng)人】北京航空航天大學(xué)