一種基于orb特征匹配的航拍影像及地理數(shù)據(jù)拼接方法
【專(zhuān)利摘要】本發(fā)明提出了一種基于ORB特征匹配的航拍影像及地理數(shù)據(jù)拼接方法，包括：步驟1，讀取待拼接圖像及地理信息；步驟2，對(duì)處理器進(jìn)行任務(wù)分配；步驟3，提取待拼接圖像的ORB特征；步驟4，對(duì)拍攝待拼接圖像的相機(jī)參數(shù)進(jìn)行初始化估計(jì)并求出旋轉(zhuǎn)矩陣；步驟5，用光束法平差提高估計(jì)精度；步驟6，對(duì)待拼接圖像進(jìn)行初始拼接；步驟7，對(duì)拼接后的圖像進(jìn)行亮度的增量補(bǔ)償以及基于圖像金字塔的多波段融合，對(duì)拼接后的地理信息進(jìn)行有條件的插值融合，得到拼接結(jié)果圖像；步驟8，對(duì)每一個(gè)處理器所有線程處理的拼接結(jié)果圖像進(jìn)行一次綜合拼接融合，合并形成最終結(jié)果圖像。
【專(zhuān)利說(shuō)明】
-種基于ORB特征匹配的航拍影像及地理數(shù)據(jù)拼接方法
技術(shù)領(lǐng)域
[0001] 本發(fā)明屬于圖像與地理信息融合處理技術(shù)，利用了圖像拼接技術(shù)與地理數(shù)據(jù)的融 合，尤其設(shè)及一種基于0RB(0riented FAST and Rotated BRIEF,有方向的加速分割測(cè)試特 征和有旋轉(zhuǎn)的二進(jìn)制魯棒獨(dú)立基本特征)特征匹配的航拍影像及地理數(shù)據(jù)拼接方法。
【背景技術(shù)】
[0002] 圖像拼接技術(shù)是圖像配準(zhǔn)、圖像融合的綜合體，綜合運(yùn)用了圖像配準(zhǔn)與融合技術(shù)， 其目的是將多幅有一定重疊區(qū)域的圖像拼接融合為一副圖像，其在虛擬現(xiàn)實(shí)、虛擬漫游、海 底探測(cè)、衛(wèi)星遙感圖像等方面有廣泛的應(yīng)用。其中，圖像配準(zhǔn)主要包括基于頻域的方法、基 于區(qū)域的方法和基于特征的圖像配準(zhǔn)方法。
[0003] -般的圖像拼接技術(shù)僅僅對(duì)圖像本身進(jìn)行拼接而忽略了無(wú)人機(jī)圖像帶有的地理 數(shù)據(jù)信息。無(wú)人機(jī)遙感具有機(jī)動(dòng)、高效、成本低的特點(diǎn)，且能夠在云下低空飛行，在偵查± 地、礦產(chǎn)資源、地質(zhì)環(huán)境評(píng)估、災(zāi)害防治及空間信息快速采集方面，地理數(shù)據(jù)信息格外重要。 由于無(wú)人機(jī)機(jī)載攝像機(jī)拍攝范圍的限制，偵察人員往往希望能夠在拼接后的圖像上W全局 視角觀察偵察的地理范圍及目標(biāo)的具體位置。為了滿足偵察人員的需要，結(jié)合圖像配準(zhǔn)、融 合、拼接技術(shù)，將地理信息融合到圖像拼接過(guò)程中，實(shí)現(xiàn)了圖像地理數(shù)據(jù)的拼接與融合。
[0004] 圖像配準(zhǔn)主要通過(guò)檢測(cè)圖像中的特征點(diǎn)進(jìn)行配準(zhǔn)，常用的特征點(diǎn)檢測(cè)算法主要是 局部圖像特征檢測(cè)算法。局部圖像特征描述是計(jì)算機(jī)視覺(jué)領(lǐng)域特征描述的基本方法，對(duì)于 識(shí)別、匹配圖像有著重要的作用。當(dāng)下比較流行的具有不變性的局部圖像特征提取算法包 括SIFT(Scale Invariant Feature IYansform,尺度不變特征變換）、洲RF(Speeded Up Robust Features,加速魯棒特性)和ORB等。一個(gè)好的局部圖像特征描述要具有不變性和可 區(qū)分性。不變性包括視角、平移、尺度、旋轉(zhuǎn)、形狀、亮度不變性等。SIFT算法是Lowe提出的一 種具有很好穩(wěn)定性和魯棒性的特征提取算法。該特征具有旋轉(zhuǎn)、尺度、平移和亮度不變性， 其對(duì)視角也具有一定的不變性。SURF是化rbert Bay等人提出來(lái)的，其特點(diǎn)是快速性，并具 有尺度不變性，對(duì)光照、仿射、透視變化也具有魯棒性。ORB算法是化ban Rublee提出來(lái)的一 種基于〇FAST(orientation Features from Accelerated Segment Test)和rBRIEF (Rotation-Aware Binary Robust Independent Elementary Features)的特征點(diǎn)檢測(cè)算 法。其中，F(xiàn)AST算法的速度幾乎是DoG(Difference of Gaussian,高斯差分，SIFT所用的算 法）的30倍。在細(xì)致程度上SIFT算法高于SURF算法，SURF算法高于ORB算法，但是在計(jì)算速度 上正好相反。
[0005] 多頻段融合(Multi-band blending)是由Bu;rt P.J.和Adelson E.H.提出來(lái)的，它 是建立在高斯金字塔變換的基礎(chǔ)上的，將原圖像分解成多個(gè)不同空間分辨率、不同尺度的 子圖像構(gòu)成金字塔，然后由各層金字塔分別進(jìn)行融合，最后組合得到拼接圖像。
[0006] 近年來(lái)，有大量基于SIFT/洲RF/0RB/化rris檢測(cè)的拼接算法被提出來(lái)，但很多都 是僅僅處理圖像本身。而在無(wú)人機(jī)遙感領(lǐng)域，飛機(jī)所拍攝的圖像不僅包含圖像本身，還帶有 各種地理信息和飛行參數(shù)。在無(wú)人機(jī)正視俯拍的情況下，可W利用飛機(jī)的載荷參數(shù)計(jì)算出 圖像中像素點(diǎn)的地理信息，并將其與圖像一同傳回地面控制中屯、。在圖像處理的同時(shí)，處理 人員希望能夠不丟失地理信息，例如，在拼接后的圖像上可W更加直觀的觀察圖像中的目 標(biāo)，對(duì)感興趣的目標(biāo)可W直接進(jìn)行地理定位。

【發(fā)明內(nèi)容】

[0007]發(fā)明目的:本發(fā)明所要解決的技術(shù)問(wèn)題是在圖像拼接處理過(guò)程中插入地理信息數(shù) 據(jù)，將其融合到圖像處理過(guò)程，W多線程高效完成圖像及地理信息拼接過(guò)程，并提供一種基 于ORB特征匹配的航拍影像及地理數(shù)據(jù)拼接方法。
[000引技術(shù)方案:本發(fā)明包括W下步驟：
[0009] 步驟1，計(jì)算機(jī)讀取待拼接圖像及存儲(chǔ)地理信息的文件，并將地理信息存儲(chǔ)在二維 雙精度浮點(diǎn)矩陣中，其中地理信息在本發(fā)明說(shuō)明書(shū)中僅包含經(jīng)度和締度信息，而本發(fā)明方 法支持?jǐn)U展其他地理信息，如高度等，增加其他地理信息，只需增加矩陣通道數(shù)即可，矩陣 的第一通道為矩陣中第V列（l《v《總列數(shù))除W通道數(shù)余數(shù)為0的列合并成的子矩陣，第二 通道為矩陣中第V列除W通道數(shù)余數(shù)為1的列合并成的子矩陣，第=通道為矩陣中第V列除 W通道數(shù)余數(shù)為2的列合并成的子矩陣，依此類(lèi)推；
[0010] 步驟2,一臺(tái)計(jì)算機(jī)可W安裝多個(gè)中央處理器，一個(gè)中央處理器可W封裝多個(gè)物理 核屯、，即所謂的多核屯、架構(gòu)處理器。支持Intel超線程技術(shù)的處理器，每個(gè)物理核屯、又可W 支持兩個(gè)邏輯核屯、。計(jì)算機(jī)基于計(jì)算機(jī)的處理器邏輯核屯、數(shù)計(jì)算任務(wù)分配數(shù)，對(duì)處理器進(jìn) 行任務(wù)分配，每個(gè)處理器只處理一批拼接圖像；
[0011] 步驟3，提取待拼接圖像的ORB特征，使用最近鄰和次近鄰的方法保留最優(yōu)匹配點(diǎn)；
[0012] 步驟4,根據(jù)任意兩幅待拼接圖像的匹配與運(yùn)些匹配計(jì)算出的單應(yīng)性矩陣，對(duì)拍攝 待拼接圖像的相機(jī)的參數(shù)進(jìn)行初始化估計(jì)。其中，在計(jì)算機(jī)視覺(jué)中，平面的單應(yīng)性被定義為 一個(gè)平面到另一個(gè)平面的投影映射。
[0013] 步驟5，用光束法平差提高估計(jì)精度;使用Bundle Ad justment光束法平差算法對(duì) 所有待拼接圖像進(jìn)行相機(jī)參數(shù)校正，W初始化所有待拼接圖像為相同的旋轉(zhuǎn)和焦距長(zhǎng)度。 由于多個(gè)單應(yīng)性矩陣合成全景拼接圖像時(shí)會(huì)造成累積誤差，每個(gè)圖像都要加上光束法平差 值，W初始化圖像為相同的旋轉(zhuǎn)和焦距長(zhǎng)度。W提高估計(jì)精度。光束法平差具有魯棒性，其 目標(biāo)函數(shù)是一個(gè)映射誤差的平方和函數(shù)。即每一個(gè)特征點(diǎn)都要映射到其他的圖像中，使計(jì) 算出的相機(jī)參數(shù)的誤差的平方和最小。
[0014] 步驟6,根據(jù)相機(jī)參數(shù)W及單應(yīng)性矩陣，對(duì)待拼接圖像進(jìn)行矩陣變換，完成待拼接 圖像的初始拼接;對(duì)存儲(chǔ)地理信息的二維雙精度浮點(diǎn)矩陣使用對(duì)應(yīng)待拼接圖像的單應(yīng)性矩 陣進(jìn)行矩陣變換，完成對(duì)地理信息的拼接;地理信息跟隨圖像進(jìn)行相同的單應(yīng)性矩陣變換， 保證了變換后的圖像有相同的地理信息。同時(shí)，由于經(jīng)度范圍為-180度到180度，締度范圍 為-90度到90度，在插值變換時(shí)需要注意地理信息不能超出有效范圍。
[0015] 步驟7,對(duì)拼接后的圖像進(jìn)行亮度的增量補(bǔ)償W及基于圖像金字塔的多波段融合， 對(duì)拼接后的地理信息進(jìn)行有條件的插值融合，得到拼接結(jié)果圖像；
[0016] 步驟8,對(duì)每一個(gè)處理器所有線程處理的拼接結(jié)果圖像進(jìn)行一次綜合拼接融合，合 并形成最終結(jié)果圖像；
[0017] 步驟1中所述二維雙精度浮點(diǎn)矩陣使用XML(eXtens;Lble Markup Language,可擴(kuò) 展標(biāo)記語(yǔ)言)結(jié)構(gòu)存儲(chǔ)。
[0018] 步驟2中，計(jì)算機(jī)將任務(wù)分配給每個(gè)處理器，采用如下公式計(jì)算處理器每線程最多 處理的待拼接圖像數(shù)并進(jìn)行任務(wù)分配：
[0019]
[0020] 其中，n為處理器每線程最多處理的待拼接圖像數(shù)，N為待拼接圖像總數(shù)，Xi為重疊 圖像數(shù)，〇《xi《N-l，t為線程數(shù)，因圖像拼接在每個(gè)處理線程上至少需要兩幅圖像，所WN > 2，否則將會(huì)因分配的圖像張數(shù)不足兩張而無(wú)法拼接。
[0021] 步驟3包括如下步驟：
[0022] 步驟3-1，對(duì)待拼接圖像構(gòu)建金字塔。其中，圖像金字塔是W多分辨率來(lái)解釋圖像 的一種結(jié)構(gòu)，一幅圖像的金字塔是一系列W金字塔形狀排列的分辨率逐步降低的圖像集 合。金字塔的底部是待處理圖像的高分辨率表示，而頂部是低分辨率的近似。當(dāng)向金字塔的 上層移動(dòng)時(shí)，尺寸和分辨率就降低；
[0023] 步驟3-2，用FAST(Features from Accelerated Segment Test，加速分割測(cè)試特 征）算法檢測(cè)關(guān)鍵點(diǎn)的位置，運(yùn)里的關(guān)鍵點(diǎn)指角點(diǎn)，角點(diǎn)為鄰域內(nèi)具有兩個(gè)主方向的特征 點(diǎn)';
[0024] 步驟3-3，對(duì)關(guān)鍵點(diǎn)用化rriS角點(diǎn)檢測(cè)，從中選出化rriS角點(diǎn)響應(yīng)值最大的化個(gè)特 征點(diǎn)，其中化rr i S角點(diǎn)的響應(yīng)函數(shù)R定義為：
[0025] R = detM-a(traceM)2，
[0026] 其中，
[0027]
[002引I為圖像像素灰度值，Ix為圖像X方向的偏導(dǎo)數(shù)Jy為圖像y方向的偏導(dǎo)數(shù)，W為加權(quán) 函數(shù)，它既可是常數(shù)，也可W是高斯加權(quán)函數(shù)。
[0029] detM為矩陣M的行列式，traceM為矩陣M的直跡，a為常數(shù)，取值范圍為0.04~0.06;
[0030] 步驟3-4,對(duì)于選取的化個(gè)角點(diǎn)，根據(jù)Intensity Centroid強(qiáng)度中屯、算法計(jì)算角點(diǎn) 白勺方向，良P得至U〇FAST(orient曰tion Features from Acceler曰ted Segment Test，有方向 的加速分割測(cè)試特征)特征；
[0031] 步驟3-5，由于BRIEF算法是無(wú)向的，將步驟3-4中計(jì)算出來(lái)的角點(diǎn)方向作為BRIEF (Binary Robust Independent Elemental^ Fea1:ures，二進(jìn)制魯棒獨(dú)立基本特征）的方向 進(jìn)行旋轉(zhuǎn)，得到有向的BRIEF,用貪婪學(xué)習(xí)算法篩選出具有高方差和高不相關(guān)的有向BRIEF, 稱之為rBRIEF(Rot曰tion-Aw曰re Binary Robust Independent Elementary Fe曰tures，有 旋轉(zhuǎn)的二進(jìn)制魯棒獨(dú)立基本特征）；
[0032] 步驟3-6,將oFAST和巧RIEF組合得到ORB特征。
[0033] 步驟4包括:使用最近鄰和次近鄰方法對(duì)任意兩幅待拼接圖像進(jìn)行特征點(diǎn)的匹配： 最近鄰匹配距離與次近鄰匹配距離的比值小于一定的闊值(經(jīng)驗(yàn)值為1.0)，即認(rèn)為特征點(diǎn) 匹配，否則為不匹配，并刪除置信度低（即低于闊值1.0)的圖像，即刪除不是同一個(gè)全景圖 中的圖像，當(dāng)找到可W拼接的兩幅圖像后，將其合并到一個(gè)拼接集合中，擴(kuò)展運(yùn)個(gè)集合得到 最大的可拼接集合，并查集是一種樹(shù)型的數(shù)據(jù)結(jié)構(gòu)，用于處理一些不相交的集合(Disjoint Sets)的合并及查詢問(wèn)題，即將屬于相同集合的元素合并起來(lái);單應(yīng)性矩陣中包含旋轉(zhuǎn)矩陣 Ro和平移列向量to,通過(guò)單應(yīng)性矩陣的限制條件估算相機(jī)內(nèi)參數(shù)矩陣。
[0034] 如果兩幅圖像所對(duì)應(yīng)的攝像機(jī)坐標(biāo)之間的變換為（Ro，to)，其中Ro=(ri，r2，r3)， (ri，r2，r3)為組成旋轉(zhuǎn)矩陣扣的；個(gè)列向量，（Ro，t〇)是世界坐標(biāo)系到攝像機(jī)坐標(biāo)系之間的 剛體變換，攝像機(jī)內(nèi)參數(shù)矩陣為K，n〇是空間平面在世界坐標(biāo)系下的法向量，符號(hào)~表示在 相差一個(gè)常數(shù)因子意義下的相等，空間平面上的點(diǎn)X2=[a，b，c]T(上標(biāo)T表示矩陣或向量轉(zhuǎn) 置巧Ij圖像平面上的點(diǎn)m(齊次坐標(biāo))之間的映射關(guān)系，即：
[0035]
，
[0036] a，b，C為點(diǎn)X2的空間坐標(biāo)，空間平面在世界坐標(biāo)系下的方程為11打：=1，則兩幅圖 像對(duì)應(yīng)點(diǎn)m O 之間的單應(yīng)性矩陣為：
[0037]
[0038] m和m'分別為兩幅圖像平面坐標(biāo)上的點(diǎn)，當(dāng)單應(yīng)性矩陣H已知時(shí)，從H得到關(guān)于攝像 機(jī)內(nèi)參數(shù)矩陣K的兩個(gè)線性約束方程，由于H=化出油3)~Kbinto),化出油3)為組成矩陣H的 S個(gè)列向量，所WlTi化ih2h3)~(rinto);又由于甘1?二化!卻=1*'2|，對(duì)攝像機(jī)內(nèi)參數(shù)矩陣財(cái)尋 到如下兩個(gè)約束：
[0039]
[0040]
[0041]
[0042]
[0043] aspect = 1.0，ppx和ppy分別賦值為圖像中屯、點(diǎn)橫坐標(biāo)值和縱坐標(biāo)值，f為焦距，
[0044] 求取焦距中值或平均值作為所有圖像的焦距初始化估值。
[0045] 步驟7包括如下步驟：
[0046] 步驟7-1，對(duì)拼接后的圖像的重疊區(qū)域進(jìn)行分塊估計(jì)平均光強(qiáng)；
[0047] 步驟7-2,用最大流方法檢測(cè)圖像重疊區(qū)域之間的縫隙；
[0048] 步驟7-3,進(jìn)行多波段融合:將待拼接圖像分解成兩個(gè)W上不同空間分辨率、不同 尺度的子圖像構(gòu)成金字塔，然后由各層金字塔分別進(jìn)行融合，最后組合得到拼接圖像。
[0049] 步驟7-4,對(duì)拼接后的地理信息進(jìn)行有條件的插值融合:如果在拼接過(guò)程中，其中 一幅圖像全部或部分區(qū)域地理信息未知，而另一幅圖像相同區(qū)域的地理信息已知，則直接 將已知的地理信息作為拼接后圖像的地理信息;如果拼接的兩幅圖像在融合點(diǎn)處的經(jīng)締度 相差小于0.0002度，則取兩幅圖像在融合點(diǎn)處的經(jīng)締度的平均值作為拼接圖像的經(jīng)締度； 如果拼接的兩幅圖像在融合點(diǎn)處的經(jīng)締度相差大于或等于0.0002度，則判定為拼接失敗。
[0050] 所述方法還包括步驟9,基于SIFT特征點(diǎn)對(duì)最終結(jié)果圖像進(jìn)行驗(yàn)證:使用拼接前的 圖像與拼接后的圖像進(jìn)行SIFT特征匹配，用RANSAC(Random Sample Consensus,隨機(jī)抽樣 一致)算法選出匹配度高的特征點(diǎn)，并比較拼接前和拼接后特征點(diǎn)地理信息的差異，即比較 SIFT匹配點(diǎn)之間拼接前與拼接后圖像的經(jīng)度差和締度差，如果其差異小于或等于0.0001， 則判定拼接的地理信息正確。
[0051] 為了解決大量拼接計(jì)算時(shí)間長(zhǎng)的問(wèn)題，本發(fā)明采用多線程機(jī)制，充分利用處理器 核屯、處理能力，對(duì)拼接圖像的不同部分同時(shí)進(jìn)行拼接，并在最終將各個(gè)處理器的處理結(jié)果 合成拼接為最終拼接結(jié)果。本發(fā)明使用ORB算法的主要原因是圖像拼接的計(jì)算量本來(lái)就很 大，如果使用計(jì)算量更大的SIFT或SURF,算法將會(huì)慢得難W想象。而且，實(shí)際系統(tǒng)中測(cè)試結(jié) 果表明ORB算法的匹配結(jié)果已經(jīng)能夠滿足需要，無(wú)需使用計(jì)算量更大的SURF或SIFT。
[0052] 本發(fā)明通過(guò)利用將地理信息矩陣作為2維矩陣插入圖像拼接處理過(guò)程中，與圖像 進(jìn)行相同的仿射變換、平移操作，從而將地理信息拼接起來(lái)，并與原始圖像一一對(duì)應(yīng)。
[0053] 有益效果:本發(fā)明利用了經(jīng)締度與圖像像素點(diǎn)一一對(duì)應(yīng)的關(guān)系，可W將地理信息 附加到圖像處理過(guò)程中，共同參與圖像處理過(guò)程，保證了在拼接過(guò)程中，地理信息數(shù)據(jù)與圖 像進(jìn)行相同的變換操作，并最終輸出帶有地理信息的拼接圖像。ORB是一種新的特征提取技 術(shù)，比SIFT效率高兩個(gè)數(shù)量級(jí)，其綜合性能也很強(qiáng)，可W有效提高特征提取速度。多頻段融 合可W提升圖像的融合效果，使圖像過(guò)渡更加自然。利用多核技術(shù)，可W有效提高基于最優(yōu) 拼接路徑的圖像拼接算法速度。使用基于SIFT特征點(diǎn)對(duì)拼接后的地理信息進(jìn)行驗(yàn)證，為地 理信息拼接結(jié)果驗(yàn)證提供了有效的方法。
[0054] 下面結(jié)合附圖對(duì)本發(fā)明作進(jìn)一步詳細(xì)描述。
【附圖說(shuō)明】
[0055] 下面結(jié)合附圖和【具體實(shí)施方式】對(duì)本發(fā)明做更進(jìn)一步的具體說(shuō)明，本發(fā)明的上述 和/或其他方面的優(yōu)點(diǎn)將會(huì)變得更加清楚。
[0056] 圖1是雙通道地理信息矩陣存儲(chǔ)結(jié)構(gòu)。
[0057] 圖2是基于ORB特征的航拍影像及地理數(shù)據(jù)多線程圖像拼接系統(tǒng)示意圖。
[005引圖3是基于ORB特征的航拍影像及地理數(shù)據(jù)圖像拼接流程圖。
[0059] 圖4是帶地理信息的圖像拼接結(jié)果。
[0060] 圖5是百幅圖像拼接結(jié)果。
【具體實(shí)施方式】
[0061] 本發(fā)明包括如下步驟：
[0062] 步驟1，計(jì)算機(jī)讀取待拼接圖像及存儲(chǔ)地理信息的文件，并將地理信息存儲(chǔ)在二維 雙精度浮點(diǎn)矩陣中，其中地理信息在本發(fā)明說(shuō)明書(shū)中僅包含經(jīng)度和締度信息，而本發(fā)明方 法支持?jǐn)U展其他地理信息，如高度等，增加其他地理信息，只需增加矩陣通道數(shù)即可，矩陣 的第一通道為矩陣中第V列（l《v《總列數(shù))除W通道數(shù)余數(shù)為0的列合并成的子矩陣，第二 通道為矩陣中第V列除W通道數(shù)余數(shù)為1的列合并成的子矩陣，第=通道為矩陣中第V列除 W通道數(shù)余數(shù)為2的列合并成的子矩陣，依此類(lèi)推；
[0063] 步驟2,一臺(tái)計(jì)算機(jī)可W安裝多個(gè)中央處理器，一個(gè)中央處理器可W封裝多個(gè)物理 核屯、，即所謂的多核屯、架構(gòu)處理器。支持Intel超線程技術(shù)的處理器，每個(gè)物理核屯、又可W 支持兩個(gè)邏輯核屯、。計(jì)算機(jī)基于計(jì)算機(jī)的處理器邏輯核屯、數(shù)計(jì)算任務(wù)分配數(shù)，對(duì)處理器進(jìn) 行任務(wù)分配，每個(gè)處理器只處理一批拼接圖像；
[0064] 步驟3,提取待拼接圖像的ORB特征，使用最近鄰和次近鄰的方法保留最優(yōu)匹配點(diǎn)；
[0065] 步驟4,根據(jù)任意兩幅待拼接圖像的匹配與運(yùn)些匹配計(jì)算出的單應(yīng)性矩陣，對(duì)拍攝 待拼接圖像的相機(jī)的參數(shù)進(jìn)行初始化估計(jì)。其中，在計(jì)算機(jī)視覺(jué)中，平面的單應(yīng)性被定義為 一個(gè)平面到另一個(gè)平面的投影映射。
[0066] 步驟5，用光束法平差提高估計(jì)精度;使用Bundle Ad justment光束法平差算法對(duì) 所有待拼接圖像進(jìn)行相機(jī)參數(shù)校正，W初始化所有待拼接圖像為相同的旋轉(zhuǎn)和焦距長(zhǎng)度。 由于多個(gè)單應(yīng)性矩陣合成全景拼接圖像時(shí)會(huì)造成累積誤差，每個(gè)圖像都要加上光束法平差 值，W初始化圖像為相同的旋轉(zhuǎn)和焦距長(zhǎng)度。W提高估計(jì)精度。光束法平差具有魯棒性，其 目標(biāo)函數(shù)是一個(gè)映射誤差的平方和函數(shù)。即每一個(gè)特征點(diǎn)都要映射到其他的圖像中，使計(jì) 算出的相機(jī)參數(shù)的誤差的平方和最小。
[0067] 步驟6,根據(jù)相機(jī)參數(shù)W及單應(yīng)性矩陣，對(duì)待拼接圖像進(jìn)行矩陣變換，完成待拼接 圖像的初始拼接;對(duì)存儲(chǔ)地理信息的二維雙精度浮點(diǎn)矩陣使用對(duì)應(yīng)待拼接圖像的單應(yīng)性矩 陣進(jìn)行矩陣變換，完成對(duì)地理信息的拼接;地理信息跟隨圖像進(jìn)行相同的單應(yīng)性矩陣變換， 保證了變換后的圖像有相同的地理信息。同時(shí)，由于經(jīng)度范圍為-180度到180度，締度范圍 為-90度到90度，在插值變換時(shí)需要注意地理信息不能超出有效范圍。
[0068] 步驟7,對(duì)拼接后的圖像進(jìn)行亮度的增量補(bǔ)償W及基于圖像金字塔的多波段融合， 對(duì)拼接后的地理信息進(jìn)行有條件的插值融合，得到拼接結(jié)果圖像；
[0069] 步驟8,對(duì)每一個(gè)處理器所有線程處理的拼接結(jié)果圖像進(jìn)行一次綜合拼接融合，合 并形成最終結(jié)果圖像；
[0070] 步驟1中所述二維雙精度浮點(diǎn)矩陣使用XML可擴(kuò)展標(biāo)記語(yǔ)言結(jié)構(gòu)存儲(chǔ)。
[0071] 步驟2中，計(jì)算機(jī)將任務(wù)分配給每個(gè)處理器，采用如下公式計(jì)算處理器每線程最多 處理的圖像數(shù)并進(jìn)行任務(wù)分配：
[0072]
[0073] 其中，n為處理器每線程最多處理的待拼接圖像數(shù)，N為待拼接圖像總數(shù)，Xi為重疊 圖像數(shù)(〇《xi《N-l)，t為線程數(shù)，因圖像拼接在每個(gè)處理線程上至少需要兩幅圖像，所WN > 2，否則將會(huì)因分配的圖像張數(shù)不足兩張而無(wú)法拼接。
[0074] 步驟3包括如下步驟：
[0075] 步驟3-1，對(duì)待拼接圖像構(gòu)建金字塔。其中，圖像金字塔是W多分辨率來(lái)解釋圖像 的一種結(jié)構(gòu)，一幅圖像的金字塔是一系列W金字塔形狀排列的分辨率逐步降低的圖像集 合。金字塔的底部是待處理圖像的高分辨率表示，而頂部是低分辨率的近似。當(dāng)向金字塔的 上層移動(dòng)時(shí)，尺寸和分辨率就降低；
[0076] 步驟3-2，用FAST(Features from Accelerated Segment Test，加速分割測(cè)試特 征）算法檢測(cè)關(guān)鍵點(diǎn)的位置，運(yùn)里的關(guān)鍵點(diǎn)指角點(diǎn)，角點(diǎn)為鄰域內(nèi)具有兩個(gè)主方向的特征 點(diǎn)';
[0077] 步驟3-3，對(duì)關(guān)鍵點(diǎn)用化rriS角點(diǎn)檢測(cè)，從中選出化rriS角點(diǎn)響應(yīng)值最大的化個(gè)特 征點(diǎn)，其中化rr i S角點(diǎn)的響應(yīng)函數(shù)R定義為：
[007引 R = detM-a(traceM)2，
[0079]其中，
[0080] ，
[0081] I為圖像像素灰度值，Ix為圖像X方向的偏導(dǎo)數(shù)Jy為圖像y方向的偏導(dǎo)數(shù)，W為加權(quán) 函數(shù)，它既可是常數(shù)，也可W是高斯加權(quán)函數(shù)。
[0082] detM為矩陣M的行列式，traceM為矩陣M的直跡，a為常數(shù)，取值范圍為0.04~0.06;
[0083] 步驟3-4,對(duì)于選取的化個(gè)角點(diǎn)，根據(jù)Intensity Centroid強(qiáng)度中屯、算法計(jì)算角點(diǎn) 白勺方向，良P得至U〇FAST(orient曰tion Features from Acceler曰ted Segment Test，有方向 的加速分割測(cè)試特征)特征；
[0084] 步驟3-5，由于BRIEF算法是無(wú)向的，將步驟3-4中計(jì)算出來(lái)的角點(diǎn)方向作為BRIEF (Binary Robust Independent Elemental^ Fea1:ures，二進(jìn)制魯棒獨(dú)立基本特征）的方向 進(jìn)行旋轉(zhuǎn)，得到有向的BRIEF,用貪婪學(xué)習(xí)算法篩選出具有高方差和高不相關(guān)的有向BRIEF, 稱之為rBRIEF(Rot曰tion-Aw曰re Binary Robust Independent Elementary Fe曰tures，有 旋轉(zhuǎn)的二進(jìn)制魯棒獨(dú)立基本特征）；
[0085] 步驟3-6，將oFAST和巧RIEF組合得到ORB特征。
[0086] 步驟4包括:使用最近鄰和次近鄰方法對(duì)任意兩幅待拼接圖像進(jìn)行特征點(diǎn)的匹配： 最近鄰匹配距離與次近鄰匹配距離的比值小于一定的闊值(經(jīng)驗(yàn)值為1.0)，即認(rèn)為特征點(diǎn) 匹配，否則為不匹配，并刪除置信度低（即低于闊值1.0)的圖像，即刪除不是同一個(gè)全景圖 中的圖像，當(dāng)找到可W拼接的兩幅圖像后，將其合并到一個(gè)拼接集合中，擴(kuò)展運(yùn)個(gè)集合得到 最大的可拼接集合，并查集是一種樹(shù)型的數(shù)據(jù)結(jié)構(gòu)，用于處理一些不相交的集合(Disjoint Sets)的合并及查詢問(wèn)題，即將屬于相同集合的元素合并起來(lái);單應(yīng)性矩陣中包含旋轉(zhuǎn)矩陣 Ro和平移列向量to,通過(guò)單應(yīng)性矩陣的限制條件估算相機(jī)內(nèi)參數(shù)矩陣。
[0087] 如果兩幅圖像所對(duì)應(yīng)的攝像機(jī)坐標(biāo)之間的變換為(Ro，to)，其中Ro = (ri，n，n)， (ri，n，n)為組成矩陣獻(xiàn)的立個(gè)列向量，（Ro, to)是世界坐標(biāo)系到攝像機(jī)坐標(biāo)系之間的剛體 變換，攝像機(jī)內(nèi)參數(shù)矩陣為K，n〇是空間平面在世界坐標(biāo)系下的法向量，符號(hào)~表示在相差 一個(gè)常數(shù)因子意義下的相等，空間平面上的點(diǎn)^2=[曰，6，(3]\(曰，13，(3為點(diǎn)的空間坐標(biāo)，上標(biāo)了 表示矩陣或向量轉(zhuǎn)置巧Ij圖像平面上的點(diǎn)m(齊次坐標(biāo))之間的映射關(guān)系，即：
[008引
[0089] 空間平面在世界坐標(biāo)系下的方程為的X; = 1，則兩幅圖像對(duì)應(yīng)點(diǎn)m O (m，m '分 別為兩幅圖像平面坐標(biāo)上的點(diǎn))之間的單應(yīng)性矩陣為：
[0090]
[0091] 當(dāng)單應(yīng)性矩陣H已知時(shí)，從H可W得到關(guān)于攝像機(jī)內(nèi)參數(shù)矩陣K的兩個(gè)線性約束方 程。由于H=化ih油3)~K(Tinto)，化ih油3)為組成矩陣H的S個(gè)列向量，所WK-i化ih2h3)~ (r in to);又由于if 1? =化i r, H ，所W對(duì)矩陣K可W得到如下2個(gè)約束：
[0092]
[0093]
[0094] 其中，
[0095]
[0096] aspect = 1.0，ppx和ppy分別賦值為圖像中屯、點(diǎn)橫坐標(biāo)值和縱坐標(biāo)值，f為焦距。
[0097] 求取焦距中值或平均值作為所有圖像的焦距初始化估值。
[0098] 步驟7包括如下步驟：
[0099] 步驟7-1，對(duì)拼接后的圖像的重疊區(qū)域進(jìn)行分塊估計(jì)平均光強(qiáng)；
[0100] 步驟7-2,用最大流方法檢測(cè)圖像重疊區(qū)域之間的縫隙；
[0101] 步驟7-3,進(jìn)行多波段融合:將待拼接圖像分解成兩個(gè)W上不同空間分辨率、不同 尺度的子圖像構(gòu)成金字塔，然后由各層金字塔分別進(jìn)行融合，最后組合得到拼接圖像。
[0102] 步驟7-4,對(duì)拼接后的地理信息進(jìn)行有條件的插值融合:如果在拼接過(guò)程中，其中 一幅圖像全部或部分區(qū)域地理信息未知，而另一幅圖像相同區(qū)域的地理信息已知，則直接 將已知的地理信息作為拼接后圖像的地理信息;如果拼接的兩幅圖像在融合點(diǎn)處的經(jīng)締度 相差小于0.0002度，則取兩幅圖像在融合點(diǎn)處的經(jīng)締度的平均值作為拼接圖像的經(jīng)締度； 如果拼接的兩幅圖像在融合點(diǎn)處的經(jīng)締度相差大于或等于0.0002度，則判定為拼接失敗。
[0103] 所述方法還包括步驟9,基于SIFT特征點(diǎn)對(duì)最終結(jié)果圖像進(jìn)行驗(yàn)證:使用拼接前的 圖像與拼接后的圖像進(jìn)行SIFT特征匹配，用RANSAC(Random Sample Consensus,隨機(jī)抽樣 一致)算法選出匹配度高的特征點(diǎn)，并比較拼接前和拼接后特征點(diǎn)地理信息的差異，即比較 SIFT匹配點(diǎn)之間拼接前與拼接后圖像的經(jīng)度差和締度差，如果其差異小于或等于0.0001， 則判定拼接的地理信息正確。
[0104] 實(shí)施例
[0105] 本實(shí)施例包含W下處理步驟：
[0106] 1、將地理信息與圖像一同讀入內(nèi)存，即可獲得待拼接的圖像和存儲(chǔ)有經(jīng)締度信息 的矩陣，并將地理信息存儲(chǔ)在2維雙精度浮點(diǎn)矩陣中。為了便于圖像處理及利用圖像處理函 數(shù)，地理信息矩陣使用XML結(jié)構(gòu)存儲(chǔ)，并xml.gz格式存儲(chǔ)為圖像同名地理信息文件。雙通 道地理信息矩陣存儲(chǔ)結(jié)構(gòu)如圖1所示，.xml. gz文件是.xml文件的壓縮格式，其xml文件結(jié)構(gòu) 如下所示：
[0107： 'b、、'-s、-
[0108] 2、為了提高算法的計(jì)算速度，可W使用所有處理器核屯、進(jìn)行拼接，系統(tǒng)自動(dòng)對(duì)拼 接的圖像進(jìn)行分批，每個(gè)處理器核屯、處理一批圖像。多線程拼接過(guò)程如圖2所示。
[0109] 每線程最多處理的圖像數(shù)計(jì)算方法為：
[0110]
[0111] 其中，n為每線程最多處理的圖像數(shù)，N為圖像總數(shù)，Xi為重疊圖像數(shù)(0《xi《N-l， 取Xi = I), t為線程數(shù)。例如，20幅圖像采用8線程處理，若對(duì)每一幅圖像按拼接順序編號(hào)為0 ~19,每個(gè)CPU線程編號(hào)為0~7,則按上述公式計(jì)算的n = 4圖像與CPU分配關(guān)系如表1所示：
[0112] 表1圖像與CPU分配關(guān)系示例 rni "1
[0114] 多線程與單線程拼接性能對(duì)比如表2所示。
[0115] 表2多線程與單線程拼接性能對(duì)比
[0116]

[0117] 3、0RB算法是基于oFAST(orientationFAST)關(guān)鍵點(diǎn)檢測(cè)和rBRIEF(Rotation- Aware BRIEF,旋轉(zhuǎn)敏感的BRIE巧特征檢測(cè)的一種新型特征提取方法。ORB的計(jì)算方法如下：
[0118] (1)對(duì)圖像構(gòu)建金字塔，對(duì)每個(gè)圖像都進(jìn)行步驟(2)(3)處理；
[0119] (2)用FAST算法檢測(cè)關(guān)鍵點(diǎn)的位置；
[0120] (3)對(duì)于關(guān)鍵點(diǎn)用化rris角點(diǎn)檢測(cè)，選取響應(yīng)值最大的化個(gè)特征點(diǎn)；
[0121] (4)對(duì)于每個(gè)角點(diǎn)，根據(jù)Intensity Centroid算法，計(jì)算角點(diǎn)的方向，即得到oFAST 特征；
[0122] (5)由于BRIEF算法是無(wú)向的，將(4)中計(jì)算出來(lái)的角點(diǎn)方向作為BRIEF的方向，進(jìn) 行旋轉(zhuǎn)，就得到了有向的BRIEF,并用貪婪學(xué)習(xí)算法篩選出具有高方差和高不相關(guān)的有向 服IEF，稱之為巧RIEF;
[0123] (6)0RB特征就是oFAST和巧RIEF的組合。
[0124] 基于ORB特征的航拍影像及地理數(shù)據(jù)圖像拼接流程圖如圖3所示。
[0125] 4、根據(jù)任意兩幅圖的匹配和單應(yīng)性矩陣，對(duì)相機(jī)參數(shù)進(jìn)行初始化估計(jì)，并求出旋 轉(zhuǎn)矩陣。使用最近鄰和次近鄰方法(最近鄰匹配距離與次近鄰匹配距離的比值小于一定的 闊值，即認(rèn)為特征點(diǎn)匹配，否則為不匹配)對(duì)任意圖像進(jìn)行特征點(diǎn)的匹配，并刪除置信度低 (即認(rèn)為不是同一個(gè)全景圖中的）圖片。當(dāng)找到可W拼接的兩幅圖片后，將其合并到一個(gè)拼 接集合中，然后擴(kuò)展運(yùn)個(gè)集合就可W得到最大的可拼接集合。并查集是一種樹(shù)型的數(shù)據(jù)結(jié) 構(gòu)，用于處理一些不相交的集合(Disjoint Sets)的合并及查詢問(wèn)題，即將屬于相同集合的 元素合并起來(lái)。單應(yīng)性矩陣中包含著相機(jī)的內(nèi)參數(shù)矩陣、旋轉(zhuǎn)向量和平移向量，通過(guò)單應(yīng)性 矩陣，兩個(gè)待拼接圖像的特征點(diǎn)的關(guān)系可W計(jì)算出來(lái)。
[0126] 5、由于多個(gè)單應(yīng)性矩陣合成全景拼接圖像時(shí)會(huì)造成累積誤差，每個(gè)圖像都要加上 光束法平差值，W初始化圖像為相同的旋轉(zhuǎn)和焦距長(zhǎng)度。使用Bundle Adjustment光束法 平差)算法對(duì)所有圖片進(jìn)行相機(jī)參數(shù)校正，W提高估計(jì)精度。光束法平差具有魯棒性，其目 標(biāo)函數(shù)是一個(gè)映射誤差的平方和函數(shù)。即每一個(gè)特征點(diǎn)都要映射到其他的圖像中，使計(jì)算 出的相機(jī)參數(shù)的誤差的平方和最小。
[0127] 6、根據(jù)相機(jī)參數(shù)W及旋轉(zhuǎn)矩陣，對(duì)圖像進(jìn)行單應(yīng)性矩陣變換，對(duì)圖像進(jìn)行初始拼 接。地理信息矩陣也使用對(duì)應(yīng)圖像的單應(yīng)性矩陣進(jìn)行變換，W對(duì)地理信息進(jìn)行拼接。地理信 息跟隨圖像進(jìn)行相同的單應(yīng)性矩陣變換，保證了變換后的圖像有相同的地理信息。同時(shí)，由 于經(jīng)度范圍為-180度到180度，締度范圍為-90度到90度，在插值變換時(shí)需要注意地理信息 不能超出有效范圍。
[0128] 7、對(duì)拼接后的圖像進(jìn)行亮度的增量補(bǔ)償W及基于圖像金字塔的多波段融合。對(duì)拼 接后的地理信息進(jìn)行有條件的插值融合。如果在拼接過(guò)程中，其中一幅圖像全部或部分區(qū) 域地理信息未知，而另一幅圖像相同區(qū)域的地理信息已知，則直接將已知的地理信息作為 拼接后圖像的地理信息；如果拼接的兩幅圖像在融合點(diǎn)處的經(jīng)締度相差不大（小于0.0002 度），則取兩者的平均值作為拼接圖像的經(jīng)締度;如果拼接的兩幅圖像在融合點(diǎn)處的經(jīng)締度 相差很大，則認(rèn)為算法拼接失敗。
[0129] (1)對(duì)重疊區(qū)域進(jìn)行分塊估計(jì)平均光強(qiáng)；
[0130] (2)用最大流方法檢測(cè)圖像重疊區(qū)域之間的縫隙；
[0131] (3)進(jìn)行多波段融合，將原圖像分解成多個(gè)不同空間分辨率、不同尺度的子圖像構(gòu) 成金字塔，然后由各層金字塔分別進(jìn)行融合，最后組合得到拼接圖像。
[0132] (4)對(duì)拼接后的地理信息進(jìn)行有條件的插值融合。
[0133] 地理信息拼接結(jié)果如圖4和表3所示，其中，msk[957] :lat = 45.3285，lon = - 68.8998表示拼接后圖像中第957個(gè)SIFT匹配點(diǎn)的締度為北締45.3285度，經(jīng)度為西經(jīng) 68.8998度。
[0134] 表3圖4所示圖像部分拼接地理信息結(jié)果驗(yàn)證比較
[0135]
[0136]
[0137] 8、對(duì)每一個(gè)處理器核屯、處理的拼接結(jié)果進(jìn)行一次綜合拼接融合，W合并形成拼接 結(jié)果圖像。百幅圖像拼接結(jié)果如圖5所示。
[0138] 9、基于SIFT特征點(diǎn)對(duì)拼接后的地理信息進(jìn)行驗(yàn)證。使用拼接前的圖像與拼接后的 圖像進(jìn)行SIFT特征匹配，用RANSAC算法選出匹配度高的特征點(diǎn)。并比較拼接前和拼接后特 征點(diǎn)地理信息的差異，如果其差異小于等于0.0001，則認(rèn)為拼接的地理信息正確。其驗(yàn)證結(jié) 果如表3所示，其中〇'邑[957]:1曰1 = 45.3285，1〇11 = -68.8998表示未拼接圖像中第957個(gè) SIFT匹配點(diǎn)的締度為北締45.3285度，經(jīng)度為西經(jīng)68.8998度，msk[957]: Iat = 45.3285，Ion = -68.8998表示拼接后圖像中第957個(gè)SIFT匹配點(diǎn)的締度為北締45.3285度，經(jīng)度為西經(jīng) 68.8998度，經(jīng)締度差值位0;而第963個(gè)點(diǎn)拼接前經(jīng)締度為北締45.3224度，西經(jīng)68.8755度， 拼接后經(jīng)締度為北締45.3224度，西經(jīng)68.8754度，其經(jīng)度差值為0 . OOOl，在有效誤差范圍 內(nèi)。
[0139] 本發(fā)明提供了一種基于ORB特征匹配的航拍影像及地理數(shù)據(jù)拼接方法，具體實(shí)現(xiàn) 該技術(shù)方案的方法和途徑很多，W上所述僅是本發(fā)明的優(yōu)選實(shí)施方式，應(yīng)當(dāng)指出，對(duì)于本技 術(shù)領(lǐng)域的普通技術(shù)人員來(lái)說(shuō)，在不脫離本發(fā)明原理的前提下，還可W做出若干改進(jìn)和潤(rùn)飾， 運(yùn)些改進(jìn)和潤(rùn)飾也應(yīng)視為本發(fā)明的保護(hù)范圍。本實(shí)施例中未明確的各組成部分均可用現(xiàn)有 技術(shù)加 W實(shí)現(xiàn)。
【主權(quán)項(xiàng)】
1. 一種基于ORB特征匹配的航拍影像及地理數(shù)據(jù)拼接方法，其特征在于，包括以下步 驟： 步驟1，計(jì)算機(jī)讀取待拼接圖像及存儲(chǔ)地理信息的文件，并將地理信息存儲(chǔ)在二維雙精 度浮點(diǎn)矩陣中，其中地理信息包含經(jīng)度和煒度信息； 步驟2，計(jì)算機(jī)基于計(jì)算機(jī)的處理器邏輯核心數(shù)計(jì)算任務(wù)分配數(shù)，對(duì)處理器進(jìn)行任務(wù)分 配； 步驟3，提取待拼接圖像的ORB特征； 步驟4,根據(jù)任意兩幅待拼接圖像的匹配與這些匹配計(jì)算出的單應(yīng)性矩陣，對(duì)拍攝待拼 接圖像的相機(jī)的參數(shù)進(jìn)行初始化估計(jì)； 步驟5,用光束法平差提高估計(jì)精度;使用Bundle Adjustment光束法平差算法對(duì)所有 待拼接圖像進(jìn)行相機(jī)參數(shù)校正，以初始化所有待拼接圖像為相同的旋轉(zhuǎn)和焦距長(zhǎng)度； 步驟6,根據(jù)相機(jī)參數(shù)以及單應(yīng)性矩陣，對(duì)待拼接圖像進(jìn)行矩陣變換，完成待拼接圖像 的初始拼接;對(duì)存儲(chǔ)地理信息的二維雙精度浮點(diǎn)矩陣使用對(duì)應(yīng)待拼接圖像的單應(yīng)性矩陣進(jìn) 行矩陣變換，完成對(duì)地理信息的拼接； 步驟7,對(duì)拼接后的圖像進(jìn)行亮度的增量補(bǔ)償以及基于圖像金字塔的多波段融合，對(duì)拼 接后的地理信息進(jìn)行有條件的插值融合，得到拼接結(jié)果圖像； 步驟8,對(duì)每一個(gè)處理器所有線程處理的拼接結(jié)果圖像進(jìn)行一次綜合拼接融合，合并形 成最終結(jié)果圖像。2. 根據(jù)權(quán)利要求1所述的方法，其特征在于，步驟1中所述二維雙精度浮點(diǎn)矩陣使用XML 結(jié)構(gòu)存儲(chǔ)。3. 根據(jù)權(quán)利要求2所述的方法，其特征在于，步驟2中，計(jì)算機(jī)將任務(wù)分配給每個(gè)處理 器，采用如下公式計(jì)算處理器每線程最多處理的待拼接圖像數(shù)并進(jìn)行任務(wù)分配：其中，η為處理器每線程最多處理的待拼接圖像數(shù)，N為待拼接圖像總數(shù)，X1為重疊圖像 數(shù)，0彡Xi彡N-I，t為線程數(shù)，N彡2。4. 根據(jù)權(quán)利要求3所述的方法，其特征在于，步驟3包括如下步驟： 步驟3-1，對(duì)待拼接圖像構(gòu)建金字塔； 步驟3-2,用FAST加速分割測(cè)試特征算法檢測(cè)關(guān)鍵點(diǎn)的位置，關(guān)鍵點(diǎn)即角點(diǎn)，角點(diǎn)為鄰 域內(nèi)具有兩個(gè)主方向的特征點(diǎn)； 步驟3-3，對(duì)關(guān)鍵點(diǎn)用Harr i s角點(diǎn)檢測(cè)，從中選出Harr i s角點(diǎn)響應(yīng)值最大的N1個(gè)特征點(diǎn)， 其中Harris角點(diǎn)的響應(yīng)函數(shù)R定義為：I為圖像像素灰度值，Ix為圖像X方向的偏導(dǎo)數(shù)，Iy為圖像y方向的偏導(dǎo)數(shù)，w為加權(quán)函數(shù)， detM為矩陣M的行列式，traceM為矩陣M的直跡，α為常數(shù)； 步驟3-4,對(duì)于選取的Ni個(gè)角點(diǎn)，根據(jù)Intensity Centroid強(qiáng)度中心算法計(jì)算角點(diǎn)的方 向，即得到oFAST特征； 步驟3-5，將步驟3-4中計(jì)算出來(lái)的角點(diǎn)方向作為BRIEF的方向進(jìn)行旋轉(zhuǎn)，得到有向的 BRIEF，用貪婪學(xué)習(xí)算法篩選出具有高方差和高不相關(guān)的有向BRIEF，稱之為rBRIEF; 步驟3-6，將oFAST和rBRIEF組合得到ORB特征。5. 根據(jù)權(quán)利要求4所述的方法，其特征在于，步驟4包括:使用最近鄰和次近鄰方法對(duì)任 意兩幅待拼接圖像進(jìn)行特征點(diǎn)的匹配:最近鄰匹配距離與次近鄰匹配距離的比值小于一定 的閾值，即認(rèn)為特征點(diǎn)匹配，否則為不匹配，并刪除置信度低的圖像，即刪除不是同一個(gè)全 景圖中的圖像，當(dāng)找到可以拼接的兩幅圖像后，將其合并到一個(gè)拼接集合中，擴(kuò)展這個(gè)集合 得到最大的可拼接集合;單應(yīng)性矩陣中包含旋轉(zhuǎn)矩陣Ro和平移列向量to，通過(guò)單應(yīng)性矩陣的 限制條件估算相機(jī)內(nèi)參數(shù)矩陣： 如果兩幅圖像所對(duì)應(yīng)的攝像機(jī)坐標(biāo)之間的變換為(Ro，to)，其中Ro = (η，Γ2，Γ3)，（r 1，Γ2， Γ3)為組成旋轉(zhuǎn)矩陣Ro的三個(gè)列向量，（Ro，to)是世界坐標(biāo)系到攝像機(jī)坐標(biāo)系之間的剛體變 換，攝像機(jī)內(nèi)參數(shù)矩陣為K，n〇是空間平面在世界坐標(biāo)系下的法向量，符號(hào)~表示在相差一 個(gè)常數(shù)因子意義下的相等，空間平面上的點(diǎn)x 2=[a，b，c]T到圖像平面上的點(diǎn)m之間的映射關(guān) 系，即：a，b，c為點(diǎn)X2的空間坐標(biāo)，空間平面在世界坐標(biāo)系下的方程為n〖x2=l，貝幌幅圖像對(duì)應(yīng) 點(diǎn)m:分職f之間的單應(yīng)性矩陣為：m和m'分別為兩幅圖像平面坐標(biāo)上的點(diǎn)，當(dāng)單應(yīng)性矩陣H已知時(shí)，從H得到關(guān)于攝像機(jī)內(nèi) 參數(shù)矩陣K的兩個(gè)線性約束方程，由于H= (Iuh2Ii3)~!((rmto)，（Iuh2Ii3)為組成矩陣H的三個(gè) 列向量，所以~(rinto);又由于ri Tr2 = 0, |ri| = |n|，對(duì)攝像機(jī)內(nèi)參數(shù)矩陣K得 到如下兩個(gè)約束： h, 7K7K lIi7 = O ：, h, K K Iil =h: K K 1H2, 其中，aspect = 1 · 0，ppx和ppy分別賦值為圖像中心點(diǎn)橫坐標(biāo)值和縱坐標(biāo)值，f為焦距， 求取焦距中值或平均值作為所有圖像的焦距初始化估值。6. 根據(jù)權(quán)利要求5所述的方法，其特征在于，步驟7包括如下步驟： 步驟7-1，對(duì)拼接后的圖像的重疊區(qū)域進(jìn)行分塊估計(jì)平均光強(qiáng)； 步驟7-2,用最大流方法檢測(cè)圖像重疊區(qū)域之間的縫隙； 步驟7-3,進(jìn)行多波段融合:將待拼接圖像分解成兩個(gè)以上不同空間分辨率、不同尺度 的子圖像構(gòu)成金字塔，然后由各層金字塔分別進(jìn)行融合，最后組合得到拼接圖像； 步驟7-4,對(duì)拼接后的地理信息進(jìn)行有條件的插值融合：如果在拼接過(guò)程中，其中一幅 圖像全部或部分區(qū)域地理信息未知，而另一幅圖像相同區(qū)域的地理信息已知，則直接將已 知的地理信息作為拼接后圖像的地理信息;如果拼接的兩幅圖像在融合點(diǎn)處的經(jīng)煒度相差 小于0.0002度，則取兩幅圖像在融合點(diǎn)處的經(jīng)煒度的平均值作為拼接圖像的經(jīng)煒度;如果 拼接的兩幅圖像在融合點(diǎn)處的經(jīng)煒度相差大于或等于〇. 0002度，則判定為拼接失敗。7.根據(jù)權(quán)利要求6所述的方法，其特征在于，包括步驟9，基于SIFT特征點(diǎn)對(duì)最終結(jié)果圖 像進(jìn)行驗(yàn)證:使用拼接前的圖像與拼接后的圖像進(jìn)行SIFT特征匹配，用RANSAC隨機(jī)抽樣一 致算法選出匹配度高的特征點(diǎn)，并比較拼接前和拼接后特征點(diǎn)地理信息的差異，即比較 SIFT匹配點(diǎn)之間拼接前與拼接后圖像的經(jīng)度差和煒度差，如果其差異小于或等于0.0001， 則判定拼接的地理信息正確。
【文檔編號(hào)】G06T3/40GK106023086SQ201610529983
【公開(kāi)日】2016年10月12日
【申請(qǐng)日】2016年7月6日
【發(fā)明人】梁中巖, 郭喬進(jìn), 許建, 程曉光, 周鵬飛, 劉婧婷, 祁駿, 胡杰, 陳文明, 孟劍萍
【申請(qǐng)人】中國(guó)電子科技集團(tuán)公司第二十八研究所