本發(fā)明屬于無人機(jī)遙感圖像自動(dòng)化處理領(lǐng)域，具體涉及一種基于投影-相似變換的無人機(jī)遙感圖像拼接方法。

背景技術(shù)：

無人機(jī)遙感作為遙感的發(fā)展趨勢(shì)之一，在數(shù)據(jù)獲取過程中具有很強(qiáng)的時(shí)效性、針對(duì)性和高靈活性等優(yōu)點(diǎn)，是獲取遙感數(shù)據(jù)的重要途徑，在應(yīng)急響應(yīng)方面有著廣泛的應(yīng)用，可用于森林火災(zāi)的監(jiān)測(cè)，地震等自然災(zāi)害的應(yīng)急響應(yīng)。由于成像范圍限制，單幅無人機(jī)圖像往往無法覆蓋整個(gè)受災(zāi)區(qū)域，需對(duì)無人機(jī)遙感圖像進(jìn)行拼接以獲得大范圍的觀測(cè)。

由于無人機(jī)平臺(tái)的穩(wěn)定性問題，使得相鄰圖像之間重疊度變化大，旋轉(zhuǎn)角變化大，使得傳統(tǒng)拼接方法對(duì)于無人機(jī)遙感圖像的拼接不適用。在無人機(jī)圖像拼接中需要考慮以下幾點(diǎn)：第一，圖像的傾斜角過大、航向重疊度小、灰度不一致等使得圖像匹配難度大、精度低，給后續(xù)處理造成不利影響；第二，圖像成像范圍小、數(shù)量多，造成工作量大、效率低，需要研究高效的、自動(dòng)化程度高的處理方法。圖像拼接廣泛的應(yīng)用于攝影測(cè)量與遙感領(lǐng)域，因此對(duì)于遙感圖像拼接技術(shù)的研究有很多，但是針對(duì)無人機(jī)遙感圖像的拼接仍然存在許多技術(shù)難題。

圖像拼接是通過組合一系列圖像獲得一幅大的具有更廣的視場(chǎng)圖像。廣泛使用的投影變換方法進(jìn)行兩幅圖像拼接是以其中一幅圖像作為基準(zhǔn)圖像，將兩幅圖像的重疊區(qū)域?qū)R，但這種變換會(huì)使得非重疊區(qū)域在大小和形狀方面產(chǎn)生嚴(yán)重的失真。Hartley等指出采用投影變換能改變觀測(cè)視點(diǎn)，使得變換后圖像為基準(zhǔn)視場(chǎng)的擴(kuò)展，因此獲得拼接圖像是單視點(diǎn)圖像會(huì)使得拼接后圖像產(chǎn)生較大的形狀和大小失真。

具有更寬廣視場(chǎng)的單視點(diǎn)圖像不可避免的產(chǎn)生形狀和大小失真，因此好的圖像拼接方案應(yīng)產(chǎn)生多視點(diǎn)的拼接圖像。基本思想是對(duì)圖像的重疊區(qū)域采用投影變換來獲得好的幾何對(duì)齊而在圖像的非重疊區(qū)域使用相似變換。相似變換由平移、均勻縮放和旋轉(zhuǎn)組成，因此相似變換不會(huì)產(chǎn)生形狀失真和非均勻縮放，使得視線方向不發(fā)發(fā)生改變因此能保持圖像視點(diǎn)。

在圖像拼接方面目前已有一些具有代表性的技術(shù)。R.Marzotto等提出了一種自動(dòng)構(gòu)建全景拼接圖像的方法，該方法利用仿射變換進(jìn)行全局配準(zhǔn)生成全景圖。大量的投影模型被提出且目標(biāo)是使得投影產(chǎn)生的失真最小化，如Brown等在AutoStitch程序中采用的就是球面投影，Zelnik-Manor等使用多個(gè)平面投影來替換柱面投影來執(zhí)行投影變換。Carroll等提出內(nèi)容保存的投影變換來減少拼接后的廣角圖像的失真。 重要文獻(xiàn)包括：Marzotto R.，F(xiàn)usiello A.，Murino V.High resolution video mosaicing with global alignment[C].Proceedings of the 2004IEEE Computer Society Conference on Computer Vision and Pattern Recognition，2004；M.Brown and D.G.Lowe.Automatic panoramic image stitching using invariant features[J].International Journal of Computer Vision，74(1)：59-73，2007等。

圖像拼接技術(shù)經(jīng)常利用參數(shù)化變換來進(jìn)行全局或局部圖像對(duì)齊。Gao提出雙單應(yīng)變換來處理含兩個(gè)主要平面的場(chǎng)景，該變換函數(shù)定義為兩個(gè)空間變化權(quán)重的投影變換的線性組合，但這種變換基于投影變換，形成的圖像產(chǎn)生投影失真。Lin等提出平滑變化的仿射變換，這種仿射變換為全局仿射而允許局部變形，其重要文獻(xiàn)包括：J.Gao，S.J.Kim，and M.S.Brown.Constructing image panoramas using dual-homography warping[C].In Proceedings of IEEE CVPR 2011，pages 49-56，2011等。但這些方法不適應(yīng)于無人機(jī)遙感圖像，沒有考慮到遙感平臺(tái)的不穩(wěn)定性造成的圖像視場(chǎng)不一致問題，不適合無人機(jī)遙感圖像拼接。本發(fā)明提供一種基于投影-相似變換的無人機(jī)遙感圖像拼接方法。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明所要解決的技術(shù)問題在于針對(duì)無人機(jī)遙感圖像成像范圍小，視差角度大的問題，提供一種基于一種改進(jìn)的投影-相似變換進(jìn)行無人機(jī)遙感圖像拼接方法。該方法首先根據(jù)兩幅圖像之間的重疊區(qū)域估計(jì)兩幅圖像之間的投影變換。獲得圖像投影變換后，對(duì)投影變換通過新的外推策略來確定非重疊區(qū)域的相似變換來保持圖像的視場(chǎng)。提出的變換函數(shù)使得拼接圖像有高的匹配精度并能保持圖像的視場(chǎng)來減少圖像失真。

本發(fā)明的思路為：通過對(duì)傳統(tǒng)的投影變換進(jìn)行坐標(biāo)變換后，并分析其性質(zhì)的基礎(chǔ)上，提出了對(duì)原始的投影變換的改進(jìn)。將重疊區(qū)域的投影變換，通過外推策略逐漸過渡到非重疊區(qū)域的相似變換，使得重疊區(qū)域有良好的幾何配準(zhǔn)精度，同時(shí)非重疊區(qū)域的圖像通過相似變換來保持圖像的視場(chǎng)來減少圖像失真。

本發(fā)明的技術(shù)方案提供了一種基于改進(jìn)的投影-相似變換進(jìn)行無人機(jī)遙感圖像拼接方法，其特征在于以下的實(shí)施步驟：

1)對(duì)圖像序列提取尺度不變特征-SIFT特征；

2)利用獲得的SIFT特征進(jìn)行圖像特征匹配，在特征匹配過程中采用RANSAC算法剔除誤匹配點(diǎn)對(duì)；

3)圖像間相互對(duì)應(yīng)的特征點(diǎn)完成匹配之后，確定對(duì)應(yīng)的幾何變換模型，即投影變換H；

4)對(duì)投影變換進(jìn)行坐標(biāo)系變換，通過旋轉(zhuǎn)變換到使原來的(x，y)坐標(biāo)系變換到新的(u，v)坐標(biāo)系；

5)對(duì)新的坐標(biāo)系下投影變換性質(zhì)分析，并用兩條線U1和U2將空間進(jìn)行劃分分為R_H，R_T和R_S三個(gè)子空間；

6)對(duì)參數(shù)U1和U2進(jìn)行求解，并確定最終的投影-相似變換w；

7)利用變換函數(shù)w對(duì)圖像執(zhí)行變換，進(jìn)行幾何拼接；

8)利用線性加權(quán)進(jìn)行圖像融合，獲得最終的拼接圖像。

上述實(shí)施步驟的特征在于：獲得圖像序列的投影變換后，在對(duì)投影變換分析的基礎(chǔ)上，將重疊區(qū)域的投影變換逐漸變換到非重疊區(qū)域的相似變換，產(chǎn)生新的投影-相似變換。投影-相似變換既能保證重疊區(qū)域的匹配精度，同時(shí)也能保證非重疊區(qū)域的視場(chǎng)一致來減少圖像失真。

針對(duì)無人機(jī)遙感圖像成像范圍小，視差角度大的特點(diǎn)，本發(fā)明提供一種新的變換即投影-相似變換進(jìn)行無人機(jī)遙感圖像拼接。首先根據(jù)兩幅圖像之間的重疊區(qū)域估計(jì)兩幅圖像之間的投影變換。獲得圖像投影變換后，對(duì)投影變換通過新的外推策略來確定非重疊區(qū)域的相似變換來保持圖像的視場(chǎng)。提出的變換函數(shù)使得拼接圖像有高的匹配精度并能保持圖像的視場(chǎng)來減少圖像失真。

附圖說明

圖1基于投影-相似變換的無人機(jī)遙感圖像拼接流程圖

圖2投影變換和提出的變換的比較結(jié)果圖

其中圖2(A)是原始圖像，圖2(B)是投影變換，圖2(C)是提出的變換；

圖3不同變換的拼接結(jié)果圖

其中圖3(A)是投影變換進(jìn)行拼接結(jié)果圖，圖3(B)AutoStitch拼接結(jié)果圖，圖3(C)提出的變換拼接結(jié)果圖；

圖4對(duì)重疊區(qū)域小且存在視場(chǎng)不一致圖像的拼接結(jié)果圖

圖4(A)和圖3(B)中的重疊區(qū)域?yàn)榧t色標(biāo)記部分，圖4(B)和圖4(C)中的重疊區(qū)域?yàn)辄S色標(biāo)記部分，圖4(A)中成像過程為相機(jī)位于圖像的左上角成像，圖4(B)相機(jī)位于圖像的左下角成像，圖4(C)為理想正視成像情況，圖4(D)提出的變換對(duì)這三幅圖像進(jìn)行拼接結(jié)果圖；

圖5對(duì)圖像序列拼接結(jié)果圖

圖5(A)原圖，圖5(B)提出變換進(jìn)行圖像序列拼接結(jié)果圖

具體實(shí)施方式

下面結(jié)合附圖對(duì)本發(fā)明的具體實(shí)施方式描述如下：

圖像序列提取特征點(diǎn)和特征描述符-SIFT特征，并將提取到的特征點(diǎn)對(duì)應(yīng)起來進(jìn)行特征匹配。

圖像匹配中的誤匹配點(diǎn)會(huì)嚴(yán)重影響幾何變換參數(shù)的精度，在進(jìn)行投影變換求解前，需將誤匹配點(diǎn)對(duì)剔除，采用RANSAC算法剔除誤匹配點(diǎn)對(duì)。

對(duì)剔除誤匹配點(diǎn)對(duì)后的正確匹配點(diǎn)對(duì)求解投影變換矩陣

對(duì)投影變換矩陣進(jìn)行分析

投影函數(shù)定義為在齊次坐標(biāo)下的線性變換

則(x，y)到(x′，y′)的映射為：

將原始坐標(biāo)系(x，y)變換到新坐標(biāo)系(u，v)：

坐標(biāo)系變換后，新的投影變換矩陣H為新坐標(biāo)系下點(diǎn)(u，v)到(x′，y′)的映射

其中：

則坐標(biāo)系變換后，新的坐標(biāo)映射關(guān)系表示為

映射H為u和v的函數(shù)，即[x′，y′]^T＝H(u，v)＝[H_x(u，v)，H_y(u，v)]^T。坐標(biāo)變換的主要優(yōu)點(diǎn)是新的投影變換映射中，分母項(xiàng)僅有一個(gè)坐標(biāo)u，便于分析。

坐標(biāo)變換后的變換矩陣的性質(zhì)：

(1)縮放變化。對(duì)投影變換H能分解為一個(gè)仿射變換矩陣和一個(gè)純投影變換。(u，v)的局部區(qū)域變化通過映射H在點(diǎn)(u，v)的雅可比行列式J(u，v)來度量：

其中s_A是一個(gè)和u，v不相關(guān)常數(shù)。局部區(qū)域變化的縮放因子僅僅依賴參數(shù)u，特別是，當(dāng)坐標(biāo)u變大，H的局部面積變大，導(dǎo)致大的區(qū)域變形失真。圖2(b)給出了一個(gè)投影失真例子，其中區(qū)域失真沿u坐標(biāo)正方向上變得更大。

(2)H的線性關(guān)系。通過坐標(biāo)系變換后，從公式5中看出，如果u＝u₀是一個(gè)固定常量，則H_x(u₀，v)和H_y(u₀，v)為v的線性函數(shù)，有

(3)直紋曲面。直紋曲面參數(shù)形式描述為s(u，v)＝p(u)+v·r(u)，H_x(u，v)和H_y(u，v)能寫為f(u)v+g(u)的形式，它們的圖形為直紋曲面。

對(duì)獲得的投影變換矩陣充分利用坐標(biāo)變換后的屬性構(gòu)造新的投影-相似變換。使得新的變換在圖像的重疊區(qū)域?yàn)橥队白儞Q，在非重疊區(qū)域?yàn)橄嗨谱儞Q。使得在重疊區(qū)域有高的匹配精度，在非重疊區(qū)域的圖像通過相似變換來保持圖像的視場(chǎng)來減少圖像失真。

構(gòu)建新的投影-相似變換

首先對(duì)原始的投影變換矩陣進(jìn)行坐標(biāo)變換，使原始坐標(biāo)系(x，y)變換到新坐標(biāo)系(u，v)。并用一條線u＝u₁將平面空間R²劃分為兩個(gè)半空間：R_H＝{(u，v)|u≤u₁}和R_L＝{(u，v)|u＞u₁}。

對(duì)(u，v)∈R_H的點(diǎn)，u值小，采用原始變換H進(jìn)行投影變換。對(duì)(u，v)∈R_L，因?yàn)镠在R_L上會(huì)產(chǎn)生大的形變失真，采用相似變換S來替代H。

提出的投影-相似變換函數(shù)w必須是連續(xù)的，否則，沿著R_H和R_L的邊界u＝u₁將會(huì)產(chǎn)生明顯的裂縫。為了構(gòu)造連續(xù)的變換函數(shù)，需要使得在分割線u＝u₁上所有的點(diǎn)(u，v)滿足S(u₁，v)＝H(u₁，v)。H(u₁，v)為v的線性函數(shù)，則相似變換S唯一確定為：

獲得的投影-相似變換函數(shù)是連續(xù)的(C⁰連續(xù))。但在線u＝u₁處會(huì)存在彎曲。要使得拼接后的圖像是平滑變化的，要求變換的變換函數(shù)是C¹連續(xù)的。

對(duì)變換函數(shù)w優(yōu)化，使其是連續(xù)可微的(C¹)函數(shù)使得信息是平緩變化的。通過引入緩沖區(qū)，在該區(qū)域內(nèi)使得重疊區(qū)域的投影變換平滑過渡到相似變換使得變換函數(shù)w是連續(xù)可微的(C¹連續(xù)的)。

將R_L進(jìn)一步劃分為過渡區(qū)域R_T＝{(u，v)|u₁＜u＜u₂}和相似變換區(qū)域R_S＝{(u，v)|u₂＜u}。變換函數(shù)為：

其中，u₁和u₂為變換函數(shù)中的參數(shù)，T(u，v)為從投影變換H(u，v)逐漸變換到相似變換S(u，v)的函數(shù)。

H(u，v)和S(u，v)都能表示為f(u)v+g(u)的形式，為了保證獲得的變換函數(shù)w是連續(xù)可微的(C¹)函數(shù)，則T(u，v)形式為：

變換函數(shù)w。H(u，v)和S(u，v)形式確定后，為了使得變換函數(shù)w是連續(xù)可微的(C¹)函數(shù)，則變換函數(shù)w形式為：

其中

確定參數(shù)u₁和u₂。提出的變換函數(shù)的目的是在對(duì)齊圖像的同時(shí)盡可能保持每幅圖像的視點(diǎn)，所以希望在拼接過程中每幅圖像盡可能進(jìn)行相似變換。

給每個(gè)待拼接圖像I_i分配一個(gè)代價(jià)函數(shù)E_i用來度量變換函數(shù)w_i和最接近的相似變換的差異的Frobenius范數(shù)。

圖像對(duì)進(jìn)行拼接時(shí)，總代價(jià)函數(shù)為E(u₁，u₂)＝E₁(u₁，u₂)+E₂(u₁，u₂)，為參數(shù)為u₁和u₂的非線性函數(shù)。

參數(shù)u₁和u₂的求解。通過對(duì)(u₁，u₂)的參數(shù)空間進(jìn)行正則采樣對(duì)總的代價(jià)函數(shù)進(jìn)行最優(yōu)化處理，估計(jì)每個(gè)采樣點(diǎn)的代價(jià)并選取具有最小代價(jià)的點(diǎn)(u₁，u₂)為最優(yōu)參數(shù)。

利用變換函數(shù)w對(duì)圖像執(zhí)行變換。對(duì)第n幅圖像I_n由獲得的變換函數(shù)w進(jìn)行變換，圖像I_i由 進(jìn)行變換，獲得幾何上拼接結(jié)果。

采用線性加權(quán)進(jìn)行圖像融合獲得最終的圖像拼接結(jié)果

圖3給出了利用投影變換，AutoStitch和提出的投影-相似變換對(duì)兩幅大小為6000*4000無人機(jī)遙感圖像進(jìn)行拼接的結(jié)果。結(jié)果顯示提出的投影-相似變換在減少投影失真同時(shí)能保持每幅圖像的視點(diǎn)

圖4是對(duì)重疊區(qū)域小且存在視場(chǎng)不一致圖像的拼接結(jié)果。無人機(jī)遙感圖像相鄰的圖像會(huì)存在重疊度低，且由于平臺(tái)的不穩(wěn)定會(huì)產(chǎn)生視場(chǎng)不一致。圖中三幅待拼接圖像的重疊區(qū)域較少和視場(chǎng)不一致。圖4(a)和圖4(b)中的重疊區(qū)域?yàn)榧t色標(biāo)記部分，圖4(b)和圖4(c)中的重疊區(qū)域?yàn)辄S色標(biāo)記部分。圖4(a)為相機(jī)位于圖像的左上角成像，而圖4(b)相機(jī)位于圖像的左下角成像，圖4(c)為理想正視成像情況。

圖5為提出的變換對(duì)圖像序列進(jìn)行拼接結(jié)果。從實(shí)驗(yàn)結(jié)果中可以看出提出的投影-相似變換能有效對(duì)無人機(jī)遙感圖像中待拼接圖像重疊區(qū)域小，且存在視場(chǎng)不一致情況進(jìn)行拼接，具有高匹配精度和良好的視場(chǎng)一致特征。從實(shí)驗(yàn)結(jié)果看出，使用提出的方法拼接后的圖像有較好的對(duì)齊精度且拼接后圖像視場(chǎng)一致，使得拼接后的圖像更符合真實(shí)場(chǎng)景。