無人機序列影像快速無縫拼接系統(tǒng)的制作方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及一整套無人機影像拼接處理流程，主要分為影像分塊、圖像匹配、拼接縫消除三個部分。
[0002]本發(fā)明提出一種新的誤匹配剔除方法:在進行GPU-SIFT匹配之后會產(chǎn)生一些錯誤匹配點，從無人機遙感平臺和自身序列影像特點著手，提出了一種基于“向量一致性”的誤匹配剔除方法。
[0003]本發(fā)明還提出一種能快速的將拼接縫處錯位現(xiàn)象自適應(yīng)地分配給整個重疊區(qū)以達到視覺平滑過渡、無錯位、無鬼影效果的拼接縫消除方法。
【背景技術(shù)】
[0004]作為一種新的遙感平臺，無人機具有機動靈活、低成本、高分辨率、高時效、操作及維護簡單等特點，在建筑物密集地區(qū)、危險作業(yè)區(qū)、地形復(fù)雜的丘陵及多云霧地區(qū)相對于常規(guī)的航空攝影測量方法具有更強的適應(yīng)性。其應(yīng)用范圍也在持續(xù)拓寬，在國防、環(huán)保、救災(zāi)等方面，發(fā)揮著越來越重要的作用。但受自身遙感平臺與其所搭載的非量測型傳感器的限制，所獲取影像數(shù)據(jù)有如下特點:
[0005]1)單張影像覆蓋面積小，影像數(shù)量多；
[0006]2)幾何畸變較大；
[0007]3)航向重疊度與旁向重疊度都很高。
[0008]目前無人機遙感影像的處理可分為兩大類:一類是對無人機序列影像進行圖像匹配后再融合、最后進行幾何糾正處理，這是較為廣泛的無人機影像處理方式，如天富勤公司提出的無人機影像處理方案。另一類是按照傳統(tǒng)攝影測量影像拼接流程進行處理，這種方式對姿態(tài)參數(shù)的精度以及影像質(zhì)量要求都比較高，處理結(jié)果精度受機身搭載設(shè)備影響較大，如王聰華等人提出的算法和開發(fā)的軟件系統(tǒng)。這些都無法滿足無人機影像快速拼接的需求，例如在突發(fā)自然災(zāi)害突發(fā)急需應(yīng)急決策制定的情況下。由于傳統(tǒng)的航空攝影處理流程受原始數(shù)據(jù)和效率限制并不適用于無人機影像的處理，因此，選用圖像配準(zhǔn)后再融合的方法是無人機影像快速無縫拼接首選方案。而在無人機影像快速無縫拼接過程中，選取一種合適的圖像匹配算法是完成圖像配準(zhǔn)的關(guān)鍵。
[0009]圖像匹配是指同一目標(biāo)的兩幅圖像在空間位置上的對準(zhǔn)。圖像匹配技術(shù)在近幾十年來一直是人們研究的熱點，圖像匹配技術(shù)應(yīng)用十分廣泛，如遙感影像立體觀測、計算機視覺、運動分析、以及醫(yī)學(xué)等領(lǐng)域。它可分為人機交互的半自動匹配和完全由計算機獨立完成的全自動匹配。全自動匹配可劃分為基于特征和基于灰度的兩種方式。
[0010]基于灰度的圖像匹配雖然匹配的精度比較高，但這種方式通常對灰度變化、圖像幾何變形及防射變形敏感，加之其計算復(fù)雜度高、耗時長。因此，一般較少被應(yīng)用到實際工程當(dāng)中。基于特征的圖像匹配方法通常能夠克服上述缺點。這種方式以匹配計算量少，匹配簡單以及受旋轉(zhuǎn)、平移、尺度變化影響較小和幾乎不受光照條件影響等優(yōu)點，在圖像匹配領(lǐng)域得到了廣泛的應(yīng)用。
[0011]本文米用的SIFT (Scale Invariant Feature Transformat1n)是 I999 年由 DavidLowe提出的，并在04年完善的一種基于尺度空間的局部特征描述算法。Mikolajczyk針對暴光強度、幾何變形、運動模糊、壓縮等情況，對十一種典型特征描述算法進行效果對比，結(jié)果顯示SIFT算法性能最優(yōu)。因此，綜合考慮無人機影像特點，選用了對光照變化、圖像旋轉(zhuǎn)、縮放、仿射變形等情況都有較好抗性的SIFT算法。
[0012]無人機遙感影像具有數(shù)量多、幾何畸變大、曝光不均勻等特點，這些問題導(dǎo)致無人機影像在拼接過程中會產(chǎn)生明顯的拼接縫效應(yīng)，拼接縫現(xiàn)象得不到有效的控制會導(dǎo)致連續(xù)拼接后產(chǎn)生明顯的拼接錯位、融合‘鬼影’現(xiàn)象。拼接縫消除算法是為了滿足圖像拼接的視覺要求，即拼接結(jié)果整體亮度、色調(diào)相一致，紋理清晰，便于目視判讀。目前，在計算機視覺和攝影測量領(lǐng)域拼接縫消除的研究成果可分為兩大類:一類是搜索拼接線，在航空攝影測量與遙感領(lǐng)域主要通過該方式消除拼接縫。另一類是圖像融合，在計算機視覺領(lǐng)域主要是通過該方法消除拼接縫。
[0013]結(jié)合無人機影像數(shù)量多、幾何畸變大、曝光不均勻等特點，上述算法應(yīng)用在無人機影像的快速無縫拼接過程中要么運算量比較大，不能滿足快速拼接的要求；要么受到幾何畸變大、連續(xù)拼接產(chǎn)生累加誤差的限制，缺乏一定實用性和靈活性。另外，上述算法在大量無人機影像連續(xù)拼接過程中，都會產(chǎn)生圖像融合“鬼影”，這將直接影響拼接全景圖的目視效果。因此，結(jié)合無人機影像自身特點，提出一種快速的拼接縫消除算法是保證無人機遙感平臺能夠發(fā)揮機動靈活優(yōu)勢的關(guān)鍵。

【發(fā)明內(nèi)容】

[0014]本系統(tǒng)在無人機影像快速無縫拼接理論研究基礎(chǔ)上，設(shè)計并開發(fā)了一套無人機影像快速拼接系統(tǒng)。該軟件在window7環(huán)境下，以0penCV2.0、GSL1.8、ArcEnginel0.0開發(fā)包作為支撐，使用Visual Stud12010開發(fā)完成。該軟件主要功能介紹如下:
[0015]1.測區(qū)影像智能分塊:計算出沿飛行方向與垂直飛行方向的距離的比值，把該比值作為第一層分塊數(shù)，然后把每一塊按四叉樹分塊規(guī)則進行細分。
[0016]2.測區(qū)影像應(yīng)急拼接:測區(qū)應(yīng)急拼接是利用已有的GPS數(shù)據(jù)的經(jīng)瑋度以及航向角來完成的，該功能模塊可在無人機完成航攝任務(wù)后迅速生成整個飛行區(qū)域的拼接影像，突發(fā)性自然災(zāi)害后，該功能為及時響應(yīng)應(yīng)急決策有積極輔助作用。
[0017]3.影像快速無縫分布式拼接:根據(jù)用戶選擇的影像進行拼接。通過智能分塊，將整個任務(wù)區(qū)分成若干個子塊，用戶可通過該功能對分好塊的影像進行手動選擇來完成影像拼接，以便于可以對分塊后的影像進行多計算機分任務(wù)并行處理，這也是一種有效的解決數(shù)據(jù)量大耗時長問題的方式。
[0018]4.整個測區(qū)影像快速無縫一鍵式拼接:〃 一鍵式拼接〃和〃分布式拼接〃所采用的核心拼接函數(shù)是一致的，然而〃 一鍵式〃不需要人工干預(yù)即可將整個試驗區(qū)拼接成一幅影像，但是這樣做等待時間較長。
【附圖說明】
[0019]圖1不同拼接縫消除算法對比結(jié)果圖
[0020]圖2系統(tǒng)對多條行帶多張無人機影像拼接結(jié)果
[0021]圖3系統(tǒng)主界面截圖
【具體實施方式】
[0022]本系統(tǒng)的操作如下:將GPS輔助數(shù)據(jù)導(dǎo)入無人機飛行質(zhì)量評價與快速拼接系統(tǒng)。系統(tǒng)根據(jù)影像編號對GPS點按航帶分組。影像快速拼接包括測區(qū)影像應(yīng)急拼接、分布式拼接、一鍵式拼接，測區(qū)應(yīng)急拼接是利用已有的GPS數(shù)據(jù)的經(jīng)瑋度以及航向角來完成的，該功能模塊可在無人機完成航攝任務(wù)后迅速的生成整個飛行區(qū)域的拼接影像，突發(fā)性自然災(zāi)害后，該功能為及時響應(yīng)應(yīng)急決策有積極輔助作用。拼接影像的局部效果依賴于GPS的精度。"分布式拼接"是通過手動選擇影像，根據(jù)用戶選擇的影像進行拼接。通過智能分塊，將整個任務(wù)區(qū)分成若干個子塊，用戶可通過該功能對分塊后的影像進行手動選擇來完成影像拼接，這樣做的好處是可以多任務(wù)多臺計算機共同工作，對解決拼接速度以及大數(shù)量問題都是很有幫助的?！?一鍵式拼接〃和〃分布式拼接〃所采用的核心拼接函數(shù)是一致的，只不過〃 一鍵式〃不需要人工干預(yù)即可將整個任務(wù)區(qū)拼接成一幅影像，但是這樣做等待時間較長。
[0023]以上所述，僅為發(fā)明的【具體實施方式】，但本發(fā)明的保護范圍并不局限于此，任何熟悉本技術(shù)領(lǐng)域的技術(shù)人員在本發(fā)明揭露的技術(shù)范圍之內(nèi)，可輕易想到的變化或替換，都應(yīng)涵蓋在本發(fā)明的保護范圍之內(nèi)，因此，本發(fā)明的保護范圍應(yīng)該以權(quán)利要求所界定的保護范圍為準(zhǔn)。
【主權(quán)項】
1.無人機序列影像快速無縫拼接系統(tǒng)主要包括影像快速拼接包括智能分塊、測區(qū)應(yīng)急拼接、影像分布式拼接、一鍵式拼接四部分功能: S1，影像重疊度與拼接誤差之間有著密切的關(guān)系，唐琎等對最佳重疊比例進行了詳細的論述。由兩種拼接誤差模型所計算出的最佳重疊度分別為0.25和0.35，結(jié)合無人機影像的特點，可以將0.25?0.35確定為最佳重疊度范圍。因此有時按照最佳重疊度要求，可能將影像做“抽稀”處理，即對同一條航帶上的影像隔一張取一張。對于相同測區(qū)面積來說，拼接的影像數(shù)量將減少一半，這樣既提高的拼接效率又會對拼接效果有所改善。根據(jù)前面的分析可知，選取的影像應(yīng)該分布在兩個相鄰航帶。如果將分塊的影像看成一個控制網(wǎng)，從網(wǎng)形結(jié)構(gòu)和穩(wěn)定性考慮，正方形的網(wǎng)形結(jié)構(gòu)要比長方形的網(wǎng)形結(jié)構(gòu)更優(yōu)。因此在確定分塊時，應(yīng)該首選正方形的分塊方法。 S2，測區(qū)應(yīng)急拼接是利用已有的GPS數(shù)據(jù)的經(jīng)瑋度以及航向角來完成的，該功能模塊可在無人機完成航攝任務(wù)后迅速生成整個飛行區(qū)域的拼接影像，突發(fā)性自然災(zāi)害后，該功能為及時響應(yīng)應(yīng)急決策有積極輔助作用。拼接影像的局部效果依賴于GPS的精度。 S3，"分布式拼接"是通過手動選擇影像，根據(jù)用戶選擇的影像進行拼接的。通過智能分塊，將整個任務(wù)區(qū)分成若干個子塊，用戶可通過該功能對分塊后的影像進行手動選擇來完成影像拼接，這樣做的好處是可以多任務(wù)多臺計算機共同工作，對解決拼接速度以及大數(shù)量問題都是很有幫助的。 S4，〃 一鍵式拼接〃和〃分布式拼接〃所采用的核心拼接函數(shù)是一致的，只不過〃 一鍵式"不需要人工干預(yù)即可將整個任務(wù)區(qū)拼接成一幅影像，但是這樣做等待時間較長。2.根據(jù)權(quán)利要求1所述的無人機序列影像快速無縫拼接智能分塊部分，其特征在于，所述采用了正方形最優(yōu)的分塊規(guī)則進行測區(qū)影像分塊，這種方式可以提高匹配的效率和精度。3.根據(jù)權(quán)利要求1所述的無人機序列影像快速無縫拼接測區(qū)應(yīng)急拼接部分，其特征在于，該功能模塊可在無人機完成航攝任務(wù)后迅速生成整個飛行區(qū)域的拼接影像，突發(fā)性自然災(zāi)害后，該功能為及時響應(yīng)應(yīng)急決策有積極輔助作用。4.根據(jù)權(quán)利要求1所述的無人機序列影像快速無縫拼接影像分布式拼接部分，其特征在于，用戶可通過該功能對分塊后的影像進行手動選擇來完成影像拼接，這樣做的好處是可以多任務(wù)多臺計算機共同工作，對解決拼接速度以及大數(shù)量問題都是很有幫助的。5.根據(jù)權(quán)利要求1所述的無人機序列影像快速無縫拼接一鍵式拼接部分，其特征在于，對上述3種功能進行了集成，減少了人為的干預(yù)。
【專利摘要】本發(fā)明名稱為無人機序列影像快速無縫拼接系統(tǒng)，是針對無人機影像處理周期長的問題提出的，為抗震救災(zāi)等突發(fā)自然災(zāi)害提供應(yīng)急數(shù)據(jù)源。提出了一種在無其它控制點情況下，僅利用無人機序列影像和自身記錄GPS信息對任務(wù)區(qū)影像進行快速無縫拼接的方法。首先，根據(jù)GPS坐標(biāo)信息對任務(wù)區(qū)影像進行分塊以減少拼接誤差的累加。然后，使用SIFT(Scale？Invariant？Feature？Transform)算法進行圖像匹配，剔除誤匹配點后獲取同名點。最后，提出“冪距離比值拉伸”拼接縫消除算法，該方法具有較小時間開銷。以四川漢旺震后無人機影像為例，完成整個任務(wù)區(qū)678張影像拼接僅需花費3小時，拼接結(jié)果視覺效果良好，可滿足在自然災(zāi)害突發(fā)情況下及時獲取實時高分辨影像的迫切需求，輔助災(zāi)后應(yīng)急措施的制定。
【IPC分類】G06T3/40
【公開號】CN105389777
【申請?zhí)枴緾N201510697762
【發(fā)明人】田金炎, 段福洲, 歐陽 , 李小娟, 周丙鋒, 王樂, 時晨
【申請人】首都師范大學(xué), 田金炎, 段福洲, 歐陽 , 李小娟, 周丙鋒
【公開日】2016年3月9日
【申請日】2015年10月23日