一種基于區(qū)域特征的視頻幀間拼接方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明屬于圖像處理技術(shù)領(lǐng)域，具體涉及一種基于區(qū)域特征的視頻幀間拼接方 法。
【背景技術(shù)】
[0002] 隨著無人機在軍事偵察、抗災(zāi)救災(zāi)及遙感遙測等領(lǐng)域的廣泛應(yīng)用，航拍視頻的圖 像拼接技術(shù)引起了國內(nèi)外學(xué)者專家的重視。使用圖像拼接技術(shù)將無人機獲取的視頻序列拼 接成一幅覆蓋全范圍的全景圖，有利于目標的準確定位、檢測與跟蹤。圖像拼接的核心與重 點是圖像配準，圖像配準的精度及算法量直接影響圖像拼接的精度及實時性。在航拍視頻 中，圖像的全局運動通常是指由于飛行器和機載攝像機引起的圖像背景的運動，而運動的 目標通常較小，因此圖像的全局運動占主導(dǎo)地位。
[0003] 現(xiàn)有的航拍視頻的拼接方法主要分為直接法和特征法兩類。其中直接法比較有代 表意義的是attiato在對圖像局部塊運動估計的基礎(chǔ)上通過最小二乘法實現(xiàn)對圖像的全 局運動估計進而實現(xiàn)圖像配準，該方法取得了很好的效果，然而該方法在圖像局部差異較 小的情況下容易失效，且受環(huán)境的影響較大。相比之下，特征法的應(yīng)用較為廣泛，比如brown 和Iowe采用SIFT實現(xiàn)了對不同圖像的配準并將其應(yīng)用于離線狀態(tài)下的圖像拼接，該方法 精度較高，但算法耗時長、實時性差；Steedly在視頻拼接中采用MOPMulti-scale Oriented Patches來實現(xiàn)視頻幀間配準計算效率，但其實時性還是無法滿足無人機航拍視頻快速拼 接的要求。

【發(fā)明內(nèi)容】

[0004] 本發(fā)明提出一種基于區(qū)域特征的視頻幀間拼接方法，在保證精度的前提下，降低 了計算量，提高了算法的實時性，同時降低環(huán)境變化對圖像拼接的影響。
[0005] 為了解決上述技術(shù)問題，本發(fā)明提供一種基于區(qū)域特征的視頻幀間拼接方法，包 括以下步驟：
[0006] 步驟一：同步控制攝像機和慣性傳感器工作，使用攝像機獲得待拼接圖像中每個 像素的深度信息，使用慣性傳感器獲得攝像機的運動參數(shù)，并計算出待拼接圖像的全局光 流；
[0007] 步驟二：在待拼接圖像中，使用局部光流擬合法提取符合圖像全局運動的局部特 征區(qū)域；
[0008] 步驟三：在局部特征區(qū)域中，使用FAST特征提取算子提取圖像的FAST特征點；
[0009] 步驟四：使用SAD算子對參考圖像和待拼接圖像中的FAST特征點進行配準，基于 FAST特征點并結(jié)合RANSAC算法計算出待拼接圖像的全局運動投影變換矩陣；
[0010] 步驟五：結(jié)合漸入漸出加權(quán)平均算法完成待拼接圖像與參考圖像的無縫拼接。
[0011] 本發(fā)明與現(xiàn)有技術(shù)相比，其顯著優(yōu)點在于：（1)實際應(yīng)用中，由于航拍場景較為復(fù) 雜，區(qū)域運動估計的不確定性及運動目標的干擾降低了全局運動的估計精度，本發(fā)明提出 了基于區(qū)域特征的圖像全局運動估計的快速配準算法，提高了精度；（2)本發(fā)明基于慣性 傳感器和Kinect攝像機組成的硬件平臺完成圖像全局光流的計算，不僅降低了本發(fā)明的 計算量，提高了實時性，還排除了環(huán)境對于光流計算的影響，具有較高的環(huán)境魯棒性；(3) 本發(fā)明通過在整幅圖像中提取局部特征區(qū)域進行圖像配準方式來大幅度地降低了圖像拼 接的計算量和計算時間；(4)本發(fā)明采用改進的FAST提取算子代替經(jīng)典的SIFT算子進行 特征計算，再次降低算法的計算復(fù)雜度。
【附圖說明】
[0012] 圖1為本發(fā)明基于區(qū)域特征的視頻幀間拼接方法流程圖；
[0013] 圖2為本發(fā)明使用的FAST特征提取算子示意圖；
[0014] 圖3為本發(fā)明使用的漸入漸出算法示意圖。
【具體實施方式】
[0015] 如圖1所示，本發(fā)明基于區(qū)域特征的視頻幀間拼接方法，實現(xiàn)步驟如下所述：
[0016] 步驟一：同步控制攝像機和慣性傳感器工作，使用攝像機獲得待拼接圖像中每個 像素的深度信息，使用慣性傳感器獲得攝像機的運動參數(shù)，并計算出待拼接圖像的全局光 流；
[0017] 步驟二：在待拼接圖像中，使用局部光流擬合法提取符合圖像全局運動的局部特 征區(qū)域；
[0018] 步驟三：在局部特征區(qū)域中，使用FAST特征提取算子提取圖像的FAST特征點；
[0019] 步驟四：使用SAD算子對參考圖像和待拼接圖像中的FAST特征點進行配準，基于 FAST特征點并結(jié)合RANSAC算法計算出待拼接圖像的全局運動投影變換矩陣；
[0020] 步驟五：結(jié)合漸入漸出加權(quán)平均算法完成待拼接圖像與參考圖像的無縫拼接。
[0021] 上述步驟一的具體實現(xiàn)如下：
[0022] 步驟I. 1 :同步控制慣性傳感器及Kinect攝像機的工作，攝像機可以采用Kinect 攝像機，Kinect攝像機同時包括深度圖像獲取C⑶和彩色圖像獲取(XD，可以同時獲取彩色 圖像和深度圖像；慣性傳感器中包括陀螺儀和加速度計。
[0023] 使用慣性傳感器獲取攝像機的運動歐拉角[α，β，Y]、三軸位移[tx，t y，tj，并 根據(jù)攝像機的運動參數(shù)計算出攝像機的運動外參矩陣[R，T]，其中α為章動角、β為進動 角、Y為自轉(zhuǎn)角、t x為X方向的位移，ty為y方向的位移，tz為ζ方向的位移；R為運動外 參矩陣旋轉(zhuǎn)矩陣，T為運動外參矩陣的平移矩陣，旋轉(zhuǎn)矩陣R和平移矩陣T的計算公式如式 (1)、（2)所示：
[0026] 公式⑵中，T為向量[tx，ty，tz]的轉(zhuǎn)置形式，
[0027] 使用攝像機獲取待拼接圖像中每個像素的深度信息U，
[0028] 步驟1. 2 :使用光流公式計算出待拼接圖像的全局光流d(u，V)，其中光流公式如 式（3)、⑷所示：
[0031] 其中，通過公式（3)計算出參考圖像中的像素坐標叫在待拼接圖像中的像素坐標 m2，根據(jù)公式（4)計算出像素坐標Hi1的全局光流d(u，V)，其中u為像素坐標Hi 1的水平方向 的全局光流，V為像素坐標IH1的垂直方向的全局光流，Up U2分別為Iii1和m2的深度信息，K 為攝像機的內(nèi)參矩陣。
[0032] 步驟一更為詳細的實現(xiàn)過程可以參見申請?zhí)枮?01410027349. 4、名稱為基于慣性 傳感器和Kinect攝像機的圖像配準方法的專利申請。
[0033] 上述步驟二的具體實現(xiàn)如下：
[0034] 步驟2. 1 :將待拼接圖像分割成大小為wXw的多個塊區(qū)域，w是塊區(qū)域內(nèi)像素的個 數(shù)；在每個塊區(qū)域內(nèi)，結(jié)合四點法使用全局光流d(u，v)估算出每個塊區(qū)域內(nèi)的局部仿射變 換關(guān)系，局部仿射變換關(guān)系如公式（5)所示：
[0036] 公式（5)中，（X，y)為參考圖像的像素坐標；參數(shù)和a6分別作為為 矩陣的參數(shù)因子構(gòu)成塊區(qū)域的局部投影變換矩陣Hbkldi,如公式（6)所示，
[0038] 步驟2. 2 :將塊區(qū)域內(nèi)所有計算得出的全局光流d(u，V)分別代入局部投影變換矩 陣Hbkldi中，計算獲得估計全局光流值d'（u'，ν'），如公式（7)所示，
[0040] 步驟2. 3 :根據(jù)估計全局光流值d'（u'，ν'）和全局光流值d(u, V)計算出擬合誤差 σ，如公式⑶所示，
[0042] 步驟2. 4:當(dāng)塊區(qū)域的擬合誤差〇值小于預(yù)先設(shè)定的閾值δ時，提取出該塊區(qū) 域；否則，舍棄該塊區(qū)域；最后將所有提取出的塊區(qū)域作為圖像拼接的局部特征區(qū)域。
[0043] 本發(fā)明對步驟三中的FAST特征提取算子做出了改進，具體實現(xiàn)如下：
[0044] 在局部特征區(qū)域中，為了獲取分布相對均勻的FAST特征點，本發(fā)明以D為步長在 局部特征區(qū)域內(nèi)進行掃描，即在行與列方向上，選取每隔D個像素點的像素點為中心像素， 進行FAST特征點的判斷和提取。FAST特征點的判斷與提取方式如圖2所示，以掃描像素 為中心像素，選擇其周圍16個像素點為待比較的像素點，其中行與列方向上的半徑設(shè)置為 兩個像素，對角線方向的半徑設(shè)置為1個像素，計算中心像素與周圍16個點的像素灰度差 值，在這16個點的像素灰度差值中，若差值為正的數(shù)量大于預(yù)先設(shè)定的閾值T (通常取值為 12)，或者差值為負的數(shù)量大于預(yù)先設(shè)定的閾值T，則認為該中心像素為FAST特征點。
[0045] 為了排除邊緣點的影響并進一步降低運算量，本發(fā)明首先計算中心像素與圖2中 點1、點9、點5、點13的灰度差值,即首先計算中心像素與行方向與列方向上四個頂點像素 的灰度差值，若這四個灰度差值中差值為正的數(shù)量小于3,或者差值為負的數(shù)量小于3,則 判斷該中心像素不是FAST特征點，無需進行中心像素與其他像素點的灰度差值的計算；若 這四個灰度差值中差值為正的數(shù)量大于或等于3,或者差值為負的數(shù)量大于或等于3,則繼 續(xù)進行中心像素與其它12個像素點灰度差值的計算，并與設(shè)定閾值T進行對比，以此確認 該點是否為FAST特征點。
[0046] 上述步驟四的具體實現(xiàn)如下：
[0047] 步驟4. 1 :使用SAD算子完成前后兩幀圖像中FAST特征點的配準，圖像配準的判 斷依據(jù)采用歐式距離的計算方法；
[0048] 步驟4. 2 :基于FAST特征點對并結(jié)合RANSAC算法完成圖像全局投影矩陣H的求 取，其中RANSAC算法過程