如下所述：
[0049] 在FAST特征點對中任意提取四對特征點對，采用四點法求取全局投影矩陣H， 然后將剩余的特征點對帶入公式（9)，通過全局投影矩陣H估計出的后幀圖像的特征點 匕\，7'」，如果估計出的特征點[1、7\]滿足式（1〇)，則將該特征點對設(shè)置為局內(nèi)點，即 滿足全局投影矩陣H的點對；若不滿足式（10)，則將該特征點對設(shè)置為局外點，即不滿足全 局投影矩陣H的點對。
[0050] [x'q，y'q] = H*[xp，yp] (9)
[0051] 公式（9)中，[xp, yp]、[xq, yq]分別為參考圖像及待參考圖像的特征點坐標，
[0052] [x'q, y'J-[xq, yj I =? Tran (10)
[0053] 公式（10)中，[x'q，y'q]為待參考圖像特征點的估計值，T ranS衡量待參考圖 像特征點的估計值[x'q，y'q]與待參考圖像特征點實際坐標[X q，yq]的閾值，一般設(shè)定為 [0. 1,0. 1],
[0054] 計算結(jié)束后，統(tǒng)計局內(nèi)點的特征點對數(shù)Num，并判斷是否輸出全局仿射矩陣H的最 優(yōu)模型，具體為：若Num > M，其中M為局內(nèi)點個數(shù)閾值，則結(jié)束RANSAC算法，并將當(dāng)前全局 仿射矩陣H作為最優(yōu)模型；若Num < M，且RANSAC算法的循環(huán)次數(shù)在設(shè)定閾值Nran內(nèi)，則在 局內(nèi)點中再選四對點并重復(fù)步驟四計算求得滿足公式（10)的新的全局仿射矩陣H，否則， 將當(dāng)前全局仿射矩陣H作為最優(yōu)模型。
[0055] 本發(fā)明對步驟五中漸入漸出加權(quán)平均算法做了部分改進，具體實現(xiàn)如下：
[0056] 假設(shè)Hi1 (X，y)、m2 (X，y)分別為前幀參考圖像和當(dāng)前幀待拼接圖像的像素灰度值， m(x，y)為融合后的像素灰度值，則漸入漸出加權(quán)平均算法的計算如式（11)所示：
[0058] 其中，kp k2為權(quán)值，且滿足ki+k2 = 1。為了使圖像的重疊區(qū)域更好地平滑過渡， 本發(fā)明改進了 ki、k2的取值，如公式（12)所示，
[0060] 結(jié)合公式（12)，并如圖3所示，按照重疊區(qū)域內(nèi)像素與參考圖像的像素距離及重 疊區(qū)域內(nèi)像素與待拼接圖像的像素距離關(guān)系，采用比例歸一化的方式進行像素值分配，從 而實現(xiàn)圖像重疊區(qū)域像素值的平滑過渡，從而完成圖像的無縫拼接。
【主權(quán)項】
1. 一種基于區(qū)域特征的視頻幀間拼接方法，其特征在于，包括以下步驟： 步驟一：同步控制攝像機和慣性傳感器工作，使用攝像機獲得待拼接圖像中每個像素 的深度信息，使用慣性傳感器獲得攝像機的運動參數(shù)，并計算出待拼接圖像的全局光流； 步驟二：在待拼接圖像中，使用局部光流擬合法提取符合圖像全局運動的局部特征區(qū) 域； 步驟三：在局部特征區(qū)域中，使用FAST特征提取算子提取圖像的FAST特征點； 步驟四：使用SAD算子對參考圖像和待拼接圖像中的FAST特征點進行配準，基于FAST特征點并結(jié)合RANSAC算法計算出待拼接圖像的全局運動投影變換矩陣； 步驟五：結(jié)合漸入漸出加權(quán)平均算法完成待拼接圖像與參考圖像的無縫拼接。2. 如權(quán)利要求1所述的基于區(qū)域特征的視頻幀間拼接方法，其特征在于，步驟一中， 使用慣性傳感器獲取攝像機的運動歐拉角[α，β，γ]、三軸位移[tx，ty，tj，并根據(jù) 攝像機的運動參數(shù)計算出攝像機的運動外參矩陣[R，T]，其中α為章動角、β為進動角、Y 為自轉(zhuǎn)角、tx為X方向的位移,ty為y方向的位移，tz為ζ方向的位移；R為運動外參矩陣旋 轉(zhuǎn)矩陣，T為運動外參矩陣的平移矩陣，旋轉(zhuǎn)矩陣R和平移矩陣T的計算公式如式（1)、（2) 所示：T=[tx，ty，tJ' (2) 公式（2)中，T為向量[tx，ty，tj的轉(zhuǎn)置形式， 所述待拼接圖像的全局光流的計算方法如式（3)和（4)所示：d(u,v) =1112-m! (4) 其中，通過公式（3)計算出參考圖像中的像素坐標叫在待拼接圖像中的像素坐標m2， 根據(jù)公式（4)計算出像素坐標叫的全局光流d(u，v)，其中u為像素坐標叫的水平方向的 全局光流，v為像素坐標叫的垂直方向的全局光流，Upu2分別為叫和m2的深度信息，K為 攝像機的內(nèi)參矩陣。3. 如權(quán)利要求1所述的基于區(qū)域特征的視頻幀間拼接方法，其特征在于，步驟二的實 現(xiàn)過程為： 步驟2. 1 :將待拼接圖像分割成大小為wXw的多個塊區(qū)域，w是塊區(qū)域內(nèi)像素的個數(shù)； 在每個塊區(qū)域內(nèi)，結(jié)合四點法使用全局光流d(u，v)估算出每個塊區(qū)域內(nèi)的局部仿射變換 關(guān)系，局部仿射變換關(guān)系如公式（5)所示：公式（5)中，（X，y)為參考圖像的像素坐標；參數(shù)31、32，、34、3 5和36分別作為為矩陣 的參數(shù)因子構(gòu)成塊區(qū)域的局部投影變換矩陣Hbkldi，如公式（6)所示，步驟2. 2 :將塊區(qū)域內(nèi)所有計算得出的全局光流d(u，v)分別代入局部投影變換矩陣HblcKk中，計算獲得估計全局光流值d'（u'，ν'），如公式（7)所示，步驟2. 3 :根據(jù)估計全局光流值d'（u'，ν'）和全局光流值d(u，v)計算出擬合誤差〇， 如公式⑶所示，步驟2. 4:當(dāng)塊區(qū)域的擬合誤差〇值小于預(yù)先設(shè)定的閾值δ時，提取出該塊區(qū)域；否 貝1J，舍棄該塊區(qū)域；最后將所有提取出的塊區(qū)域作為圖像拼接的局部特征區(qū)域。4. 如權(quán)利要求1所述的基于區(qū)域特征的視頻幀間拼接方法，其特征在于，步驟三的實 現(xiàn)過程為： 選取每隔D個像素點的像素點為中心像素，在局部特征區(qū)域內(nèi)進行掃描，以掃描像素 為中心像素，選擇其周圍十六個像素點為待比較的像素點，其中行與列方向上的半徑設(shè)置 為兩個像素，對角線方向的半徑設(shè)置為一個像素，計算中心像素與其周圍十六個像素點的 像素灰度差值，若差值為正的數(shù)量或差值為負的數(shù)量，有其中之一大于預(yù)先設(shè)定的閾值Τ， 則將該中心像素作為FAST特征點。5. 如權(quán)利要求4所述的基于區(qū)域特征的視頻幀間拼接方法，其特征在于， 先計算中心像素與行方向和列方向上四個頂點像素的灰度差值，若這四個灰度差值 中差值為正的數(shù)量或者差值為負的數(shù)量有其中之一小于閾值3的，則判斷該中心像素不是 FAST特征點，不再進行中心像素與周圍剩余的十二個像素點的灰度差值的計算和比較；若 這四個灰度差值中差值為正或者差值為負的數(shù)量其中之一大于或等于閾值3的，則繼續(xù)進 行中心像素與周圍剩余的十二個像素點灰度差值的計算。6. 如權(quán)利要求1所述的基于區(qū)域特征的視頻幀間拼接方法，其特征在于，驟四的具體 實現(xiàn)如下： 步驟4. 1 :使用SAD算子完成參考圖像及待參考圖像中FAST特征點的配準，圖像配準 的判斷依據(jù)采用歐式距離的計算方法； 步驟4. 2 :基于FAST特征點對并結(jié)合RANSAC算法完成圖像全局投影矩陣Η的求取，其 中RANSAC算法過程如下所述： 在FAST特征點對中任意提取四對特征點對，采用四點法求取全局投影矩陣Η，然后 將剩余的特征點對帶入公式（9)，通過全局投影矩陣Η估計出待拼接圖像的特征點估計值 匕\，7'」，如果估計出的特征點匕\，7\]滿足式（1〇)，則將該特征點對設(shè)置為局內(nèi)點 ；若 不滿足式（10)，則將該特征點對設(shè)置為局外點， [X，q，y'q] =H*[XP，yp] (9) 公式（9)中，[xp，yp]、[xq，yq]分別為參考圖像及待參考圖像的特征點坐標， [x'q，y'q]-[xq，yq]l=^Tran(?ο) 公式（10)中，[X'q，y'q]為待參考圖像特征點的估計值，T_為衡量待參考圖像特征點 的估計值[X'q，y'q]與待參考圖像特征點實際坐標[Xq，yq]的閾值，一般設(shè)定為[〇. 1，0. 1]， 計算結(jié)束后，統(tǒng)計局內(nèi)點的特征點對數(shù)Num，若Num>M，其中Μ為局內(nèi)點個數(shù)閾值，則 結(jié)束RANSAC算法，并將當(dāng)前全局仿射矩陣Η作為最優(yōu)模型輸出；若Num<Μ，且進一步判斷 RANSAC算法的循環(huán)次數(shù)是否在預(yù)先設(shè)定的閾值N_內(nèi)，若RANSAC算法的循環(huán)次數(shù)在預(yù)先設(shè) 定的閾值Nran內(nèi)，則在局內(nèi)點中再選四對點并重復(fù)步驟四求得新的全局仿射矩陣Η;否則， 將當(dāng)前全局仿射矩陣Η作為最優(yōu)模型輸出。7.如權(quán)利要求1所述的基于區(qū)域特征的視頻幀間拼接方法，其特征在于，步驟五中漸 入漸出加權(quán)平均算法的計算如式（11)所示：其中，分別為前幀參考圖像和當(dāng)前幀待拼接圖像的像素灰度值，m(x,y)為融合后的像素灰度值，h、k2為權(quán)值，且滿足h+k；； = 1,h、k2的取值如公式（12) 所示，
【專利摘要】本發(fā)明提出一種基于區(qū)域特征的視頻幀間拼接方法。使用攝像機和慣性傳感器及獲取目標場景圖像的三維信息及攝像機的運動參數(shù)，從而估計出圖像的全局光流；使用全局光流的局部擬合提取出符合圖像全局運動的局部特征區(qū)域；在局部特征區(qū)域內(nèi)，基于改進的FAST特征提取算子精確地估計出圖像的全局運動變換矩陣，并結(jié)合圖像融合技術(shù)完成幀間拼接。本發(fā)明在保證精度的前提下，降低了計算量，提高了算法的實時性，同時降低了環(huán)境變化對圖像拼接的影響。
【IPC分類】G06T3/40
【公開號】CN105303518
【申請?zhí)枴緾N201410261394
【發(fā)明人】顧國華, 韓魯, 劉恒建, 余明, 孫愛娟, 任侃, 錢惟賢
【申請人】南京理工大學(xué)
【公開日】2016年2月3日
【申請日】2014年6月12日