一種具有大范圍旋轉(zhuǎn)及平移運(yùn)動估計(jì)的實(shí)時(shí)電子穩(wěn)像方法
【專利摘要】一種具有大范圍旋轉(zhuǎn)及平移運(yùn)動估計(jì)的實(shí)時(shí)電子穩(wěn)像方法，它涉及具有大范圍旋轉(zhuǎn)及平移運(yùn)動估計(jì)的實(shí)時(shí)電子穩(wěn)像方法。本發(fā)明是為解決現(xiàn)有基于灰度信息的實(shí)時(shí)電子穩(wěn)像方法無法對圖像的大范圍旋轉(zhuǎn)運(yùn)動進(jìn)行準(zhǔn)確估計(jì)，塊匹配搜索算法無法準(zhǔn)確對大范圍的圖像幀間旋轉(zhuǎn)及平移運(yùn)動進(jìn)行估計(jì)，對灰度色調(diào)單一的抖動視頻只采用塊匹配穩(wěn)像一種方法穩(wěn)像效果不佳，魯棒性弱的問題。穩(wěn)像方法采用圖像位平面金字塔中間層進(jìn)行塊匹配解算幀間旋轉(zhuǎn)運(yùn)動角度，采用圖像位平面金字塔自適應(yīng)取塊匹配，配合基于圖像位平面金字塔的投影法進(jìn)行相鄰幀間平移運(yùn)動估計(jì)，采用改進(jìn)的六邊形搜索算法進(jìn)行搜索。本發(fā)明用于需進(jìn)行大范圍旋轉(zhuǎn)及平移運(yùn)動估計(jì)的實(shí)時(shí)電子穩(wěn)像場合。
【專利說明】—種具有大范圍旋轉(zhuǎn)及平移運(yùn)動估計(jì)的實(shí)時(shí)電子穩(wěn)像方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及具有大范圍旋轉(zhuǎn)及平移運(yùn)動估計(jì)的實(shí)時(shí)電子穩(wěn)像方法，屬于數(shù)字圖像處理技術(shù)。
【背景技術(shù)】
[0002]安裝在不穩(wěn)定載體上的成像設(shè)備，載體的晃動會導(dǎo)致拍攝的視頻圖像出現(xiàn)抖動，嚴(yán)重影響觀賞者的觀看體驗(yàn)，在諸如機(jī)器人視覺、成像制導(dǎo)等場合，視頻圖像抖動會直接影響視頻信息的后續(xù)處理。因此，抑制圖像抖動，獲得穩(wěn)定的視頻圖像是高質(zhì)量視頻最基本的要求。
[0003]常用的視頻圖像抖動抑制方法有:光學(xué)穩(wěn)像、機(jī)械穩(wěn)像和電子穩(wěn)像。前兩種方法是基于傳感器件對攝像機(jī)運(yùn)動的測量，直接對鏡頭或CCD傳感器進(jìn)行運(yùn)動補(bǔ)償以抵消一部分載體抖動。而電子穩(wěn)像是基于數(shù)字圖像處理技術(shù)的一種視頻穩(wěn)定方案，較前兩種方法，采用軟件算法代替了運(yùn)動測量元件和運(yùn)動補(bǔ)償裝置，因此在成本、穩(wěn)定性、體積方面均有明顯優(yōu)勢。同時(shí)，移動處理芯片處理能力的大幅度提高也加速了電子穩(wěn)像方法的應(yīng)用。
[0004]電子穩(wěn)像技術(shù)的主要結(jié)構(gòu)流程包括圖像運(yùn)動估計(jì)、運(yùn)動濾波和圖像抖動補(bǔ)償。在上述結(jié)構(gòu)框架下，近些年來，許多研究者又提出了 一些電子穩(wěn)像新理論，或者從某些方面對現(xiàn)有穩(wěn)像算法進(jìn)行了改進(jìn)。但總體而言，電子穩(wěn)像方法按照圖像運(yùn)動估計(jì)方法的不同分為基于圖像特征的電子穩(wěn)像方法、基于光流信息的電子穩(wěn)像方法和基于灰度信息的電子穩(wěn)像方法。
[0005]基于圖像特征或基于光流信息的電子穩(wěn)像方法在進(jìn)行運(yùn)動估計(jì)時(shí)，需對圖像的特征進(jìn)行提取或者對灰度像素的運(yùn)動進(jìn)行微分求解，而基于灰度信息的電子穩(wěn)像方法僅涉及到灰度信息的相關(guān)性計(jì)算。相比于前述兩種電子穩(wěn)像技術(shù)，基于灰度信息的電子穩(wěn)像技術(shù)在算法的時(shí)間復(fù)雜度和空間復(fù)雜度上有明顯優(yōu)勢，更有利于實(shí)時(shí)穩(wěn)像場合下的應(yīng)用。
[0006]塊匹配電子穩(wěn)像是一種常用的基于灰度信息的電子穩(wěn)像方法，其主要原理是在待進(jìn)行運(yùn)動估計(jì)的圖像上選擇一定數(shù)量的灰度宏塊，并通過一定的搜索策略在參考幀圖像上找出最佳匹配位置，進(jìn)而確定出待估計(jì)圖像相對于參考幀圖像的運(yùn)動參數(shù)。上述過程中，灰度宏塊的大小和數(shù)目是塊匹配穩(wěn)像速度的決定因素。為了減小上述因素的限制，一些學(xué)者又提出了一種基于圖像位平面(Bit面)的運(yùn)動估計(jì)方法，即利用圖像在數(shù)字存儲器中二進(jìn)制存儲的特點(diǎn)，構(gòu)建圖像位平面再進(jìn)行塊匹配。該基于圖像位平面的運(yùn)動估計(jì)過程由于僅涉及二值運(yùn)算，算法的執(zhí)行效率進(jìn)一步得到了提高，而算法時(shí)間復(fù)雜度主要決定于最佳塊匹配位置的搜索策略，常用的搜索策略為菱形搜索法。近些年又有學(xué)者提出一種六邊形搜索算法，并且相同條件下六邊形搜索算法具有更高的搜索效率，搜索時(shí)間是菱形搜索法的一半。
[0007]基于塊匹配的穩(wěn)像方法在運(yùn)動估計(jì)過程中，無論采用上述何種搜索算法，常見的問題是搜索范圍的局限性。具體體現(xiàn)為當(dāng)圖像幀間的運(yùn)動量過大時(shí)，搜索過程常陷入局部最優(yōu)，無法準(zhǔn)確進(jìn)行運(yùn)動估計(jì)，所以限制了穩(wěn)像算法的運(yùn)動估計(jì)范圍。上述問題主要是由于匹配塊在離最佳匹配中心位置較遠(yuǎn)時(shí)相關(guān)程度低所導(dǎo)致的，即當(dāng)圖像幀間存在較大的運(yùn)動時(shí)，待估計(jì)圖像上的某一匹配塊的取塊位置也就是搜索的起始位置距離最佳匹配中心較遠(yuǎn)，這樣在搜索過程中就容易進(jìn)入局部最優(yōu)匹配區(qū)域。對于位平面上的塊進(jìn)行最佳匹配位置搜索時(shí)，由于位平面本身包含圖像信息量少，所以更容易出現(xiàn)上述問題。例如實(shí)驗(yàn)表明，采用大小為40X40的匹配塊在位平面上進(jìn)行六邊形搜索，有效的搜索半徑僅為5像素，所以當(dāng)幀間存在大于5像素的抖動量時(shí)，這種方法就不在勝任。
[0008]采用塊匹配進(jìn)行圖像運(yùn)動估計(jì)，如何在所有塊運(yùn)動結(jié)果中剔除錯誤估計(jì)值決定了最終圖像運(yùn)動估計(jì)結(jié)果的準(zhǔn)確性。出現(xiàn)錯誤塊運(yùn)動估計(jì)結(jié)果的主要原因是匹配塊自身的位置選擇不當(dāng)，即這些取塊位置常落在前景運(yùn)動物體上或落于圖像灰度色調(diào)單一區(qū)域，導(dǎo)致對應(yīng)塊運(yùn)動估計(jì)錯誤。為了解決上述問題，本專利申請者曾在論文《大運(yùn)動前景和旋轉(zhuǎn)抖動視頻快速數(shù)字穩(wěn)定》中提出了一種基于圖像位平面金字塔的自適應(yīng)取塊穩(wěn)像方案，即首先在圖像位平面金字塔頂層確定一種最佳的匹配塊位置選擇模式，利用此模式確定頂層位平面的運(yùn)動，然后逐層傳遞以估計(jì)圖像的最終運(yùn)動參數(shù)。其中，在頂層確定最佳取塊模式時(shí)，首先采用預(yù)設(shè)的取塊模式I進(jìn)行取塊并進(jìn)行塊匹配，統(tǒng)計(jì)塊匹配結(jié)果的一致性，若一致性指標(biāo)超過某一閾值，則將此模式作為頂層最佳取塊模式。否則換用預(yù)設(shè)取塊模式2進(jìn)行運(yùn)動估計(jì)，同樣對塊運(yùn)動結(jié)果進(jìn)行統(tǒng)計(jì)分析。上述方法在一定程度上可以保證取塊的合理性，能夠避免圖像某一區(qū)域中的大運(yùn)動前景和單一色調(diào)塊對于最終運(yùn)動結(jié)果的不利影響。但是當(dāng)單一色調(diào)灰度信息占視頻圖像大部分面積時(shí)，無論怎樣進(jìn)行取塊，最終的塊運(yùn)動估計(jì)結(jié)果都無法滿足良好的一致性，所以上述方案無法進(jìn)行解決。
[0009]諸如上述基于塊匹配的圖像運(yùn)動估計(jì)方法，其基本前提是假設(shè)塊內(nèi)像素運(yùn)動的一致性，所以現(xiàn)有塊匹配方法只能針對圖像的平移運(yùn)動進(jìn)行估計(jì)，而沒有給出確定的圖像大范圍旋轉(zhuǎn)運(yùn)動的估計(jì)方法。對于其它基于圖像灰度信息的運(yùn)動估計(jì)方法，如論文《A Circular-Projection Based Digital Image Stabilization Algorithm and ItsImplementation for Rotating Image Sequences》給出了一種采用圓周投影進(jìn)行巾貞間旋轉(zhuǎn)運(yùn)動估計(jì)的新方法，即首先將圖像進(jìn)行極坐標(biāo)轉(zhuǎn)換，使圖像的旋轉(zhuǎn)運(yùn)動轉(zhuǎn)換為極坐標(biāo)系下的平移運(yùn)動。在此基礎(chǔ)之上，將圖像像素向極角軸上進(jìn)行投影，采用投影相關(guān)匹配估計(jì)出圖像的旋轉(zhuǎn)角度。但是實(shí)際上，圖像幀間的運(yùn)動不僅包含旋轉(zhuǎn)運(yùn)動，同時(shí)還包括平移運(yùn)動以及微小的放縮和切變。因此在進(jìn)行圓周投影之后，投影曲線會發(fā)生畸變，不再是簡單的平移關(guān)系，相關(guān)性變差，甚至出現(xiàn)不相關(guān)的情況。這樣采用上述方法進(jìn)行旋轉(zhuǎn)運(yùn)動估計(jì)，可能會產(chǎn)生錯誤的估計(jì)結(jié)果。
[0010]綜上所述，對于現(xiàn)有基于灰度信息的實(shí)時(shí)電子穩(wěn)像方法，主要存在以下問題:一、現(xiàn)有灰度處理算法無法對圖像的大范圍旋轉(zhuǎn)運(yùn)動進(jìn)行準(zhǔn)確估計(jì)；二、現(xiàn)有塊匹配搜索算法無法適用于圖像幀間存在大范圍旋轉(zhuǎn)或平移運(yùn)動的情形；三、對灰度色調(diào)單一的抖動視頻，只采用塊匹配穩(wěn)像一種方法，會使穩(wěn)像效果不佳，魯棒性弱。

【發(fā)明內(nèi)容】

[0011]本發(fā)明是為解決現(xiàn)有基于灰度信息的實(shí)時(shí)電子穩(wěn)像方法無法對圖像的大范圍旋轉(zhuǎn)運(yùn)動進(jìn)行準(zhǔn)確估計(jì)，塊匹配搜索算法無法準(zhǔn)確對大范圍的圖像幀間旋轉(zhuǎn)及平移運(yùn)動進(jìn)行估計(jì)，對灰度色調(diào)單一的抖動視頻只采用塊匹配穩(wěn)像一種方法穩(wěn)像效果不佳，魯棒性弱的問題，而提出一種具有大范圍旋轉(zhuǎn)及平移運(yùn)動估計(jì)的實(shí)時(shí)電子穩(wěn)像方法。
[0012]一種具有大范圍旋轉(zhuǎn)及平移運(yùn)動估計(jì)的實(shí)時(shí)電子穩(wěn)像方法按以下步驟實(shí)現(xiàn):
[0013]步驟一、運(yùn)動估計(jì)和運(yùn)動濾波參數(shù)初始化；
[0014]步驟二、將實(shí)時(shí)獲取的待處理視頻圖像存入輸入視頻幀緩沖區(qū)，更新輸入視頻幀緩沖區(qū)中的視頻圖像；
[0015]步驟三、將步驟二中存入輸入視頻幀緩沖區(qū)中的待處理視頻的當(dāng)前幀圖像和與當(dāng)前幀相鄰的前一幀圖像取出；
[0016]步驟四、將步驟三中獲得的當(dāng)前幀圖像和與當(dāng)前幀相鄰的前一幀圖像，采用圖像位平面金字塔中間層進(jìn)行塊匹配，并利用塊匹配結(jié)果解算出當(dāng)前幀圖像和與當(dāng)前幀相鄰的前一幀圖像的幀間旋轉(zhuǎn)運(yùn)動角度，將得到的幀間旋轉(zhuǎn)運(yùn)動角度進(jìn)行累加求取當(dāng)前幀圖像相對于視頻首幀圖像的絕對旋轉(zhuǎn)運(yùn)動角度，即:
[0017]
【權(quán)利要求】
1.一種具有大范圍旋轉(zhuǎn)及平移運(yùn)動估計(jì)的實(shí)時(shí)電子穩(wěn)像方法，其特征在于:所述方法按以下步驟實(shí)現(xiàn): 步驟一、運(yùn)動估計(jì)和運(yùn)動濾波參數(shù)初始化； 步驟二、將實(shí)時(shí)獲取的待處理視頻圖像存入輸入視頻幀緩沖區(qū)，更新輸入視頻幀緩沖區(qū)中的視頻圖像； 步驟三、將步驟二中存入輸入視頻幀緩沖區(qū)中的待處理視頻的當(dāng)前幀圖像和與當(dāng)前幀相鄰的前一幀圖像取出； 步驟四、將步驟三中獲得的當(dāng)前幀圖像和與當(dāng)前幀相鄰的前一幀圖像，采用圖像位平面金字塔中間層進(jìn)行塊匹配，并利用塊匹配結(jié)果解算出當(dāng)前幀圖像和與當(dāng)前幀相鄰的前一幀圖像的幀間旋轉(zhuǎn)運(yùn)動角度，將得到的幀間旋轉(zhuǎn)運(yùn)動角度進(jìn)行累加求取當(dāng)前幀圖像相對于視頻首幀圖像的絕對旋轉(zhuǎn)運(yùn)動角度，即:
2.根據(jù)權(quán)利要求1所述的一種具有大范圍旋轉(zhuǎn)及平移運(yùn)動估計(jì)的實(shí)時(shí)電子穩(wěn)像方法，其特征在于:在步驟四中所述的采用圖像位平面金字塔中間層進(jìn)行塊匹配，并利用塊匹配結(jié)果解算出當(dāng)前幀圖像和與當(dāng)前幀相鄰的前一幀圖像的幀間旋轉(zhuǎn)運(yùn)動角度具體方法如下: 步驟四一、分別取當(dāng)前幀和與當(dāng)前幀相鄰的前一幀圖像的位平面金字塔中間層，其中，當(dāng)前幀和與當(dāng)前幀相鄰的前一幀位平面金字塔中間層取對應(yīng)圖像灰度金字塔中間層的第7位平面； 步驟四二、對步驟四一中得到的當(dāng)前幀圖像位平面金字塔中間層，在平面中心位置對稱選擇mXm個(gè)匹配塊，塊的大小為NXN像素，其中N的具體數(shù)值根據(jù)圖像分辨率確定；步驟四三、對步驟四三中得到的m2個(gè)匹配塊，采用改進(jìn)的六邊形搜索法將每一匹配塊在與當(dāng)前幀相鄰的前一幀圖像位平面金字塔中間層上進(jìn)行匹配，得到m2個(gè)塊位移估計(jì)矢量，即(Axi, Ayi) (i=l，2，...，m2);每一匹配塊的位移矢量可以分解為由圖像旋轉(zhuǎn)運(yùn)動引起的塊位移矢量旋轉(zhuǎn)分量，和由圖像平移運(yùn)動引起的塊位移矢量平移分量即: (
3.根據(jù)權(quán)利要求1所述的一種具有大范圍旋轉(zhuǎn)及平移運(yùn)動估計(jì)的實(shí)時(shí)電子穩(wěn)像方法，其特征在于:在步驟八中所述的采用圖像位平面金字塔自適應(yīng)取塊匹配，配合基于圖像位平面金字塔的投影法進(jìn)行相鄰幀間平移運(yùn)動估計(jì)，具體方法如下: 步驟八一、在經(jīng)過旋轉(zhuǎn)補(bǔ)償后的當(dāng)前幀圖像位平面金字塔頂層，采用取塊模式I進(jìn)行取塊；步驟八二、對于步驟八一得到匹配塊，采用改進(jìn)后的六邊形搜索算法，在旋轉(zhuǎn)補(bǔ)償后的與當(dāng)前幀相鄰的前一幀圖像位平面金字塔頂層進(jìn)行塊匹配，統(tǒng)計(jì)所有塊運(yùn)動估計(jì)結(jié)果的一致性；如果所有匹配塊運(yùn)動估計(jì)矢量中，相同矢量出現(xiàn)的頻數(shù)大于總矢量數(shù)的ι/t，其中3，則將對應(yīng)矢量作為頂層運(yùn)動估計(jì)結(jié)果，并進(jìn)行參數(shù)傳遞，采用取塊模式I估計(jì)中間層和底層運(yùn)動參數(shù)，否則，轉(zhuǎn)入步驟八三； 步驟八三、在經(jīng)過旋轉(zhuǎn)補(bǔ)償后的當(dāng)前幀圖像位平面金字塔頂層，采用取塊模式2進(jìn)行取塊，并采用改進(jìn)的六邊形搜索算法，在旋轉(zhuǎn)補(bǔ)償后的與當(dāng)前幀相鄰的前一幀圖像位平面金字塔頂層進(jìn)行塊匹配，統(tǒng)計(jì)估計(jì)結(jié)果的一致性，如果所有匹配塊運(yùn)動估計(jì)矢量中，相同矢量出現(xiàn)的頻數(shù)大于總矢量數(shù)的Ι/t，其中2 < t < 3，則將對應(yīng)矢量作為頂層運(yùn)動估計(jì)結(jié)果，并進(jìn)行參數(shù)傳遞，采用取塊模式2估計(jì)中間層和底層運(yùn)動參數(shù)；否則，轉(zhuǎn)入步驟八四；步驟八四、經(jīng)過旋轉(zhuǎn)補(bǔ)償后的當(dāng)前幀圖像和與當(dāng)前幀相鄰的前一幀圖像的位平面金字塔分別提取對應(yīng)灰度金字塔頂層、中間層和底層的第8、第6和第5位平面； 步驟八五、對步驟八四得到的經(jīng)過旋轉(zhuǎn)運(yùn)動補(bǔ)償后的當(dāng)前幀和與當(dāng)前幀相鄰的前一幀圖像位平面金字塔的頂層，在水平和垂直方向上進(jìn)行投影，得到當(dāng)前幀和與當(dāng)前幀相鄰的前一幀圖像位平面金字塔頂層在水平和垂直方向上的投影向量； 步驟八六、對步驟八五得到的當(dāng)前幀和與當(dāng)前幀相鄰的前一幀圖像位平面金字塔頂層的水平方向和垂直方向的投影向量分別進(jìn)行相關(guān)匹配，得到當(dāng)前幀圖像相對于與當(dāng)前幀相鄰的前一幀圖像的頂層位移矢量；其中投影向量相關(guān)匹配方法為:首先，當(dāng)前幀圖像投影向量在相鄰幀投影向量上移動，進(jìn)行粗相關(guān)匹配，此時(shí)移動步長為4像素，確定粗相關(guān)匹配移動過程中的最佳匹配位置；然后，以粗相關(guān)過程得到的最佳匹配位置為初始位置，進(jìn)行步長為I像素的精相關(guān)匹配，確定最終最佳相關(guān)位置，整個(gè)過程中，當(dāng)前幀投影向量的總移動量即相應(yīng)方向上的圖像的平移運(yùn)動分量； 步驟八七、對步驟八六得到的當(dāng)前幀圖像相對于與當(dāng)前幀相鄰的前一幀圖像在位平面金字塔頂層的位移矢量進(jìn)行傳遞，并在位平面金字塔中間層和底層采用投影法進(jìn)行運(yùn)動估計(jì)，將底層運(yùn)動估計(jì)結(jié)果作為最終經(jīng)過旋轉(zhuǎn)運(yùn)動補(bǔ)償后的當(dāng)前幀圖像相對于與當(dāng)前幀相鄰的前一幀圖像的幀間平移運(yùn)動矢量。
4.根據(jù)權(quán)利要求2或3所述的一種具有大范圍旋轉(zhuǎn)及平移運(yùn)動估計(jì)的實(shí)時(shí)電子穩(wěn)像方法，其特征在于:在權(quán)利要求2或3中所述的采用改進(jìn)的六邊形搜索算法進(jìn)行搜索，具體步驟如下: (1)、在取塊位置即塊搜索起始位置附近對稱設(shè)置nXn個(gè)待搜索點(diǎn)，其中η的值是3、5或7，相鄰搜索點(diǎn)之間的距離為I像素，其中I是大于4小于8的正整數(shù)； (2)、匹配塊在(1)中得到的待搜索點(diǎn)上逐一計(jì)算相關(guān)匹配值，確定相關(guān)值最大時(shí)對應(yīng)的待搜索點(diǎn)位置，相關(guān)匹配值的計(jì)算公式如下:
5.根據(jù)權(quán)利要求4所述的一種具有大范圍旋轉(zhuǎn)及平移運(yùn)動估計(jì)的實(shí)時(shí)電子穩(wěn)像方法，其特征在于:所述改進(jìn)的六邊形搜索算法中η取值是5，I的取值是6。
【文檔編號】H04N5/21GK103841296SQ201310722086
【公開日】2014年6月4日 申請日期:2013年12月24日 優(yōu)先權(quán)日:2013年12月24日
【發(fā)明者】遆曉光, 靳萬鑫, 佟學(xué)儉, 高紅梅, 徐劍飛 申請人:哈爾濱工業(yè)大學(xué)