本發(fā)明是涉及一種通過(guò)在攝像機(jī)上搭載慣性測(cè)量單元（IMU）的方式，測(cè)量攝像機(jī)抖動(dòng)，估計(jì)攝像機(jī)抖動(dòng)模型，實(shí)現(xiàn)實(shí)時(shí)對(duì)抖動(dòng)視頻進(jìn)行抑制的方法，特別是涉及一種基于慣性測(cè)量單元IMU的實(shí)時(shí)電子穩(wěn)像方法，屬于圖像處理技術(shù)領(lǐng)域。

背景技術(shù)：

攝像機(jī)在拍攝視頻圖像時(shí)，經(jīng)常受到攝像機(jī)載體的影響導(dǎo)致拍攝的視頻出現(xiàn)幀間抖動(dòng)。電子穩(wěn)像的目的即是通常利用圖像傳感器的方法計(jì)算這些抖動(dòng)并抑制它們達(dá)到視頻穩(wěn)定的目的。該技術(shù)還廣泛應(yīng)用于機(jī)器視覺、圖像處理、模式識(shí)別等多個(gè)領(lǐng)域。其主要的原理是通過(guò)對(duì)攝像機(jī)采集的原始視頻序列進(jìn)行預(yù)處理，利用特征點(diǎn)匹配關(guān)系計(jì)算相鄰幀間存在的差異，對(duì)幀間進(jìn)行運(yùn)動(dòng)估計(jì)、運(yùn)動(dòng)補(bǔ)償及圖像補(bǔ)償?shù)倪^(guò)程，進(jìn)而輸出穩(wěn)定的視頻序列，提高視頻圖像質(zhì)量。但當(dāng)場(chǎng)景中存在大范圍的運(yùn)動(dòng)前景，或場(chǎng)景中存在過(guò)多相似的圖像信息以及特征信息不足時(shí)，通常的電子穩(wěn)像算法魯棒性變差，不能準(zhǔn)確的提取全局運(yùn)動(dòng)，無(wú)法達(dá)到穩(wěn)像的效果。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明的目的在于提供一種基于慣性測(cè)量單元IMU的實(shí)時(shí)電子穩(wěn)像方法，是為了解決在攝像機(jī)采集的視頻圖像序列特征單一、相似和復(fù)雜情況下無(wú)法準(zhǔn)確計(jì)算全局運(yùn)動(dòng)估計(jì)所帶來(lái)的穩(wěn)像難題。將IMU任意角度搭載在攝像機(jī)上，通過(guò)對(duì)IMU與攝像機(jī)坐標(biāo)系之間的相對(duì)位姿標(biāo)定，再通過(guò)IMU感知的自身姿態(tài)變化數(shù)據(jù)作為前后幀運(yùn)動(dòng)補(bǔ)償?shù)囊罁?jù)，進(jìn)而完成電子穩(wěn)像的過(guò)程；是一種不依賴于場(chǎng)景圖像特征的電子穩(wěn)像方法；尤其能有效應(yīng)對(duì)場(chǎng)景復(fù)雜或單一而導(dǎo)致的特征信息匹配不準(zhǔn)確或缺失的情況。本發(fā)明提出了IMU和攝像機(jī)的相對(duì)位姿標(biāo)定，解決了IMU坐標(biāo)系和攝像機(jī)坐標(biāo)系之間的轉(zhuǎn)換。

本發(fā)明技術(shù)方案是這樣實(shí)現(xiàn)的：一種基于慣性測(cè)量單元IMU的實(shí)時(shí)電子穩(wěn)像方法，其特征在于：將IMU和攝像機(jī)觸發(fā)時(shí)間同步模型，將標(biāo)定在同一坐標(biāo)系下的IMU和攝像機(jī)同時(shí)進(jìn)行運(yùn)動(dòng)，通過(guò)在運(yùn)動(dòng)過(guò)程中兩坐標(biāo)系產(chǎn)生的拐點(diǎn)信息進(jìn)行時(shí)間配準(zhǔn)，其具體步驟如下：

一、IMU與攝像機(jī)坐標(biāo)系標(biāo)定

1）基于張正友標(biāo)定法的攝像機(jī)標(biāo)定

假設(shè)成像平面上的二維點(diǎn)的坐標(biāo)為，對(duì)應(yīng)空間中的三維點(diǎn)的坐標(biāo)表示為，通過(guò)將兩個(gè)坐標(biāo)進(jìn)行齊次坐標(biāo)轉(zhuǎn)換得，此處，我們默認(rèn)相機(jī)為小孔成像相機(jī)模型。3D點(diǎn)到圖像的投影關(guān)系為：，為任意數(shù)，為根據(jù)棋盤格標(biāo)定控制點(diǎn)坐標(biāo)和圖像坐標(biāo)得到的單應(yīng)性矩陣(由旋轉(zhuǎn)、平移和相機(jī)參數(shù)組成)。和分別為攝像機(jī)坐標(biāo)系相對(duì)于世界坐標(biāo)系的旋轉(zhuǎn)矩陣和平移向量。已知約束條件中相互正交。則：

設(shè)是一個(gè)對(duì)稱陣，可得，根據(jù)約束條件可得：

，

其中。

標(biāo)定時(shí)，需要拍攝幅標(biāo)定板圖像用于約束參數(shù)方程。當(dāng)時(shí)，可以求出線性唯一解，進(jìn)而求出攝像機(jī)內(nèi)外參數(shù)。

2）IMU坐標(biāo)系與攝像機(jī)坐標(biāo)系的相對(duì)位姿求解

把在同一姿態(tài)下IMU采集的三軸加速度數(shù)據(jù)和相機(jī)外參數(shù)據(jù)，分別作為在世界坐標(biāo)系下IMU和相機(jī)的坐標(biāo)點(diǎn)和。假設(shè)有對(duì)這樣匹配的數(shù)據(jù)點(diǎn)，大于3，計(jì)算剛體變換關(guān)系至少需要3對(duì)這樣的匹配點(diǎn)。已知攝像機(jī)坐標(biāo)系和IMU坐標(biāo)系之間存在如下的關(guān)系：

和為IMU坐標(biāo)系和相機(jī)坐標(biāo)系的旋轉(zhuǎn)平移關(guān)系矩陣，所以根據(jù)最小二乘法將攝像機(jī)坐標(biāo)系和IMU坐標(biāo)系之間的關(guān)系最小化目標(biāo)函數(shù)。為使得目標(biāo)函數(shù)最小化得到最小目標(biāo)函數(shù)。設(shè)，此時(shí)最小化目標(biāo)函數(shù)變?yōu)椋?/p>

這樣攝像機(jī)坐標(biāo)系和IMU坐標(biāo)系之間僅存在旋轉(zhuǎn)變換，故，則將展開式最小化就變成了第二項(xiàng)的最大化問題：。求解旋轉(zhuǎn)矩陣R，根據(jù)旋轉(zhuǎn)矩陣R和四元數(shù)之間的關(guān)系將第二項(xiàng)改寫成。

設(shè)相機(jī)坐標(biāo)系和IMU坐標(biāo)系各對(duì)點(diǎn)的坐標(biāo)分別為

，則：

由上式可知和是正交斜對(duì)稱陣，最大化IMU坐標(biāo)系和攝像機(jī)坐標(biāo)系之間目標(biāo)函數(shù)關(guān)系。通過(guò)求解攝像機(jī)數(shù)據(jù)點(diǎn)和數(shù)據(jù)點(diǎn)之間的累積和，得到正交斜對(duì)稱陣的之間的關(guān)系N。求解N最大特征值所對(duì)應(yīng)的特征向量得到IMU和攝像機(jī)之間的四元數(shù)。通過(guò)四元數(shù)與旋轉(zhuǎn)矩陣之間的關(guān)系求解旋轉(zhuǎn)矩陣R。

IMU坐標(biāo)系和攝像機(jī)坐標(biāo)系之間的平移關(guān)系則根據(jù)求解。

二、IMU與攝像機(jī)觸發(fā)時(shí)間同步方法

利用標(biāo)定好的IMU坐標(biāo)系和攝像機(jī)坐標(biāo)系，通過(guò)對(duì)數(shù)據(jù)的融合達(dá)到使用IMU數(shù)據(jù)解算攝像機(jī)姿態(tài)的目的。首先同步IMU和攝像機(jī)的采集頻率。設(shè)IMU頻率為，攝像機(jī)的頻率為與的最大公約數(shù)為d，那么應(yīng)滿足和為滿足上述條件的乘法因子。則兩個(gè)不同頻率的最小公倍數(shù)為。這樣無(wú)論IMU還是攝像機(jī)之間的頻率都成整數(shù)倍關(guān)系，設(shè)擴(kuò)展后的IMU的頻率范圍為，攝像機(jī)的頻率范圍為，集合 與的個(gè)數(shù)相同，以及相鄰元素之間的間隔大小相同。設(shè)與為這些擴(kuò)展的點(diǎn)集上的自變量，由于自變量沒有相應(yīng)的因變量，通過(guò)插值法對(duì)其插值。

IMU同攝像機(jī)是以剛體形式連接在一起，相機(jī)的任意晃動(dòng)都將在IMU上產(chǎn)生反應(yīng)，并產(chǎn)生運(yùn)動(dòng)軌跡。對(duì)于標(biāo)定在同一坐標(biāo)系下的IMU和攝像機(jī)具有相同的運(yùn)動(dòng)軌跡。通過(guò)求解IMU和攝像機(jī)運(yùn)動(dòng)過(guò)程中產(chǎn)生的對(duì)應(yīng)拐點(diǎn)進(jìn)行時(shí)間軸上匹配，找到IMU和攝像機(jī)之間的姿態(tài)同步觸發(fā)時(shí)間。

三、基于IMU的穩(wěn)像方法

基于IMU的穩(wěn)像方法包括如下步驟：

1）設(shè)k為參考幀，IMU第幀在IMU坐標(biāo)系的旋轉(zhuǎn)弧度分別為和。把弧度作為旋轉(zhuǎn)向量求解旋轉(zhuǎn)矩陣，并對(duì)這個(gè)向量進(jìn)行規(guī)范化得到。

根據(jù)規(guī)范化向量得到模長(zhǎng)為1的單位化弧度向量，已知斜對(duì)稱矩陣可以把形式的歐拉角變成的形式并仍保留歐拉角的意義。所以由單位化弧度向量得到的斜對(duì)稱矩陣w，根據(jù)和w使用羅德里格斯繞任意軸旋轉(zhuǎn)的幾何關(guān)系。求解得到IMU第幀所形成的單位化旋轉(zhuǎn)矩陣為。

2）單應(yīng)性指把第一張二維平面上的點(diǎn)與第二張二維平面上具有相同特征的點(diǎn)，進(jìn)行單應(yīng)性的關(guān)聯(lián)。滿足一個(gè)平面到另一個(gè)平面的投影映射關(guān)系。把定義為要進(jìn)行視頻穩(wěn)像前的視頻序列幀圖像的特征點(diǎn)集，為參考幀圖像的特征點(diǎn)集。那么就有下面的對(duì)應(yīng)關(guān)系：。相機(jī)的內(nèi)參矩陣為K，根據(jù)參考幀與當(dāng)前幀之間的特征點(diǎn)集關(guān)系可以求出單應(yīng)矩陣。

3）通過(guò)第幀攝像機(jī)運(yùn)動(dòng)姿態(tài)求解單應(yīng)性矩陣作用到圖像中，再通過(guò)三維歐式空間到二維歐式空間的映射關(guān)系。得到穩(wěn)定的視頻幀序列。從而輸出穩(wěn)像視頻。

本發(fā)明的積極效果是通過(guò)攝像機(jī)上搭載的IMU間接獲取自身的運(yùn)動(dòng)姿態(tài)，代替特征點(diǎn)獲取運(yùn)動(dòng)姿態(tài)的方法，有效地克服了使用圖像特征點(diǎn)信息分析容易受到場(chǎng)景環(huán)境限制等問題。借助搭載在攝像機(jī)上的IMU，同時(shí)采集IMU數(shù)據(jù)和視頻幀序列，對(duì)IMU坐標(biāo)系和攝像機(jī)坐標(biāo)系進(jìn)行標(biāo)定，建立IMU坐標(biāo)系和攝像機(jī)坐標(biāo)系之間的關(guān)系模型。針對(duì)IMU和攝像機(jī)的同一姿態(tài)觸發(fā)時(shí)間不同，提出時(shí)間同步模型及同步方法。進(jìn)而，利用IMU自身的姿態(tài)感知間接反映出當(dāng)前時(shí)刻攝像機(jī)的運(yùn)動(dòng)姿態(tài)變化，通過(guò)反變換模型，實(shí)現(xiàn)視頻圖像穩(wěn)定。由于未使用特征點(diǎn)匹配，有效避免了以往方法易受到視頻圖像中無(wú)法足夠的穩(wěn)定匹配特征而導(dǎo)致的穩(wěn)像失敗的影響。解決了IMU和攝像機(jī)觸發(fā)時(shí)間不同步所帶來(lái)的IMU數(shù)據(jù)無(wú)法準(zhǔn)確反映攝像機(jī)姿態(tài)問題。最后將IMU角度信息作用到攝像機(jī)生成的圖像上，從而達(dá)到穩(wěn)像的效果。該方法能夠有效的解決由于拍攝場(chǎng)景非理想情況下，圖像特征信息不能穩(wěn)定、準(zhǔn)確獲取進(jìn)而導(dǎo)致無(wú)法進(jìn)行攝像機(jī)運(yùn)動(dòng)估計(jì)的問題。

附圖說(shuō)明

圖1是本發(fā)明的整體算法流程示意圖。

圖2是IMU坐標(biāo)系和攝像機(jī)坐標(biāo)系標(biāo)定示意圖。

圖3是IMU和攝像機(jī)異頻信號(hào)同步采集方法示意圖。

圖4是IMU和攝像機(jī)產(chǎn)生同步運(yùn)動(dòng)拐點(diǎn)方法示意圖。

圖5是IMU和攝像機(jī)異頻率信號(hào)開始時(shí)間同步方法示意圖。

具體實(shí)施方式

下面結(jié)合附圖對(duì)本發(fā)明進(jìn)一步的詳細(xì)描述，如圖1所示，一種基于慣性測(cè)量單元IMU的實(shí)時(shí)電子穩(wěn)像方法，其特征在于具體步驟1，IMU與攝像機(jī)標(biāo)定

（1a）參照?qǐng)D2可知，將IMU搭載在攝像機(jī)上IMU坐標(biāo)系和攝像機(jī)坐標(biāo)系是不重合的，通過(guò)這兩個(gè)坐標(biāo)系與世界坐標(biāo)系之間的關(guān)系，對(duì)IMU坐標(biāo)系和攝像機(jī)坐標(biāo)系進(jìn)行相對(duì)位姿標(biāo)定使兩個(gè)坐標(biāo)系重合。首先同時(shí)對(duì)IMU和攝像機(jī)進(jìn)行數(shù)據(jù)采集。獲取IMU的位姿輸出信息和采集攝像機(jī)生成的視頻圖像信息。

（1b）通過(guò)張正友標(biāo)定法獲得空間3D點(diǎn)到圖像的投影關(guān)系為：，根據(jù)約束條件求解攝像機(jī)的內(nèi)參K與外參R。

（1c）把在同一姿態(tài)下IMU采集的三軸加速度數(shù)據(jù)和相機(jī)外參數(shù)據(jù)，分別作為在世界坐標(biāo)系下IMU和相機(jī)的坐標(biāo)點(diǎn)和。設(shè)R為IMU坐標(biāo)系和相機(jī)坐標(biāo)系之間的旋轉(zhuǎn)關(guān)系，計(jì)算攝像機(jī)坐標(biāo)系和IMU坐標(biāo)系之間存在的關(guān)系：。根據(jù)最小二乘法將攝像機(jī)坐標(biāo)系和IMU坐標(biāo)系之間的關(guān)系最小化目標(biāo)函數(shù)。

（1d）首先，設(shè)，使得攝像機(jī)坐標(biāo)系和IMU坐標(biāo)系之間僅存在旋轉(zhuǎn)變換。

（1e）則問題轉(zhuǎn)化為最大化上式子第二項(xiàng)，通過(guò)IMU坐標(biāo)系和攝像機(jī)坐標(biāo)系之間與目標(biāo)函數(shù)關(guān)系。求解攝像機(jī)數(shù)據(jù)點(diǎn)和數(shù)據(jù)點(diǎn)之間的累積和，得到正交斜對(duì)稱陣的之間的關(guān)系。

（1f）求解N最大特征值所對(duì)應(yīng)的特征向量得到IMU和攝像機(jī)之間的四元數(shù)。通過(guò)四元數(shù)與旋轉(zhuǎn)矩陣之間的關(guān)系求解旋轉(zhuǎn)矩陣R。進(jìn)而求出平移向量t。

（1g）參照?qǐng)D3，可知IMU采集數(shù)據(jù)的頻率攝像機(jī)采集圖像的頻率是異步的。設(shè)IMU頻率為，攝像機(jī)的頻率為與的最大公約數(shù)為，那么應(yīng)滿足和為滿足上述條件的乘法因子。則兩個(gè)不同頻率的最小公倍數(shù)為。最后利用插值法將IMU和攝像機(jī)擴(kuò)展到同一頻率s上，實(shí)現(xiàn)數(shù)據(jù)采集同步。

（1h）參照?qǐng)D4，將搭載有IMU的攝像機(jī)左右晃動(dòng)，在晃動(dòng)的過(guò)程中IMU和攝像機(jī)各個(gè)坐標(biāo)軸產(chǎn)生運(yùn)動(dòng)軌跡及角度變化產(chǎn)生的拐點(diǎn)。參照?qǐng)D5可知，標(biāo)定在同一坐標(biāo)系下的IMU和攝像機(jī)應(yīng)具有相同的運(yùn)動(dòng)軌跡。對(duì)于攝像機(jī)，利用視頻圖像中角點(diǎn)檢測(cè)的方式求得的三軸角度平方和再開方作為重心，對(duì)于IMU利用自身感知到的三軸角度平方和作為重心，計(jì)算二者在同步運(yùn)動(dòng)過(guò)程中重心變化曲線所表現(xiàn)出的拐點(diǎn)進(jìn)行匹配，得到IMU和攝像機(jī)的姿態(tài)同步觸發(fā)時(shí)間。

步驟2，IMU穩(wěn)像方法

（2a）利用IMU的弧度信息作為旋轉(zhuǎn)向量，對(duì)這個(gè)向量進(jìn)行規(guī)范化得。

（2b）單位化旋轉(zhuǎn)向量把形式旋轉(zhuǎn)向量變成的矩陣形式。

（2c）根據(jù)2a和2b求得的規(guī)范化向量和矩陣使用羅德里格斯繞任意軸旋轉(zhuǎn)的幾何關(guān)系，求解參考幀與穩(wěn)像幀（當(dāng)前幀）的旋轉(zhuǎn)關(guān)系。

（2d）利用相機(jī)的內(nèi)參矩陣K，根據(jù)參考幀與穩(wěn)像幀之間的特征點(diǎn)集關(guān)系可以求出單應(yīng)矩陣H。

（2e）通過(guò)三維歐式空間到二維歐式空間的映射關(guān)系。得到穩(wěn)定的視頻幀序列。從而輸出穩(wěn)像視頻。