本發(fā)明屬于計(jì)算機(jī)視覺(jué)和計(jì)算機(jī)圖形，具體涉及一種動(dòng)態(tài)情況下imu輔助的運(yùn)動(dòng)目標(biāo)檢測(cè)方法。

背景技術(shù)：

1、動(dòng)態(tài)背景下的目標(biāo)檢測(cè)技術(shù)主要分為光流法和背景補(bǔ)償法兩個(gè)方向。動(dòng)態(tài)背景下的光流法和靜態(tài)背景下光流法的原理相似，同樣是根據(jù)背景與目標(biāo)的光流信息差異進(jìn)行區(qū)分，動(dòng)態(tài)背景中目標(biāo)與背景均發(fā)生運(yùn)動(dòng)，在光流場(chǎng)中兩者均會(huì)出現(xiàn)光流現(xiàn)象，但是速度大小和方向不同。背景補(bǔ)償法的原理就是通過(guò)求解成像設(shè)備的運(yùn)動(dòng)模型表征圖像背景運(yùn)動(dòng)情況，經(jīng)運(yùn)動(dòng)補(bǔ)償后化動(dòng)態(tài)背景為靜態(tài)背景。通過(guò)圖像配準(zhǔn)算法進(jìn)行背景補(bǔ)償?shù)姆椒ㄖ饕袃煞N，分塊性與全局性的運(yùn)動(dòng)補(bǔ)償。分塊性的運(yùn)動(dòng)補(bǔ)償是將圖像均勻劃分，只比對(duì)相應(yīng)位置的像素塊，但是這種方法只考慮了背景的平移運(yùn)動(dòng)，而忽略了可能存在的放縮、旋轉(zhuǎn)等其他變換情況，因此適用性不高。全局性的運(yùn)動(dòng)補(bǔ)償，是對(duì)圖像整體進(jìn)行相似性對(duì)比，通過(guò)對(duì)視頻序列中的相鄰圖片進(jìn)行特征提取與匹配工作，根據(jù)配對(duì)結(jié)果求解仿射運(yùn)動(dòng)模型。全局性的運(yùn)動(dòng)補(bǔ)償對(duì)于圖像間的平移、放縮和旋轉(zhuǎn)等多種變換情況均能準(zhǔn)確描述。背景補(bǔ)償法的計(jì)算量較光流法小，且適應(yīng)能力比較強(qiáng)，大多數(shù)情況都有較好的目標(biāo)檢測(cè)效果，但是在面對(duì)復(fù)雜背景時(shí)背景補(bǔ)償精確度降低，檢測(cè)準(zhǔn)確性下降。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明的目的是針對(duì)現(xiàn)有方法在動(dòng)態(tài)情況下存在背景復(fù)雜度高、環(huán)境變化性強(qiáng)、以及動(dòng)態(tài)目標(biāo)占比過(guò)大時(shí)檢測(cè)結(jié)果中目標(biāo)標(biāo)記不清晰的問(wèn)題，提供一種動(dòng)態(tài)情況下imu輔助的運(yùn)動(dòng)目標(biāo)檢測(cè)方法；該方法基于imu的相機(jī)運(yùn)動(dòng)估計(jì)與改進(jìn)的最大類(lèi)間方差法結(jié)合迭代運(yùn)算完成特征點(diǎn)分類(lèi)任務(wù)，并將yolo目標(biāo)檢測(cè)信息與幀間差分檢測(cè)的運(yùn)動(dòng)信息進(jìn)行對(duì)比與重合度匹配，進(jìn)而完成篩選標(biāo)記當(dāng)前圖像內(nèi)實(shí)際的運(yùn)動(dòng)目標(biāo)，達(dá)到提高動(dòng)態(tài)背景下進(jìn)行運(yùn)動(dòng)目標(biāo)識(shí)別精度與準(zhǔn)確率的效果。

2、為實(shí)現(xiàn)上述技術(shù)目的，本發(fā)明采用如下技術(shù)方案。

3、一種動(dòng)態(tài)情況下imu輔助的運(yùn)動(dòng)目標(biāo)檢測(cè)方法，包括以下步驟：

4、步驟s1、采用實(shí)時(shí)魯棒的surf算法對(duì)相鄰兩幀圖像提取特征點(diǎn)，然后利用bbf搜索算法對(duì)特征點(diǎn)進(jìn)行匹配，并且引入對(duì)稱(chēng)約束以獲得穩(wěn)健、準(zhǔn)確的特征點(diǎn)對(duì)；

5、步驟s11、讀入視頻流，依次讀取相鄰兩幀圖像進(jìn)行處理，首先采用surf算法對(duì)相鄰兩幀圖像提取特征點(diǎn)，然后采用bbf搜索算法在后一幀中尋找距離最近的兩個(gè)特征點(diǎn)；若次近距離除以最近距離小于預(yù)設(shè)閾值，則判定為一對(duì)匹配點(diǎn)；

6、步驟s12、采用對(duì)稱(chēng)約束為去除誤匹配的特征點(diǎn)對(duì)，提高匹配成功率，通過(guò)雙向匹配法對(duì)特征點(diǎn)進(jìn)行篩選，針對(duì)前一幀中的特征點(diǎn)，利用正向匹配法找到其在當(dāng)前幀中的匹配特征點(diǎn)，再利用反向匹配法找到當(dāng)前幀在前一幀中的匹配特征點(diǎn)，最終得到精確的匹配特征點(diǎn)對(duì)；

7、步驟s2、對(duì)imu傳感器數(shù)據(jù)進(jìn)行相對(duì)坐標(biāo)轉(zhuǎn)換，通過(guò)積分角速度來(lái)獲得相機(jī)的旋轉(zhuǎn)信息，通過(guò)二次積分加速度來(lái)獲得相機(jī)的平移信息，并根據(jù)相機(jī)在兩個(gè)連續(xù)的幀之間是否存在位置移動(dòng)求解對(duì)應(yīng)的基礎(chǔ)矩陣或者單應(yīng)矩陣；

8、步驟s21、根據(jù)相機(jī)所在坐標(biāo)系與慣性測(cè)量單元所在坐標(biāo)系的相對(duì)位置關(guān)系對(duì)imu傳感器數(shù)據(jù)進(jìn)行相對(duì)坐標(biāo)轉(zhuǎn)換，對(duì)imu傳感器數(shù)據(jù)進(jìn)行相對(duì)坐標(biāo)轉(zhuǎn)換后，imu包含的陀螺儀和加速度計(jì)分別提供相機(jī)的角速度與加速度，通過(guò)積分角速度來(lái)獲得相機(jī)的旋轉(zhuǎn)信息，通過(guò)二次積分加速度來(lái)獲得相機(jī)的平移信息；

9、步驟s22、根據(jù)獲得的相機(jī)旋轉(zhuǎn)與平移信息來(lái)計(jì)算兩個(gè)連續(xù)的幀之間的變換關(guān)系，將兩個(gè)連續(xù)的幀之間旋轉(zhuǎn)信息用公式表示為：

10、

11、將兩個(gè)連續(xù)的幀之間平移信息用公式表示為：

12、t＝tk-tk-1?(2)

13、上式中，r表示前一幀圖像到當(dāng)前幀圖像的旋轉(zhuǎn)變換矩陣；rk-1表示前一幀圖像的旋轉(zhuǎn)狀態(tài)矩陣；rk表示當(dāng)前幀圖像的旋轉(zhuǎn)狀態(tài)矩陣；t表示前一幀圖像到當(dāng)前幀圖像的平移變換矩陣；tk-1表示前一幀圖像的平移狀態(tài)矩陣；tk表示當(dāng)前幀圖像的平移狀態(tài)矩陣；

14、步驟s23、根據(jù)相機(jī)在兩個(gè)連續(xù)的圖像幀之間是否存在位置移動(dòng)求解對(duì)應(yīng)的基礎(chǔ)矩陣或者單應(yīng)矩陣；若前一幀圖像到當(dāng)前幀圖像的平移距離|t|≠0，則使用imu傳感器數(shù)據(jù)來(lái)計(jì)算初始基礎(chǔ)矩陣，基礎(chǔ)矩陣的計(jì)算公式如下：

15、f＝k-t[t]xrk-1?(3)

16、上式中，f表示前一幀圖像與當(dāng)前幀圖像對(duì)應(yīng)的基礎(chǔ)矩陣，r和t分別是步驟s22中求得的前一幀到當(dāng)前幀的的旋轉(zhuǎn)矩陣和平移矩陣，k是相機(jī)的內(nèi)置參數(shù)；

17、若前一幀圖像到當(dāng)前幀圖像的平移距離|t|＝0，則使用imu傳感器數(shù)據(jù)來(lái)計(jì)算初始單應(yīng)矩陣，單應(yīng)矩陣的計(jì)算公式如下：

18、h＝krk-1?(4)

19、上式中，h表示前一幀圖像與當(dāng)前幀圖像對(duì)應(yīng)的單應(yīng)矩陣；

20、步驟s3、根據(jù)相機(jī)在兩個(gè)連續(xù)的幀之間是否存在位置移動(dòng)選擇對(duì)應(yīng)的基礎(chǔ)矩陣或者單應(yīng)矩陣作為輸入矩陣，然后依據(jù)基礎(chǔ)矩陣和特征點(diǎn)繪制極線或者依據(jù)單應(yīng)矩陣和特征點(diǎn)獲得當(dāng)前幀特征點(diǎn)對(duì)應(yīng)的單應(yīng)映射投影特征點(diǎn)；

21、步驟s31、若當(dāng)前一幀圖像到當(dāng)前幀圖像的平移距離|t|＝0時(shí)，選擇對(duì)應(yīng)的基礎(chǔ)矩陣作為輸入矩陣，依據(jù)基礎(chǔ)矩陣和特征點(diǎn)關(guān)系繪制對(duì)應(yīng)極線，其中對(duì)極約束公式如下：

22、

23、上式中，pk、pk-1分別表示當(dāng)前幀與前一幀對(duì)應(yīng)匹配特征點(diǎn)的像素位置，f為兩幀之前的基礎(chǔ)矩陣，則有：

24、lk＝fpk-1?(6)

25、上式中，lk表示當(dāng)前幀特征點(diǎn)對(duì)應(yīng)的極線，且有：

26、lk:ax+by+c＝0?(7)

27、上式中，x和y是lk上的像素坐標(biāo)，a、b和c是極線lk的系數(shù)；

28、步驟s32、若前一幀圖像到當(dāng)前幀圖像的平移距離|t|≠0，此時(shí)對(duì)極約束失效，選擇對(duì)應(yīng)的單應(yīng)矩陣作為輸入矩陣，依據(jù)單應(yīng)矩陣和特征點(diǎn)獲取當(dāng)前幀特征點(diǎn)對(duì)應(yīng)的單應(yīng)映射投影特征點(diǎn)，所述單應(yīng)映射投影特征點(diǎn)的獲取公式如下：

29、p'k＝hpk-1?(8)

30、上式中，pk-1、p'k分別表示前一幀特征點(diǎn)與對(duì)應(yīng)當(dāng)前幀單應(yīng)投影特征點(diǎn)的像素位置，h為兩幀之前的單應(yīng)矩陣；

31、步驟s4、計(jì)算每個(gè)特征點(diǎn)與對(duì)應(yīng)極線或者單應(yīng)映射投影特征點(diǎn)之間距離誤差，將所有特征點(diǎn)的距離誤差分區(qū)間進(jìn)行直方圖量化，將量化后距離誤差作為輸入，通過(guò)最大類(lèi)間方差法求取最佳閾值，依據(jù)該閾值將提取到的特征點(diǎn)分類(lèi)為靜態(tài)背景特征點(diǎn)與動(dòng)態(tài)目標(biāo)特征點(diǎn)兩部分；

32、步驟s41、計(jì)算每個(gè)特征點(diǎn)與對(duì)應(yīng)極線或者投影特征點(diǎn)之間距離誤差，輸入矩陣為基礎(chǔ)矩陣的情況下，距離誤差為特征點(diǎn)到對(duì)應(yīng)極線的距離d：

33、

34、上式中，(u,v),是特征點(diǎn)的坐標(biāo)，a、b和c是對(duì)應(yīng)極線的系數(shù)；

35、輸入矩陣為單應(yīng)矩陣的情況下，距離誤差為原特征點(diǎn)到對(duì)應(yīng)投影特征點(diǎn)之間的距離d：

36、

37、上式中，(u'k,v'k)、(uk,vk)分別為原特征點(diǎn)與對(duì)應(yīng)投影特征點(diǎn)的像素坐標(biāo)；

38、步驟s42、將每個(gè)特征點(diǎn)的距離誤差d量化成0～l共l個(gè)區(qū)間，設(shè)距離誤差滿足di-1≤d<di的特征點(diǎn)屬于區(qū)間[i-1,i]，對(duì)應(yīng)特征點(diǎn)個(gè)數(shù)為ni個(gè)，則所有特征點(diǎn)總數(shù)n表示為：

39、n＝n1+n2+...+nk+...+nl?(11)

40、每一區(qū)間包含的特征點(diǎn)數(shù)量占總數(shù)的概率pi表示為：

41、

42、步驟s43、設(shè)定一個(gè)閾值dk，令dmin<dk<dmax；并使用它分類(lèi)特征點(diǎn)為靜態(tài)背景特征點(diǎn)集cb和動(dòng)態(tài)前景特征點(diǎn)集cf，其中cb由距離誤差在區(qū)間[0,k]內(nèi)的所有特征點(diǎn)組成，cf由距離誤差在區(qū)間[k,l]內(nèi)所有特征點(diǎn)組成，分別用pb和pf表示背景點(diǎn)集概率和前景點(diǎn)集概率，則cb、cf的概率計(jì)算公式如下：

43、

44、則分配到cb、cf點(diǎn)集的特征點(diǎn)的平均距離誤差分別為：

45、

46、步驟s44、基于步驟s43所得數(shù)據(jù)，類(lèi)間方差表示為：

47、

48、由于兩個(gè)均值ub和uf彼此隔得越遠(yuǎn)，類(lèi)間方差越大，從0-l之間遍歷距離誤差di，得到類(lèi)間方差最大值

49、

50、令類(lèi)間方差最大的距離誤差記為最佳閾值dth；由于求出的靜態(tài)背景特征點(diǎn)距離誤差要小于動(dòng)態(tài)前景特征點(diǎn)的距離誤差，因此當(dāng)d<dth時(shí)將其判定為靜態(tài)背景特征點(diǎn)，d>dth時(shí)判為動(dòng)態(tài)前景特征點(diǎn)，得到篩選的靜態(tài)背景特征點(diǎn)集cb和動(dòng)態(tài)前景特征點(diǎn)集cf；

51、步驟s5、將篩選的靜態(tài)背景特征點(diǎn)結(jié)合八點(diǎn)法求解出更準(zhǔn)確的基礎(chǔ)矩陣fn或者單應(yīng)矩陣hn，重復(fù)步驟3與步驟4，直到所有特征點(diǎn)所屬集合分類(lèi)情況不再發(fā)生變化，從而得到最準(zhǔn)確靜態(tài)背景特征點(diǎn)與動(dòng)態(tài)目標(biāo)特征點(diǎn)分類(lèi)；

52、步驟s6、依據(jù)相鄰的兩幀圖像的靜態(tài)背景特征點(diǎn)對(duì)應(yīng)關(guān)系和運(yùn)動(dòng)參數(shù)模型求解仿射變換矩陣，對(duì)當(dāng)前幀進(jìn)行背景補(bǔ)償，利用幀間差分法對(duì)兩幀圖像進(jìn)行差分并進(jìn)行二值化圖像與形態(tài)學(xué)處理，獲得對(duì)應(yīng)的運(yùn)動(dòng)目標(biāo)框；

53、步驟s61、依據(jù)相鄰的兩幀圖像的靜態(tài)背景特征點(diǎn)對(duì)應(yīng)關(guān)系和運(yùn)動(dòng)參數(shù)模型求解仿射變換矩陣，得出運(yùn)動(dòng)參數(shù)值，根據(jù)準(zhǔn)確的全局運(yùn)動(dòng)參數(shù)對(duì)當(dāng)前幀進(jìn)行背景補(bǔ)償，采用雙線性插值算法對(duì)背景補(bǔ)償后的灰度圖像進(jìn)行插值，利用幀間差分法對(duì)兩幀圖像進(jìn)行差分處理；

54、步驟s62、對(duì)幀間差分后的灰度圖像進(jìn)行自適應(yīng)閾值二值化處理以及canny邊緣檢測(cè)，將二者結(jié)果進(jìn)行形態(tài)學(xué)處理，獲得對(duì)應(yīng)的運(yùn)動(dòng)目標(biāo)框；

55、步驟s7、使用yolo網(wǎng)絡(luò)來(lái)檢測(cè)圖像中的所有潛在物體，獲得yolo檢測(cè)的物體目標(biāo)框；

56、步驟s8、遍歷運(yùn)動(dòng)目標(biāo)框，將中心點(diǎn)位于yolo檢測(cè)的物體目標(biāo)框中的運(yùn)動(dòng)目標(biāo)框進(jìn)行合并，得到完整的運(yùn)動(dòng)目標(biāo)框，將合并后的運(yùn)動(dòng)目標(biāo)框信息與yolo檢測(cè)的目標(biāo)框信息進(jìn)行重合度匹配，重合率的計(jì)算公式如下：

57、

58、上式中，λ表示幀間差分檢測(cè)的運(yùn)動(dòng)目標(biāo)矩形框z1與yolo檢測(cè)的目標(biāo)矩形框z2的重合率；

59、步驟s9、篩選出重合率大于設(shè)定閾值的檢測(cè)對(duì)象，即為當(dāng)前圖像內(nèi)的實(shí)際運(yùn)動(dòng)目標(biāo)。

60、與現(xiàn)有技術(shù)相比，本發(fā)明具有以下有益效果：

61、本發(fā)明方法基于imu的相機(jī)運(yùn)動(dòng)估計(jì)與改進(jìn)的最大類(lèi)間方差法結(jié)合迭代運(yùn)算完成特征點(diǎn)分類(lèi)任務(wù)，并將yolo目標(biāo)檢測(cè)信息與幀間差分檢測(cè)的運(yùn)動(dòng)信息進(jìn)行對(duì)比與重合度匹配，進(jìn)而完成篩選標(biāo)記當(dāng)前圖像內(nèi)實(shí)際的運(yùn)動(dòng)目標(biāo)，達(dá)到提高動(dòng)態(tài)背景下進(jìn)行運(yùn)動(dòng)目標(biāo)識(shí)別精度與準(zhǔn)確率的效果。