專利名稱：一種機(jī)載視頻壓縮與目標(biāo)跟蹤聯(lián)合實(shí)現(xiàn)方法
技術(shù)領(lǐng)域：
本發(fā)明屬于圖像工程技術(shù)領(lǐng)域，具體涉及一種應(yīng)用于航空偵察的基于機(jī)載視頻壓縮箅法 和全局運(yùn)動(dòng)補(bǔ)償?shù)哪繕?biāo)跟蹤聯(lián)合實(shí)現(xiàn)的方法。
背景技術(shù)：
空中對(duì)地觀測(cè)的最終目的是得到有用的信息，其主要信息是從圖像(包括靜止圖片和視 頻)中獲取的，在軍事上應(yīng)用圖像目的是對(duì)各種目標(biāo)進(jìn)行持續(xù)、實(shí)時(shí)的情報(bào)、監(jiān)視和偵察
(ISR-Information， Surveillance and Reconnaissance)，從中獲得及時(shí)準(zhǔn)確的戰(zhàn)場(chǎng)信息 和精確的定位信息，以捕捉戰(zhàn)略打擊目標(biāo)，完成打擊效果評(píng)估等任務(wù)。
空中對(duì)地觀察過(guò)程中，地面或水面的運(yùn)動(dòng)目標(biāo)(如火車、汽車、艦艇等)包含著重要軍 事價(jià)值，是偵察重點(diǎn)，常常需要在飛行過(guò)程中對(duì)其持續(xù)關(guān)注。由于運(yùn)動(dòng)目標(biāo)與飛行器同樣處 于運(yùn)動(dòng)狀態(tài)，時(shí)常會(huì)因運(yùn)動(dòng)超出飛行器圖像視野而難于持續(xù)捕獲。因而空中對(duì)地觀測(cè)跟蹤運(yùn) 動(dòng)目標(biāo)的關(guān)鍵是如何能夠盡快準(zhǔn)確檢測(cè)出運(yùn)動(dòng)目標(biāo)，以調(diào)整攝像頭云臺(tái)及飛行參數(shù)，實(shí)現(xiàn)持 續(xù)跟蹤，以待對(duì)目標(biāo)做出進(jìn)一步分析與反應(yīng)。目前傳統(tǒng)的運(yùn)動(dòng)目標(biāo)跟蹤主要有兩種方式
(1) 飛行器回傳壓縮后的視頻圖像，由地面控制中心對(duì)視頻圖像進(jìn)行解碼并利用專門的目 標(biāo)識(shí)別算法檢測(cè)出圖像中的運(yùn)動(dòng)目標(biāo)，然后由地面控制中心向無(wú)人機(jī)發(fā)送控制指令，調(diào)整飛 機(jī)各項(xiàng)飛行參數(shù)及云臺(tái)設(shè)備，以便持續(xù)跟蹤運(yùn)動(dòng)目標(biāo)；
(2) 飛行器上除視頻壓縮系統(tǒng)外另加一套目標(biāo)跟蹤系統(tǒng)，專用于檢測(cè)與跟蹤運(yùn)動(dòng)目標(biāo)，并 在對(duì)偵察圖像進(jìn)行場(chǎng)景分析和目標(biāo)識(shí)別后自動(dòng)調(diào)整飛機(jī)飛行和云臺(tái)參數(shù)，以保持跟蹤或維持 定點(diǎn)偵察。
對(duì)于第一種方式，由于目標(biāo)檢測(cè)與跟蹤算法是在地面控制中心實(shí)現(xiàn)，因而實(shí)時(shí)性較差， 不能及時(shí)對(duì)飛機(jī)各參數(shù)做出調(diào)整，同時(shí)由于控制指令的發(fā)送需要依賴飛機(jī)的通信信道，因而 受信道狀況影響大。而對(duì)于第二種方式，雖然在飛機(jī)上直接實(shí)現(xiàn)了目標(biāo)檢測(cè)與跟蹤算法，提 髙了實(shí)時(shí)性，伹同時(shí)增加了機(jī)上的硬件設(shè)備，加大了系統(tǒng)復(fù)雜度，降低了其可維護(hù)性與可靠性。
目前解決問(wèn)題的入手點(diǎn)主要是考慮圖像壓縮與運(yùn)動(dòng)目標(biāo)跟蹤同時(shí)進(jìn)行。飛機(jī)上的圖像壓 縮處理部分是通過(guò)DSP來(lái)實(shí)現(xiàn)的，而目前常用DSP在實(shí)現(xiàn)圖像壓縮算法時(shí)已經(jīng)滿負(fù)荷運(yùn)作，
無(wú)法在不調(diào)整硬件且不影響DSP壓縮效率的前提下再運(yùn)行一套獨(dú)立的目標(biāo)檢測(cè)與跟蹤算法。
發(fā)明 內(nèi)容
本發(fā)明針對(duì)無(wú)人機(jī)偵察方式，利用視頻壓縮算法中預(yù)測(cè)算法部分得到的運(yùn)動(dòng)估計(jì)數(shù)據(jù)，與飛機(jī)飛行和云臺(tái)運(yùn)動(dòng)參數(shù)計(jì)算得到的全局運(yùn)動(dòng)矢量進(jìn)行運(yùn)動(dòng)補(bǔ)償?shù)玫较鄬?duì)運(yùn)動(dòng)矢量數(shù)據(jù)，
然后分析判斷像素塊的相對(duì)運(yùn)動(dòng)矢量信息，識(shí)別出目標(biāo)運(yùn)動(dòng)，進(jìn)而分割出目標(biāo)所在區(qū)域，在
壓縮圖像的同時(shí)實(shí)現(xiàn)了對(duì)運(yùn)動(dòng)目標(biāo)的獲取和跟蹤。
本發(fā)明所述的機(jī)載視頻壓縮與目標(biāo)跟蹤聯(lián)合實(shí)現(xiàn)方法首先從視頻壓縮算法中提取中間數(shù) 據(jù)，組成多元集H: p。",;7(x,力，S卜L為像素塊運(yùn)動(dòng)矢量，p(x,力為像素塊位置，S為像
素塊形狀表示數(shù)。從機(jī)載設(shè)備上提取飛行和云臺(tái)運(yùn)動(dòng)參數(shù)，組成多元集P:
(L,/^A。v,Aw，r謹(jǐn),;^人",^/0^),/小其中^,//_為飛機(jī)的飛行速度與高度； ",，/U為飛機(jī)的方位角與俯仰角；C為云臺(tái)相對(duì)于飛機(jī)運(yùn)動(dòng)的速度；K^，4^為攝像機(jī)的 轉(zhuǎn)動(dòng)角與俯仰角；w為攝像機(jī)視場(chǎng)角；/(w，/7)為所獲視頻流的每幀圖像的寬和高(以像素為 單位)；々為視頻流的幀率。通過(guò)對(duì)多元集P的計(jì)算得到全局運(yùn)動(dòng)矢量^，應(yīng)用1對(duì)1 進(jìn) 行全局運(yùn)動(dòng)補(bǔ)償，得到相對(duì)運(yùn)動(dòng)矢量5 = l〃 -1 。
對(duì)多元集H中j7(x,力和S進(jìn)行分析，對(duì)像素塊進(jìn)行編號(hào)并與相對(duì)運(yùn)動(dòng)矢量相對(duì)應(yīng)，所有
的像素塊編號(hào)組成集合c，通過(guò)對(duì)集合c中的像素塊的運(yùn)動(dòng)矢量進(jìn)行分析判斷，提取運(yùn)動(dòng)目
標(biāo)的信息，找到運(yùn)動(dòng)矢量的權(quán)值M(n)大于設(shè)定門限值T的像素塊編號(hào)，并組成集合C'，根據(jù) 像素塊的位置和形狀信息，計(jì)算運(yùn)動(dòng)目標(biāo)的位置、輪廓、運(yùn)動(dòng)狀態(tài)，實(shí)現(xiàn)了在壓縮圖像的同 時(shí)獲取和跟蹤目標(biāo)。
本發(fā)明的機(jī)載視頻壓縮與目標(biāo)跟蹤聯(lián)合實(shí)現(xiàn)方法具體步驟為
第一步，從視頻壓縮算法的運(yùn)動(dòng)參數(shù)估計(jì)部分提取中間數(shù)據(jù)，組成多元集H: p。",p(x，力,q ;從機(jī)載設(shè)備上提取飛行和云臺(tái)運(yùn)動(dòng)參數(shù)，組成多元集P:
{「證,H,咖，"彥,， 「麵，, 4側(cè),P, 7(w, W, 。
所述的中間數(shù)據(jù)包括像素塊的運(yùn)動(dòng)矢量、位置和形狀信息，其中運(yùn)動(dòng)矢量滿足最小準(zhǔn)則
關(guān)系提??；
第二步，通過(guò)提取的第一步中的多元集P，計(jì)算出全局運(yùn)動(dòng)矢量l，對(duì)從壓縮算法中運(yùn) 動(dòng)參數(shù)估計(jì)部分提取的像素塊運(yùn)動(dòng)矢量丄"進(jìn)行運(yùn)動(dòng)補(bǔ)償，得到相對(duì)運(yùn)動(dòng)矢量^， ^ = ^"-1 之后對(duì)像素塊進(jìn)行編號(hào)組成集合C，得到c= (^"),a(x，力,&);
所述的運(yùn)動(dòng)補(bǔ)償將對(duì)由飛機(jī)飛行和云臺(tái)運(yùn)動(dòng)(包括轉(zhuǎn)動(dòng)、俯仰等)弓I起的運(yùn)動(dòng)矢量L進(jìn) 行補(bǔ)償，以確保補(bǔ)償后含有目標(biāo)的像素塊的相對(duì)運(yùn)動(dòng)矢量遠(yuǎn)大于僅含有背景的像素塊的相對(duì) 運(yùn)動(dòng)矢量；所述的編號(hào)由三部分構(gòu)成，第一部分為像素塊對(duì)應(yīng)的相對(duì)運(yùn)動(dòng)矢量J(")，第二部 分為像素塊的位置信息——像素塊坐標(biāo)凡Ot,y)，第三部分為像素塊的形狀表示數(shù)&，提取 的像素塊編號(hào)組成集合C ， n表示當(dāng)前像素塊為第n個(gè)像素塊。
第三步，通過(guò)矢量分析判斷提取包括運(yùn)動(dòng)目標(biāo)的像素塊編號(hào)集合C';
首先計(jì)算出當(dāng)前像素塊的相對(duì)運(yùn)動(dòng)矢量3的權(quán)值大小M(")，設(shè)定門限值T，將M(")與門限值T比較，將M(")大于T的相對(duì)運(yùn)動(dòng)矢量3的所在像素塊對(duì)應(yīng)的編號(hào)，組成一個(gè)編號(hào) 集合C',集合C'為集合C的一個(gè)子集。
第四步，判斷編號(hào)在集合C'中的各個(gè)像素塊間的關(guān)系，確定運(yùn)動(dòng)目標(biāo)位置、輪廓及運(yùn)動(dòng)
狀態(tài)，實(shí)現(xiàn)實(shí)時(shí)獲取和跟蹤運(yùn)動(dòng)目標(biāo)； 本發(fā)明的優(yōu)點(diǎn)在于--
(1) 實(shí)時(shí)性高在視頻壓縮編碼的同時(shí)實(shí)現(xiàn)對(duì)運(yùn)動(dòng)目標(biāo)的檢測(cè)與跟蹤。
(2) 實(shí)現(xiàn)簡(jiǎn)單該方法利用視頻壓縮算法中產(chǎn)生的中間數(shù)據(jù)進(jìn)行分析計(jì)算，所需的運(yùn) 動(dòng)補(bǔ)償參數(shù)可以直接從機(jī)載設(shè)備上實(shí)時(shí)獲得，不需添加額外的硬件設(shè)備，所需要的硬件資源 少。
(3) 可靠性強(qiáng)該方法可以在無(wú)人機(jī)上同時(shí)實(shí)現(xiàn)圖像壓縮和跟蹤，不需要依靠易受環(huán) 境影響的無(wú)人機(jī)信道，保證了系統(tǒng)運(yùn)行的高可靠性與高穩(wěn)定性。
(4) 支持多目標(biāo)識(shí)別該方法通過(guò)運(yùn)動(dòng)補(bǔ)償?shù)姆椒?，使目?biāo)運(yùn)動(dòng)矢量得以凸顯出來(lái)， 在處理區(qū)域內(nèi)包含多目標(biāo)時(shí)不會(huì)出現(xiàn)遺漏和誤判。


圖1是本發(fā)明的運(yùn)動(dòng)目標(biāo)跟蹤方法流程圖2是本發(fā)明的運(yùn)動(dòng)矢量計(jì)算的說(shuō)明圖3是本發(fā)明的航空偵察及全局運(yùn)動(dòng)矢量示意圖4是本發(fā)明的獲得像素塊相對(duì)運(yùn)動(dòng)矢量的流程圖5是H.264視頻壓縮算法中的圖像塊劃分模式圖示；
圖6是本發(fā)明的運(yùn)動(dòng)矢量分析法提取運(yùn)動(dòng)目標(biāo)所在像素塊信息的流程圖7是本發(fā)明的根據(jù)運(yùn)動(dòng)矢量信息實(shí)現(xiàn)獲取和跟蹤目標(biāo)的流程圖。
具體實(shí)施例方式
下面將結(jié)合附圖對(duì)本發(fā)明作進(jìn)一步的詳細(xì)說(shuō)明。
本發(fā)明是一種機(jī)載視頻壓縮與目標(biāo)跟蹤聯(lián)合實(shí)現(xiàn)方法。該方法利用現(xiàn)有的視頻壓縮算法, 從視頻壓縮算法中提取中間數(shù)據(jù)，同時(shí)通過(guò)對(duì)飛機(jī)飛行和云臺(tái)運(yùn)動(dòng)參數(shù)的計(jì)算得到運(yùn)動(dòng)補(bǔ)償 參數(shù)對(duì)像素塊運(yùn)動(dòng)矢量進(jìn)行補(bǔ)償，然后通過(guò)對(duì)所獲數(shù)據(jù)的進(jìn)一步分析計(jì)算，找到相對(duì)運(yùn)動(dòng)矢 量權(quán)值較大的像素塊，根據(jù)像素塊的位置和形狀確定圖像邊界，進(jìn)而檢測(cè)出運(yùn)動(dòng)目標(biāo)所處的 圖像區(qū)域，實(shí)現(xiàn)無(wú)人機(jī)對(duì)所獲取地面圖像中運(yùn)動(dòng)目標(biāo)的實(shí)時(shí)跟蹤。
本發(fā)明所述的機(jī)載視頻壓縮與目標(biāo)跟蹤聯(lián)合實(shí)現(xiàn)方法，流程如圖1所示，具體步驟如下 第一步，從視頻壓縮算法的運(yùn)動(dòng)參數(shù)估計(jì)部分提取中間數(shù)據(jù)，組成多元集H: ^。,,，;7(>,>0，4;其中丄《為像素塊運(yùn)動(dòng)矢量，p(A力為像素塊位置，S為像素塊形狀表示數(shù)。
從機(jī)載設(shè)備上提取飛行和云臺(tái)運(yùn)動(dòng)參數(shù)，組成多元集P:{^,AOT,",,U,,Lm,4am,p,"w，;o,>}。其中^,/^為飛機(jī)的飛行速度與高度； ",，A。v為飛機(jī)的方位角與俯仰角；R自為云臺(tái)相對(duì)于飛機(jī)運(yùn)動(dòng)的速度；7,，義，為攝像機(jī)的 轉(zhuǎn)動(dòng)角與俯仰角；^為攝像機(jī)視場(chǎng)角；/(w，/z)為所獲視頻流的每幀圖像的寬和高(以像素為 單位)；々為視頻流的幀率。
所述的中間數(shù)據(jù)是從含有預(yù)測(cè)算法的視頻壓縮算法中提取的，所述的視頻壓縮算法可以 是MPEG-4、 H.264等。在預(yù)測(cè)算法進(jìn)行幀間預(yù)測(cè)過(guò)程中，運(yùn)動(dòng)參數(shù)估計(jì)部分對(duì)運(yùn)動(dòng)目標(biāo)的
運(yùn)動(dòng)矢量進(jìn)行計(jì)算，計(jì)算出圖像各個(gè)宏塊(由同一幀圖像分割出的像素塊)或子宏塊(由同
一宏塊分割出的像素塊)的運(yùn)動(dòng)矢量，所述的"幀"為視頻流中的一幅完整圖像；"運(yùn)動(dòng)矢量" 為前后兩幅圖像中相匹配像素塊的相對(duì)偏移量。
第二步，通過(guò)第一步中提取的多元集p，計(jì)算出全局運(yùn)動(dòng)矢量l,對(duì)從壓縮算法中運(yùn)動(dòng) 參數(shù)估計(jì)部分提取的像素塊運(yùn)動(dòng)矢量L進(jìn)行運(yùn)動(dòng)補(bǔ)償，得到相對(duì)運(yùn)動(dòng)矢量^， 5 = 5。"-1， 之后對(duì)像素塊進(jìn)行編號(hào)得到集合c: c= (^"),凡(x,力,&);
全局運(yùn)動(dòng)矢量l根據(jù)飛機(jī)飛行參數(shù)和攝像機(jī)云臺(tái)參數(shù)實(shí)時(shí)計(jì)算得出，l表示由于攝像 機(jī)運(yùn)動(dòng)，即飛機(jī)飛行和云臺(tái)運(yùn)動(dòng)組成的復(fù)合運(yùn)動(dòng)，造成的運(yùn)動(dòng)矢量，在兩個(gè)連續(xù)視頻幀之間， 每個(gè)像素的位移都包含這個(gè)運(yùn)動(dòng)矢量。
所述的編號(hào)由三部分構(gòu)成，第一部分為像素塊對(duì)應(yīng)的相對(duì)運(yùn)動(dòng)矢量&")，第二部分為像 素塊的位置信息——像素塊坐標(biāo)A(x，力，第三部分為像素塊的形狀表示數(shù)&， n表示當(dāng)前像
素塊為第n個(gè)像素塊，提取的像素塊編號(hào)組成集合C。
首先說(shuō)明通過(guò)多元集p計(jì)算全局運(yùn)動(dòng)矢量^的方法。 根據(jù)多元集p:化，，A。v,"咖,/L"r匿, ^,4^9a(w,/0，/4 ，計(jì)算
偵察區(qū)域 &=2x/f 。vxtanf (1)
兩連續(xù)幀間背景位移為 / = U/r (2)
沿地面參照物水平分量為 /A=/xc0Sa OT (3)
垂直分量 Zv="sina OT (4)
所獲全局運(yùn)動(dòng)矢量l:
水平方向 i。(5)
垂直方向分量 j。=/v/&xw (6)
故全局運(yùn)動(dòng)矢量 I (8)
例如假設(shè)無(wú)人機(jī)飛行高度為H,-6000m;飛行速度F 。v =50m/s;飛機(jī)方位角 ~v=36.9° ;飛行方向平行于地平線，即UO;云臺(tái)相對(duì)飛機(jī)無(wú)運(yùn)動(dòng)，即7,=0;攝像機(jī) 無(wú)旋轉(zhuǎn)與俯仰，即r,-o， 4 =0;視場(chǎng)角^=1° ;每幀圖像大小/(w,/z) =360x288 (像素 點(diǎn))，視頻流幀率A為25幀/s?？傻脗刹靺^(qū)域&=2><^。1;"011* = 2><6000"&110.5 = 104.7111;兩連續(xù)幀間背景位移為
<formula>formula see original document page 9</formula>下面說(shuō)明像素塊運(yùn)動(dòng)矢量^w的獲取方法。
如圖2所示，設(shè)當(dāng)前像素塊為乂(M,AO，當(dāng)前像素塊相對(duì)于前一像素塊B的位移為 l"=(z》')，則設(shè)定前一幀搜索區(qū)為S(M + 2約,7V + 2『力，^為水平單側(cè)擴(kuò)展量，^為垂直
單側(cè)擴(kuò)展量。在搜索區(qū)S中，如能找到與當(dāng)前像素塊A匹配的前一像素塊B，則該運(yùn)動(dòng)矢量 L^(z',力即為當(dāng)前像素塊A的運(yùn)動(dòng)矢量，其中i、 j單位為像素。
所述的兩個(gè)像素塊之間的匹配準(zhǔn)則有 a)均方誤差(MSE)最小準(zhǔn)則
b)絕對(duì)誤差均值(MAD)最小準(zhǔn)則
(9)
(10)
其中M,N為當(dāng)前像素塊的寬度與長(zhǎng)度，單位為像素；乂(x，;O代表當(dāng)前像素塊的灰度值； L (1 + /,少+ _/)代表前一像素塊的灰度值。
如果兩個(gè)像素塊之間的運(yùn)動(dòng)矢量滿足上述的任意一個(gè)最小準(zhǔn)則關(guān)系，則可以找到相應(yīng)每 一個(gè)像素塊的運(yùn)動(dòng)矢量。 最后，按照公式
3 = US =0'-/0,_/-_/。) (ii)
得到補(bǔ)償后的相對(duì)運(yùn)動(dòng)矢量，并按照塊順序進(jìn)行編號(hào)得到^(w)。
航空偵察及全局運(yùn)動(dòng)矢量示意如圖3所示，在通常的空中對(duì)地偵察中，飛機(jī)以一定速度 V在一定高度H上對(duì)地面目標(biāo)進(jìn)行觀察。在飛機(jī)速度V、高度H、飛機(jī)的方位角a、俯仰角
-、攝像機(jī)的轉(zhuǎn)動(dòng)角r與俯仰角義和為攝像機(jī)視場(chǎng)角P等參數(shù)都已知的情況下，可以計(jì)算出 兩幀圖像間由上述因素導(dǎo)致的運(yùn)動(dòng)矢量，也即全局運(yùn)動(dòng)矢量。圖3中右側(cè)圖顯示了理想狀態(tài) 下，飛機(jī)相對(duì)地面做平動(dòng)飛行，攝像機(jī)沒有轉(zhuǎn)動(dòng)與俯仰操作下兩幀偵察圖像的關(guān)系，圖中I(t) 為t時(shí)刻圖像中某一區(qū)域，1(t+l)為t+l時(shí)刻圖像中的同一區(qū)域，將l(t)和I(t+l)的相對(duì)位
置在同一圖像中顯示，可以觀察到二者的相對(duì)位移，該位移是由飛機(jī)飛行和攝像機(jī)運(yùn)動(dòng)造成 的，計(jì)算出該相對(duì)位移，即得全局運(yùn)動(dòng)矢量l，其中/。、 /。為l的兩個(gè)分量。
9運(yùn)動(dòng)矢量的獲取流程如圖4所示，在視頻壓縮算法的參數(shù)估計(jì)部分獲得各個(gè)像素塊的運(yùn)動(dòng) 矢量，并利用計(jì)算得到的全局運(yùn)動(dòng)矢量對(duì)所獲的運(yùn)動(dòng)矢量進(jìn)行背景運(yùn)動(dòng)補(bǔ)償，得到相對(duì)運(yùn)動(dòng) 矢量。同時(shí)根據(jù)像素塊的位置和大小對(duì)各個(gè)像素塊進(jìn)行編號(hào)，記錄每個(gè)像素塊的編號(hào)并與其 運(yùn)動(dòng)矢量相對(duì)應(yīng)，直至把所有運(yùn)動(dòng)參數(shù)估計(jì)部分的像素塊都獲取完畢，停止獲取運(yùn)動(dòng)矢量， 將所得到的像素塊編號(hào)組成一個(gè)集合C 。
所述的像素塊的編號(hào)由三部分構(gòu)成，第一部分為像素塊對(duì)應(yīng)的相對(duì)運(yùn)動(dòng)矢量&")，第二
部分為像素塊的位置信息，如其左上角的像素坐標(biāo)Oc,力就可以確定該像素塊的位置；第三部 分為像素塊的形狀表示數(shù)，如H.264壓縮算法中共有7種像素塊劃分類型，如圖5是H.264視 頻壓縮算法中的像素塊劃分模式圖示，其中的模式l、模式2、模式3、模式4、模式5、模式 6、模式7分另?yè)?jù)示像素塊大小為16X16、 8X16、 16X8、 8x8、 4X8、 8X4、 4X4的形 狀類型，并分別記為形狀表示數(shù)l、 2、 3、 4、 5、 6、 7;本發(fā)明中的形狀表示數(shù)與該像素塊 劃分模式相對(duì)應(yīng)，所述像素塊的形狀表示數(shù)就是采用像素塊的劃分模型號(hào)。因此對(duì)像素塊進(jìn) 行編號(hào)后，像素塊的位置、形狀和運(yùn)動(dòng)狀態(tài)信息都隨即獲得。
第三步，通過(guò)矢量分析判斷提取包括運(yùn)動(dòng)目標(biāo)的像素塊編號(hào)集合C'。
A) 如圖6所示，首先設(shè)定一個(gè)門限值T，門限值T為正值，它是一個(gè)運(yùn)動(dòng)矢量權(quán)值判 別標(biāo)準(zhǔn)，用于判斷各個(gè)像素塊是否含有運(yùn)動(dòng)目標(biāo)，調(diào)節(jié)門限值T可調(diào)節(jié)運(yùn)動(dòng)目標(biāo)檢測(cè)的靈敏 度，T的具體取值需要根據(jù)相對(duì)運(yùn)動(dòng)矢量權(quán)值所釆用的計(jì)算方法及靈敏度要求而定， 一般所 要求的靈敏度越高，門限值T的取值越小。通常T的取值范圍在幾到幾百之間。
B) 讀取編號(hào)在集合C中的像素塊信息，設(shè)定當(dāng)前視頻幀共有m個(gè)像素塊，對(duì)每個(gè)像素 塊進(jìn)行完運(yùn)動(dòng)補(bǔ)償后，計(jì)算出各個(gè)像素塊的相對(duì)運(yùn)動(dòng)矢量的權(quán)值大小M("),計(jì)算公式如下
M(") = p(")|2 (12)
n表示當(dāng)前像素塊為第n個(gè)像素塊，并且n<m。 為當(dāng)前像素塊相對(duì)運(yùn)動(dòng)矢量。MO)
也可以根據(jù)其它準(zhǔn)則進(jìn)行計(jì)算。
C) 將M(")與門限值T比較，
若M(n^T，則記錄第n個(gè)像素塊對(duì)應(yīng)的編號(hào)及運(yùn)動(dòng)矢量，組成一個(gè)編號(hào)集合C'，集合 C'為集合C的一個(gè)子集，然后讀取下一個(gè)像素塊；
若M(";^T，則不記錄相應(yīng)的像素塊信息，直接讀取下一個(gè)像素塊進(jìn)行判斷； 集合C'中的編號(hào)所對(duì)應(yīng)的像素塊的相對(duì)運(yùn)動(dòng)矢量權(quán)值大于門限值T。像素塊的運(yùn)動(dòng)矢量 均較大程度超出了其他相對(duì)運(yùn)動(dòng)矢量，因此本發(fā)明中將集合C'中所對(duì)應(yīng)的像素塊視為包含有 運(yùn)動(dòng)目標(biāo)的像素塊。此處值得說(shuō)明的是進(jìn)行運(yùn)動(dòng)補(bǔ)償之前的像素塊運(yùn)動(dòng)矢量中，飛機(jī)飛行 和云臺(tái)運(yùn)動(dòng)引發(fā)的運(yùn)動(dòng)矢量占據(jù)主要部分，而目標(biāo)運(yùn)動(dòng)因?yàn)橄鄬?duì)于飛機(jī)運(yùn)動(dòng)較小，因而只占 像素塊運(yùn)動(dòng)矢量的小部分，致使包含目標(biāo)的像素塊運(yùn)動(dòng)矢量權(quán)值與全局運(yùn)動(dòng)矢量權(quán)值相差無(wú)幾，難以區(qū)分。進(jìn)行運(yùn)動(dòng)補(bǔ)償之后，所得的相對(duì)運(yùn)動(dòng)矢量中目標(biāo)運(yùn)動(dòng)矢量占據(jù)了主要成分， 進(jìn)而像素塊的相對(duì)運(yùn)動(dòng)矢量的權(quán)值有了明顯的區(qū)分。
第四步，判斷第二步中所得集合C'中像素塊間的關(guān)系，確定運(yùn)動(dòng)目標(biāo)位置、輪廓及運(yùn)動(dòng)
狀態(tài)，實(shí)現(xiàn)實(shí)時(shí)獲取和跟蹤運(yùn)動(dòng)目標(biāo)。
由于集合c'中的單個(gè)或者多個(gè)像素塊中包含了運(yùn)動(dòng)目標(biāo)，因此通過(guò)判斷像素塊間的關(guān)系
及所得到的像素塊邊緣、中心位置、及運(yùn)動(dòng)矢量大小，可以確定運(yùn)動(dòng)目標(biāo)的位置、形狀和運(yùn)
動(dòng)狀態(tài)。
如圖7所示，根據(jù)相對(duì)運(yùn)動(dòng)矢量信息實(shí)現(xiàn)獲取和跟蹤運(yùn)動(dòng)目標(biāo)的流程圖，將所述的第三 步中所得到的超過(guò)門限值T的編號(hào)在集合C'內(nèi)的像素塊進(jìn)行判斷
(a) 根據(jù)編號(hào)的第一部分位置信息，如果兩像素塊不相鄰，則按照一個(gè)像素塊的編號(hào)和運(yùn) 動(dòng)矢量來(lái)計(jì)算像素塊的邊緣及中心位置，并記錄相應(yīng)像素塊的編號(hào)；
(b) 如果兩像素塊相鄰，則繼續(xù)比較兩個(gè)像素塊的運(yùn)動(dòng)矢量；
(c) 如果相對(duì)運(yùn)動(dòng)矢量相近，則按像素塊聯(lián)合塊計(jì)算像素邊緣及中心位置，并記錄下相應(yīng) 聯(lián)合塊的編號(hào)，聯(lián)合塊的編號(hào)取其中一個(gè)像素塊的編號(hào)；
(d) 如果運(yùn)動(dòng)矢量不相近，則分別記錄兩個(gè)像素塊的邊緣及中心位置，并記錄相應(yīng)像素塊 的編號(hào)。
上述四步提取出了集合C'中的像素塊所包含的運(yùn)動(dòng)目標(biāo)，獲得了運(yùn)動(dòng)目標(biāo)在圖像中的相 對(duì)位置數(shù)據(jù)及相對(duì)運(yùn)動(dòng)矢量數(shù)據(jù)，根據(jù)所得的數(shù)據(jù)，無(wú)人機(jī)上的各種對(duì)運(yùn)動(dòng)目標(biāo)的響應(yīng)程序 可直接從該存儲(chǔ)空間中獲取數(shù)據(jù)，調(diào)節(jié)無(wú)人機(jī)各參數(shù)及設(shè)備狀態(tài)，完成各自的功能，如根據(jù) 目標(biāo)位置調(diào)節(jié)攝像機(jī)云臺(tái)，令攝像機(jī)對(duì)準(zhǔn)目標(biāo)、拉近目標(biāo)等。
實(shí)施例下面以理想條件下的小幅圖像來(lái)進(jìn)一步說(shuō)明本發(fā)明的運(yùn)動(dòng)目標(biāo)跟蹤方法。設(shè)定 目標(biāo)圖像大小為8*8像素，分塊模式參考圖5中模式7，即分為4個(gè)4M像素塊A、 B、 C、 D (按從左至右，從上到下順序)。運(yùn)動(dòng)矢量^分別為(8, 6)、 (5, 4)、 (5, 4)、 (5， 4)， 全局運(yùn)動(dòng)矢量為1= (4， 4),這里考慮到因飛行震動(dòng)、傳感器精度等誤差因素，因而全局運(yùn) 動(dòng)矢量補(bǔ)償沒有按照理想條件(5， 4)補(bǔ)償，這更加符合實(shí)際情況，不過(guò)通過(guò)下面的計(jì)算可 以看出，這些誤差沒有影響對(duì)含有目標(biāo)像素塊的識(shí)別。
步驟l、 2:在視頻壓縮算法中的運(yùn)動(dòng)參數(shù)估計(jì)部分提取參數(shù)集H,由機(jī)載設(shè)備提取參數(shù)
集P，由P集中各元素計(jì)算出全局運(yùn)動(dòng)矢量l，進(jìn)行運(yùn)動(dòng)補(bǔ)償?shù)玫?，并為其編號(hào)得到&")。 像素塊按照A、 B、 C、 D的順序編為序號(hào)l、 2、 3、 4，提取出的四個(gè)像素塊的運(yùn)動(dòng)矢 量為(8， 6)、 (5， 4)、 (5， 4)、 (5， 4)，根據(jù)式(11)得出，進(jìn)行運(yùn)動(dòng)補(bǔ)償后相對(duì)運(yùn)動(dòng) 矢量為5(1)= (4, 2)、 3(2)= (1， 0)、 3(3)= (1， 0)、 3(4)= (1， 0)，各像素塊左上角的 像素坐標(biāo)為(0， 0)、 (4， 0)、 (0， 4)、 (4， 4)，形狀類型號(hào)為7、 7、 7、 7 (即形狀均為圖示5中模式7，為4*4像素的方塊)。因此像素塊A、 B、 C、 D的編號(hào)分別為[3(1), (0,0)，7]3(2)， (4，0)，7j3(3)， (0,4),7]3(4)， (4,4)，7]。
步驟3:通過(guò)矢量分析判斷提取包括運(yùn)動(dòng)目標(biāo)的像素塊編號(hào)集合C'。
當(dāng)前視頻幀共有4個(gè)像素塊，根據(jù)式(12)計(jì)算出各個(gè)像素塊的相對(duì)運(yùn)動(dòng)矢量權(quán)值大小 M(l)、 M(2)、 M(3)、 M(4)。
在本實(shí)例中^(1)=20， M(2) = l， M(3)=l， M(4) = l。設(shè)定門限值T-4， M(l) 、 M(2)、 M(3)、 M(4)與T比較
M(l) >T，
M(2)<T,
M(3) <T，
M(4)<T,
只有像素塊A (序號(hào)為1)的運(yùn)動(dòng)矢量差距M(1)大于門限值T,因而提取其編號(hào)[(O， 0)， 7j信息序號(hào)為l，相對(duì)運(yùn)動(dòng)矢量為&1)= (4， 2)，左上角坐標(biāo)(0， ),形狀類型號(hào)7。
值得注意的是當(dāng)像素塊中存在多個(gè)目標(biāo)或者有多個(gè)塊包含目標(biāo)運(yùn)動(dòng)時(shí)，本發(fā)明所述的 方法依然可以檢測(cè)出運(yùn)動(dòng)目標(biāo)。如本例中，不妨假設(shè)像素塊相對(duì)運(yùn)動(dòng)矢量為^1)= <4， 2)、 3(2) = (1 ， 0) 、 3(3) =(3,2)、 3(4) = (1 ， 0)，計(jì)算出相應(yīng)的分別為=20， M(2)-1 ， M(3)=13， M(4) = l，依然可以提取出包含目標(biāo)的像素塊為l和3，而這在許多其他算法中 都是不可實(shí)現(xiàn)的。
步驟4:判斷步驟3中所得集合C'中像素塊間的關(guān)系，確定運(yùn)動(dòng)目標(biāo)位置、輪廓及運(yùn)動(dòng) 狀態(tài)，實(shí)現(xiàn)實(shí)時(shí)獲取和跟蹤運(yùn)動(dòng)目標(biāo)。
査找步驟2中提取出的像素塊編號(hào)信息，先判斷是否有位置相鄰情況發(fā)生，由于該實(shí)例 中僅有一條編號(hào)信息被提取，因而無(wú)相鄰情況，直接計(jì)算像素塊邊界及中心位置。由類型號(hào) 7知該像素塊為4M像素大小的方塊，四條邊界的起始與終止點(diǎn)坐標(biāo)組為(0， 0) - (3, 0)， (3, 0) - (3， 3) (3, 3) - (0， 3) (0， 3) - (0， 0)，像素塊中心位置取(1， 1)，相 對(duì)運(yùn)動(dòng)矢量為^(1)= (4， 2)。至此目標(biāo)跟蹤方法已經(jīng)實(shí)現(xiàn)。無(wú)人機(jī)上的各種對(duì)運(yùn)動(dòng)目標(biāo)的響 應(yīng)程序可結(jié)果中獲取所需數(shù)據(jù)，調(diào)節(jié)無(wú)人機(jī)各參數(shù)及設(shè)備狀態(tài)，完成各自的功能，如根據(jù)目 標(biāo)位置調(diào)節(jié)攝像機(jī)云臺(tái)，令攝像機(jī)對(duì)準(zhǔn)目標(biāo)、拉近目標(biāo)等。
權(quán)利要求
1、一種機(jī)載視頻壓縮和目標(biāo)跟蹤聯(lián)合實(shí)現(xiàn)方法，其特征在于包括如下步驟第一步，從視頻壓縮算法的運(yùn)動(dòng)參數(shù)估計(jì)部分提取中間數(shù)據(jù)，組成多元集H從機(jī)載設(shè)備上提取飛行和云臺(tái)運(yùn)動(dòng)參數(shù)，組成多元集P其中為像素塊運(yùn)動(dòng)矢量，p(x，y)為像素塊位置，S為像素塊形狀表示數(shù)；Vuav，Huav為飛機(jī)的飛行速度與高度；αuav，βuav為飛機(jī)的方位角與俯仰角；Vcam為云臺(tái)相對(duì)與飛機(jī)運(yùn)動(dòng)的速度；γcam，λcam為攝像機(jī)的轉(zhuǎn)動(dòng)角與俯仰角；為攝像機(jī)視場(chǎng)角；I(w，h)為所獲視頻流的每幀圖像的寬和高；fr為視頻流的幀率；所述的中間數(shù)據(jù)包括像素塊的運(yùn)動(dòng)矢量，位置和形狀信息，其中運(yùn)動(dòng)矢量滿足最小準(zhǔn)則關(guān)系提?。坏诙?，通過(guò)提取的第一步中的多元集P，計(jì)算出全局運(yùn)動(dòng)矢量對(duì)從壓縮算法中運(yùn)動(dòng)參數(shù)估計(jì)部分提取的像素塊運(yùn)動(dòng)矢量進(jìn)行運(yùn)動(dòng)補(bǔ)償，得到相對(duì)運(yùn)動(dòng)矢量將像素塊編號(hào)得到組成集合C，所述的編號(hào)由三部分構(gòu)成，第一部分為像素塊對(duì)應(yīng)的相對(duì)運(yùn)動(dòng)矢量第二部分為像素塊的位置信息——像素塊坐標(biāo)pn(x，y)，第三部分為像素塊的形狀表示數(shù)Sn，提取的像素塊編號(hào)組成集合C，集合C為n表示當(dāng)前像素塊為第n個(gè)像素塊；第三步，通過(guò)矢量分析判斷提取包括運(yùn)動(dòng)目標(biāo)的像素塊編號(hào)集合C′；設(shè)定一個(gè)門限值T，計(jì)算當(dāng)前像素塊的相對(duì)運(yùn)動(dòng)矢量的權(quán)值大小M(n)，n表示當(dāng)前像素塊為第n個(gè)像素塊，設(shè)定某一門限值T，將M(n)與門限值T比較若M(n)>T，則記錄第n個(gè)像素塊對(duì)應(yīng)的編號(hào)及運(yùn)動(dòng)矢量，得到一個(gè)編號(hào)集合C′，集合C′為集合C的一個(gè)子集，然后讀取下一個(gè)像素塊；若M(n)<T，則不記錄相應(yīng)的像素塊信息，直接讀取下一個(gè)像素塊進(jìn)行判斷；第四步，判斷編號(hào)在集合C′中的各個(gè)像素塊間的關(guān)系，確定運(yùn)動(dòng)目標(biāo)位置、輪廓及運(yùn)動(dòng)狀態(tài)，實(shí)現(xiàn)實(shí)時(shí)獲取和跟蹤運(yùn)動(dòng)目標(biāo)，具體如下(a)根據(jù)編號(hào)的第一部分位置信息，如果兩像素塊不相鄰，則按照一個(gè)像素塊的編號(hào)和運(yùn)動(dòng)矢量來(lái)計(jì)算像素塊的邊緣及中心位置，并記錄相應(yīng)像素塊的編號(hào)；(b)如果兩像素塊相鄰，則繼續(xù)比較兩個(gè)像素塊的運(yùn)動(dòng)矢量；(c)如果相對(duì)運(yùn)動(dòng)矢量相近，則按像素塊聯(lián)合塊計(jì)算像素邊緣及中心位置，并記錄下相應(yīng)聯(lián)合塊的編號(hào)，聯(lián)合塊的編號(hào)取其中一個(gè)像素塊的編號(hào)；(d)如果運(yùn)動(dòng)矢量不相近，則分別記錄兩個(gè)像素塊的邊緣及中心位置，并記錄相應(yīng)像素塊的編號(hào)。
2、根據(jù)權(quán)利要求1所述的一種機(jī)載視頻壓縮和目標(biāo)跟蹤聯(lián)合實(shí)現(xiàn)方法，其特征在于第一 步所述的運(yùn)動(dòng)矢量滿足以下式(1)、式(2)中任意一個(gè)最小準(zhǔn)則關(guān)系， 均方誤差(MSE)最小準(zhǔn)則絕對(duì)誤差均值(MAD)最小準(zhǔn)則<formula>formula see original document page 3</formula> (2) 其中M,N為當(dāng)前幀塊的寬度與長(zhǎng)度，單位為像素；乂(x,少)代表當(dāng)前幀塊的灰度值； ! (x + ，少+力代表前一幀塊的灰度值。
3、 根據(jù)權(quán)利要求1所述的一種機(jī)載視頻壓縮和目標(biāo)跟蹤聯(lián)合實(shí)現(xiàn)方法，其特征在于第二 步所述的全局運(yùn)動(dòng)矢量l根據(jù)飛機(jī)飛行參數(shù)和攝像機(jī)云臺(tái)參數(shù)實(shí)時(shí)計(jì)算得出，l表示由于 攝像機(jī)運(yùn)動(dòng)，即飛機(jī)飛行和云臺(tái)運(yùn)動(dòng)組成的復(fù)合運(yùn)動(dòng)，造成的運(yùn)動(dòng)矢量，在兩個(gè)連續(xù)視頻幀 之間，每個(gè)像素的位移都包含這個(gè)運(yùn)動(dòng)矢量。
4、 根據(jù)權(quán)利要求1所述的一種機(jī)載視頻壓縮和目標(biāo)跟蹤聯(lián)合實(shí)現(xiàn)方法，其特征在于第三 步所述的M(")采用當(dāng)前像素塊的相對(duì)運(yùn)動(dòng)矢量^(")的模的平方值<formula>formula see original document page 3</formula>(3)其中^") = ^(")-1 , n表示當(dāng)前像素塊為第n個(gè)像素塊。
5、 根據(jù)權(quán)利要求1所述的一種機(jī)載視頻壓縮和目標(biāo)跟蹤聯(lián)合實(shí)現(xiàn)方法，其特征在于第二 步所述的門限值T為正值，它是一個(gè)運(yùn)動(dòng)矢量差距標(biāo)準(zhǔn)，用于判斷各個(gè)像素塊是否含有運(yùn)動(dòng) 目標(biāo)，通過(guò)調(diào)節(jié)門限值T調(diào)節(jié)運(yùn)動(dòng)目標(biāo)檢測(cè)的靈敏度。
6、 根據(jù)權(quán)利要求1所述的一種機(jī)載視頻壓縮和目標(biāo)跟蹤聯(lián)合實(shí)現(xiàn)方法，其特征在于第二 步所述的對(duì)從壓縮算法中運(yùn)動(dòng)參數(shù)估計(jì)部分提取的像素塊運(yùn)動(dòng)矢量工"進(jìn)行運(yùn)動(dòng)補(bǔ)償，得到相 對(duì)運(yùn)動(dòng)矢量3，具體方法如下所述的全局運(yùn)動(dòng)矢量^、運(yùn)動(dòng)矢量^的通過(guò)以下公式計(jì)算根據(jù)第一步中的多元組合P: A。v,"咖，A^,d ,4am^/Oa),>}得到偵察區(qū)域 &=2x// 。vxtan| (4)兩連續(xù)幀間背景位移為 / = 「，/戶 (5)沿地面參照物水平分量為 4:/xcos"^ (6)垂直分量 々=/xsinc^v (7)所獲全局運(yùn)動(dòng)矢量l為水平方向 (8)垂直方向 7。=/v/&xw (9)全局運(yùn)動(dòng)矢量l=(z'。，_/。) (10)相對(duì)運(yùn)動(dòng)矢量孑為 3 ==0'_/0,y —厶) (11) c
全文摘要
本發(fā)明公開了一種機(jī)載視頻壓縮和目標(biāo)跟蹤聯(lián)合實(shí)現(xiàn)方法，該方法利用現(xiàn)有的視頻壓縮算法，從視頻壓縮算法中提取中間數(shù)據(jù)，同時(shí)通過(guò)計(jì)算飛機(jī)及云臺(tái)各項(xiàng)參數(shù)得到的全局運(yùn)動(dòng)矢量補(bǔ)償所得數(shù)據(jù)，得到相對(duì)運(yùn)動(dòng)矢量。之后對(duì)相對(duì)運(yùn)動(dòng)矢量進(jìn)行分析計(jì)算，找到相對(duì)運(yùn)動(dòng)矢量權(quán)值較大的像素塊，確定像素塊的位置和形狀，進(jìn)而檢測(cè)出運(yùn)動(dòng)目標(biāo)所處的圖像區(qū)域，實(shí)現(xiàn)無(wú)人機(jī)對(duì)所獲取地面圖像中運(yùn)動(dòng)目標(biāo)的實(shí)時(shí)跟蹤。本發(fā)明所述的跟蹤方法可以在壓縮圖像的同時(shí)實(shí)現(xiàn)運(yùn)動(dòng)目標(biāo)跟蹤，具有很好的實(shí)時(shí)性和可靠性，在同時(shí)檢測(cè)多目標(biāo)時(shí)不會(huì)出現(xiàn)誤檢和漏檢。并且節(jié)省硬件資源，實(shí)現(xiàn)簡(jiǎn)單。
文檔編號(hào)G06T7/20GK101511022SQ20091008038
公開日2009年8月19日 申請(qǐng)日期2009年3月20日 優(yōu)先權(quán)日2009年3月20日
發(fā)明者丁文銳, 哲 姜, 樺 楊, 韋志棉 申請(qǐng)人:北京航空航天大學(xué)