本發(fā)明涉及一種無人機(jī)運(yùn)動(dòng)目標(biāo)跟蹤方法及無人機(jī)的工作方法。
背景技術(shù)：
：運(yùn)動(dòng)目標(biāo)檢測與跟蹤在計(jì)算機(jī)視覺、模式識(shí)別等領(lǐng)域一直都是研究的核心技術(shù)問題，尤其將這種技術(shù)與無人機(jī)相結(jié)合，更是巨大推動(dòng)了運(yùn)動(dòng)目標(biāo)檢測與跟蹤技術(shù)的發(fā)展，拓寬了目標(biāo)檢測與跟蹤技術(shù)的運(yùn)用前景。運(yùn)動(dòng)目標(biāo)檢測與跟蹤的關(guān)鍵就在于利用計(jì)算機(jī)視覺技術(shù)、模式識(shí)別分類方法檢測出視頻序列圖像中的運(yùn)動(dòng)目標(biāo)，并對目標(biāo)區(qū)域進(jìn)行有效、穩(wěn)定跟蹤。將目標(biāo)檢測與跟蹤技術(shù)與無人機(jī)相結(jié)合在智能交通監(jiān)控、大氣環(huán)境監(jiān)測、自然災(zāi)害救援、地域輪廓描繪等領(lǐng)域有著重要的應(yīng)用價(jià)值。在無人機(jī)飛行過程中，動(dòng)態(tài)背景不斷變化，經(jīng)常存在目標(biāo)相似物、目標(biāo)被部分遮擋甚至完全消失、光照發(fā)生變化以及目標(biāo)發(fā)生旋轉(zhuǎn)等復(fù)雜因素，從視頻序列圖像中精確檢測目標(biāo)以及實(shí)現(xiàn)有效、穩(wěn)定跟蹤目標(biāo)還面臨著諸多技術(shù)性上的難題。目前，在國內(nèi)外發(fā)表的文獻(xiàn)中未見有一種方法能夠適應(yīng)各種復(fù)雜因素下的運(yùn)動(dòng)目標(biāo)檢測與跟蹤。傳統(tǒng)的連續(xù)自適應(yīng)均值移動(dòng)跟蹤方法以目標(biāo)顏色為關(guān)鍵信息，固定了視頻序列圖像中目標(biāo)搜索窗口的位置和大小，因而不能適應(yīng)復(fù)雜因素下的運(yùn)動(dòng)目標(biāo)檢測與跟蹤。技術(shù)實(shí)現(xiàn)要素：本發(fā)明的目的是提供一種無人機(jī)運(yùn)動(dòng)目標(biāo)跟蹤方法，以實(shí)現(xiàn)無人機(jī)在飛行過程中對拍攝圖像中的運(yùn)動(dòng)目標(biāo)進(jìn)行自適應(yīng)跟蹤。為了解決上述技術(shù)問題，本發(fā)明提供了一種無人機(jī)運(yùn)動(dòng)目標(biāo)跟蹤方法，包括如下步驟：步驟S0，通過無人機(jī)機(jī)載攝像機(jī)拍攝圖像；步驟S1，確定前一幀與當(dāng)前幀圖像中目標(biāo)區(qū)域質(zhì)心的移動(dòng)方向；以及步驟S2，在當(dāng)前幀圖像中，使目標(biāo)搜索窗口中心跟蹤目標(biāo)區(qū)域質(zhì)心。進(jìn)一步，所述步驟S1中獲得目標(biāo)區(qū)域質(zhì)心的方法包括如下步驟：步驟S11，提取前一幀圖像的目標(biāo)特征，并對目標(biāo)特征進(jìn)行降維；步驟S12，建立目標(biāo)特征庫；以及步驟S13，確定當(dāng)前幀圖像的目標(biāo)區(qū)域，并獲得目標(biāo)區(qū)域質(zhì)心。進(jìn)一步，所述步驟S11中提取前一幀圖像的目標(biāo)特征，并對目標(biāo)特征進(jìn)行降維包括：在前一幀圖像中選取目標(biāo)區(qū)域，根據(jù)ASIFT算法提取目標(biāo)區(qū)域的矢量特征集，即F＝{f1,f2,…,fn}；其中，所述目標(biāo)區(qū)域?yàn)闄E圓區(qū)域；以及根據(jù)目標(biāo)區(qū)域質(zhì)心，通過馬氏距離對矢量特征集F＝{f1,f2,…,fn}中各特征進(jìn)行降維，生成特征維數(shù)與馬氏距離成反比的PCA-ASIFT特征庫，即FPCA-ASIFT＝{Fp1,Fp2,…,FpN}。進(jìn)一步，所述步驟S12中建立目標(biāo)特征庫的方法包括：根據(jù)隱馬爾可夫模型訓(xùn)練特征并建立目標(biāo)特征庫，即根據(jù)所述隱馬爾可夫模型在相應(yīng)復(fù)雜因素下建立PCA-ASIFT特征庫的訓(xùn)練參數(shù)，且根據(jù)訓(xùn)練參數(shù)訓(xùn)練PCA-ASIFT特征庫中各特征；將在所述前一幀圖像中建立目標(biāo)PCA-ASIFT特征庫，以作為當(dāng)前圖像特征分類的標(biāo)準(zhǔn)。進(jìn)一步，所述步驟S13中確定當(dāng)前幀圖像的目標(biāo)區(qū)域，并獲得目標(biāo)區(qū)域質(zhì)心的方法包括：當(dāng)前幀圖像采用與前一幀圖像相同的目標(biāo)特征提取方法，并且根據(jù)前一幀圖像的目標(biāo)PCA-ASIFT特征庫中對當(dāng)前幀圖像進(jìn)行特征分類，剔除非目標(biāo)區(qū)域特征，以得到分類結(jié)果，確定目標(biāo)區(qū)域；以及根據(jù)當(dāng)前幀圖像分類出的PCA-ASIFT特征庫中各特征所處位置的最大值和最小值，以描述當(dāng)前幀圖像對應(yīng)的目標(biāo)區(qū)域，并計(jì)算該目標(biāo)區(qū)域質(zhì)心。進(jìn)一步，步驟S1中計(jì)算目標(biāo)區(qū)域質(zhì)心的移動(dòng)方向的方法包括：根據(jù)所述目標(biāo)PCA-ASIFT特征庫中各特征的矢量對應(yīng)方向，計(jì)算目標(biāo)區(qū)域質(zhì)心的移動(dòng)方向，以作為當(dāng)前幀圖像中目標(biāo)搜索窗口的移動(dòng)方向即F→p=F→p1+F→p2+...+F→pN.]]>進(jìn)一步，設(shè)前一幀圖像為Ip，且建立的二維坐標(biāo)，則該幀圖像Ip的目標(biāo)搜索窗口中心Ip(xp0,yp0)和目標(biāo)區(qū)域質(zhì)心Ip(xpc,ypc)的計(jì)算公式分別為：所述目標(biāo)搜索窗口中心Ip(xp0,yp0)計(jì)算公式為：xp0=ΣxWp(x,y)Ip(x,y)yp0=ΣyWp(x,y)Ip(x,y);]]>其中，Ip(x,y)表示前一幀圖像Ip的目標(biāo)搜索窗口所包含像素；Wp(x,y)表示為每個(gè)像素賦予相應(yīng)加權(quán)系數(shù)；以及所述目標(biāo)區(qū)域質(zhì)心Ip(xpc,ypc)計(jì)算公式為{J00=ΣxΣyIp(x,y)J01=ΣxΣyxIp(x,y)J10=ΣxΣyyIp(x,y)xpc=J10/J00,ypc=J01/J00.]]>進(jìn)一步，所述步驟S2中在當(dāng)前幀圖像中，使目標(biāo)搜索窗口中心跟蹤目標(biāo)區(qū)域質(zhì)心的方法包括：自適應(yīng)更新當(dāng)前幀圖像的目標(biāo)搜索窗口和下一幀圖像中目標(biāo)搜索窗口的移動(dòng)方向，即若|xp0+1-xpc|＜ε，且|yp0+1-ypc|＜ε，則Ip+1(xp0+1,yp0+1)為當(dāng)前幀圖像Ip+1中目標(biāo)搜索窗口中心，即目標(biāo)搜索窗口不更新，以完成對當(dāng)前幀圖像中的目標(biāo)進(jìn)行跟蹤；反之，則將當(dāng)前幀圖像的目標(biāo)搜索窗口中心置換為目標(biāo)區(qū)域質(zhì)心；其中，ε為目標(biāo)搜索窗口移動(dòng)判斷閾值；以及同時(shí)使目標(biāo)搜索窗口大小置換為目標(biāo)區(qū)域的最小外接矩形。又一方面，本發(fā)明還提供了一種無人機(jī)的工作方法，其通過無人機(jī)運(yùn)動(dòng)目標(biāo)跟蹤方法實(shí)現(xiàn)對機(jī)載攝像機(jī)拍攝的圖像中的目標(biāo)進(jìn)行自適應(yīng)跟蹤。所述無人機(jī)包括：機(jī)載數(shù)據(jù)處理及控制模塊和機(jī)載攝像機(jī)；其中所述機(jī)載攝像機(jī)通過視頻采集模塊與機(jī)載數(shù)據(jù)處理及控制模塊相連；所述工作方法包括：機(jī)載數(shù)據(jù)處理及控制模塊通過所述無人機(jī)運(yùn)動(dòng)目標(biāo)跟蹤方法實(shí)現(xiàn)對機(jī)載攝像機(jī)拍攝的圖像中的目標(biāo)進(jìn)行跟蹤。本發(fā)明的有益效果是，本發(fā)明能始終保持目標(biāo)位于目標(biāo)搜索窗口中心，并據(jù)此對下一幀圖像中的目標(biāo)進(jìn)行跟蹤，并根據(jù)目標(biāo)區(qū)域質(zhì)心方法計(jì)算下一幀圖像中的目標(biāo)區(qū)域質(zhì)心；將當(dāng)前幀圖像中的目標(biāo)搜索窗口中心按當(dāng)前幀圖像的目標(biāo)PCA-ASIFT特征庫中各特征的主方向朝著下一幀圖像中目標(biāo)區(qū)域質(zhì)心移動(dòng)，據(jù)此始終保持目標(biāo)位于目標(biāo)搜索窗口中心并完成對下一幀圖像中的目標(biāo)跟蹤。附圖說明下面結(jié)合附圖和實(shí)施例對本發(fā)明進(jìn)一步說明。圖1是本發(fā)明的無人機(jī)運(yùn)動(dòng)目標(biāo)跟蹤方法的方法流程圖；圖2是本發(fā)明的目標(biāo)區(qū)域質(zhì)心的方法流程圖；圖3是本發(fā)明中前一幀、當(dāng)前幀和下一幀圖像中目標(biāo)搜索窗口中心跟隨目標(biāo)區(qū)域質(zhì)心示意圖；圖4是本發(fā)明的無人機(jī)的原理框圖。圖中：目標(biāo)區(qū)域1、目標(biāo)搜索窗口2。具體實(shí)施方式現(xiàn)在結(jié)合附圖對本發(fā)明作進(jìn)一步詳細(xì)的說明。這些附圖均為簡化的示意圖，僅以示意方式說明本發(fā)明的基本結(jié)構(gòu)，因此其僅顯示與本發(fā)明有關(guān)的構(gòu)成。實(shí)施例1如圖1所示，本發(fā)明提供了一種無人機(jī)運(yùn)動(dòng)目標(biāo)跟蹤方法，包括如下步驟：步驟S0，通過無人機(jī)機(jī)載攝像機(jī)拍攝圖像；步驟S1，確定前一幀與當(dāng)前幀圖像中目標(biāo)區(qū)域質(zhì)心的移動(dòng)方向；以及步驟S2，在當(dāng)前幀圖像中，使目標(biāo)搜索窗口中心跟蹤目標(biāo)區(qū)域質(zhì)心。本發(fā)明所述圖像具體為按照幀排列的視頻序列圖像。如圖2所示，可選的，所述步驟S1中獲得目標(biāo)區(qū)域質(zhì)心的方法包括如下步驟：步驟S11，提取前一幀圖像的目標(biāo)特征，并對目標(biāo)特征進(jìn)行降維；步驟S12，建立目標(biāo)特征庫；以及步驟S13，確定當(dāng)前幀圖像的目標(biāo)區(qū)域，并獲得目標(biāo)區(qū)域質(zhì)心?？蛇x的，所述步驟S11中提取前一幀圖像的目標(biāo)特征，并對目標(biāo)特征進(jìn)行降維包括：在前一幀圖像中選取目標(biāo)區(qū)域，根據(jù)ASIFT算法(即抗視角變化的尺度不變特征變換)提取目標(biāo)區(qū)域的矢量特征集，即F＝{f1,f2,…,fn}；其中，所述目標(biāo)區(qū)域?yàn)闄E圓區(qū)域；其中，若前一幀圖像為首幀圖像，則人為選擇視頻序列圖像中的運(yùn)動(dòng)目標(biāo)，即目標(biāo)搜索窗口。根據(jù)目標(biāo)區(qū)域質(zhì)心，通過馬氏距離對矢量特征集F＝{f1,f2,…,fn}中各特征進(jìn)行降維，生成特征維數(shù)與馬氏距離成反比的PCA-ASIFT特征庫(經(jīng)降維的可抗視角變化的尺度不變特征變換抗)，即FPCA-ASIFT＝{Fp1,Fp2,…,FpN}，以保留特征包含的關(guān)鍵信息和大幅降低方法運(yùn)算量。降維的具體步驟為：利用ASIFT算法獲得的特征描述目標(biāo)，距離目標(biāo)區(qū)域質(zhì)心越近的特征包含的信息越能描述目標(biāo)，其中，該距離定義為馬氏距離。因此，矢量特征集F＝{f1,f2,…,fn}中某兩個(gè)特征子集分別為fa＝(fa1,fa2,…,fam)、fb＝(fb1,fb2,…,fbm)，即兩個(gè)特征子集對應(yīng)的馬氏距離為：可選的，所述步驟S12中建立目標(biāo)特征庫的方法包括：根據(jù)隱馬爾可夫模型(HMM)訓(xùn)練特征并建立目標(biāo)特征庫，即根據(jù)所述隱馬爾可夫模型在相應(yīng)復(fù)雜因素下建立PCA-ASIFT特征庫的訓(xùn)練參數(shù)(HMM參數(shù))，且根據(jù)訓(xùn)練參數(shù)訓(xùn)練PCA-ASIFT特征庫中各特征；將在所述前一幀圖像中建立目標(biāo)PCA-ASIFT特征庫，以作為當(dāng)前圖像特征分類的標(biāo)準(zhǔn)。根據(jù)HMM在不同復(fù)雜因素下建立所述目標(biāo)PCA-ASIFT特征庫的訓(xùn)練參數(shù)，例如但不限于在光照變化、遮擋、目標(biāo)相似物、目標(biāo)旋轉(zhuǎn)等不同復(fù)雜因素下利用HMM分別建立相應(yīng)訓(xùn)練參數(shù)，建立HMM參數(shù)主要包括左右形式的隱馬爾可夫模型狀態(tài)個(gè)數(shù)和每個(gè)狀態(tài)包含的高斯函數(shù)個(gè)數(shù)；優(yōu)選的，在光照變化、遮擋、目標(biāo)相似物、目標(biāo)旋轉(zhuǎn)復(fù)雜因素下根據(jù)實(shí)際實(shí)驗(yàn)效果取得的最優(yōu)參數(shù)分別為光照變化的訓(xùn)練參數(shù)4、2(其中，隱馬爾可夫模型狀態(tài)個(gè)數(shù)為4，高斯函數(shù)個(gè)數(shù)為2，以下訓(xùn)練參數(shù)類似)；遮擋4、6；目標(biāo)相似物6、8；目標(biāo)旋轉(zhuǎn)6、4?？蛇x的，所述步驟S13中確定當(dāng)前幀圖像的目標(biāo)區(qū)域，并獲得目標(biāo)區(qū)域質(zhì)心的方法包括：當(dāng)前幀圖像采用與前一幀圖像相同的目標(biāo)特征提取方法，并且根據(jù)前一幀圖像的目標(biāo)PCA-ASIFT特征庫中對當(dāng)前幀圖像進(jìn)行特征分類，剔除非目標(biāo)區(qū)域特征，以得到分類結(jié)果，確定目標(biāo)區(qū)域；以及根據(jù)當(dāng)前幀圖像分類出的PCA-ASIFT特征庫中各特征所處位置的最大值和最小值，以描述當(dāng)前幀圖像對應(yīng)的目標(biāo)區(qū)域，并計(jì)算該目標(biāo)區(qū)域質(zhì)心。其中，各特征所處位置為特征在視頻序列圖像中的二維坐標(biāo)，即通過各特征所處位置的最大值和最小值分別定義橢圓的長軸和短軸位置，以描述當(dāng)前幀圖像對應(yīng)的目標(biāo)區(qū)域(橢圓區(qū)域)；且目標(biāo)區(qū)域質(zhì)心為經(jīng)過加權(quán)后的目標(biāo)區(qū)域幾何中心；以及步驟S1中計(jì)算目標(biāo)區(qū)域質(zhì)心的移動(dòng)方向的方法包括：根據(jù)所述目標(biāo)PCA-ASIFT特征庫中各特征的矢量對應(yīng)方向，計(jì)算目標(biāo)區(qū)域質(zhì)心的移動(dòng)方向(各特征的主方向)，以作為當(dāng)前幀圖像中目標(biāo)搜索窗口的移動(dòng)方向即并且根據(jù)計(jì)算特征所處位置的最大值和最小值描述的目標(biāo)區(qū)域和所述目標(biāo)PCA-ASIFT特征庫中各特征的主方向，分別自適應(yīng)更新所述當(dāng)前幀圖像的目標(biāo)搜索窗口和下一幀圖像中目標(biāo)搜索窗口的移動(dòng)方向。具體的，設(shè)前一幀圖像為Ip，且建立的二維坐標(biāo)，則該幀圖像Ip的目標(biāo)搜索窗口中心Ip(xp0,yp0)和目標(biāo)區(qū)域質(zhì)心Ip(xpc,ypc)的計(jì)算公式分別為：所述目標(biāo)搜索窗口中心Ip(xp0,yp0)計(jì)算公式為：xp0=ΣxWp(x,y)Ip(x,y)yp0=ΣyWp(x,y)Ip(x,y);]]>其中，Ip(x,y)表示前一幀圖像Ip的目標(biāo)搜索窗口所包含像素；Wp(x,y)表示為每個(gè)像素賦予相應(yīng)加權(quán)系數(shù)；以及所述目標(biāo)區(qū)域質(zhì)心Ip(xpc,ypc)計(jì)算公式為{J00=ΣxΣyIp(x,y)J01=ΣxΣyxIp(x,y)J10=ΣxΣyyIp(x,y)xpc=J10/J00,ypc=J01/J00.]]>以及所述步驟S2中在當(dāng)前幀圖像中，使目標(biāo)搜索窗口中心跟蹤目標(biāo)區(qū)域質(zhì)心的方法包括：自適應(yīng)更新當(dāng)前幀圖像的目標(biāo)搜索窗口和下一幀圖像中目標(biāo)搜索窗口的移動(dòng)方向，即若|xp0+1-xpc|＜ε，且|yp0+1-ypc|＜ε，則Ip+1(xp0+1,yp0+1)為當(dāng)前幀圖像Ip+1中目標(biāo)搜索窗口中心，即目標(biāo)搜索窗口不更新，以完成對當(dāng)前幀圖像中的目標(biāo)進(jìn)行跟蹤；反之，則將當(dāng)前幀圖像的目標(biāo)搜索窗口中心置換為目標(biāo)區(qū)域質(zhì)心，以完成跟蹤；其中，ε為目標(biāo)搜索窗口移動(dòng)判斷閾值；以及同時(shí)使目標(biāo)搜索窗口大小置換為目標(biāo)區(qū)域的最小外接矩形，繼而對下一幀圖像Ip+2中的目標(biāo)進(jìn)行跟蹤。始終保持目標(biāo)位于目標(biāo)搜索窗口中心，并據(jù)此對下一幀圖像中的目標(biāo)進(jìn)行跟蹤，具體地，根據(jù)上述目標(biāo)區(qū)域質(zhì)心計(jì)算公式計(jì)算下一幀圖像中的目標(biāo)區(qū)域質(zhì)心；將當(dāng)前幀中的目標(biāo)搜索窗口中心按該幀圖像的目標(biāo)PCA-ASIFT特征庫中各特征的主方向朝著下一幀圖像中目標(biāo)區(qū)域質(zhì)心移動(dòng)，據(jù)此始終保持目標(biāo)位于目標(biāo)搜索窗口中心并完成對下一幀圖像中的目標(biāo)跟蹤，其中，移動(dòng)以歐式距離為標(biāo)準(zhǔn)；根據(jù)自適應(yīng)更新目標(biāo)搜索窗口和移動(dòng)方向完成后續(xù)視頻序列圖像中的目標(biāo)跟蹤。進(jìn)一步，定義下一幀圖像Ip+1，則該幀圖像Ip+1的目標(biāo)搜索窗口中心Ip+1(xp0+1,yp0+1)，目標(biāo)區(qū)域質(zhì)心Ip+1(xpc+1,ypc+1)，目標(biāo)搜索窗口移動(dòng)方向?qū)?dāng)前幀圖像的目標(biāo)區(qū)域質(zhì)心Ip(xpc,ypc)按的方向朝著下一幀圖像目標(biāo)搜索窗口的中心Ip+1(xp0+1,yp0+1)移動(dòng)，如果|xp0+1-xpc|＜ε，且|yp0+1-ypc|＜ε，完成目標(biāo)跟蹤，否則，將下一幀圖像目標(biāo)搜索窗口中心Ip+1(xp0+1,yp0+1)置換為Ip+1(xpc+1,ypc+1)，繼而完成后續(xù)視頻序列圖像中的目標(biāo)跟蹤。因此，本無人機(jī)運(yùn)動(dòng)目標(biāo)跟蹤方法能夠在光照變化、遮擋、目標(biāo)相似物、目標(biāo)旋轉(zhuǎn)等復(fù)雜因素下精確地檢測出運(yùn)動(dòng)目標(biāo)且穩(wěn)定跟蹤目標(biāo)。由于本發(fā)明實(shí)例針對動(dòng)態(tài)場景下的地面運(yùn)動(dòng)目標(biāo)；因此，本發(fā)明實(shí)例可應(yīng)用于不同的場景需求，本發(fā)明的實(shí)例具有實(shí)時(shí)性好、適應(yīng)光照變化、遮擋、目標(biāo)相似物、目標(biāo)旋轉(zhuǎn)等各種復(fù)雜因素、可擴(kuò)展性好、目標(biāo)檢測精確度高、跟蹤性能穩(wěn)定的特點(diǎn)。實(shí)施例2在實(shí)施例1基礎(chǔ)上，本發(fā)明還提供了一種無人機(jī)的工作方法。如圖4所示，所述無人機(jī)包括：機(jī)載數(shù)據(jù)處理及控制模塊和機(jī)載攝像機(jī)；其中所述機(jī)載攝像機(jī)通過視頻采集模塊與機(jī)載數(shù)據(jù)處理及控制模塊相連；所述工作方法包括：機(jī)載數(shù)據(jù)處理及控制模塊通過如實(shí)施例1所述的無人機(jī)運(yùn)動(dòng)目標(biāo)跟蹤方法實(shí)現(xiàn)對機(jī)載攝像機(jī)拍攝的圖像中的目標(biāo)進(jìn)行跟蹤。其中所述機(jī)載數(shù)據(jù)處理及控制模塊例如但不限于采用嵌入式處理器。所述無人機(jī)運(yùn)動(dòng)目標(biāo)跟蹤方法中涉及的各幀圖像均通過機(jī)載攝像機(jī)拍攝并通過視頻采集模塊進(jìn)行采集。以上述依據(jù)本發(fā)明的理想實(shí)施例為啟示，通過上述的說明內(nèi)容，相關(guān)工作人員完全可以在不偏離本項(xiàng)發(fā)明技術(shù)思想的范圍內(nèi)，進(jìn)行多樣的變更以及修改。本項(xiàng)發(fā)明的技術(shù)性范圍并不局限于說明書上的內(nèi)容，必須要根據(jù)權(quán)利要求范圍來確定其技術(shù)性范圍。當(dāng)前第1頁1 2 3