本發(fā)明涉及嵌入式計算機視覺目標跟蹤，具體涉及一種基于多核dsp融合目標檢測與運動信息的kcf重定位方法。

背景技術(shù)：

1、在科學(xué)技術(shù)與人工智能飛速發(fā)展的信息化時代背景下，實時視頻成為了存儲信息的重要手段，對視頻中感興趣的單目標進行跟蹤不僅是計算機視覺領(lǐng)域的重要研究方向之一，更是實際工程應(yīng)用中的關(guān)鍵技術(shù)，在無人駕駛、智能安防、機器人視覺等領(lǐng)域中都有著廣泛的應(yīng)用。

2、當前的實時視頻目標跟蹤算法主要分為兩大方向，基于相關(guān)濾波和基于深度學(xué)習的跟蹤算法。相關(guān)濾波跟蹤算法在訓(xùn)練過程中不斷利用上一幀的目標特征來訓(xùn)練更新濾波器，然后在當前幀檢測是否含有目標。這種在線學(xué)習的方式可以很好地解決跟蹤準確性和實時性之間的矛盾，但無法徹底解決目標長時遮擋、完全遮擋的問題?；谏疃葘W(xué)習的跟蹤算法需要提前訓(xùn)練數(shù)據(jù)，泛化性能較差，而且需要消耗大量的計算資源，無法滿足工程項目的實時性要求。

3、為了在視頻數(shù)據(jù)量爆炸式增長的情況下實現(xiàn)高性能的目標跟蹤，將計算機視覺目標跟蹤算法部署在嵌入式硬件處理芯片上，主流的芯片有g(shù)pu(graphics?processingunit，圖形處理器)、fpga(field-programmable?gate?array，現(xiàn)場可編程門陣列)、dsp(digital?signal?processor，數(shù)字信號處理器)。gpu雖然是專為圖像處理而設(shè)計的，但它的管理和調(diào)度較弱，而且成本相對較高；fpga能管理能運算，但開發(fā)周期長，對于復(fù)雜的跟蹤算法而言更是開發(fā)難度大；如何提出一種無論是在價格還是開發(fā)難度上都適合作為低成本的嵌入式視覺處理平臺是待解決的問題。

技術(shù)實現(xiàn)思路

1、本發(fā)明的目的是提供本一種基于多核dsp融合目標檢測與運動信息的kcf重定位方法，具有實時性精準跟蹤目標優(yōu)點。

2、為實現(xiàn)上述目的，本發(fā)明提供一種基于多核dsp融合目標檢測與運動信息的kcf重定位方法，所述方法用于對圖像中的跟蹤目標進行跟蹤檢測；所述方法包括：步驟s1，對輸入圖像的初始圖像進行全局檢測，標記所有客體，從中選擇定向跟蹤的跟蹤目標；步驟s2，對確定跟蹤目標后所要讀取的圖像總幀數(shù)m進行確認，t＝1、2……m，提取第一幀圖像的跟蹤目標特征；步驟s3，以第一幀圖像的跟蹤目標特征為基礎(chǔ)，對第二幀圖像至第m幀圖像逐幀進行跟蹤目標特征的獲取與跟蹤目標的軌跡數(shù)據(jù)捕捉；步驟s4，整理跟蹤目標的軌跡數(shù)據(jù)輸出跟蹤目標的軌跡圖。

3、優(yōu)選地，所述步驟s1包括：所述全局檢測采用yolo_fastest算法對初始圖像進行檢測。

4、優(yōu)選地，所述步驟s2包括：步驟s21，對確定跟蹤目標后所要讀取的圖像總幀數(shù)m進行確認，t＝1、2……m；步驟s22，令t＝1，獲取跟蹤目標在第一幀圖像的跟蹤目標特征。

5、優(yōu)選地，所述步驟s3包括：步驟s31，提取第t+1幀圖像的方向梯度直方圖信息和顏色信息，作為該幀圖像的跟蹤目標特征；步驟s32，將第t幀圖像的跟蹤目標特征與第t+1幀圖像的方向梯度直方圖信息和顏色信息采用kcf算法進行移動軌跡對比運算；若存在相匹配的方向梯度直方圖信息和顏色信息，則進入步驟s33；若不存在相匹配的方向梯度直方圖信息和顏色信息，則進入步驟s34；步驟s33，根據(jù)相匹配的方向梯度直方圖信息和顏色信息，獲取第t+1幀圖像的跟蹤目標的所在位置以及跟蹤目標的跟蹤目標特征，進入步驟s35；步驟s34，根據(jù)第t幀圖像的跟蹤目標特征模擬計算第t+1幀圖像的跟蹤目標的所在位置以及根據(jù)模擬計算的跟蹤目標所在位置更新第t+1幀圖像的跟蹤目標的跟蹤目標特征，進入步驟s35；步驟s35，獲取第t+1幀圖像的軌跡數(shù)據(jù)，檢測是否t+1≥m，若否，則令t＝t+1返回步驟s31；若是，則進入步驟s4。

6、優(yōu)選地，所述步驟s32包括：步驟s321，將第t幀圖像的跟蹤目標特征與第t+1幀圖像的方向梯度直方圖信息和顏色信息進行響應(yīng)值p運算，得到第t+1幀圖像下的識別特征響應(yīng)值集合pcollecttion(t+1)＝{p1、p2……}：

7、

8、其中，f(x)第t幀圖像的跟蹤目標特征的全部像素值計算；g(y)表示第t幀圖像的跟蹤目標特征相對于第t+1幀圖像的方向梯度直方圖信息和顏色信息的濾波函數(shù)；表示卷積運算，p1、p2……表示第t幀圖像的跟蹤目標特征與每個區(qū)域的方向梯度直方圖信息和顏色信息進行計算的響應(yīng)值p；步驟s322，選擇識別特征響應(yīng)值集合pcollecttion(t+1)中的最大值，計為初步識別特征響應(yīng)值poutput(t+1)，將其對應(yīng)的區(qū)域計為初步識別特征區(qū)域，并獲取初步識別特征區(qū)域的初步識別特征；步驟s323，根據(jù)初步識別特征響應(yīng)值poutput(t+1)計算第t+1幀圖像的峰值旁瓣比npsr(t+1)與第t+1幀圖像的平均峰值旁瓣比npsr(t+1)_avg的大小，若滿足α*npsr(t+1)_avg≤npsr(t+1)≤β*npsr(t+1)_avg，進入步驟s33；若不滿足，則進入步驟s34；其中，α、β為波動系數(shù)；

9、

10、其中，μ(t+1)表示第t+1幀圖像中初步識別特征與非初步識別特征區(qū)域的像素均值，σ(t+1)表示第t+1幀圖像中初步識別特征與非初步識別特征區(qū)域的像素方差，τ(t+1)表示第t+1幀圖像中初步識別特征相較于非初步識別特征區(qū)域的權(quán)重系數(shù)。

11、優(yōu)選地，所述的步驟s323中，平均峰值旁瓣比的計算方法包含：步驟t1，輸入需要計算第e幀圖像的平均峰值旁瓣比npsr(e)_avg的e值，e＝2、3……m，輸入e≥2；步驟t2，逐個獲取第一幀圖像至第e-1幀圖像的跟蹤目標響應(yīng)值ptime＝1～ptime＝e-1；除第一幀圖像以外的第e幀圖像的跟蹤目標響應(yīng)值ptime＝e如下：將第e幀圖像的跟蹤目標特征與第e+1幀圖像的方向梯度直方圖信息和顏色信息進行響應(yīng)值p運算，得到第e幀圖像下的識別特征響應(yīng)值集合pcollecttion(e)＝{p1、p2……}，并選取最大的響應(yīng)值p，計為跟蹤目標響應(yīng)值ptime＝e：

12、

13、其中，f(x)第e幀圖像的跟蹤目標特征的全部像素值計算；g(y)表示第e幀圖像的跟蹤目標特征相對于第e+1幀圖像的方向梯度直方圖信息和顏色信息的濾波函數(shù)；表示卷積運算，p1、p2……表示第e幀圖像的跟蹤目標特征與每個區(qū)域的方向梯度直方圖信息和顏色信息進行計算的響應(yīng)值p；

14、步驟t3，逐個計算第一幀圖像至第e-1幀圖像的峰值旁瓣比npsr(1)～npsr(e-1)，計算如下；

15、

16、其中，ptime＝e表示第e幀圖像中跟蹤目標響應(yīng)值，μ(e)表示第e幀圖像中跟蹤目標特征與非識別特征區(qū)域的像素均值，σ(e)表示第e幀圖像中跟蹤目標的識別特征與非識別特征區(qū)域的像素方差，τ(e)表示第e幀圖像中跟蹤目標的識別特征相較于非識別特征區(qū)域的權(quán)重系數(shù)；

17、步驟t4，計算第e幀圖像的平均峰值旁瓣比npsr(e)_avg：

18、

19、優(yōu)選地，所述步驟s34包括：步驟s341，對第t+1幀圖像進行全局檢測，標記所有客體；步驟s342，通過卡爾曼濾波算法根據(jù)第t幀圖像的跟蹤目標特征模擬計算第t+1幀圖像中跟蹤目標的所在位置，計為跟蹤目標預(yù)測位置；步驟s343，將跟蹤目標預(yù)測位置與所有客體位置進行關(guān)聯(lián)對比，確定跟蹤目標在第t+1幀圖像的跟蹤目標的所在位置以及跟蹤目標特征。

20、優(yōu)選地，所述步驟s34包括：步驟s341，將第k幀圖像的跟蹤目標特征進行擬合，得到跟蹤目標在第k幀圖像的擬合中心點坐標為(xk_center,yk_center)，k≥2，k＝2……m，其中xk_center表示第k幀圖像的擬合中心點橫坐標，yk_center表示第k幀圖像的擬合中心點縱坐標；步驟s342，獲取第k幀圖像的跟蹤目標橫坐標速度x'k_center和第k幀圖像的縱坐標速度y'k_center；對于第k幀圖像的跟蹤目標橫坐標速度x'k_center和第k幀圖像的縱坐標速度y'k_center計算用第k幀圖像與第k-1幀圖像中跟蹤目標的移動距離差值計算；

21、x'k_center＝|xk_center-xk-1_center|

22、y'k_center＝|yk_center-yk-1_center|；

23、步驟s343，通過濾波算法根據(jù)跟蹤目標橫坐標速度x'k_center和縱坐標速度y'k_center預(yù)測第k+1幀圖像中跟蹤目標的具體位置；

24、采用如下方式計算：

25、[xk+1_center?yk+1_center?x'k+1_center?y'k+1_center]t＝p*[xk_center?yk_center?x'k_centery'k_center]t+wn其中，矩陣為非線性矩陣，wn為過程噪聲矩陣，服從均值為0的正態(tài)分布；通過利用上一幀圖像中跟蹤目標的位置信息通過濾波算法進行建模，根據(jù)遞推關(guān)系不斷地進行運算，達到對跟蹤目標下一幀可能的位置做出最優(yōu)估計和預(yù)測。

26、一種基于多核dsp融合目標檢測與運動信息的kcf重定位方法的dsp芯片，搭載前述的方法，所述芯片用于控制該方法的運作；所述dsp芯片包括：主核，接收外部命令，并輸出控制信號；若干子核，任一所述子核分別與主核信號連接，接收來自主核的控制信號，并根據(jù)控制信號執(zhí)行算法，并將執(zhí)行結(jié)果傳輸給主核；所述子核之間彼此信號連接，實現(xiàn)運算數(shù)據(jù)的傳輸；所述主核將執(zhí)行結(jié)果傳輸給外部。

27、優(yōu)選地，所述外部命令指來自操作人員的對于該算法的執(zhí)行命令，主核將執(zhí)行命令轉(zhuǎn)化為控制信號進行內(nèi)部傳輸；其中，該種執(zhí)行命令可以為該算法中的單獨一個子步驟；所述運算數(shù)據(jù)指的是，一些運算需要一個子核的結(jié)果作為另一個子核運算的基礎(chǔ)，子核彼此之間需進行運算數(shù)據(jù)傳輸。

28、綜上所述，與現(xiàn)有技術(shù)相比，本發(fā)明提供的一種基于多核dsp融合目標檢測與運動信息的kcf重定位方法，具有如下有益效果：

29、第一，本發(fā)明在全局檢測中精準鎖定想要跟蹤的目標，避免了只能選擇特定目標的局限性；選擇kcf算法作為跟蹤器，既能保持跟蹤的準確性，又能滿足實時性的要求；另外基于峰值旁瓣比提出了一種判斷機制來判斷目標是否跟丟，進而提升了跟蹤器對目標的判別能力，增強了算法整體的魯棒性。

30、第二，本發(fā)明下的根據(jù)算法的抗干擾能力和跟蹤性能都有了大幅度的提高，有效性和高效性大大提高。

31、第三，本發(fā)明將跟蹤器耗時最長的特征提取分配到dsp的八個核中，進行并行運算，進而大大減少了目標跟蹤的處理時間，提高了實時性和數(shù)據(jù)更新率。

32、第四，本發(fā)明適合于所有需要用到目標跟蹤的機載、車載等嵌入式平臺，特別是當目標在運動過程中突然提速、存在相似目標難以分辨、發(fā)生長時或者完全遮擋后重新出現(xiàn)在視野中難以找回、且對魯棒性和實時性要求很高的復(fù)雜場景。