本發(fā)明涉及計(jì)算機(jī)視覺(jué)領(lǐng)域，尤其涉及一種魯棒性的加權(quán)局部多任務(wù)稀疏跟蹤方法。

背景技術(shù)：

視覺(jué)跟蹤是計(jì)算機(jī)視覺(jué)系統(tǒng)中的重要環(huán)節(jié)，它融合了圖像處理、隨機(jī)過(guò)程、人工智能等多領(lǐng)域的理論知識(shí)。視覺(jué)跟蹤就是利用指定目標(biāo)對(duì)象的顏色、紋理、邊緣和輪廓等特征對(duì)目標(biāo)對(duì)象進(jìn)行檢測(cè)，采用跟蹤算法對(duì)目標(biāo)對(duì)象當(dāng)前時(shí)刻的運(yùn)動(dòng)狀態(tài)進(jìn)行估計(jì)，并對(duì)下一時(shí)刻的狀態(tài)進(jìn)行預(yù)測(cè)，從而實(shí)現(xiàn)指定目標(biāo)對(duì)象的準(zhǔn)確、連續(xù)、快速的跟蹤。視覺(jué)跟蹤的關(guān)鍵就是建立每一幀圖像中候選目標(biāo)與事先確定的跟蹤目標(biāo)的對(duì)應(yīng)關(guān)系。

視覺(jué)跟蹤技術(shù)有著廣闊的應(yīng)用前景和巨大的市場(chǎng)需求，目前它在安全監(jiān)控、交通控制、人機(jī)交互、行為識(shí)別等領(lǐng)域已經(jīng)得到了成功的應(yīng)用。鑒于視覺(jué)跟蹤技術(shù)的重要應(yīng)用價(jià)值，學(xué)術(shù)界和工業(yè)界都對(duì)它進(jìn)行了廣泛的研究，但是由于光照變化、尺度變化、遮擋、變形、快速運(yùn)動(dòng)、旋轉(zhuǎn)以及背景雜波等復(fù)雜場(chǎng)景的存在，時(shí)至今日依然沒(méi)有一種能夠應(yīng)對(duì)上述各種挑戰(zhàn)的跟蹤方法。

針對(duì)已有技術(shù)的不足之處，本發(fā)明提出了一種魯棒性的加權(quán)局部多任務(wù)稀疏跟蹤方法。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明所要解決的技術(shù)問(wèn)題是提供一種能克服視頻中目標(biāo)對(duì)象因光照變化、尺度變化、遮擋、變形、快速運(yùn)動(dòng)、旋轉(zhuǎn)以及背景雜波等原因?qū)е赂櫜粶?zhǔn)確甚至漂移現(xiàn)象的跟蹤方法。

為了解決上述技術(shù)問(wèn)題，本發(fā)明提供了一種魯棒性的加權(quán)局部多任務(wù)稀疏跟蹤方法，其特征在于，包括如下步驟：

首先初始化目標(biāo)模板，并對(duì)每個(gè)目標(biāo)模板進(jìn)行分塊處理，獲得模板字典；基于高斯隨機(jī)采樣原理，采樣獲取當(dāng)前幀第t幀的候選目標(biāo)粒子，對(duì)每個(gè)候選目標(biāo)粒子也進(jìn)行分塊處理；分塊處理后的候選目標(biāo)粒子基于模板字典線(xiàn)性表示；基于局部多任務(wù)稀疏跟蹤模型捕獲離群粒子；基于近端梯度加速法求解局部多任務(wù)稀疏跟蹤模型的全局最優(yōu)解；根據(jù)觀測(cè)似然度確定跟蹤結(jié)果；在線(xiàn)更新模板字典；

優(yōu)選地，在第一幀中，通過(guò)在候選目標(biāo)粒子的初始位置以及它的周?chē)蓸觤個(gè)大小相等的塊來(lái)初始化目標(biāo)模板t＝[t1，t2，…，tm]，并把每個(gè)目標(biāo)模板分成k個(gè)子塊，利用m個(gè)目標(biāo)模板的第k個(gè)局部塊得到相對(duì)應(yīng)的模板字典其中，k＝1，…，k，表示第i個(gè)目標(biāo)模板中第k個(gè)局部塊對(duì)應(yīng)的顏色直方圖特征；

優(yōu)選地，利用高斯隨機(jī)采樣(以第t-1幀的狀態(tài)變量為均值和常數(shù)為方差)，獲得第t幀的n個(gè)候選目標(biāo)粒子；然后采用與目標(biāo)模板相同的分塊方式對(duì)每個(gè)候選目標(biāo)粒子進(jìn)行分塊處理，即其中，k＝1，…，k，是第i個(gè)候選目標(biāo)粒子中第k個(gè)局部塊對(duì)應(yīng)的顏色直方圖特征；

優(yōu)選地，由于模板字典的局部塊來(lái)自多個(gè)目標(biāo)模板，捕獲了不同模板之間的共性，因此y^k中的每個(gè)觀測(cè)量(即每列)能夠被d^k線(xiàn)性表示，即，

y^k＝d^kz^k

其中，

定義為所有候選目標(biāo)粒子第k個(gè)局部塊的線(xiàn)性表示系數(shù)；

優(yōu)選地，候選目標(biāo)粒子是沿著先前目標(biāo)狀態(tài)以零均值進(jìn)行高斯密集采樣的，雖然大部分候選目標(biāo)粒子是相似的，但仍存在小部分離群粒子；為了利用候選目標(biāo)粒子以及它們的局部塊之間的內(nèi)在關(guān)系，提出局部多任務(wù)稀疏跟蹤模型，其目標(biāo)函數(shù)如下：

其中，

z^k＝p^k+q^k，p＝[p¹，…，p^k]，q＝[q¹，…q^k]，λ1，λ2分別是關(guān)于p和q稀疏度的懲罰參數(shù)；混合范數(shù)[p]i，j是矩陣p第i行第j個(gè)元素；

優(yōu)選地，考慮到離群粒子的存在會(huì)降低局部多任務(wù)稀疏跟蹤模型性能，因此在該跟蹤模型中每個(gè)矩陣z^k被分解為兩個(gè)協(xié)同矩陣p^k和q^k，其中p^k的行稀疏約束保證了所有候選目標(biāo)粒子能夠選擇相同的目標(biāo)模板作為基，q^k的列稀疏約束確保可以捕獲離群粒子；由于來(lái)自同一個(gè)候選目標(biāo)粒子的不同局部塊應(yīng)該選擇相同的目標(biāo)模板所對(duì)應(yīng)的局部塊作為基，故所有p^k組成的矩陣p＝[p¹，…，p^k]依然是行稀疏，所有q^k組成的矩陣q＝[q¹，…q^k]依然列稀疏的；

優(yōu)選地，局部多任務(wù)稀疏跟蹤模型中的稀疏矩陣q能夠捕獲離群粒子，即如果第i個(gè)粒子所有局部塊所對(duì)應(yīng)的q中系數(shù)l1范數(shù)之和大于自適應(yīng)閾值γ，則該粒子被識(shí)別為離群粒子，其觀測(cè)似然度設(shè)定為0；

其中，

是q^k的第i列；

此時(shí)，自適應(yīng)閾值γ的更新方法如下：

其中，

κ表示一個(gè)尺度因子，n0表示離群粒子數(shù)目，n0表示一個(gè)預(yù)先定義的離群粒子數(shù)目；

優(yōu)選地，采用近端梯度加速法求解局部多任務(wù)稀疏跟蹤模型的全局最優(yōu)解，首先定義：

g(p，q)＝λ1||p||1，2+λ2||q||2，1

然后利用復(fù)合梯度映射將該跟蹤模型的目標(biāo)函數(shù)構(gòu)造如下：

f(p，q；θ，ψ)由正則化項(xiàng)l(p，q)和g(p，q)在點(diǎn)(θ，ψ)給出的一階泰勒展開(kāi)式的兩部分組成，泰勒展開(kāi)式的余項(xiàng)為(p，q)和(θ，ψ)之間歐幾里得距離的平方；其中，和分別為l(p，q)關(guān)于p和q的偏導(dǎo)數(shù)，η是控制步長(zhǎng)的參數(shù)；

其求解的具體算法過(guò)程如下：

輸入：{y¹，y²，…，y^k}，{d¹，d²，…，d^k}，p⁰和q⁰，η，λ1，λ2

輸出：p，q

初始化：m＝1，p⁰＝0，q⁰＝0，θ¹＝0，ψ¹＝0

while不收斂時(shí)

計(jì)算和

計(jì)算

計(jì)算

通過(guò)分別計(jì)算p^m和q^m

m＝m+1

endwhile

其中，

為p^m的第i行，為q^m的第j列；

優(yōu)選地，根據(jù)觀測(cè)似然度來(lái)確定跟蹤結(jié)果，將具有最大似然度值的粒子作為當(dāng)前幀的跟蹤結(jié)果；第i個(gè)跟蹤目標(biāo)粒子的觀測(cè)似然度定義如下：

其中，

st是t時(shí)刻跟蹤目標(biāo)粒子的狀態(tài)，yt是當(dāng)前幀中xt狀態(tài)所對(duì)應(yīng)的相應(yīng)區(qū)域并把該區(qū)域投影為標(biāo)準(zhǔn)的模板大小，p(yt|st)是yt各局部塊基于模板字典相應(yīng)局部塊線(xiàn)性表示重構(gòu)誤差的函數(shù)；是第i個(gè)候選目標(biāo)粒子的第k個(gè)局部塊的線(xiàn)性表示，α和β是正則化參數(shù)，wk是候選目標(biāo)粒子的第k個(gè)局部塊的重構(gòu)誤差的權(quán)重；

考慮到候選目標(biāo)粒子的邊緣包含部分背景信息，因此觀測(cè)似然度函數(shù)給位于邊緣的局部塊的重構(gòu)誤差賦予較低的權(quán)值；

優(yōu)選地，給目標(biāo)模板t中每個(gè)目標(biāo)模板分配一個(gè)重要性權(quán)重，在每一幀的t中的每個(gè)目標(biāo)模板的權(quán)重根據(jù)當(dāng)前幀目標(biāo)粒子線(xiàn)性表示系數(shù)進(jìn)行更新；當(dāng)跟蹤目標(biāo)與最大線(xiàn)性表示系數(shù)所對(duì)應(yīng)的目標(biāo)模板的夾角大于閾值β時(shí)，即將當(dāng)前幀的跟蹤結(jié)果替換t中權(quán)重最小的目標(biāo)模板。

與現(xiàn)有技術(shù)相比，本發(fā)明提供的技術(shù)方案分別對(duì)目標(biāo)模板和候選目標(biāo)粒子進(jìn)行了分塊，同時(shí)利用局部多任務(wù)稀疏跟蹤模型中q^k列稀疏約束來(lái)確保捕獲離群粒子，并設(shè)定離群粒子的觀測(cè)似然度為0。因此，在粒子重采樣階段離群粒子將被忽略，使采樣集中在目標(biāo)對(duì)象的周?chē)岣吡瞬蓸拥男省１景l(fā)明能夠在目標(biāo)對(duì)象發(fā)生光照變化、尺度變化、遮擋、變形、快速運(yùn)動(dòng)、旋轉(zhuǎn)以及背景雜波等情況下依然進(jìn)行連續(xù)準(zhǔn)確跟蹤，不發(fā)生漂移。

附圖說(shuō)明

圖1為本發(fā)明實(shí)施例的跟蹤方法的流程示意圖；

圖2為本發(fā)明實(shí)施例的整體跟蹤工作流程示意圖；

圖3為本發(fā)明實(shí)施例的局部多任務(wù)稀疏跟蹤模型中每個(gè)矩陣z^k分解出來(lái)的兩個(gè)協(xié)同矩陣p^k和q^k的結(jié)構(gòu)示意圖。

具體實(shí)施方式

以下結(jié)合附圖及實(shí)施例來(lái)詳細(xì)說(shuō)明本發(fā)明的實(shí)施方式，借此對(duì)本發(fā)明如何應(yīng)用技術(shù)手段來(lái)解決技術(shù)問(wèn)題，并達(dá)到相應(yīng)技術(shù)效果的實(shí)現(xiàn)過(guò)程能充分理解并據(jù)以實(shí)施。

本發(fā)明的技術(shù)方案能夠?qū)Ω鞣N場(chǎng)景中目標(biāo)對(duì)象進(jìn)行準(zhǔn)確跟蹤，也能夠在目標(biāo)對(duì)象發(fā)生光照變化、尺度變化、遮擋、變形、快速運(yùn)動(dòng)、旋轉(zhuǎn)以及背景雜波等情況下依然進(jìn)行連續(xù)準(zhǔn)確跟蹤，不發(fā)生漂移。

實(shí)施例一、魯棒性的加權(quán)局部多任務(wù)稀疏跟蹤方法

圖1為本發(fā)明實(shí)施例的跟蹤方法的流程示意圖，主要包括如下步驟：

步驟s200，初始化目標(biāo)模板，即在第一幀中，通過(guò)在候選目標(biāo)粒子的初始位置以及它的周?chē)蓸觤個(gè)大小相等的塊來(lái)初始化目標(biāo)模板t＝[t1，t2，…，tm]；

步驟s210，將每個(gè)上述目標(biāo)模板分成k個(gè)子塊，利用m個(gè)所述目標(biāo)模板的第k個(gè)局部塊得到相對(duì)應(yīng)的所述模板字典其中，k＝1，…，k，表示第i個(gè)目標(biāo)模板中第k個(gè)局部塊對(duì)應(yīng)的顏色直方圖特征；

步驟s220，利用高斯隨機(jī)采樣(以第t-1幀的狀態(tài)變量為均值和常數(shù)為方差)，獲得第t幀的n個(gè)候選目標(biāo)粒子；

步驟s230，采用與上述目標(biāo)模板相同的分塊方式對(duì)每個(gè)上述候選目標(biāo)粒子進(jìn)行分塊處理，即其中，k＝1，…，k，是第i個(gè)候選目標(biāo)粒子中第k個(gè)局部塊對(duì)應(yīng)的顏色直方圖特征；

步驟s240，將分塊處理后的上述候選目標(biāo)粒子基于上述模板字典線(xiàn)性表示，即y^k中的每個(gè)觀測(cè)量(即每列)能夠被d^k線(xiàn)性表示，

y^k＝d^kz^k(1)

其中，定義為所有候選目標(biāo)粒子第k個(gè)局部塊的線(xiàn)性表示系數(shù)；

步驟s250，基于局部多任務(wù)稀疏跟蹤模型來(lái)捕獲離群粒子；

本步驟中，典型地，上述跟蹤模型的目標(biāo)函數(shù)如下：

其中，z^k＝p^k+q^k，p＝[p¹，…，p^k]，q＝[q¹，…q^k]，λ1，λ2分別是關(guān)于p和q稀疏度的懲罰參數(shù)；混合范數(shù)[p]i，j是矩陣p第i行第j個(gè)元素；

考慮到上述離群粒子的存在會(huì)降低局部多任務(wù)稀疏跟蹤模型性能，因此在上述跟蹤模型中每個(gè)矩陣z^k被分解為兩個(gè)協(xié)同矩陣p^k和q^k，其中p^k的行稀疏約束保證了所有候選目標(biāo)粒子能夠選擇相同的目標(biāo)模板作為基，q^k的列稀疏約束確?？梢圆东@上述離群粒子；

上述跟蹤模型中的稀疏矩陣q能夠捕獲上述離群粒子，即如果第i個(gè)粒子所有局部塊所對(duì)應(yīng)的q中系數(shù)l1范數(shù)之和大于自適應(yīng)閾值γ，則該粒子被識(shí)別為離群粒子，其觀測(cè)似然度設(shè)定為0；

其中，是q^k的第i列；

此時(shí)，自適應(yīng)閾值γ的更新方法如下：

其中，κ表示一個(gè)尺度因子，n0表示離群粒子數(shù)目，n0表示一個(gè)預(yù)先定義的離群粒子數(shù)目；

步驟s260，基于近端梯度加速法求解上述跟蹤模型的全局最優(yōu)解；

本步驟中，典型地，首先定義式(5)和式(6)：

g(p，q)＝λ1||p||1，2+λ2||q||2，1(6)

然后利用復(fù)合梯度映射將上述跟蹤模型的目標(biāo)函數(shù)式(2)構(gòu)造如下：

f(p，q；θ，ψ)由正則化項(xiàng)l(p，q)和g(p，q)在點(diǎn)(θ，ψ)給出的一階泰勒展開(kāi)式的兩部分組成，泰勒展開(kāi)式的余項(xiàng)為(p，q)和(θ，ψ)之間歐幾里得距離的平方；其中，和分別為l(p，q)關(guān)于p和q的偏導(dǎo)數(shù)，η是控制步長(zhǎng)的參數(shù)；

其求解的具體算法過(guò)程如下：

輸入：{y¹，y²，…，y^k}，{d¹，d²，…，d^k}，p⁰和q⁰，η，λ1，λ2

輸出：p，q

初始化：m＝1，p⁰＝0，q⁰＝0，θ¹＝0，ψ¹＝0

while不收斂時(shí)

計(jì)算和

計(jì)算

計(jì)算

通過(guò)分別計(jì)算p^m和q^m

m＝m+1

endwhile

其中，為p^m的第i行，為q^m的第j列；

步驟s270，根據(jù)觀測(cè)似然度確定跟蹤結(jié)果，將具有最大似然度值的粒子作為當(dāng)前幀的跟蹤結(jié)果；

本步驟中，典型地，第i個(gè)跟蹤目標(biāo)粒子的觀測(cè)似然度定義如下：

其中，st是t時(shí)刻跟蹤目標(biāo)粒子的狀態(tài)，yt是當(dāng)前幀中xt狀態(tài)所對(duì)應(yīng)的相應(yīng)區(qū)域并把該區(qū)域投影為標(biāo)準(zhǔn)的模板大小，p(yt|st)是yt各局部塊基于模板字典相應(yīng)局部塊線(xiàn)性表示重構(gòu)誤差的函數(shù)；是第i個(gè)候選目標(biāo)粒子的第k個(gè)局部塊的線(xiàn)性表示，α和β是正則化參數(shù)，wk是候選目標(biāo)粒子的第k個(gè)局部塊的重構(gòu)誤差的權(quán)重；

考慮上述候選目標(biāo)粒子的邊緣包含部分背景信息，因此觀測(cè)似然度函數(shù)給位于邊緣的局部塊的重構(gòu)誤差賦予較低的權(quán)值；

步驟s280，在線(xiàn)更新模板字典，即給上述目標(biāo)模板t中每個(gè)目標(biāo)模板分配一個(gè)重要性權(quán)重，在每一幀的t中的每個(gè)目標(biāo)模板的權(quán)重根據(jù)當(dāng)前幀目標(biāo)粒子線(xiàn)性表示系數(shù)進(jìn)行更新；當(dāng)跟蹤目標(biāo)與最大線(xiàn)性表示系數(shù)所對(duì)應(yīng)的目標(biāo)模板的夾角大于閾值β時(shí)，即將當(dāng)前幀的跟蹤結(jié)果替換t中權(quán)重最小的目標(biāo)模板。

本實(shí)施例對(duì)目標(biāo)模板和候選目標(biāo)粒子進(jìn)行了分塊，同時(shí)考慮到離群粒子的存在會(huì)降低局部多任務(wù)稀疏跟蹤模型性能，所以在該跟蹤模型中每個(gè)表示矩陣z^k被分解為兩個(gè)協(xié)同矩陣p^k和q^k(協(xié)同矩陣p^k和q^k的結(jié)構(gòu)如圖3所示)，利用該跟蹤模型中q^k列稀疏約束來(lái)確保捕獲離群粒子，并設(shè)定離群粒子的觀測(cè)似然度為0。因此，在粒子重采樣階段離群粒子將被忽略，使采樣集中在目標(biāo)對(duì)象的周?chē)?，提高了采樣的效率。本發(fā)明能夠在目標(biāo)對(duì)象發(fā)生光照變化、尺度變化、遮擋、變形、快速運(yùn)動(dòng)、旋轉(zhuǎn)以及背景雜波等情況下等情況下依然能進(jìn)行連續(xù)準(zhǔn)確跟蹤，不發(fā)生漂移。圖2為本發(fā)明實(shí)施例的整體跟蹤工作的流程示意圖。

雖然本發(fā)明所揭露的實(shí)施方式如上，但上述內(nèi)容只是為了便于理解本發(fā)明而采用的實(shí)施方式，并非用以限定本發(fā)明。在不脫離本發(fā)明所揭露的精神及范圍的前提下，可在實(shí)施的形式上及細(xì)節(jié)上作任何的修飾與變化，但本發(fā)明的專(zhuān)利保護(hù)范圍，仍須以所附的權(quán)利要求書(shū)所界定的范圍為準(zhǔn)。