專利名稱：基于多窗口的目標(biāo)跟蹤方法
技術(shù)領(lǐng)域：
本發(fā)明屬于計(jì)算機(jī)視覺技術(shù)的目標(biāo)跟蹤方法，具體涉及基于多窗口的目標(biāo)跟蹤方 法。
背景技術(shù)：
視頻序列中的目標(biāo)跟蹤以數(shù)字圖像處理和計(jì)算機(jī)視覺為理論依據(jù)，以動(dòng)態(tài)圖像處 理技術(shù)為基礎(chǔ)。它具有廣泛的應(yīng)用前景，如人機(jī)交互、輔助醫(yī)療診斷以及智能視頻監(jiān)控等領(lǐng) 域。目前針對(duì)視頻目標(biāo)跟蹤，很多研究人員提出了不同的解決方案，其中包括模板匹配、均 值移動(dòng)和粒子濾波等算法。目標(biāo)在復(fù)雜環(huán)境下運(yùn)動(dòng)，特征會(huì)受到光照、攝像機(jī)角度等因素的影響，并且目標(biāo)可 能會(huì)被自身其他部分或者場(chǎng)景物體遮擋，以至于跟蹤到的目標(biāo)位置的準(zhǔn)確度較低，而要去 除這些因素的影響，現(xiàn)有技術(shù)的運(yùn)算非常復(fù)雜。

發(fā)明內(nèi)容
本發(fā)明提供一種基于多窗口的目標(biāo)跟蹤方法。該方法用多個(gè)跟蹤窗口來描述目標(biāo) 的整體結(jié)構(gòu)特性，并以各個(gè)跟蹤窗口與初始目標(biāo)位置作為線索，進(jìn)行目標(biāo)真實(shí)位置分析，可 以剔除背景干擾、以及目標(biāo)短時(shí)遮擋等問題，從而達(dá)到提高跟蹤精度的目的。為實(shí)現(xiàn)上述目的，本發(fā)明提供一種基于多窗口的目標(biāo)跟蹤方法，包括以下步驟1)讀入目標(biāo)初始位置圖像，根據(jù)目標(biāo)特性構(gòu)造N個(gè)跟蹤窗口，每個(gè)窗口對(duì)應(yīng)一個(gè) 跟蹤器，測(cè)定每個(gè)跟蹤器與目標(biāo)初始位置Xtl= (Xo，y。)之間的補(bǔ)償量di，跟蹤器的初始位置 為Y' i，i為ι到N;多個(gè)窗口的空間分布在一定程度上反映了跟蹤目標(biāo)空間特征。2)讀入下一幀圖像，計(jì)算每個(gè)跟蹤器在當(dāng)前圖像幀的新位置Yi。3)計(jì)算所有跟蹤器的權(quán)值Wi。4)對(duì)所有跟蹤器在當(dāng)前圖像幀中的新位置Yi用補(bǔ)償量Cli進(jìn)行位置補(bǔ)償，獲得Yi'。5)用跟蹤器權(quán)值Wi和YT計(jì)算目標(biāo)位置參數(shù)。6)根據(jù)目標(biāo)位置參數(shù)初始化所有跟蹤窗口，并對(duì)跟蹤器的參考窗口進(jìn)行更新，繼 續(xù)讀入下一幀圖像，即返回2)步驟。所述補(bǔ)償量Cli為A = Y;-X0 = (Xi,y])-(χ0,y0) = (χ]-^yi-y0) =其中Y' i=(x' i,y' i)為各個(gè)跟蹤窗口的初始位置。所述2)步驟中用跟蹤算法獲得跟蹤器新位置Yi = (xi; Yi)。所述跟蹤算法可以為均值移動(dòng)算法、粒子濾波算法等。所述第3)步驟計(jì)算的跟蹤器權(quán)值Wi為相似度歸一化權(quán)值。所述相似度歸一化權(quán)值Wi具體計(jì)算方法如下首先計(jì)算跟蹤器的跟蹤窗口 Pi與參考窗口 Qi的相似度P ρ為
4
然后計(jì)算窗口相似度的加權(quán)系數(shù)W'w\ = expiλ為調(diào)節(jié)參數(shù)最后對(duì)加權(quán)系數(shù)Ψ ,進(jìn)行歸一化處理獲得權(quán)值Wi = Wij^llWj所述對(duì)Yi進(jìn)行位置補(bǔ)償獲得Y/的方法為Y' = Yj-Cij = (X^yi) - {d.,df)=( -d%yt — dyt)所述目標(biāo)位置參數(shù)E(X)的計(jì)算方法為最小均方誤差法。
N所述目標(biāo)位置參數(shù)五(Z) = Yj W,Y；。
/=1所述N個(gè)跟蹤窗口部分重疊或完全不重疊。本發(fā)明的有益效果是提供了一種目標(biāo)跟蹤的新方法。本發(fā)明具有的明顯特征有 目標(biāo)的多窗口表示，這些窗口之間可以部分重疊或相互完全分離，并且它們的形狀可以根 據(jù)跟蹤目標(biāo)的特性隨意變化，每個(gè)窗口都對(duì)應(yīng)一個(gè)獨(dú)立的跟蹤器，最終的跟蹤結(jié)果通過融 合不同跟蹤器的跟蹤結(jié)果得到，最后根據(jù)跟蹤結(jié)果重置不同的跟蹤窗口，從而實(shí)現(xiàn)錯(cuò)誤糾 正的目的，保證了跟蹤的精度和準(zhǔn)確性。當(dāng)跟蹤目標(biāo)所在的背景區(qū)域有類似顏色干擾時(shí)，該方法具有很強(qiáng)的魯棒性。當(dāng)跟蹤目標(biāo)被短時(shí)遮擋或者特征因?yàn)楣庹兆兓l(fā)生變化的時(shí)候，多個(gè)跟蹤窗口之 間的信息可以互補(bǔ)，從而可以準(zhǔn)確推斷目標(biāo)的位置。目標(biāo)跟蹤結(jié)果不受某一跟蹤窗口跟蹤結(jié)果的控制，而是受多個(gè)窗口跟蹤結(jié)果的影 響，從而提高跟蹤魯棒性。


圖1是本發(fā)明方法的流程圖。圖2是本發(fā)明方法的示意圖。圖3是本發(fā)明方法中一種跟蹤窗口的分布示意圖。圖4是本發(fā)明方法中另一種跟蹤窗口的分布示意圖。圖5是本實(shí)施例中人臉跟蹤實(shí)驗(yàn)獲得的跟蹤效果圖。
具體實(shí)施例方式下面結(jié)合附圖詳細(xì)說明本發(fā)明技術(shù)方案中所涉及的各個(gè)細(xì)節(jié)問題。應(yīng)指出的是， 所描述的實(shí)施例僅旨在便于對(duì)本發(fā)明的理解，而對(duì)本發(fā)明的保護(hù)范圍沒有限定作用。本發(fā)明的方法，參見圖2，其中大圓代表目標(biāo)區(qū)域，它的中心位置用小圓表示，方塊 代表多個(gè)跟蹤窗口的窗口中心。例如在t時(shí)刻，采用8個(gè)跟蹤窗口表示目標(biāo)，如圖2中的a 部分。計(jì)算跟蹤窗口與目標(biāo)中心的位移量，稱為補(bǔ)償量。對(duì)每一個(gè)跟蹤窗口采用一個(gè)跟蹤器 對(duì)其進(jìn)行跟蹤，分別提取各個(gè)跟蹤窗口在t+Ι時(shí)刻的圖像位置，然后根據(jù)跟蹤窗口所在t+1時(shí)刻的圖像信息計(jì)算其可信度，用來作為不同窗口的權(quán)值，如圖2中的b部分，其方塊的大 小代表窗口可信度、重要性的高低。利用補(bǔ)償量對(duì)當(dāng)前的跟蹤窗口位置進(jìn)行補(bǔ)償，從而使所 有跟蹤窗口分布在目標(biāo)真實(shí)位置附近，如圖2中c部分所示。利用不同窗口的權(quán)值對(duì)目標(biāo) 真實(shí)位置進(jìn)行計(jì)算。最后根據(jù)目標(biāo)真實(shí)位置和補(bǔ)償量，重新初始化所有跟蹤窗口，即進(jìn)入下 一幀迭代，如圖2中的d部分。具體實(shí)施步驟參見圖1 步驟Sl 先讀入目標(biāo)初始位置的圖像，跟蹤之前根據(jù)具體目標(biāo)特性構(gòu)造N個(gè)跟蹤窗口，這 些窗口的分布可參見圖3或圖4所示。窗口分布方式可以根據(jù)實(shí)際情況進(jìn)行調(diào)整。每個(gè) 窗口對(duì)應(yīng)一個(gè)跟蹤器，跟蹤器Ti的初始位置為T' i=(x' i，y' i)，i為1到N，按照公式 (1)計(jì)算各個(gè)窗口與目標(biāo)初始位置X0 = (x0，y0)之間的補(bǔ)償量d,； 步驟S2 讀入下一幀圖像，通過跟蹤算法，如均值移動(dòng)算法計(jì)算每個(gè)跟蹤器Ti在 當(dāng)前圖像幀的新位置Yi= (Xi^yi)；步驟S3 計(jì)算跟蹤器的相似度歸一化權(quán)值Wi,并且對(duì)所有跟蹤器的新位置Yi,按照 公式(2)進(jìn)行位置補(bǔ)償。 跟蹤器的權(quán)值Wi的具體計(jì)算方法為首先采用Bhattacharyya相似度計(jì)算方法計(jì)算跟蹤窗口 Pi與參考窗口 Qi的相似 度
m _ 然后計(jì)算窗口相似度的加權(quán)系數(shù)W' λ為調(diào)節(jié)參數(shù)最后對(duì)加權(quán)系數(shù)Ψ ,進(jìn)行歸一化處理獲得權(quán)值Wi 步驟S4 采用最小均方誤差對(duì)目標(biāo)真實(shí)位置進(jìn)行計(jì)算，獲得目標(biāo)位置參數(shù)E(X)
N 步驟S5 利用多窗口計(jì)算的目標(biāo)位置參數(shù)E(X)和補(bǔ)償量屯，初始化所有跟蹤器 Ti,并且更新參考窗口，繼續(xù)讀入下一幀圖像，即返回步驟S2。按照本發(fā)明的方法對(duì)人臉進(jìn)行目標(biāo)跟蹤的實(shí)驗(yàn)為了說明本發(fā)明，我們采用自拍場(chǎng)景進(jìn)行實(shí)驗(yàn)，實(shí)驗(yàn)場(chǎng)景是一段教學(xué)樓道的視頻 段。在整個(gè)視頻中，光照變化明顯而且目標(biāo)狀態(tài)也隨著時(shí)間發(fā)生隨意變化，攝像機(jī)為手持方 式，有時(shí)目標(biāo)存在明顯的跳動(dòng)現(xiàn)象。視頻圖像的分辨率為160X120，跟蹤窗口數(shù)量為5，窗 口具體分布如圖4所示。對(duì)應(yīng)每個(gè)跟蹤窗口的跟蹤器我們采用改進(jìn)的均值移動(dòng)算法。當(dāng)每個(gè)跟蹤器得到當(dāng)前幀的位置之后，我們計(jì)算當(dāng)前所在位置窗口 Pi與其所對(duì)應(yīng)的均值移動(dòng)算 法的參考模板Qi的顏色相似度，具體采用Bhattacharyya相似度來度量，如公式(3)所示 然后計(jì)算窗口相似度的加權(quán)系數(shù)W' i，具體如下 其中λ為一調(diào)節(jié)參數(shù)，根據(jù)具體需要進(jìn)行設(shè)置。本實(shí)施例中設(shè)置為λ = 5。對(duì)W' 1進(jìn)行歸一化處理 最終獲得目標(biāo)位置參數(shù)E (X)
具體跟蹤效果如圖5所示，可以看出本方法在跟蹤目標(biāo)遮擋的情況下，依舊具有 很好的跟蹤效果，其提高了跟蹤系統(tǒng)的魯棒性.本發(fā)明的方法將目標(biāo)用多個(gè)不同的窗口表示，每一個(gè)窗口對(duì)應(yīng)一個(gè)跟蹤器。這些 窗口之間可以存在重疊，也可以包含被跟蹤目標(biāo)上下文信息，如在人臉跟蹤中，有些跟蹤窗 口可以包含頸部信息、上衣顏色信息。然后利用這些窗口之間的位置關(guān)系以及在后繼跟蹤 過程中的相似度來估計(jì)目標(biāo)的真實(shí)位置。使跟蹤目標(biāo)被短時(shí)遮擋或者特征因?yàn)楣庹兆兓l(fā) 生變化時(shí)，多個(gè)窗口之間的信息可以互補(bǔ)，從而可以準(zhǔn)確推斷目標(biāo)的位置。
權(quán)利要求
基于多窗口的目標(biāo)跟蹤方法，包括如下步驟1)讀入目標(biāo)初始位置圖像，根據(jù)目標(biāo)特性構(gòu)造N個(gè)跟蹤窗口，每個(gè)窗口對(duì)應(yīng)一個(gè)跟蹤器，測(cè)定每個(gè)跟蹤器與目標(biāo)初始位置X0＝(x0，y0)之間的補(bǔ)償量di，跟蹤器的初始位置為Y′i，i為1到N；2)讀入下一幀圖像，計(jì)算每個(gè)跟蹤器在當(dāng)前圖像幀的新位置Yi；3)計(jì)算所有跟蹤器的權(quán)值Wi；4)對(duì)所有跟蹤器在當(dāng)前圖像幀中的新位置Yi用補(bǔ)償量di進(jìn)行位置補(bǔ)償，獲得5)用跟蹤器權(quán)值Wi和計(jì)算目標(biāo)位置參數(shù)E(X)；6)根據(jù)目標(biāo)位置參數(shù)E(X)初始化所有跟蹤器，并對(duì)跟蹤器的參考窗口進(jìn)行更新，繼續(xù)讀入下一幀圖像。FSA00000238465600011.tif,FSA00000238465600012.tif
2.按權(quán)利要求1所述的基于多窗口的目標(biāo)跟蹤方法，其特征在于所述補(bǔ)償量屯為di = Y;-X0 = (x^yi)- Ο0，7。) = (x'i -而,乂 -凡)=( O其中Y' i = (χ' i，y' D為各個(gè)跟蹤窗口的初始位置。
3.按權(quán)利要求1所述的基于多窗口的目標(biāo)跟蹤方法，其特征在于所述第2)步驟中用跟 蹤算法獲得跟蹤器新位置Yi = (Xi, Yi)。
4.按權(quán)利要求1所述的基于多窗口的目標(biāo)跟蹤方法，其特征在于所述跟蹤器的權(quán)值Wi 為相似度歸一化權(quán)值。
5.按權(quán)利要求4所述的基于多窗口的目標(biāo)跟蹤方法，其特征在于所述相似度歸一化權(quán) 值化的計(jì)算方法如下首先計(jì)算跟蹤器的跟蹤窗口 Pi與參考窗口 Qi的相似度ρ ”為A = ZV^OtOWW=I然后計(jì)算窗口相似度的加權(quán)系數(shù)W' i: W^exp' λ為調(diào)節(jié)參數(shù)最后對(duì)加權(quán)系數(shù)r i進(jìn)行歸一化處理獲得權(quán)值Wi = WlIYuIlW]
6.按權(quán)利要求1所述的基于多窗口的目標(biāo)跟蹤方法，其特征在于所述對(duì)Yi進(jìn)行位置補(bǔ) 償獲得Yi'的方法為Y；=^-dt = (U)- (d,x,dn = (χ, - 一 df)
7.按權(quán)利要求1所述的基于多窗口的目標(biāo)跟蹤方法，其特征在于所述目標(biāo)位置參數(shù) E(X)的計(jì)算方法為最小均方誤差法。
8.按權(quán)利要求7所述的基于多窗口的目標(biāo)跟蹤方法，其特征在于所述目標(biāo)位置參數(shù)為NE(X) = YjWX(=1
9.按權(quán)利要求1-8任一項(xiàng)所述的基于多窗口的目標(biāo)跟蹤方法，其特征在于所述N個(gè)跟蹤窗口部分重疊或完全不重疊。
全文摘要
本發(fā)明為一種基于多窗口的目標(biāo)跟蹤方法，屬于計(jì)算機(jī)視覺技術(shù)。該方法的步驟為1)讀入目標(biāo)初始位置的圖像，根據(jù)目標(biāo)特性構(gòu)造N個(gè)跟蹤窗口，每個(gè)窗口對(duì)應(yīng)一個(gè)跟蹤器，測(cè)定每個(gè)跟蹤器與目標(biāo)初始位置X0＝(x0，y0)之間的補(bǔ)償量di；2)讀入下一幀圖像，計(jì)算每個(gè)跟蹤器在當(dāng)前圖像幀的新位置Yi；3)計(jì)算所有跟蹤器的權(quán)值Wi；4)對(duì)所有跟蹤器在當(dāng)前圖像幀中的新位置Yi用補(bǔ)償量di進(jìn)行位置補(bǔ)償，獲得5)用跟蹤器權(quán)值Wi和計(jì)算目標(biāo)位置參數(shù)E(X)；6)根據(jù)目標(biāo)位置參數(shù)初始化所有跟蹤器，并對(duì)跟蹤器的參考窗口進(jìn)行更新，繼續(xù)讀入下一幀圖像。本發(fā)明的跟蹤方法可以提高系統(tǒng)在遮擋、光照變化等復(fù)雜條件下的跟蹤性能，目標(biāo)跟蹤結(jié)果不受某一跟蹤窗口結(jié)果的控制，具有很強(qiáng)的魯棒性。
文檔編號(hào)G06K9/00GK101916368SQ201010259490
公開日2010年12月15日 申請(qǐng)日期2010年8月20日 優(yōu)先權(quán)日2010年8月20日
發(fā)明者安國(guó)成, 張鳳軍, 戴國(guó)忠, 王宏安 申請(qǐng)人:中國(guó)科學(xué)院軟件研究所