本發(fā)明屬于計(jì)算機(jī)視覺(jué)技術(shù)領(lǐng)域，更為具體地講，涉及一種結(jié)合運(yùn)動(dòng)信息的目標(biāo)主動(dòng)輪廓跟蹤方法。

背景技術(shù)：

在計(jì)算機(jī)視覺(jué)領(lǐng)域中，目標(biāo)主動(dòng)跟蹤技術(shù)占有十分重要的地位，它通過(guò)對(duì)視頻中序列圖像的處理，獲得感興趣目標(biāo)在連續(xù)序列圖像中位置隨時(shí)間變化的軌跡。目標(biāo)主動(dòng)跟蹤技術(shù)的應(yīng)用十分廣泛，如軍事制導(dǎo)，視頻監(jiān)控，智能交通，人機(jī)交互，公共安全等。目標(biāo)主動(dòng)跟蹤的表達(dá)形式有矩形，橢圓形，輪廓等，采用輪廓的形式能很好的表達(dá)目標(biāo)形狀與尺寸的變化信息，為高層行為的識(shí)別與理解提供方便，因此，目標(biāo)主動(dòng)輪廓跟蹤一直是目標(biāo)跟蹤領(lǐng)域的一個(gè)研究熱點(diǎn)。目標(biāo)主動(dòng)輪廓跟蹤算法主要分為參數(shù)主動(dòng)輪廓模型和幾何主動(dòng)輪廓模型。

參數(shù)主動(dòng)輪廓模型以上世紀(jì)八十年代kass等人提出snake模型為代表，該方法用參數(shù)顯示的表達(dá)曲線，通過(guò)求解一個(gè)能量變分模型的最小值來(lái)實(shí)現(xiàn)輪廓分割。snake模型具有良好的跟蹤特定區(qū)域目標(biāo)輪廓的能力，常被用來(lái)進(jìn)行醫(yī)學(xué)圖像的分割，但存在以下缺點(diǎn)：對(duì)圖像邊界的捕捉范圍很小，對(duì)初始輪廓的要求很高，對(duì)參數(shù)設(shè)置非常敏感，不能靈活處理拓?fù)渥兓胰菀族e(cuò)誤的收斂到局部極值點(diǎn)。

幾何活動(dòng)輪廓模型以osher等人提出的水平集(levelset)方法為代表，它以隱式方法的來(lái)描述輪廓，用一個(gè)n+1維的水平集函數(shù)的零值來(lái)表達(dá)一個(gè)n維的曲線，因此能夠靈活處理目標(biāo)拓?fù)渥兓Ｋ郊椒◤V泛應(yīng)用于圖像處理和計(jì)算機(jī)視覺(jué)領(lǐng)域，例如圖像分割，目標(biāo)跟蹤，形狀檢測(cè)與識(shí)別等。傳統(tǒng)的水平集方法將水平集函數(shù)初始化為符號(hào)距離函數(shù)，并且每隔一段時(shí)間需要進(jìn)行重新初始化，導(dǎo)致計(jì)算復(fù)雜，耗時(shí)很大。李純明等人提出了drlse(distanceregularizedlevelsetevolution)模型，將水平集初始化為二值函數(shù)，然后通過(guò)構(gòu)造一個(gè)帶距離約束的能量懲罰項(xiàng)使得水平集函數(shù)近似的保持為符號(hào)距離函數(shù)，從而保證了穩(wěn)定的數(shù)值解，并且避免了重新初始化，大大的減小了計(jì)算量。

將水平集運(yùn)用到目標(biāo)主動(dòng)跟蹤領(lǐng)域，通常需要將目標(biāo)的先驗(yàn)知識(shí)，如顏色，梯度，紋理，形狀等表觀特征加入到水平集演化方程中，來(lái)約束曲線進(jìn)化到目標(biāo)邊緣處。由于單個(gè)像素的特征提取容易受噪聲干擾產(chǎn)生不穩(wěn)定性，可以考慮采用超像素對(duì)圖像進(jìn)行分割。超像素將圖像劃分成顏色，紋理等表觀特征相似的鄰近像素的集合，具有計(jì)算效率高，保持圖像邊界等優(yōu)點(diǎn)，使用超像素作為圖像處理的基本單元，比直接考慮單個(gè)像素更為有效。

除此之外，目標(biāo)的運(yùn)動(dòng)也是一種非常有效的可用于跟蹤的特征，特別是在目標(biāo)與背景具有明顯相對(duì)運(yùn)動(dòng)的場(chǎng)景中，運(yùn)動(dòng)特征可作為顏色，紋理等表觀特征的有效補(bǔ)充，得到更加精確的輪廓跟蹤結(jié)果。光流法通常被用來(lái)刻畫(huà)運(yùn)動(dòng)信息，由光流法得到的光流場(chǎng)能夠代表每個(gè)像素點(diǎn)的運(yùn)動(dòng)速度大小和方向，在具有明顯相對(duì)運(yùn)動(dòng)的場(chǎng)景中，運(yùn)動(dòng)目標(biāo)區(qū)域和背景區(qū)域的光流場(chǎng)幅值大小具有明顯的差異，利用光流場(chǎng)能夠有效地區(qū)分出運(yùn)動(dòng)目標(biāo)與背景。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明的目的在于克服現(xiàn)有技術(shù)的不足，提出一種結(jié)合運(yùn)動(dòng)信息的目標(biāo)主動(dòng)輪廓跟蹤方法，以克服表觀特征目標(biāo)輪廓跟蹤對(duì)于顏色，梯度等特征的依賴(lài)性，在目標(biāo)表觀特征不夠明顯，但是具有明顯相對(duì)運(yùn)動(dòng)的場(chǎng)景中能達(dá)到良好的跟蹤效果。

為實(shí)現(xiàn)上述發(fā)明目的，本發(fā)明結(jié)合運(yùn)動(dòng)信息的目標(biāo)主動(dòng)輪廓跟蹤方法，其特征在于，包括以下步驟：

(1)、初始化svm(支持向量機(jī))分類(lèi)器

針對(duì)序列圖像第一幀圖像，首先手動(dòng)標(biāo)定初始輪廓，初始輪廓的最大外接矩形向外擴(kuò)大p個(gè)像素點(diǎn)后的區(qū)域作為感興趣區(qū)域(regionofinterest，簡(jiǎn)稱(chēng)roi)；然后，對(duì)感興趣區(qū)域進(jìn)行超像素分割，得到一系列的超像素；

對(duì)于每一個(gè)超像素，提取感興趣的顏色特征和紋理特征向量，并將兩者進(jìn)行合并，得到該超像素的d維表觀特征向量；

記感興趣區(qū)域的初始輪廓內(nèi)像素點(diǎn)為正，初始輪廓外像素點(diǎn)為負(fù)，統(tǒng)計(jì)每個(gè)超像素內(nèi)的所有像素點(diǎn)，若超過(guò)半數(shù)像素點(diǎn)為正，記為1，則將該超像素標(biāo)記為正樣本，否則標(biāo)記為負(fù)樣本，記為-1；

將每個(gè)超像素的n維表觀特征向量作為輸入，其標(biāo)記作為輸出對(duì)svm分類(lèi)器進(jìn)行訓(xùn)練，得到初始化的svm分類(lèi)器；同時(shí)，將每個(gè)超像素的n維表觀特征向量作為輸入，其標(biāo)記作為輸出作為一組訓(xùn)練樣本存入樣本池中；

將初始輪廓作為第一幀圖像目標(biāo)主動(dòng)輪廓跟蹤結(jié)果、序列圖像第二幀圖像作為當(dāng)前幀圖像；

(2)、基于svm分類(lèi)器和局部信息的判別式表觀模型構(gòu)建

將當(dāng)前幀圖像的上一幀圖像的目標(biāo)主動(dòng)輪廓跟蹤結(jié)果作為初始輪廓，初始輪廓的最大外接矩形向外擴(kuò)大p個(gè)像素點(diǎn)后的區(qū)域作為感興趣區(qū)域(regionofinterest，簡(jiǎn)稱(chēng)roi)；然后，對(duì)感興趣區(qū)域進(jìn)行超像素分割，得到一系列的超像素；

對(duì)于每個(gè)超像素，提取感興趣的顏色特征和紋理特征向量，并將兩者進(jìn)行合并，得到每個(gè)超像素的d維表觀特征向量；

2.1)、基于svm分類(lèi)器的置信圖計(jì)算

將第i個(gè)超像素spi′的n維表觀特征向量輸入到svm分類(lèi)器中，得到該超像素的樣本標(biāo)記值，即基于svm分類(lèi)器的置信圖值confmapsvm_i；

2.2)、基于局部信息的置信圖計(jì)算

首先，計(jì)算每個(gè)超像素屬于目標(biāo)和屬于背景的概率，具體計(jì)算步驟如下：

2.2.1)、對(duì)上一幀圖像的輪廓跟蹤結(jié)果即目標(biāo)輪廓進(jìn)行標(biāo)記，如果上一幀圖像感興趣區(qū)域第j個(gè)超像素spj內(nèi)超過(guò)半數(shù)的像素點(diǎn)在目標(biāo)輪廓內(nèi)，則記為lj為1，否則為-1；

2.2.2)、記當(dāng)前幀圖像感興趣區(qū)域第i個(gè)超像素為spi′，其中心坐標(biāo)為(xi′,yi′)；上一幀圖像感興趣區(qū)域第j個(gè)超像素spj的中心坐標(biāo)為(xj,yj)，設(shè)置閾值為tr；

2.2.3)、記當(dāng)前幀圖像感興趣區(qū)域第i個(gè)超像素spi′屬于目標(biāo)輪廓內(nèi)的似然概率為p(spi′|obj)，屬于背景的似然概率為p(spi′|bck)，令：p(spi′|obj)＝p(spi′|bck)＝0；

2.2.4)、對(duì)于當(dāng)前幀圖像感興趣區(qū)域第i個(gè)超像素spi′，遍歷上一幀圖像感興趣區(qū)域的超像素spj，并進(jìn)行以下運(yùn)算：

2.2.4.1)、令m＝n＝0，j＝1

2.2.4.2)、如果則：

當(dāng)lj為1時(shí)：

num1＝p(spi′|obj)+pij

m＝m+1

當(dāng)lj為-1：

num2＝p(spi′|bck)+pij

n＝n+1

如果不成立，則轉(zhuǎn)到步驟

2.2.4.3)、計(jì)算屬于目標(biāo)輪廓內(nèi)的似然概率p(spi′|obj)、屬于背景的似然概率p(spi′|bck)：

其中，pij定義為超像素spi′與spj的相似度，記spi′和spj的表觀特征向量分別為fi′，fj，則pij的計(jì)算公式為：

pij＝exp(-||fi′-fj||²)，

其中，||fi′-fj||²表示特征向量fi′，fj的歐式距離；

2.2.4.4)、如果沒(méi)有遍歷完上一幀圖像感興趣區(qū)域的超像素spj，則j＝j(luò)+1，返回步驟2.2.4.2)，否則，結(jié)束，得到第i個(gè)超像素spi′屬于目標(biāo)輪廓內(nèi)的似然概率p(spi′|obj)，屬于背景的似然概率p(spi′|bck)；

定義第i個(gè)超像素spi′基于局部信息的置信圖值為：

置信圖值的取值范圍為[-1,1]，并且具有以下的對(duì)稱(chēng)判別屬性：

2.3)、融合得到表觀特征的置信圖

對(duì)于第i個(gè)超像素spi′，基于局部信息的置信圖值confmaplocal_i的權(quán)值為w1_i，基于svm分類(lèi)器的置信圖值confmapsvm_i的權(quán)值為w2_i，令：

w1_i＝ε*|confmaplocal_i|

w2_i＝1-ε*|confmaplocal_i|

其中，ε為常量，根據(jù)具體跟蹤場(chǎng)景設(shè)置，可以取0.5，融合后的置信圖值confmapi為：

confmapi＝w1_i*confmaplocal_i+w2_i*confmapsvm_i；

將當(dāng)前幀圖像的所有超像素按照步驟2.1)～2.3)進(jìn)行處理，得到融合后的置信圖，然后將每個(gè)超像素中的像素點(diǎn)賦值為該超像素的融合后的置信圖值，得到表觀特征的置信圖；

(3)、基于運(yùn)動(dòng)信息的光流灰度圖計(jì)算

采用稠密光流計(jì)算法來(lái)計(jì)算當(dāng)前幀圖像上每一個(gè)像素點(diǎn)的光流，得到光流場(chǎng)是一個(gè)雙通道圖像，分別為x方向和y方向上的位移；通過(guò)孟塞爾顏色系統(tǒng)(munsellcolorsystem)實(shí)現(xiàn)可視化，得到光流彩色圖，其中，不同的顏色代表不同運(yùn)動(dòng)方向，顏色深淺代表運(yùn)動(dòng)速度的快慢；再通過(guò)以下公式將光流彩色圖轉(zhuǎn)換成光流灰度圖：

i＝0.2989*r+0.5870*g+0.1140*b

其中r，g和b分別代表彩色空間三個(gè)通道的像素點(diǎn)像素值；

(4)、基于決策樹(shù)的融合權(quán)重計(jì)算

將表觀特征的置信圖像素點(diǎn)的取值為-1到1等分的10個(gè)區(qū)間，分別用0～9表示，光流灰度圖像素點(diǎn)的取值為0到255等分的8個(gè)區(qū)間，分別用0～7表示；

使用決策樹(shù)對(duì)像素點(diǎn)進(jìn)行預(yù)測(cè)分類(lèi)，如果一個(gè)像素點(diǎn)位置在表觀特征的置信圖中的像素點(diǎn)像素值在：

區(qū)間0、1，則該像素點(diǎn)置為背景；

區(qū)間2，同時(shí)，該像素點(diǎn)位置在光流灰度圖中像素點(diǎn)像素值在區(qū)間0，則該像素點(diǎn)置為目標(biāo)，否則，則該像素點(diǎn)置為背景；

區(qū)間3、4，同時(shí)，該像素點(diǎn)位置在光流灰度圖中像素點(diǎn)像素值在區(qū)間0、1，則該像素點(diǎn)置為目標(biāo)，否則，則該像素點(diǎn)置為背景；

區(qū)間5、6，同時(shí)，該像素點(diǎn)位置在光流灰度圖中像素點(diǎn)像素值在區(qū)間0-3，則該像素點(diǎn)置為目標(biāo)，否則，則該像素點(diǎn)置為背景；

區(qū)間7、8，同時(shí)，該像素點(diǎn)位置在光流灰度圖中像素點(diǎn)像素值在區(qū)間0-5，則該像素點(diǎn)置為目標(biāo)，否則，則該像素點(diǎn)置為背景；

區(qū)間9，則該像素點(diǎn)置為目標(biāo)；

將屬于目標(biāo)的像素點(diǎn)標(biāo)記為1，屬于背景的像素點(diǎn)標(biāo)記為-1，可以得到最終的置信圖即融合置信圖；

(5)、水平集輪廓演化

采用基于邊緣的drlse(distanceregularizedlevelsetevolution)模型進(jìn)行水平集輪廓演化，演化采用融合置信圖代替氣球力α與邊緣梯度函數(shù)g的乘積進(jìn)行引導(dǎo)并迭代k次；

然后，再由邊緣梯度函數(shù)和曲率共同引導(dǎo)，得到目標(biāo)輪廓。

(6)、更新樣本池，并重新初始化svm(支持向量機(jī))分類(lèi)器

依據(jù)目標(biāo)輪廓，對(duì)感興趣區(qū)域的超像素進(jìn)行標(biāo)記：如果超過(guò)半數(shù)像素點(diǎn)為正即落入目標(biāo)輪廓內(nèi)，記為1，則將該超像素標(biāo)記為正樣本，否則標(biāo)記為負(fù)樣本，記為-1，然后作為一組訓(xùn)練樣本存入樣本池中；

樣本池容納的最大訓(xùn)練樣本個(gè)數(shù)為sz，采用排隊(duì)的方式進(jìn)行更新，新來(lái)的訓(xùn)練樣本排在隊(duì)列的末端，直到訓(xùn)練樣本個(gè)數(shù)超過(guò)sz，則刪除排在隊(duì)列前端的訓(xùn)練樣本，訓(xùn)練樣本總個(gè)數(shù)sz保持不變；

用樣本池中的訓(xùn)練樣本對(duì)svm分類(lèi)器進(jìn)行訓(xùn)練，得到更新的初始化的svm分類(lèi)器；

將下一幀作為當(dāng)前幀，返回步驟(2)。

本發(fā)明的目的是這樣實(shí)現(xiàn)的。

本發(fā)明結(jié)合運(yùn)動(dòng)信息的目標(biāo)主動(dòng)輪廓跟蹤方法，以超像素為基本單元，分別對(duì)目標(biāo)與背景區(qū)域的表觀特征和運(yùn)動(dòng)特征進(jìn)行建模，并采用決策樹(shù)算法將兩者融合起來(lái)，克服了傳統(tǒng)的主動(dòng)目標(biāo)輪廓跟蹤方法對(duì)于表觀特征的依賴(lài)性，在目標(biāo)與背景顏色，紋理等特征相似，但具有明顯相對(duì)運(yùn)動(dòng)的場(chǎng)景中跟蹤精度有明顯提升，具有很好的應(yīng)用前景。

附圖說(shuō)明

圖1是本發(fā)明結(jié)合運(yùn)動(dòng)信息的目標(biāo)主動(dòng)輪廓跟蹤方法的一種具體實(shí)施方式流程圖；

圖2是融合基于svm分類(lèi)器的置信圖以及基于局部信息的置信圖得到表觀特征的置信圖的三個(gè)典型實(shí)例過(guò)程圖；

圖3是感興趣區(qū)域圖像、光流彩色圖和灰度一具體實(shí)例圖，其中，(a)感興趣區(qū)域圖像，(b)基于孟塞爾顏色系統(tǒng)顯示的光流彩色圖，(c)光流灰度圖；

圖4是決策樹(shù)示意圖；

圖5是決策樹(shù)判斷生成置信圖示意圖，其中，(a)感興趣區(qū)域圖像；(b)調(diào)整后的光流灰度圖，c)基于表觀特征得到的置信圖，d)基于決策樹(shù)判斷融合后的置信圖；

圖6是一個(gè)序列圖像的輪廓跟蹤結(jié)果和跟蹤精度圖，其中，(a)為輪廓跟蹤結(jié)果，(b)為跟蹤精度；

圖7是另一個(gè)序列圖像的輪廓跟蹤結(jié)果和跟蹤精度圖，其中，(a)為輪廓跟蹤結(jié)果，(b)為跟蹤精度；

圖8是另一個(gè)序列圖像的輪廓跟蹤結(jié)果和跟蹤精度圖，其中，(a)為輪廓跟蹤結(jié)果，(b)為跟蹤精度。

具體實(shí)施方式

下面結(jié)合附圖對(duì)本發(fā)明的具體實(shí)施方式進(jìn)行描述，以便本領(lǐng)域的技術(shù)人員更好地理解本發(fā)明。需要特別提醒注意的是，在以下的描述中，當(dāng)已知功能和設(shè)計(jì)的詳細(xì)描述也許會(huì)淡化本發(fā)明的主要內(nèi)容時(shí)，這些描述在這里將被忽略。

本發(fā)明在水平集的框架下設(shè)計(jì)了一種結(jié)合運(yùn)動(dòng)信息和表觀特征的目標(biāo)主動(dòng)輪廓跟蹤方法。在表觀特征建模部分，以超像素為基本單元提取目標(biāo)與背景的顏色特征和紋理特征，考慮到實(shí)際場(chǎng)景中的目標(biāo)或背景存在多種表觀模式(多種顏色或紋理)，使用兩類(lèi)分類(lèi)器很難得到正確分類(lèi)結(jié)果，本發(fā)明提出一種基于局部信息的置信圖計(jì)算方法，并將其與svm分類(lèi)器得到的置信圖進(jìn)行自適應(yīng)權(quán)重融合，得到更為可靠的表觀特征置信圖。在運(yùn)動(dòng)特征建模部分，引入光流法來(lái)刻畫(huà)目標(biāo)的運(yùn)動(dòng)信息，得到的光流場(chǎng)能夠代表每個(gè)像素點(diǎn)的運(yùn)動(dòng)速度大小和方向。最后使用決策樹(shù)將目標(biāo)的表觀特征和運(yùn)動(dòng)特征結(jié)合起來(lái)生成置信圖，嵌入到水平集輪廓演化的框架中。

本發(fā)明的主要特點(diǎn)在于：1)考慮到單個(gè)像素容易受噪聲干擾產(chǎn)生不穩(wěn)定性，提出以超像素作為圖像處理的基本單元，提取顏色特征向量和lbp紋理特征向量。2)表觀特征建模部分，考慮到實(shí)際場(chǎng)景中的目標(biāo)或背景可能存在多種表觀模式(如顏色等)，導(dǎo)致svm分類(lèi)器的準(zhǔn)確度下降，提出了一種基于局部信息的置信圖計(jì)算方法，超像素的置信圖計(jì)算只與它鄰近區(qū)域的有限個(gè)超像素保持關(guān)系，能在一定程度上避免其它因素的干擾。3)運(yùn)動(dòng)特征建模部分，使用稠密光流計(jì)算方法獲取光流場(chǎng)，采用孟塞爾顏色系統(tǒng)實(shí)現(xiàn)光流場(chǎng)的可視化，并將其轉(zhuǎn)化成光流灰度圖。4)將表觀特征置信圖和光流灰度圖作為兩個(gè)屬性訓(xùn)練決策樹(shù)，利用決策樹(shù)對(duì)感興趣區(qū)域的像素點(diǎn)進(jìn)行預(yù)測(cè)生成置信圖，引導(dǎo)水平集函數(shù)的演化。

圖1是本發(fā)明結(jié)合運(yùn)動(dòng)信息的目標(biāo)主動(dòng)輪廓跟蹤方法的一種具體實(shí)施方式流程圖。

在本實(shí)施例中，如圖1所示，本發(fā)明結(jié)合運(yùn)動(dòng)信息的目標(biāo)主動(dòng)輪廓跟蹤方法包括以下步驟：

步驟s1：初始化svm(支持向量機(jī))分類(lèi)器；

步驟s2：基于svm分類(lèi)器和局部信息的判別式表觀模型構(gòu)建；

步驟s3：基于運(yùn)動(dòng)信息的光流灰度圖計(jì)算；

步驟s4：基于決策樹(shù)的融合權(quán)重計(jì)算；

步驟s5：水平集輪廓演化；

步驟s6：更新樣本池，并重新初始化svm分類(lèi)器，返回對(duì)下一幀圖像進(jìn)行目標(biāo)主動(dòng)輪廓跟蹤。

下面結(jié)合附圖對(duì)本發(fā)明所涉及的各個(gè)步驟進(jìn)行詳細(xì)說(shuō)明：

1、初始化svm(支持向量機(jī))分類(lèi)器

針對(duì)序列圖像第一幀圖像，首先手動(dòng)標(biāo)定初始輪廓，初始輪廓的最大外接矩形向外擴(kuò)大50(即p＝50)個(gè)像素點(diǎn)后的區(qū)域作為感興趣區(qū)域(regionofinterest，簡(jiǎn)稱(chēng)roi)；然后，對(duì)感興趣區(qū)域進(jìn)行超像素分割，得到一系列的超像素。在本實(shí)施例中，采用slic超像素分割，其算法可參考文獻(xiàn)：r.achanta,a.shaji,k.smithanda.lucchi.slicsuperpixelscomparedtostate-of-the-artsuperpixelmethods[j].ieeetrans.onpatternanalysisandmachineintelligence,2012,34(11):2274-2282。

對(duì)于每個(gè)超像素，提取感興趣的顏色特征和紋理特征向量，并將兩者進(jìn)行合并，得到該超像素的d維表觀特征向量。在本實(shí)施中，對(duì)于超像素，提取顏色特征和紋理特征向量為：將rgb圖像的超像素轉(zhuǎn)換到hsv顏色空間，對(duì)顏色進(jìn)行量化，將h劃分為8等份，s劃分為4等份，v劃分為4等分，然后統(tǒng)計(jì)每個(gè)超像素內(nèi)所有像素點(diǎn)落入每個(gè)區(qū)間的數(shù)目，得到128(8×4×4)維歸一化顏色特征向量；將rgb圖像的超像素轉(zhuǎn)為灰度圖，計(jì)算其lbp(localbinarypattern,局部二值模式)值，將lbp值等分為8個(gè)區(qū)間，同樣基于超像素直方圖統(tǒng)計(jì)得到8維的歸一化lbp特征向量即紋理特征向量。

將顏色特征和紋理特征向量進(jìn)行合并，得到136(即d＝136)維的表觀特征向量。

訓(xùn)練svm分類(lèi)器需要采集正負(fù)樣本，記感興趣區(qū)域的初始輪廓內(nèi)像素點(diǎn)為正，初始輪廓外像素點(diǎn)為負(fù)，統(tǒng)計(jì)每個(gè)超像素內(nèi)的所有像素點(diǎn)，若超過(guò)半數(shù)像素點(diǎn)為正，記為1，則將該超像素標(biāo)記為正樣本，否則標(biāo)記為負(fù)樣本，記為-1。

將每個(gè)超像素的n維表觀特征向量作為輸入，其標(biāo)記作為輸出對(duì)svm分類(lèi)器進(jìn)行訓(xùn)練，得到初始化的svm分類(lèi)器；同時(shí)，將每個(gè)超像素的128維表觀特征向量作為輸入，其標(biāo)記1或-1作為輸出作為一組訓(xùn)練樣本存入樣本池中。

將初始輪廓作為第一幀圖像目標(biāo)主動(dòng)輪廓跟蹤結(jié)果、序列圖像第二幀圖像作為當(dāng)前幀圖像。

2、基于svm分類(lèi)器和局部信息的判別式表觀模型構(gòu)建

將當(dāng)前幀圖像的上一幀圖像的目標(biāo)主動(dòng)輪廓跟蹤結(jié)果作為初始輪廓，進(jìn)行第一張圖像相同的感興趣區(qū)域確定、超像素分割以及感興趣的顏色特征和紋理特征向量提取，得到每個(gè)超像素的136(即d＝136)維表觀特征向量。

2.1、基于svm分類(lèi)器的置信圖計(jì)算

將第i個(gè)超像素spi′的136維表觀特征向量輸入到svm分類(lèi)器中，得到該超像素的樣本標(biāo)記值，即基于svm分類(lèi)器的置信圖值confmapsvm_i。

2.2、基于局部信息的置信圖計(jì)算

由于實(shí)際應(yīng)用場(chǎng)景中往往存在很多目標(biāo)與背景表觀特征相似的區(qū)域，或者目標(biāo)與背景存在多種表觀模式，如多種顏色等，導(dǎo)致分類(lèi)器的準(zhǔn)確度下降，本發(fā)明提出了一種基于局部信息的置信圖計(jì)算方法以克服該問(wèn)題。

首先，計(jì)算每個(gè)超像素屬于目標(biāo)和屬于背景的概率，具體計(jì)算步驟如下：

2.2.1、對(duì)上一幀圖像的輪廓跟蹤結(jié)果即目標(biāo)輪廓進(jìn)行標(biāo)記，如果上一幀圖像感興趣區(qū)域第j個(gè)超像素spj內(nèi)超過(guò)半數(shù)的像素點(diǎn)在目標(biāo)輪廓內(nèi)，則記為lj為1，否則為-1；

2.2.2、記當(dāng)前幀圖像感興趣區(qū)域第i個(gè)超像素為spi′，其中心坐標(biāo)為(xi′,yi′)；上一幀圖像感興趣區(qū)域第j個(gè)超像素spj的中心坐標(biāo)為(xj,yj)，設(shè)置閾值為tr；

2.2.3、記當(dāng)前幀圖像感興趣區(qū)域第i個(gè)超像素spi′屬于目標(biāo)輪廓內(nèi)的似然概率為p(spi′|obj)，屬于背景的似然概率為p(spi′|bck)，令：p(spi′|obj)＝p(spi′|bck)＝0；

2.2.4、對(duì)于當(dāng)前幀圖像感興趣區(qū)域第i個(gè)超像素spi′，遍歷上一幀圖像感興趣區(qū)域的超像素spj，并進(jìn)行以下運(yùn)算：

2.2.4.1、令m＝n＝0，j＝1

2.2.4.2、如果則：

當(dāng)lj為1時(shí)：

num1＝p(spi′|obj)+pij

m＝m+1

當(dāng)lj為-1：

num2＝p(spi′|bck)+pij

n＝n+1

如果不成立，則轉(zhuǎn)到步驟

2.2.4.3、計(jì)算屬于目標(biāo)輪廓內(nèi)的似然概率p(spi′|obj)、屬于背景的似然概率p(spi′|bck)：

其中，pij定義為超像素spi′與spj的相似度，記spi′和spj的表觀特征向量分別為fi′，fj，則pij的計(jì)算公式為：

pij＝exp(-||fi′-fj||²)，

其中，||fi′-fj||²表示特征向量fi′，fj的歐式距離；

2.2.4.4、如果沒(méi)有遍歷完上一幀圖像感興趣區(qū)域的超像素spj，則j＝j(luò)+1，返回步驟2.2.4.2，否則，結(jié)束，得到第i個(gè)超像素spi′屬于目標(biāo)輪廓內(nèi)的似然概率p(spi′|obj)，屬于背景的似然概率p(spi′|bck)；

定義第i個(gè)超像素spi′基于局部信息的置信圖值為：

置信圖值的取值范圍為[-1,1]，并且具有以下的對(duì)稱(chēng)判別屬性：

2.3、融合得到表觀特征的置信圖

為了得到更加精準(zhǔn)，更加具有魯棒性的置信圖，考慮將svm分類(lèi)器得到的置信圖與基于局部信息得到的置信圖融合起來(lái)。

對(duì)于第i個(gè)超像素spi′，基于局部信息的置信圖值confmaplocal_i的權(quán)值為w1_i，基于svm分類(lèi)器的置信圖值confmapsvm_i的權(quán)值為w2_i，令：

w1_i＝ε*|confmaplocal_i|

w2_i＝1-ε*|confmaplocal_i|

其中，ε為常量，根據(jù)具體跟蹤場(chǎng)景設(shè)置，可以取0.5，融合后的置信圖值confmapi為：

confmapi＝w1_i*confmaplocal_i+w2_i*confmapsvm_i。

將當(dāng)前幀圖像的所有超像素按照步驟2.1)～2.3)進(jìn)行處理，得到融合后的置信圖，然后將每個(gè)超像素中的像素點(diǎn)賦值為該超像素的融合后的置信圖值，得到表觀特征的置信圖。

圖2分別顯示了3個(gè)序列的roi，基于svm分類(lèi)器得到的置信圖，基于局部信息得到的置信圖，以及將兩者自適應(yīng)權(quán)重融合后得到的置信圖即表觀特征的置信圖。可以看出svm分類(lèi)器對(duì)于目標(biāo)與背景顏色單一的簡(jiǎn)單場(chǎng)景分類(lèi)效果較好，對(duì)于目標(biāo)與背景存在多種顏色的復(fù)雜場(chǎng)景分類(lèi)效果下降；基于局部信息的置信圖計(jì)算在多種場(chǎng)景中分類(lèi)效果都比較穩(wěn)定，但在目標(biāo)輪廓邊緣處容易產(chǎn)生錯(cuò)誤的劃分，并且比較依賴(lài)上一幀的輪廓跟蹤結(jié)果。本發(fā)明將兩種置信圖進(jìn)行融合，在多種場(chǎng)景都具有不錯(cuò)的分類(lèi)效果和穩(wěn)定性。

4、基于運(yùn)動(dòng)信息的光流灰度圖計(jì)算

光流是空間運(yùn)動(dòng)物體在二維成像平面上像素點(diǎn)的瞬時(shí)運(yùn)動(dòng)速度，表達(dá)了相鄰幀圖像之間物體的運(yùn)動(dòng)信息。本發(fā)明采用的是稠密光流計(jì)算法來(lái)計(jì)算圖像上每一個(gè)像素點(diǎn)的光流，參考文獻(xiàn)：sund,roths,blackmj.secretsofopticalflowestimationandtheirprinciples.ieeeinternationalconferenceoncomputervisionandpatternrecognition,2010:2432-2439。

從而得到光流場(chǎng)是一個(gè)雙通道圖像，分別為x方向和y方向上的位移；通過(guò)孟塞爾顏色系統(tǒng)(munsellcolorsystem)實(shí)現(xiàn)可視化，得到光流彩色圖，其中，不同的顏色代表不同運(yùn)動(dòng)方向，顏色深淺代表運(yùn)動(dòng)速度的快慢；再通過(guò)以下公式將光流彩色圖轉(zhuǎn)換成光流灰度圖：

i＝0.2989*r+0.5870*g+0.1140*b

其中r，g和b分別代表彩色空間三個(gè)通道的像素點(diǎn)像素值。

圖3分別顯示了感興趣區(qū)域圖像，通過(guò)孟塞爾顏色系統(tǒng)實(shí)現(xiàn)可視化的光流彩色圖，以及轉(zhuǎn)換后的光流灰度圖。

4、基于決策樹(shù)的融合權(quán)重計(jì)算

將表觀特征的置信圖像素點(diǎn)的取值為-1到1等分的10個(gè)區(qū)間，分別用0～9表示，光流灰度圖像素點(diǎn)的取值為0到255等分的8個(gè)區(qū)間，分別用0～7表示；

使用如圖4所示的決策樹(shù)對(duì)像素點(diǎn)進(jìn)行預(yù)測(cè)分類(lèi)，如果一個(gè)像素點(diǎn)位置在表觀特征的置信圖中的像素點(diǎn)像素值在：

區(qū)間0、1，則該像素點(diǎn)置為背景；

區(qū)間2，同時(shí)，該像素點(diǎn)位置在光流灰度圖中像素點(diǎn)像素值在區(qū)間0，則該像素點(diǎn)置為目標(biāo)，否則，則該像素點(diǎn)置為背景；

區(qū)間3、4，同時(shí)，該像素點(diǎn)位置在光流灰度圖中像素點(diǎn)像素值在區(qū)間0、1，則該像素點(diǎn)置為目標(biāo)，否則，則該像素點(diǎn)置為背景；

區(qū)間5、6，同時(shí)，該像素點(diǎn)位置在光流灰度圖中像素點(diǎn)像素值在區(qū)間0-3，則該像素點(diǎn)置為目標(biāo)，否則，則該像素點(diǎn)置為背景；

區(qū)間7、8，同時(shí)，該像素點(diǎn)位置在光流灰度圖中像素點(diǎn)像素值在區(qū)間0-5，則該像素點(diǎn)置為目標(biāo)，否則，則該像素點(diǎn)置為背景；

區(qū)間9，則該像素點(diǎn)置為目標(biāo)；

將屬于目標(biāo)的像素點(diǎn)標(biāo)記為1，屬于背景的像素點(diǎn)標(biāo)記為-1，可以得到最終的置信圖即融合置信圖。

圖5顯示了感興趣區(qū)域的光流灰度圖，表觀特征置信圖，以及由兩者訓(xùn)練生成的決策樹(shù)判斷得到的置信圖。由圖5可以看出，由于背景區(qū)域的繩子部分與目標(biāo)一起移動(dòng)，導(dǎo)致光流灰度圖的背景區(qū)域也包含了一些運(yùn)動(dòng)賦值較大的地方；表觀特征置信圖的目標(biāo)區(qū)域白色部分與背景中的某些白色部分極為相似，導(dǎo)致計(jì)算結(jié)果將目標(biāo)的某些部分錯(cuò)誤的劃分成背景。通過(guò)決策樹(shù)判斷，將目標(biāo)的運(yùn)動(dòng)特征與表觀特征相結(jié)合，生成的置信圖融合了兩者的優(yōu)點(diǎn)，目標(biāo)與背景區(qū)域的劃分更為準(zhǔn)確，更加具有魯棒性。

5、水平集輪廓演化

本發(fā)明的水平集輪廓演化方程采用基于邊緣的drlse(distanceregularizedlevelsetevolution)模型，演化方程為：

將式中的第三項(xiàng)改為利用置信圖引導(dǎo)，得到本發(fā)明的水平集演化方程：

演化采用融合置信圖代替氣球力α與邊緣梯度函數(shù)g的乘積進(jìn)行引導(dǎo)并迭代k次。

水平集函數(shù)的演化分2次進(jìn)行，首先在置信圖confmap的引導(dǎo)下迭代100(即k＝100)次，當(dāng)confmap>0時(shí)，曲線具有向外擴(kuò)張的趨勢(shì)；當(dāng)confmap<0時(shí)，曲線具有向內(nèi)收縮的趨勢(shì)，因此置信圖的引導(dǎo)能使曲線快速收斂到目標(biāo)輪廓邊緣處。

然后由邊緣梯度函數(shù)和曲率共同引導(dǎo)，得到目標(biāo)輪廓。演化公式為：

邊緣梯度函數(shù)的引導(dǎo)能使曲線收斂到圖像的局部梯度最大值，即目標(biāo)真實(shí)輪廓邊緣處，曲率的引導(dǎo)能使曲線保持光滑性，一共迭代50次。

水平集輪廓演化屬于現(xiàn)有技術(shù)，在此不再贅述。

為了實(shí)施本發(fā)明的具體思想，我們?cè)诙鄠€(gè)視頻序列上做了大量的比較實(shí)驗(yàn)。并與2種輪廓跟蹤算法進(jìn)行了比較，一種是superpixeltracking，本發(fā)明將其簡(jiǎn)記為spt。參見(jiàn)文獻(xiàn)：s.wang,h.c.lu,f.yang,etal.superpixeltracking[c].ieeeinternationalconferenceoncomputervision,2011,1323-1330.該算法提取超像素的顏色特征，采用均值漂移聚類(lèi)計(jì)算置信圖，本文基于該置信圖進(jìn)行l(wèi)evelset跟蹤。另一種是基于光流場(chǎng)和水平集的目標(biāo)輪廓跟蹤(opticalflowlevelset)，簡(jiǎn)記為ofl。參考文獻(xiàn)：方宇強(qiáng),戴斌,宋金澤,單恩忠.基于光流和水平集的運(yùn)動(dòng)目標(biāo)分割方法研究[c].2009中國(guó)智能自動(dòng)化會(huì)議論文集,2009:1541-1547.該方法利用光流場(chǎng)建立水平集函數(shù)的能量泛函，引導(dǎo)levelset的演化。圖6～8給出了三個(gè)序列的輪廓跟蹤結(jié)果和跟蹤精度圖，通過(guò)比較實(shí)驗(yàn)進(jìn)一步驗(yàn)證了本發(fā)明方法的有效性。

6、更新樣本池，并重新初始化svm(支持向量機(jī))分類(lèi)器

經(jīng)過(guò)初始化的svm分類(lèi)器具有一定的分類(lèi)能力，但不能適應(yīng)目標(biāo)表觀特征的變化，因此需要對(duì)樣本進(jìn)行實(shí)時(shí)更新。

依據(jù)目標(biāo)輪廓，對(duì)感興趣區(qū)域的超像素進(jìn)行標(biāo)記：如果超過(guò)半數(shù)像素點(diǎn)為正即落入目標(biāo)輪廓內(nèi)，記為1，則將該超像素標(biāo)記為正樣本，否則標(biāo)記為負(fù)樣本，記為-1，然后作為一組訓(xùn)練樣本存入樣本池中；

樣本池容納的最大訓(xùn)練樣本個(gè)數(shù)為sz，采用排隊(duì)的方式進(jìn)行更新，新來(lái)的訓(xùn)練樣本排在隊(duì)列的末端，直到訓(xùn)練樣本個(gè)數(shù)超過(guò)sz，則刪除排在隊(duì)列前端的訓(xùn)練樣本，訓(xùn)練樣本總個(gè)數(shù)sz保持不變。

將下一幀作為當(dāng)前幀，返回步驟2，對(duì)下一幀進(jìn)行目標(biāo)主動(dòng)輪廓跟蹤。

盡管上面對(duì)本發(fā)明說(shuō)明性的具體實(shí)施方式進(jìn)行了描述，以便于本技術(shù)領(lǐng)域的技術(shù)人員理解本發(fā)明，但應(yīng)該清楚，本發(fā)明不限于具體實(shí)施方式的范圍，對(duì)本技術(shù)領(lǐng)域的普通技術(shù)人員來(lái)講，只要各種變化在所附的權(quán)利要求限定和確定的本發(fā)明的精神和范圍內(nèi)，這些變化是顯而易見(jiàn)的，一切利用本發(fā)明構(gòu)思的發(fā)明創(chuàng)造均在保護(hù)之列。