專利名稱：一種視頻運(yùn)動(dòng)目標(biāo)自適應(yīng)窗口的跟蹤方法
技術(shù)領(lǐng)域：
本發(fā)明涉及機(jī)器視覺(jué)與模式識(shí)別技術(shù)，特別涉及一種視頻運(yùn)動(dòng)目標(biāo)自適應(yīng)窗口的跟蹤方法。

背景技術(shù)：
在自動(dòng)監(jiān)視、交通管理、視覺(jué)導(dǎo)航、機(jī)器人技術(shù)等諸多領(lǐng)域的應(yīng)用中，視頻運(yùn)動(dòng)目標(biāo)跟蹤是機(jī)器視覺(jué)與模式識(shí)別領(lǐng)域研究的熱點(diǎn)問(wèn)題之一，其核心問(wèn)題是當(dāng)被跟蹤目標(biāo)相對(duì)攝像機(jī)或攝影機(jī)運(yùn)動(dòng)時(shí)，如何在視頻序列的每幀圖像中表示目標(biāo)區(qū)域的連續(xù)對(duì)應(yīng)性的問(wèn)題。但該問(wèn)題能夠通過(guò)轉(zhuǎn)化為對(duì)連續(xù)幀中的目標(biāo)區(qū)域進(jìn)行匹配的問(wèn)題來(lái)解決。
在目前現(xiàn)有的匹配跟蹤方法中，有一種方法稱為均值平移(mean-shift)方法，該方法是指以核函數(shù)加權(quán)下的直方圖來(lái)描述圖像目標(biāo)，利用相似性函數(shù)度量初始幀目標(biāo)模型和當(dāng)前幀候選模型的相似性，通過(guò)求相似性函數(shù)最大得到關(guān)于目標(biāo)的均值平移向量的迭代過(guò)程。其作為一種高效的模式匹配算法，由于不需要進(jìn)行窮盡搜索，且該方法以其出色的搜索效率、無(wú)需參數(shù)的初始化過(guò)程和對(duì)邊緣遮擋的魯棒(Robust)性即穩(wěn)定性，較好地兼顧了目標(biāo)跟蹤算法對(duì)實(shí)時(shí)性和穩(wěn)健性的要求，已經(jīng)成功地應(yīng)用在對(duì)實(shí)時(shí)性要求較高的目標(biāo)跟蹤領(lǐng)域中。在均值平移跟蹤算法中，核函數(shù)的窗寬的大小起著非常重要的作用，因?yàn)樗坏珱Q定了參與均值平移迭代的樣本數(shù)量，而且也反映了跟蹤窗口的尺寸大小。所述核函數(shù)的窗寬，是指候選目標(biāo)模型區(qū)域的尺寸。它的大小對(duì)跟蹤的成功與否起著非常重要的作用，因?yàn)樗坏珱Q定了參與均值平移迭代的樣本數(shù)量，而且也反映了跟蹤窗口的尺寸大小。
然而，均值平移方法的一個(gè)缺陷是核函數(shù)的窗寬不能隨目標(biāo)尺寸大小的變化而變化，使得當(dāng)目標(biāo)在圖像中尺寸變化較大的時(shí)候，目標(biāo)跟蹤窗口不能準(zhǔn)確地描述目標(biāo)尺寸和位置，從而導(dǎo)致了跟蹤誤差，常常會(huì)造成跟蹤目標(biāo)的丟失。
有關(guān)自適應(yīng)跟蹤窗口的改進(jìn)算法及技術(shù)，在公開(kāi)號(hào)為CN1619593A的申請(qǐng)文件中已有披露，但只適用于彩色或多圖像傳感器合成的視頻序列，對(duì)圖像傳感器的要求較高，且需要對(duì)所采用的遺傳算法進(jìn)行復(fù)雜的相似度計(jì)算，計(jì)算開(kāi)銷大，不利于實(shí)現(xiàn)對(duì)目標(biāo)的實(shí)時(shí)跟蹤；有關(guān)均值平移方法的自適應(yīng)跟蹤窗口的改進(jìn)算法，在公開(kāi)號(hào)為CN1794264A的申請(qǐng)文件中也有披露，該專利采用的跟蹤方法是對(duì)被跟蹤目標(biāo)窗寬大小的不準(zhǔn)確描述，當(dāng)目標(biāo)尺寸在視頻序列中發(fā)生變化時(shí)，該跟蹤方式不能對(duì)目標(biāo)尺寸進(jìn)行精確估計(jì)，隨著跟蹤的繼續(xù)進(jìn)行，容易導(dǎo)致跟蹤失敗。


發(fā)明內(nèi)容
有鑒于此，本發(fā)明的主要目的在于提供一種視頻運(yùn)動(dòng)目標(biāo)自適應(yīng)窗口的跟蹤方法，以實(shí)現(xiàn)跟蹤窗口根據(jù)運(yùn)動(dòng)目標(biāo)在視頻序列幀中位置和尺寸而自適應(yīng)地實(shí)時(shí)調(diào)整，提高跟蹤效果的穩(wěn)定性和準(zhǔn)確性。
為達(dá)到上述目的，本發(fā)明的技術(shù)方案是這樣實(shí)現(xiàn)的 一種視頻運(yùn)動(dòng)目標(biāo)自適應(yīng)窗口的跟蹤方法，該方法包括如下步驟 a、讀入視頻序列，對(duì)視頻序列幀中的待跟蹤運(yùn)動(dòng)目標(biāo)進(jìn)行檢測(cè)，得到該目標(biāo)的初始中心位置

及初始尺寸V0信息； b、利用從步驟a中獲得的初始中心位置

及初始尺寸V0信息，并提取待跟蹤運(yùn)動(dòng)目標(biāo)特征的分布統(tǒng)計(jì)信息，建立高斯混合模型作為目標(biāo)模板； c、讀入視頻序列的下一幀圖像，利用期望最大化EM算法迭代計(jì)算高斯混合模型參數(shù)，得到與目標(biāo)模板相匹配的候選模板； d、根據(jù)EM算法迭代計(jì)算的結(jié)果更新跟蹤窗口的中心位置、尺寸及方向，并判斷讀入的圖像幀是否為最后一幀，若是則結(jié)束當(dāng)前處理，否則返回步驟c。
步驟a所述對(duì)視頻序列幀中的待跟蹤運(yùn)動(dòng)目標(biāo)進(jìn)行檢測(cè)，具體過(guò)程是對(duì)該幀圖像采用差分法或光流法算法進(jìn)行檢測(cè)，得到均值向量作為該目標(biāo)所在區(qū)域的中心位置，得到的高斯協(xié)方差矩陣V0作為該目標(biāo)所在區(qū)域的初始尺寸，
其中σ1和σ2為待跟蹤目標(biāo)特征分布的標(biāo)準(zhǔn)差，ρ為特征分布的相關(guān)系數(shù)，將協(xié)方差矩陣V0的兩個(gè)特征值的平方根作為待跟蹤目標(biāo)所在區(qū)域的長(zhǎng)軸和短軸，將相關(guān)系數(shù)ρ經(jīng)轉(zhuǎn)換作為旋轉(zhuǎn)角度，用以描述待跟蹤目標(biāo)所在區(qū)域的方向。
步驟b所述建立高斯混合模型作為目標(biāo)模板，具體過(guò)程是 將待跟蹤目標(biāo)所在區(qū)域的中心位置

及初始尺寸V0分別作為高斯分布的均值向量和協(xié)方差矩陣，再利用二維高斯分布的概率密度函數(shù)描述目標(biāo)模板，該目標(biāo)模板
其中

是二維高斯分布的概率密度函數(shù)；δ是Delta函數(shù)；

為待跟蹤目標(biāo)所在區(qū)域內(nèi)像素的總個(gè)數(shù)；函數(shù)

是位于

處的像素灰度級(jí)的映射；j為直方圖中灰度級(jí)索引，j＝1，2，...，c，c為直方圖上灰度級(jí)的總數(shù)；Ch是歸一化常數(shù)。
步驟c所述利用EM算法迭代計(jì)算高斯混合模型參數(shù)的過(guò)程，包括如下步驟 c1、將從步驟a中所得的待跟蹤目標(biāo)的初始中心位置及初始尺寸賦初值作為迭代計(jì)算的初值； c2、計(jì)算由當(dāng)前幀圖像中被跟蹤目標(biāo)的中心位置

及尺寸V(t)所確定的候選目標(biāo)的高斯混合分布模型，以此作為候選模板，并利用步驟b所得的目標(biāo)模板與該候選模板計(jì)算先驗(yàn)權(quán)值； c3、執(zhí)行EM算法，計(jì)算高斯混合模型參數(shù)，得到當(dāng)前幀的中心位置

和尺寸V(t+1)信息； c4、根據(jù)迭代終止條件判斷是否終止EM算法，若判斷到參數(shù)收斂，則結(jié)束本輪迭代過(guò)程，得到與目標(biāo)模板相匹配的候選模板；否則，執(zhí)行步驟c5； c5、利用步驟c3得到的

和V(t+1)分別賦給

和V(t)，作為被跟蹤運(yùn)動(dòng)目標(biāo)的新中心位置和尺寸，以此確定新的迭代點(diǎn)對(duì)應(yīng)的中心位置和尺寸所確定的跟蹤區(qū)域，然后執(zhí)行步驟c2。
步驟d所述更新跟蹤窗口的中心位置、尺寸及方向，具體過(guò)程為 將獲得的高斯混合模型參數(shù)，包括均值向量和協(xié)方差矩陣，將該均值向量作為新跟蹤窗口的中心位置，以協(xié)方差矩陣的兩個(gè)特征值的平方根作為新跟蹤窗口的長(zhǎng)軸和短軸，用通過(guò)對(duì)協(xié)方差矩陣的相關(guān)系數(shù)換算得到的角度值作為新跟蹤窗口的旋轉(zhuǎn)方向，以中心位置、長(zhǎng)軸、短軸及角度值描述當(dāng)前被跟蹤目標(biāo)的更新窗口，從而表示跟蹤結(jié)果，然后將前一幀圖像中被跟蹤目標(biāo)位置、尺寸和跟蹤窗口信息作為下一幀圖像迭代的輸入量。
步驟c2所述候選模板為

其中

和V分別是候選目標(biāo)的中心位置和尺寸。
步驟c2所述先驗(yàn)權(quán)值公式為

其中函數(shù)

是位于

處的像素灰度級(jí)映射；j為直方圖中灰度級(jí)索引，j＝1，2，...，c，c為直方圖上灰度級(jí)的總數(shù)。
步驟c3所述EM算法，包括如下步驟 c31、執(zhí)行E步迭代，具體為保持

和V(t)不變，計(jì)算βi(t+1)使得G最大化， c32、執(zhí)行M步迭代，具體為保持β不變，估計(jì)

和V(t+1)使得式中的G最大化，經(jīng)公式推導(dǎo)得到其中α為平衡因子。
步驟c4所述迭代終止條件，是指其中ε為一個(gè)大于0的正數(shù)。
本發(fā)明所提供的視頻運(yùn)動(dòng)目標(biāo)自適應(yīng)跟蹤窗口的算法，具有以下的優(yōu)點(diǎn) 1)本方法通過(guò)提取待跟蹤目標(biāo)的分布統(tǒng)計(jì)信息建立高斯混合模型，準(zhǔn)確地描述了目標(biāo)的位置信息和尺寸信息，提高了本發(fā)明方法對(duì)被跟蹤目標(biāo)的可靠性。
2)采用參數(shù)估計(jì)的方法，跟蹤過(guò)程中利用EM算法迭代計(jì)算模型參數(shù)，根據(jù)參數(shù)估計(jì)的結(jié)果確定新的跟蹤窗口位置和尺寸，實(shí)現(xiàn)了跟蹤窗口的自適應(yīng)調(diào)整，使得在準(zhǔn)確提取目標(biāo)特征的分布統(tǒng)計(jì)信息的同時(shí)，減少了背景信息的影響，進(jìn)一步提高了跟蹤過(guò)程中目標(biāo)信息的可靠性；同時(shí)，保證了跟蹤過(guò)程不受目標(biāo)在圖像中尺寸劇烈變化的影響，大大提高了跟蹤過(guò)程的穩(wěn)定性。
3)由于本自適應(yīng)窗寬跟蹤方法所采用的EM算法的計(jì)算開(kāi)銷并不大，因而對(duì)被跟蹤目標(biāo)進(jìn)行跟蹤具有較好的實(shí)時(shí)性。
4)利用本發(fā)明方法所獲得的視頻序列中被跟蹤目標(biāo)不斷更新的準(zhǔn)確位置和尺寸，可以為攝影機(jī)或攝像機(jī)自動(dòng)變焦和自動(dòng)隨運(yùn)動(dòng)目標(biāo)轉(zhuǎn)動(dòng)提供控制參數(shù)，從而達(dá)到了提高整個(gè)跟蹤系統(tǒng)魯棒性的作用。



圖1為本發(fā)明視頻序列處理過(guò)程總體流程圖； 圖2為本發(fā)明EM算法迭代計(jì)算模型參數(shù)的流程圖； 圖3(a)為高斯混合模型的二維分布曲面示意圖； 圖3(b)為高斯混合模型的二維分布曲面平面投影示意圖； 圖3(c)為本發(fā)明利用EM算法進(jìn)行參數(shù)估計(jì)得到的模型示意圖； 圖4(a)為本發(fā)明實(shí)施例視頻序列中被跟蹤目標(biāo)由遠(yuǎn)及近時(shí)的第1幀的跟蹤效果示意圖； 圖4(b)為本發(fā)明實(shí)施例視頻序列中被跟蹤目標(biāo)由遠(yuǎn)及近時(shí)的第63幀的跟蹤效果示意圖； 圖4(c)為本發(fā)明實(shí)施例視頻序列中被跟蹤目標(biāo)由遠(yuǎn)及近時(shí)的第278幀的跟蹤效果示意圖； 圖5(a)為本發(fā)明實(shí)施例視頻序列中被跟蹤目標(biāo)由近及遠(yuǎn)時(shí)的第18幀的跟蹤效果示意圖； 圖5(b)為本發(fā)明實(shí)施例視頻序列中被跟蹤目標(biāo)由近及遠(yuǎn)時(shí)的第229幀的跟蹤效果示意圖； 圖5(c)為本發(fā)明實(shí)施例視頻序列中被跟蹤目標(biāo)由近及遠(yuǎn)時(shí)的第308幀的跟蹤效果示意圖。

具體實(shí)施例方式 下面結(jié)合附圖及本發(fā)明的實(shí)施例對(duì)本發(fā)明作進(jìn)一步詳細(xì)的說(shuō)明。
本發(fā)明的核心思想是提供一種穩(wěn)健、實(shí)時(shí)的視頻運(yùn)動(dòng)目標(biāo)自適應(yīng)跟蹤窗口的跟蹤方法，通過(guò)對(duì)視頻序列初始幀中的運(yùn)動(dòng)目標(biāo)進(jìn)行檢測(cè)，得到了待跟蹤目標(biāo)的初始位置和尺寸信息后，建立初始高斯混合模型，作為目標(biāo)模板，然后根據(jù)下一幀圖像中的跟蹤目標(biāo)特征的分布統(tǒng)計(jì)信息計(jì)算候選模板，由兩個(gè)模板計(jì)算像素的先驗(yàn)權(quán)值，運(yùn)用期望最大化(EM，Expectation Maximization)算法迭代計(jì)算得到模型參數(shù)，從而得到與目標(biāo)模板最相似的候選模板，再以該候選模板作為目標(biāo)模板，進(jìn)行EM算法迭代計(jì)算，使獲得的模型參數(shù)不斷更新，從而使跟蹤目標(biāo)在序列幀中位置和尺寸自適應(yīng)跟蹤窗口。
本發(fā)明方法可對(duì)攝影機(jī)或攝像機(jī)實(shí)時(shí)拍攝獲得的視頻序列進(jìn)行處理，也可對(duì)預(yù)先獲得的視頻文件進(jìn)行處理。
圖1為本發(fā)明視頻序列處理過(guò)程總體流程圖，如圖1所示，本發(fā)明方法的實(shí)現(xiàn)包括如下步驟 步驟101讀入視頻序列，將視頻文件讀入目標(biāo)跟蹤系統(tǒng)的緩沖區(qū)，對(duì)視頻序列第一幀中的運(yùn)動(dòng)目標(biāo)進(jìn)行檢測(cè)，得到待跟蹤目標(biāo)的初始位置和尺寸信息。
所述目標(biāo)跟蹤系統(tǒng)，是指具有對(duì)視頻信息進(jìn)行處理的計(jì)算機(jī)系統(tǒng)或類似裝置。
所述對(duì)運(yùn)動(dòng)目標(biāo)進(jìn)行檢測(cè)，具體是對(duì)當(dāng)前圖像采用差分法或光流法等算法進(jìn)行檢測(cè)，得到的待跟蹤目標(biāo)所在區(qū)域的中心位置

即均值向量和初始尺寸V0，初始尺寸用高斯協(xié)方差矩陣V0表示
其中σ1和σ2用來(lái)表示待跟蹤目標(biāo)特征分布的標(biāo)準(zhǔn)差，ρ表示特征分布的相關(guān)系數(shù)。協(xié)方差矩陣V0的兩個(gè)特征值的平方根表示待跟蹤目標(biāo)所在區(qū)域的長(zhǎng)軸和短軸，相關(guān)系數(shù)ρ可以換算成為旋轉(zhuǎn)角度，用于描述待跟蹤目標(biāo)所在區(qū)域的方向。
所述的差分法，包括幀間差分法和背景差分法，幀間差分法是指利用視頻序列相鄰或相關(guān)幀之間相減而獲取運(yùn)動(dòng)目標(biāo)；背景差分法是指采用視頻序列中的當(dāng)前幀和背景參考模型的差值運(yùn)算來(lái)檢測(cè)運(yùn)動(dòng)目標(biāo)。
所述光流法，是指利用視頻序列的相鄰兩幀圖像計(jì)算得到光流場(chǎng)的強(qiáng)度分布，并根據(jù)強(qiáng)度分布檢測(cè)目標(biāo)的輪廓位置從而分割出運(yùn)動(dòng)目標(biāo)的方法。光流是指物體在光源照射下表面灰度模式的變化，光流反映了在時(shí)間間隔dt內(nèi)由于運(yùn)動(dòng)所造成的圖像變化，光流場(chǎng)是通過(guò)二維圖像來(lái)表示物體點(diǎn)的三維運(yùn)動(dòng)速度場(chǎng)。
步驟102利用從步驟101中獲得的初始中心位置

及初始尺寸V0信息，并提取待跟蹤運(yùn)動(dòng)目標(biāo)特征的分布統(tǒng)計(jì)信息，建立高斯混合模型作為目標(biāo)模板。
所述待跟蹤運(yùn)動(dòng)目標(biāo)特征，是指運(yùn)動(dòng)目標(biāo)的灰度、顏色、紋理或其他圖像特征量，如色調(diào)和飽和度等。在描述這些特征量的分布時(shí)，采用了帶空間位置信息的加權(quán)概率密度函數(shù)，即特征量強(qiáng)度的高斯混合模型，由于該模型考慮了像素的空間位置信息，因而提高了描述特征量的魯棒性即穩(wěn)健性。
本實(shí)施例以提取運(yùn)動(dòng)目標(biāo)的灰度特征為例(顏色、紋理等圖像特征量的提取與此做法類似)，說(shuō)明利用待跟蹤目標(biāo)特征的分布統(tǒng)計(jì)信息建立高斯混合模型的過(guò)程 令經(jīng)步驟101所得到的待跟蹤目標(biāo)所在區(qū)域的中心位置和初始尺寸V0分別為高斯分布的均值向量和協(xié)方差矩陣，則 二維高斯分布的概率密度函數(shù)可表示為 因此，目標(biāo)模板的高斯混合模型可用如下公式描述
其中δ是Delta函數(shù)，

為待跟蹤目標(biāo)所在區(qū)域內(nèi)像素的總個(gè)數(shù)，函數(shù)

是位于

處的像素灰度級(jí)的映射，j為直方圖中灰度級(jí)索引，j＝1，2，...，c，(c為直方圖上灰度級(jí)的總數(shù))，Ch是歸一化常數(shù)。
步驟103將視頻序列的下一幀圖像讀入緩存區(qū)，利用EM算法迭代計(jì)算當(dāng)前幀中被跟蹤目標(biāo)的高斯混合模型參數(shù)，得到與目標(biāo)模板最相似的候選模板。
所述EM算法，是一種迭代求解非完備數(shù)據(jù)條件下極大似然參數(shù)估計(jì)的算法，即給定某個(gè)量測(cè)數(shù)據(jù)x以及用參數(shù)θ描述的模型，求得使似然函數(shù)最大時(shí)的θ值，可用如下公式表達(dá)該算法在絕大多數(shù)情況下具有可靠的全局收斂性。本發(fā)明中的視頻運(yùn)動(dòng)目標(biāo)跟蹤問(wèn)題可被認(rèn)為是一個(gè)非完備數(shù)據(jù)問(wèn)題，因此，可利用EM算法框架對(duì)描述目標(biāo)位置和尺寸信息的參數(shù)進(jìn)行估計(jì)，并以估計(jì)出的參數(shù)實(shí)現(xiàn)目標(biāo)跟蹤窗口的自適應(yīng)。
所述被跟蹤目標(biāo)的高斯混合模型參數(shù)為均值向量，即目標(biāo)中心位置；協(xié)方差矩陣即目標(biāo)的尺寸。
因此，目標(biāo)跟蹤過(guò)程，可以看作在當(dāng)前幀中搜索與目標(biāo)模板最相似的候選模板的過(guò)程，把目標(biāo)跟蹤問(wèn)題轉(zhuǎn)化為求解目標(biāo)模板與候選模板之間相似度系數(shù)最大化的問(wèn)題。
所述候選模板為
其中

和V分別是候選目標(biāo)的中心位置和尺寸描述。
所述的相似度系數(shù)為Bhattacharya系數(shù)
其中

是目標(biāo)模板，

是候選模板。
步驟104根據(jù)EM迭代計(jì)算的結(jié)果，更新自適應(yīng)跟蹤窗口的中心位置、尺寸及方向。
所述更新自適應(yīng)跟蹤窗口的中心位置、尺寸及方向，具體過(guò)程如下將獲得的高斯混合模型參數(shù)，包括均值向量和協(xié)方差矩陣兩部分，將該均值向量作為新跟蹤窗口的中心位置，以協(xié)方差矩陣的兩個(gè)特征值的平方根作為新跟蹤窗口的長(zhǎng)軸和短軸，跟蹤窗口的旋轉(zhuǎn)方向用通過(guò)對(duì)協(xié)方差矩陣的次對(duì)角線元素即相關(guān)系數(shù)換算得到的角度值表示，由位置、長(zhǎng)軸、短軸及角度值近似描述當(dāng)前待跟蹤目標(biāo)的更新窗口，從而表示跟蹤結(jié)果。將前一幀圖像中待跟蹤目標(biāo)位置、尺寸和跟蹤窗口等信息都作為下一幀圖像迭代的輸入量，重復(fù)步驟103～步驟104，該跟蹤過(guò)程總能找到高斯混合分布與目標(biāo)模型最相似的模式，因此，該模式分布能與所跟蹤的目標(biāo)相匹配。
所述的角度是指跟蹤窗口的長(zhǎng)軸與圖像坐標(biāo)系的橫軸正半軸的夾角。
步驟105判斷讀入的視頻序列幀是否為最后一幀，如果是最后一幀，就結(jié)束本次跟蹤過(guò)程；否則，返回執(zhí)行步驟103。
所述判斷讀入的視頻序列是否為最后一幀，是通過(guò)讀取跟蹤系統(tǒng)的視頻序列是否結(jié)束或接收到系統(tǒng)發(fā)出的停止跟蹤指令來(lái)完成的。
以上為本發(fā)明處理方法的全過(guò)程描述，下面針對(duì)本發(fā)明步驟103進(jìn)行詳細(xì)描述 已知初始幀中待跟蹤目標(biāo)中心位置

協(xié)方差矩陣V0以及目標(biāo)模型

進(jìn)行EM迭代，在迭代過(guò)程中，設(shè)

和V(t)為第t步的輸入值，圖2為本發(fā)明EM算法迭代計(jì)算模型參數(shù)的流程圖，如圖2所示，利用EM算法迭代計(jì)算當(dāng)前幀中跟蹤目標(biāo)的高斯混合模型參數(shù)的過(guò)程，包括如下步驟 步驟200首先將從步驟101得到的當(dāng)前(初始)幀中的待跟蹤目標(biāo)的初始中心位置即均值向量

和初始尺寸即初始協(xié)方差矩陣V0作為迭代初值。
步驟201計(jì)算由當(dāng)前幀中的待跟蹤目標(biāo)的中心位置

和尺寸V(t)確定的候選目標(biāo)的高斯混合分布模型，作為候選模板
所述候選模板為
其中

和V分別是候選目標(biāo)的位置和尺寸描述。
步驟202用目標(biāo)模板和候選模板計(jì)算出先驗(yàn)權(quán)值
根據(jù)上述步驟，目標(biāo)模板和候選模板均為已知，這里相似度系數(shù)為Bhattacharya系數(shù)
其中

是目標(biāo)模板，

是候選模板；將公式(5)進(jìn)行泰勒(Taylor)展開(kāi)，得到 式(6)中，

為先驗(yàn)權(quán)值
其中函數(shù)

是位于

處的像素灰度級(jí)映射，j為直方圖中灰度級(jí)索引，j＝1，2，...，c，c為直方圖上灰度級(jí)的總數(shù)。公式(7)的表示的含義是在當(dāng)前幀中，如果像素

的灰度值

在目標(biāo)模型中占的比例越大，

就越大，意味著

是目標(biāo)中像素點(diǎn)的概率也就越大。
令 可以看出，為了使ρ取得最大值，則必須讓f取得最大值。而最大化f可以用EM迭代算法對(duì)f中高斯模型參數(shù)

和V求取最優(yōu)估計(jì)實(shí)現(xiàn)。那么，使得ρ取最大值的兩個(gè)參數(shù)

和V就代表了當(dāng)前幀中目標(biāo)的位置和尺寸值。
步驟203進(jìn)行EM迭代計(jì)算，其中E步迭代為 保持

和V(t)不變，計(jì)算βi(t+1)使得G最大化，計(jì)算公式如下 根據(jù)琴生(Jensen)不等式，高斯混合模型滿足下式 其中βi為滿足且βi>0的任意常數(shù)。
然后，進(jìn)行EM迭代計(jì)算的M步迭代 保持β不變，估計(jì)

和V(t+1)使得公式(10)中的G最大化，即 公式(11)中由(11)式可得 式中α為平衡因子，它的理論值是1，但在實(shí)際應(yīng)用中它取決于圖像背景噪聲對(duì)目標(biāo)圖像的影響程度。雖然α的誤差會(huì)導(dǎo)致公式(13)的計(jì)算誤差，但是由于EM算法的迭代自適應(yīng)性，這個(gè)誤差是可以接受的，在本實(shí)施例中取α≈1.2。
步驟204根據(jù)迭代終止條件，判斷是否終止EM算法，若判斷到參數(shù)收斂，執(zhí)行步驟206；否則，執(zhí)行步驟205并返回步驟201繼續(xù)進(jìn)行下一輪的迭代計(jì)算。
所述EM算法的迭代終止條件是 其中ε為充分小的正數(shù)，在計(jì)算過(guò)程中，ε選取的越小，獲得的參數(shù)精度越高，即目標(biāo)的跟蹤精度越高，但是隨之帶來(lái)的是迭代次數(shù)增多，算法的實(shí)時(shí)性變差，因此在實(shí)際中，只能在兩者之間折衷考慮來(lái)選取合適的ε。
在本實(shí)施例中選取一個(gè)像素值作為ε，即將迭代過(guò)程中前后兩步參數(shù)差值的范數(shù)值小于一個(gè)像素值，計(jì)算收斂。所述范數(shù)值，對(duì)于均值向量θ是指向量的無(wú)窮范數(shù)，即向量中所有元素絕對(duì)值的最大值，對(duì)于協(xié)方差矩陣V是指矩陣的無(wú)窮范數(shù)，即矩陣中每行元素絕對(duì)值求和的最大值。
所述像素值是指攝影機(jī)或攝像機(jī)的分辨率，它是由攝影機(jī)或攝像機(jī)里的光電傳感器上的光敏元件數(shù)目所決定的，一個(gè)光敏元件就對(duì)應(yīng)一個(gè)像素。
步驟205將

和V(t+1)分別賦給

和V(t)繼續(xù)迭代，并確定新的迭代點(diǎn)位置和尺寸所確定的區(qū)域，然后執(zhí)行步驟201。
所述確定新的迭代點(diǎn)位置和尺寸，是指將

和V(t+1)分別賦給

和V(t)，代入候選模板即公式(4)中繼續(xù)迭代。
步驟206結(jié)束本輪迭代過(guò)程，得到與目標(biāo)模板相匹配的候選模板。
此時(shí)，用新的估計(jì)值

和V(t+1)作為被跟蹤運(yùn)動(dòng)目標(biāo)的新的中心位置和尺寸，將結(jié)果賦予步驟104，進(jìn)行跟蹤窗口的更新，直到跟蹤處理過(guò)程結(jié)束。
圖3(a)為高斯混合模型的二維分布曲面示意圖，用以描述被跟蹤運(yùn)動(dòng)目標(biāo)的模型。
圖3(b)為高斯混合模型的二維分布平面投影示意圖，如圖3(b)所示，是對(duì)二維高斯分布曲面在取高度相等的點(diǎn)時(shí)，得到的一系列相似且方向一致的橢圓。根據(jù)高斯分布的“3-sigma規(guī)則”，取3倍標(biāo)準(zhǔn)差范圍時(shí)得到的橢圓將包含99％以上的數(shù)據(jù)點(diǎn)。
圖3(c)為本發(fā)明利用EM算法進(jìn)行參數(shù)估計(jì)得到的模型示意圖，如圖3(c)所示，用EM迭代算法對(duì)所得到的當(dāng)前幀中待跟蹤目標(biāo)的高斯混合模型參數(shù)，得出的橢圓和高斯分布等高橢圓是一致的。
圖4(a)、圖4(b)、圖4(c)分別為本發(fā)明實(shí)施例視頻序列中被跟蹤目標(biāo)由遠(yuǎn)及近時(shí)的第1幀、第63幀、第278幀的跟蹤效果示意圖。如圖所示，每一幅圖的右上角為目標(biāo)區(qū)域局部放大圖。當(dāng)目標(biāo)發(fā)生轉(zhuǎn)彎時(shí)，跟蹤窗口可以及時(shí)調(diào)整尺寸和方向，準(zhǔn)確描述目標(biāo)。
圖5(a)、圖5(b)、圖5(c)分別為本發(fā)明實(shí)施例視頻序列中被跟蹤目標(biāo)由近及遠(yuǎn)時(shí)的第18幀、第229幀、第308幀的跟蹤效果示意圖。如圖所示，每一幅圖中右下角為目標(biāo)區(qū)域局部放大圖。當(dāng)目標(biāo)逐漸遠(yuǎn)離攝影機(jī)或攝像機(jī)時(shí)，跟蹤窗口可以隨目標(biāo)的圖像尺寸變小而變小，在準(zhǔn)確描述目標(biāo)尺寸的同時(shí)，減少背景信息的影響。
以上所述，僅為本發(fā)明的較佳實(shí)施例而已，并非用于限定本發(fā)明的保護(hù)范圍。
權(quán)利要求
1.一種視頻運(yùn)動(dòng)目標(biāo)自適應(yīng)窗口的跟蹤方法，其特征在于，該方法包括如下步驟
a、讀入視頻序列，對(duì)視頻序列幀中的待跟蹤運(yùn)動(dòng)目標(biāo)進(jìn)行檢測(cè)，得到該目標(biāo)的初始中心位置
及初始尺寸V0信息；
b、利用從步驟a中獲得的初始中心位置
及初始尺寸V0信息，并提取待跟蹤運(yùn)動(dòng)目標(biāo)特征的分布統(tǒng)計(jì)信息，建立高斯混合模型作為目標(biāo)模板；
c、讀入視頻序列的下一幀圖像，利用期望最大化EM算法迭代計(jì)算高斯混合模型參數(shù)，得到與目標(biāo)模板相匹配的候選模板；
d、根據(jù)EM算法迭代計(jì)算的結(jié)果更新跟蹤窗口的中心位置、尺寸及方向，并判斷讀入的圖像幀是否為最后一幀，若是則結(jié)束當(dāng)前處理，否則返回步驟c。
2.根據(jù)權(quán)利要求1所述的跟蹤方法，其特征在于，步驟a所述對(duì)視頻序列幀中的待跟蹤運(yùn)動(dòng)目標(biāo)進(jìn)行檢測(cè)，具體過(guò)程是對(duì)該幀圖像采用差分法或光流法算法進(jìn)行檢測(cè)，得到均值向量作為該目標(biāo)所在區(qū)域的中心位置，得到的高斯協(xié)方差矩陣V0作為該目標(biāo)所在區(qū)域的初始尺寸，
其中σ1和σ2為待跟蹤目標(biāo)特征分布的標(biāo)準(zhǔn)差，ρ為特征分布的相關(guān)系數(shù)，將協(xié)方差矩陣V0的兩個(gè)特征值的平方根作為待跟蹤目標(biāo)所在區(qū)域的長(zhǎng)軸和短軸，將相關(guān)系數(shù)ρ經(jīng)轉(zhuǎn)換作為旋轉(zhuǎn)角度，用以描述待跟蹤目標(biāo)所在區(qū)域的方向。
3.根據(jù)權(quán)利要求1所述的跟蹤方法，其特征在于，步驟b所述建立高斯混合模型作為目標(biāo)模板，具體過(guò)程是
將待跟蹤目標(biāo)所在區(qū)域的中心位置
及初始尺寸V0分別作為高斯分布的均值向量和協(xié)方差矩陣，再利用二維高斯分布的概率密度函數(shù)描述目標(biāo)模板，該目標(biāo)模板
其中
是二維高斯分布的概率密度函數(shù)；δ是Delta函數(shù)；
為待跟蹤目標(biāo)所在區(qū)域內(nèi)像素的總個(gè)數(shù)；函數(shù)
是位于
處的像素灰度級(jí)的映射；j為直方圖中灰度級(jí)索引，j＝1，2，...，c，c為直方圖上灰度級(jí)的總數(shù)；Ch是歸一化常數(shù)。
4.根據(jù)權(quán)利要求1所述的跟蹤方法，其特征在于，步驟c所述利用EM算法迭代計(jì)算高斯混合模型參數(shù)的過(guò)程，包括如下步驟
c1、將從步驟a中所得的待跟蹤目標(biāo)的初始中心位置及初始尺寸賦初值作為迭代計(jì)算的初值；
c2、計(jì)算由當(dāng)前幀圖像中被跟蹤目標(biāo)的中心位置
及尺寸V(t)所確定的候選目標(biāo)的高斯混合分布模型，以此作為候選模板，并利用步驟b所得的目標(biāo)模板與該候選模板計(jì)算先驗(yàn)權(quán)值；
c3、執(zhí)行EM算法，計(jì)算高斯混合模型參數(shù)，得到當(dāng)前幀的中心位置
和尺寸V(t+1)信息；
c4、根據(jù)迭代終止條件判斷是否終止EM算法，若判斷到參數(shù)收斂，則結(jié)束本輪迭代過(guò)程，得到與目標(biāo)模板相匹配的候選模板；否則，執(zhí)行步驟c5；
c5、利用步驟c3得到的
和V(t+1)分別賦給
和V(t)，作為被跟蹤運(yùn)動(dòng)目標(biāo)的新中心位置和尺寸，以此確定新的迭代點(diǎn)對(duì)應(yīng)的中心位置和尺寸所確定的跟蹤區(qū)域，然后執(zhí)行步驟c2。
5.根據(jù)權(quán)利要求1所述的跟蹤方法，其特征在于，步驟d所述更新跟蹤窗口的中心位置、尺寸及方向，具體過(guò)程為
將獲得的高斯混合模型參數(shù)，包括均值向量和協(xié)方差矩陣，將該均值向量作為新跟蹤窗口的中心位置，以協(xié)方差矩陣的兩個(gè)特征值的平方根作為新跟蹤窗口的長(zhǎng)軸和短軸，用通過(guò)對(duì)協(xié)方差矩陣的相關(guān)系數(shù)換算得到的角度值作為新跟蹤窗口的旋轉(zhuǎn)方向，以中心位置、長(zhǎng)軸、短軸及角度值描述當(dāng)前被跟蹤目標(biāo)的更新窗口，從而表示跟蹤結(jié)果，然后將前一幀圖像中被跟蹤目標(biāo)位置、尺寸和跟蹤窗口信息作為下一幀圖像迭代的輸入量。
6.根據(jù)權(quán)利要求1或4所述的跟蹤方法，其特征在于，步驟c2所述候選模板為
其中
和V分別是候選目標(biāo)的中心位置和尺寸。
7.根據(jù)權(quán)利要求1或4所述的跟蹤方法，其特征在于，步驟c2所述先驗(yàn)權(quán)值公式為
其中函數(shù)
是位于
處的像素灰度級(jí)映射；j為直方圖中灰度級(jí)索引，j＝1，2，...，c，c為直方圖上灰度級(jí)的總數(shù)。
8.根據(jù)權(quán)利要求1或4所述的跟蹤方法，其特征在于，步驟c3所述EM算法，包括如下步驟
c31、執(zhí)行E步迭代，具體為保持
和V(t)不變，計(jì)算βi(t+1)使得G最大化，
c32、執(zhí)行M步迭代，具體為保持β不變，估計(jì)
和V(t+1)使得式中的G最大化，經(jīng)公式推導(dǎo)得到其中α為平衡因子。
9.根據(jù)權(quán)利要求1或4所述的跟蹤方法，其特征在于，步驟c4所述迭代終止條件，是指其中ε為一個(gè)大于0的正數(shù)。
全文摘要
本發(fā)明公開(kāi)了一種視頻運(yùn)動(dòng)目標(biāo)自適應(yīng)窗口的跟蹤方法，涉及機(jī)器視覺(jué)與模式識(shí)別技術(shù)。將視頻序列的一幀圖像讀入緩存區(qū)，獲得該幀中被跟蹤目標(biāo)的初始位置和尺寸信息，然后提取目標(biāo)特征的分布統(tǒng)計(jì)信息建立高斯混合模型作為目標(biāo)模板，用高斯混合分布的均值向量和協(xié)方差矩陣描述目標(biāo)的位置和尺寸，再將視頻序列下一幀圖像讀入緩存區(qū)，在新一幀視頻圖像中利用參數(shù)估計(jì)方法迭代計(jì)算當(dāng)前幀中目標(biāo)高斯混合模型參數(shù)找到與目標(biāo)模板最相似的候選模板，利用迭代得到的最終模型參數(shù)更新跟蹤窗口實(shí)現(xiàn)跟蹤窗寬的自適應(yīng)。這種運(yùn)動(dòng)目標(biāo)自適應(yīng)窗口的跟蹤方法，可使跟蹤的可靠性大大提高，并可廣泛應(yīng)用于機(jī)器人技術(shù)、視覺(jué)導(dǎo)航、自動(dòng)監(jiān)視、交通管理等諸多領(lǐng)域。
文檔編號(hào)G06T7/20GK101369346SQ200710120228
公開(kāi)日2009年2月18日 申請(qǐng)日期2007年8月13日 優(yōu)先權(quán)日2007年8月13日
發(fā)明者睿 王, 王原野, 林 王 申請(qǐng)人:北京航空航天大學(xué)