對象跟蹤方法和裝置制造方法
【專利摘要】提供了對象跟蹤方法和裝置。對象跟蹤方法包括：順序輸入圖像；利用第一跟蹤模板確定對象在輸入圖像中的第一位置，以及利用第二跟蹤模板確定對象在輸入圖像中的第二位置，其中第一跟蹤模板基于第一特征集合形成，第二跟蹤模板基于第二特征集合形成，第一特征集合不同于第二特征集合，第一特征集合和第二特征集合的每個(gè)包括一個(gè)或多個(gè)特征；以及基于該第一位置和第二位置，確定對象在輸入圖像中的最終位置，其中，每預(yù)定幀數(shù)進(jìn)行第一跟蹤模板更新，以及根據(jù)預(yù)設(shè)規(guī)則對第二跟蹤模板進(jìn)行更新，第二跟蹤模板與第一跟蹤模板獨(dú)立進(jìn)行更新，且第二跟蹤模板的更新頻率低于第一跟蹤模板。該對象跟蹤方法和裝置很好地平衡了對象跟蹤技術(shù)的穩(wěn)定性和自適應(yīng)性。
【專利說明】對象跟蹤方法和裝置

【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及圖像處理，更具體地涉及計(jì)算機(jī)視覺技術(shù)中的對象跟蹤方法和裝置。

【背景技術(shù)】
[0002] 目前，人機(jī)交互控制系統(tǒng)受到了人們廣泛的關(guān)心，因?yàn)樗牟僮髂Ｊ綄τ谟脩魜?說，非常容易且便利。特別是手勢控制系統(tǒng)對用戶來說，尤其方便。一個(gè)有效的手勢識(shí)別系 統(tǒng)將能提供自然且有效的交互方式。而在手勢識(shí)別系統(tǒng)中，非常重要且關(guān)鍵的一部分就是 手的跟蹤。
[0003] 為了方便用戶操作，手跟蹤系統(tǒng)不應(yīng)該要求用戶穿戴任何特殊的設(shè)備，如特殊手 套，彩色標(biāo)志物等。同時(shí)，手是非剛性物體，具有運(yùn)動(dòng)快、易變形、自遮擋等特點(diǎn)，因此手跟蹤 技術(shù)是一項(xiàng)非常具有挑戰(zhàn)性的工作。。
[0004] 美國專利公開US20100310127A1中公開了一種物體跟蹤方法。在該專利中，采用 兩種不同的模板進(jìn)行跟蹤：初始模板和動(dòng)態(tài)模板。跟蹤結(jié)果由初始模板跟蹤結(jié)果和動(dòng)態(tài)模 板跟蹤結(jié)果中的一個(gè)或兩個(gè)決定。同時(shí)決策標(biāo)記單元用來判斷是否需要對動(dòng)態(tài)模板進(jìn)行更 新。動(dòng)態(tài)模板通過初始模板和當(dāng)前目標(biāo)圖像進(jìn)行更新。在該專利中，初始模板從不更新，而 動(dòng)態(tài)模板根據(jù)初始模板和目標(biāo)圖像進(jìn)行更新。因此，當(dāng)跟蹤環(huán)境變化太快時(shí)，初始模板可能 不再適用于當(dāng)前環(huán)境，因此該跟蹤方法不太魯棒。
[0005] 2008 年 2 月 發(fā)表于 Image Pr 〇 ce s s i ng, IEEE Tran sac t i on s on(Volume:17，Issue:2)的、作者為 Junqiu Wang 等的標(biāo)題為"Integrating Color and Shape-Texture Features for Adaptive Real-Time Object Tracking，'的文章中提出了一 種基于在線特征選擇的新目標(biāo)模板更新方法。該跟蹤方法通過聯(lián)合直方圖將最好的兩種特 征組合到一起。在該文章中，每8到12巾貞進(jìn)行一次特征選擇。通過計(jì)算當(dāng)前模板和初始模 板之間的相似度，對目標(biāo)模板進(jìn)行更新。該文章提出了一種二選一的更新方法，通過考慮初 始模板，先前模板和當(dāng)前候選圖像之間的關(guān)系。在該文章中，初始模板是一種固定模板，由 跟蹤啟動(dòng)前人工標(biāo)定或者檢測得到的對象形成，在整個(gè)過程中都不被更新。


【發(fā)明內(nèi)容】

[0006] 現(xiàn)有技術(shù)中，許多研究者認(rèn)為在整個(gè)跟蹤過程中，初始跟蹤模板是可信且不被污 染的，因此初始跟蹤模板一般在整個(gè)跟蹤過程中都進(jìn)行使用且保持不變。但是，發(fā)明人發(fā) 現(xiàn)，當(dāng)跟蹤環(huán)境改變較多時(shí)，初始跟蹤模板可能變?yōu)樵肼?，從而降低系統(tǒng)的魯棒性。
[0007] 另一方面，為了增強(qiáng)跟蹤方法的魯棒性，跟蹤模板更新非常必要。目前有兩類常用 的模板更新方法。第一類為通過當(dāng)前跟蹤結(jié)果圖像進(jìn)行模板更新，該方法具有較強(qiáng)的環(huán)境 適應(yīng)性，但容易引入噪聲，導(dǎo)致跟蹤漂移。第二類方法則根據(jù)當(dāng)前候選圖像和先前模板進(jìn)行 模板更新，該方法在更新過程中，由于目標(biāo)和背景不完整分類，將緩慢引入噪聲，從而導(dǎo)致 模板漂移。
[0008] 因此，希望提供一種既保證穩(wěn)定性也能保證自適應(yīng)性的對象跟蹤方法。
[0009] 根據(jù)本發(fā)明的一個(gè)方面，提供了一種對象跟蹤方法，包括：順序輸入圖像；利用第 一跟蹤模板確定對象在輸入圖像中的第一位置，以及利用第二跟蹤模板確定對象在輸入圖 像中的第二位置，其中第一跟蹤模板基于第一特征集合形成，第二跟蹤模板基于第二特征 集合形成，第一特征集合不同于第二特征集合，第一特征集合和第二特征集合的每個(gè)包括 一個(gè)或多個(gè)特征；以及基于該第一位置和第二位置，確定對象在輸入圖像中的最終位置，其 中，每預(yù)定幀數(shù)進(jìn)行第一跟蹤模板更新，以及根據(jù)預(yù)設(shè)規(guī)則對第二跟蹤模板進(jìn)行更新，第二 跟蹤模板與第一跟蹤模板獨(dú)立進(jìn)行更新，且第二跟蹤模板的更新頻率低于第一跟蹤模板。 [0010] 一種對象跟蹤裝置，包括：圖像輸入部件，用于順序輸入圖像；第一跟蹤模板位置 確定部件，利用第一跟蹤模板確定對象在輸入圖像中的第一位置，其中第一跟蹤模板基于 第一特征集合形成；第二跟蹤模板位置確定部件，利用第二跟蹤模板確定對象在輸入圖像 中的第二位置，第二跟蹤模板基于第二特征集合形成，第一特征集合不同于第二特征集合， 第一特征集合和第二特征集合的每個(gè)包括一個(gè)或多個(gè)特征；對象最終位置確定部件，基于 該第一位置和第二位置，確定對象在輸入圖像中的最終位置；以及第一跟蹤模板更新部件 和第二跟蹤模板更新部件，其中，第一跟蹤模板更新部件每預(yù)定幀數(shù)更新第一跟蹤模板，以 及第二跟蹤模板更新部件根據(jù)預(yù)設(shè)規(guī)則對第二跟蹤模板進(jìn)行更新，第二跟蹤模板與第一跟 蹤模板獨(dú)立進(jìn)行更新，且第二跟蹤模板的更新頻率低于第一跟蹤模板。
[0011] 本發(fā)明上述對象跟蹤方法和裝置綜合了兩種跟蹤模板：第一跟蹤模板和第二跟蹤 模板。第一跟蹤模板和第二跟蹤模板采用不同的特征建立得到。同時(shí)，本發(fā)明中的兩種跟 蹤模板更新的頻率不同，兩者獨(dú)立進(jìn)行更新，第二跟蹤模板更新的頻率低于第一跟蹤模板， 這樣第一跟蹤模板更多地體現(xiàn)了自適應(yīng)性，第二跟蹤模板更多地考慮了穩(wěn)定性同時(shí)也根據(jù) 情況在必要時(shí)進(jìn)行更新。因此最終形成的跟蹤模板能更好的適應(yīng)不同的環(huán)境且保證足夠魯 棒，彼此互補(bǔ)，從而增強(qiáng)了跟蹤方法的魯棒性。
[0012] 進(jìn)一步地，發(fā)明人認(rèn)識(shí)到：實(shí)際上，跟蹤成功或者失敗，主要依賴于如何將物體從 它的周圍背景中分離出來，而能否有效的分離物體和背景與所使用的特征直接相關(guān)。因此 為了在不同的時(shí)刻，不同的背景下都能得到最優(yōu)的特征，實(shí)時(shí)進(jìn)行特征的選擇非常必要，同 時(shí)為了應(yīng)對跟蹤漂移問題，對跟蹤模板進(jìn)行更新也非常必要。
[0013] 為此，進(jìn)一步地，在一個(gè)實(shí)施例中，該對象跟蹤方法和裝置還包括：根據(jù)所確定的 對象在輸入圖像中的最終位置，分割對象和背景區(qū)域；通過分析對象和背景區(qū)域，評估各個(gè) 候選特征集合區(qū)分對象和背景區(qū)域的能力；確定區(qū)分能力最強(qiáng)的第一候選特征集合和第二 候選特征集合；判斷是否要用第一候選特征集合來更新第一特征集合，以及判斷是否要用 第二候選特征集合來更新第二特征集合；以及如果確定要用第一候選特征集合來更新第一 特征集合，則更新第一特征集合，以及基于該更新的第一特征集合和先前預(yù)定幀數(shù)的跟蹤 結(jié)果來重構(gòu)第一跟蹤模板，否則每預(yù)定幀數(shù)的圖像更新第一跟蹤模板且第一特征集合保持 不變；以及如果確定要用第二候選特征集合來更新第二特征集合，則更新第二特征集合，以 及基于該更新的第二特征集合和先前預(yù)定幀數(shù)的跟蹤結(jié)果來重構(gòu)第二跟蹤模板。
[0014] 由此，上述對象跟蹤方法和裝置一方面實(shí)時(shí)進(jìn)行特征的選擇，從而能夠適應(yīng)于不 同的時(shí)刻和不同的環(huán)境采用最佳的特征；另一方面對跟蹤的模板進(jìn)行更新，因此能夠使跟 蹤系統(tǒng)更加魯棒。

【專利附圖】

【附圖說明】
[0015] 從下面結(jié)合附圖對本發(fā)明實(shí)施例的詳細(xì)描述中，本發(fā)明的這些和/或其它方面和 優(yōu)點(diǎn)將變得更加清楚并更容易理解，其中：
[0016] 圖1示意性地示出了根據(jù)本發(fā)明一個(gè)實(shí)施例的手跟蹤技術(shù)用于人機(jī)交互的情景 的示意圖。
[0017] 圖2示出了根據(jù)本發(fā)明實(shí)施例的對象跟蹤裝置100的配置框圖。
[0018] 圖3示出了根據(jù)本發(fā)明一個(gè)實(shí)施例的對象跟蹤方法200的總體流程圖。
[0019] 圖4(a)_(c)示出了一種給定手的位置信息，將深度信息用于分割過程中的手部 區(qū)域和背景區(qū)域的分割方法示意圖
[0020] 圖5(a)-(d)示出了示例性特征評估過程的一個(gè)示意圖。
[0021] 圖6示出了根據(jù)本發(fā)明實(shí)施例的基于輸入圖像進(jìn)行對象定位的示例性過程。
[0022] 圖7(a)_(c)圖形地示意性示出了根據(jù)本發(fā)明實(shí)施例的基于第一跟蹤模板和第二 跟蹤模板對輸入圖像進(jìn)行對象定位的過程。
[0023] 圖8示出了根據(jù)本發(fā)明第二實(shí)施例的示例性對象跟蹤方法300的總體流程圖。
[0024] 圖9從另一角度示意性地圖示了第三實(shí)施例的對象跟蹤方法的過程。
[0025] 圖10示出了適于用來實(shí)現(xiàn)本發(fā)明實(shí)施方式的示例性計(jì)算系統(tǒng)600的框圖。

【具體實(shí)施方式】
[0026] 為了使本領(lǐng)域技術(shù)人員更好地理解本發(fā)明，下面結(jié)合附圖和【具體實(shí)施方式】對本發(fā) 明作進(jìn)一步詳細(xì)說明。
[0027] 將以下述順序進(jìn)行描述
[0028] 1、應(yīng)用情景示例
[0029] 2、對象跟蹤裝置
[0030] 3、對象跟蹤方法的第一實(shí)施例
[0031] 4、對象跟蹤方法的第二實(shí)施例
[0032] 5、用于進(jìn)行對象跟蹤的計(jì)算系統(tǒng)
[0033] 在下面的描述中，以跟蹤對象為手進(jìn)行說明，不過這僅為示例，實(shí)際上，本發(fā)明所 跟蹤的對象沒有限制。
[0034] 1、應(yīng)用情景示例
[0035] 圖1示意性地示出了根據(jù)本發(fā)明一個(gè)實(shí)施例的手跟蹤技術(shù)用于人機(jī)交互的情景 的示意圖。如圖1所示，一部攝像機(jī)放置于計(jì)算機(jī)上方，用戶站立于攝像機(jī)范圍內(nèi)。當(dāng)用戶 在攝像機(jī)范圍內(nèi)移動(dòng)他/她的手時(shí)，計(jì)算機(jī)能計(jì)算出手的真實(shí)位置信息，以達(dá)到對手實(shí)時(shí) 跟蹤的目的，手在不同時(shí)刻的位置點(diǎn)如圖1中的圓點(diǎn)所示。
[0036] 優(yōu)選地，該攝像機(jī)能進(jìn)行彩色圖和深度圖的采集，例如為雙目相機(jī)。如本領(lǐng)域人員 公知的，深度圖像（Depth image)是圖像中的像素點(diǎn)的值為深度的圖像。相比于灰度圖像， 深度圖像具有物體的深度(距離)信息，因此特別適合于需要立體信息的各種應(yīng)用。另外，如 公知的，一個(gè)像素點(diǎn)的深度值和視差值之間具有簡單的換算關(guān)系，因此本發(fā)明的深度信息 的含義是廣義的，包括視差信息。
[0037] 需要說明的是，圖1只是一個(gè)示意性示例，用于跟蹤手的設(shè)備不限于計(jì)算機(jī)，可以 是例如游戲機(jī)，投影儀，電視機(jī)等等。
[0038] 2、對象跟蹤裝置
[0039] 下面參考圖2描述根據(jù)本發(fā)明實(shí)施例的對象跟蹤裝置的配置示例。
[0040] 圖2示出了根據(jù)本發(fā)明實(shí)施例的對象跟蹤裝置100的配置框圖。
[0041] 如圖2所示，對象跟蹤裝置100可以包括：圖像輸入部件110,用于順序輸入圖像， 例如從雙目相機(jī)來輸入彩色圖像和深度圖像；第一跟蹤模板位置確定部件120,用于利用 第一跟蹤模板180確定對象在輸入圖像中的第一位置，其中第一跟蹤模板基于第一特征集 合；第二跟蹤模板位置確定部件130,用于利用第二跟蹤模板190確定對象在輸入圖像中的 第二位置，第二跟蹤模板基于第二特征集合，第一特征集合不同于第二特征集合，第一特征 集合和第二特征集合的每個(gè)包括一個(gè)或多個(gè)特征；對象最終位置確定部件140,用于基于 該第一位置和第二位置，確定對象在輸入圖像中的最終位置；第一跟蹤模板更新部件150 和第二跟蹤模板更新部件160,第一跟蹤模板更新部件每預(yù)定幀數(shù)的圖像更新第一跟蹤模 板180,以及第二跟蹤模板更新部件根據(jù)預(yù)設(shè)規(guī)則對第二跟蹤模板190進(jìn)行更新，第二跟蹤 模板190與第一跟蹤模板180獨(dú)立進(jìn)行更新，且第二跟蹤模板190的更新頻率低于第一跟 蹤模板180。
[0042] 可選地而非必需地，對象跟蹤裝置100可以包括在線特征更新部件170,如圖2中 的虛線方框和虛線箭頭所指示的，該在線特征更新部件170可以根據(jù)對象最終位置確定部 件140所確定的對象在輸入圖像中的最終位置，分割對象和背景區(qū)域；通過分析對象和背 景區(qū)域，評估各個(gè)候選特征集合區(qū)分對象和背景區(qū)域的能力；確定區(qū)分能力最強(qiáng)的第一候 選特征集合和第二候選特征集合；判斷是否要用第一候選特征集合來更新第一特征集合， 以及判斷是否要用第二候選特征集合來更新第二特征集合；以及如果確定要用第一候選特 征集合來更新第一特征集合，則更新第一特征集合，以及第一跟蹤模板更新部件150基于 該更新的第一特征集合來重構(gòu)第一跟蹤模板；以及如果確定要用第二候選特征集合來更新 第二特征集合，則更新第二特征集合，以及第二跟蹤模板更新部件160基于該更新的第二 特征集合來重構(gòu)第二跟蹤模板。
[0043] 需要說明的是，上述對象跟蹤裝置100的部件可以用軟件程序來實(shí)現(xiàn)，例如通過 通用計(jì)算機(jī)中的CPU結(jié)合RAM和ROM等以及其中運(yùn)行的軟件代碼來實(shí)現(xiàn)。軟件程序可以 存儲(chǔ)在諸如閃存、軟盤、硬盤、光盤等存儲(chǔ)介質(zhì)上，在運(yùn)行時(shí)加載到諸如隨機(jī)訪問存儲(chǔ)器RAM 上來由CPU執(zhí)行。另外，除了通用計(jì)算機(jī)上，還可以通過專用集成電路和軟件之間的合作來 實(shí)現(xiàn)。所述集成電路包括通過例如MPU (微處理單元)、DSP (數(shù)字信號(hào)處理器)、FPGA (現(xiàn)場 可編程門陣列)、ASIC (專用集成電路）等中的至少一個(gè)來實(shí)現(xiàn)。這樣的通用計(jì)算機(jī)或者專 用集成電路等例如可以與成像設(shè)備例如照相機(jī)來通信，以便對照相機(jī)拍攝獲得的彩色圖像 和/或立體圖像進(jìn)行處理來得到對象跟蹤結(jié)果，以及可選地還可以根據(jù)對象跟蹤結(jié)果對所 運(yùn)行的應(yīng)用進(jìn)行控制。另外，對象跟蹤裝置100的各個(gè)部件可以用專門的硬件來實(shí)現(xiàn)，例如 特定的現(xiàn)場可編程門陣列、專用集成電路等。另外，對象跟蹤裝置100的各個(gè)部件也可以利 用軟件和硬件的結(jié)合來實(shí)現(xiàn)。
[0044] 需要說明的是，圖2中所示的箭頭只表示兩個(gè)部件的功能之間存在邏輯關(guān)系，兩 個(gè)部件之間可以直接或者間接地操作性地連接。另外，即便圖2中的某兩個(gè)部件之間未示 出某方向的箭頭連接，但是這并不表明兩者之間必然不存在該方向的邏輯關(guān)系，相反，兩者 之間可以存在操作性的連接關(guān)系，例如第一跟蹤模板更新部件150和第二跟蹤模板更新部 件160和圖像輸入部件110之間可以存在邏輯關(guān)聯(lián)，其中第一跟蹤模板更新部件150和第 二跟蹤模板更新部件160在操作過程中可能需要利用圖像輸入部件110所輸入的一幀或多 幀圖像。
[0045] 上述對象跟蹤裝置100中的各個(gè)單元的結(jié)構(gòu)和數(shù)量不對本發(fā)明的范圍構(gòu)成限制。 根據(jù)本發(fā)明的一個(gè)實(shí)施例，上述圖像輸入部件110、第一跟蹤模板位置確定部件120、第二 跟蹤模板位置確定部件130、對象最終位置確定部件140、第一跟蹤模板更新部件150和第 二跟蹤模板更新部件160可以合并為一個(gè)獨(dú)立的部件來執(zhí)行和實(shí)現(xiàn)相應(yīng)的功能和操作，或 者可以將圖像輸入部件110、第一跟蹤模板位置確定部件120、第二跟蹤模板位置確定部件 130、對象最終位置確定部件140、第一跟蹤模板更新部件150和第二跟蹤模板更新部件160 進(jìn)一步拆分為更小的單元來實(shí)現(xiàn)他們各自的功能和操作。
[0046] 另外，需要說明的是，圖2中所示的結(jié)構(gòu)并不是排他式的，相反道對象跟蹤裝置 100可以包括其他部件，例如顯示部件，用于例如顯示對象最終位置確定部件140處理后的 結(jié)果，以及例如通信部件，用于將有關(guān)信息和/或中間處理結(jié)果傳遞到外部等。
[0047] 3、對象跟蹤方法的第一實(shí)施例
[0048] 下面詳細(xì)描述對象跟蹤裝置100的各部件的功能和操作的示例。如前所述，將以 手為跟蹤對象進(jìn)行說明。
[0049] 圖3示出了根據(jù)本發(fā)明一個(gè)實(shí)施例的對象跟蹤方法200的總體流程圖。
[0050] 如圖3所示，在步驟S210中，圖像輸入部件110順序輸入圖像。
[0051] 例如可以通過普通相機(jī)、雙目相機(jī)、多目相機(jī)、立體相機(jī)拍攝圖像，然后輸入到圖 像輸入部件110。輸入到圖像輸入部件Iio的圖像可以僅包括RGB彩色圖像，也可以既包括 RGB彩色圖像也包括深度圖像。
[0052] 可選地，替代在本地直接從相機(jī)輸入圖像，也可以通過有線網(wǎng)絡(luò)或者無線網(wǎng)絡(luò)從 遠(yuǎn)程接收圖像。
[0053] 在步驟S220中，第一跟蹤模板位置確定部件120利用第一跟蹤模板確定對象在輸 入圖像中的第一位置，以及第二跟蹤模板位置確定部件130利用第二跟蹤模板確定對象在 輸入圖像中的第二位置，其中第一跟蹤模板基于第一特征集合形成，第二跟蹤模板基于第 二特征集合形成，第一特征集合不同于第二特征集合，第一特征集合和第二特征集合的每 個(gè)包括一個(gè)或多個(gè)特征。
[0054] 3. 1特征集合的評估和跟蹤模板的確定
[0055] 對于跟蹤啟動(dòng)前的初始第一和第二跟蹤模板的確定，首先需要確定對應(yīng)的第一特 征集合和第二特征集合。
[0056] 為此，可以針對一幅或多幅圖像通過自動(dòng)的手檢測結(jié)果或人工標(biāo)定得到手及其周 圍背景圖像，即實(shí)現(xiàn)對象區(qū)域和背景區(qū)域的劃分，由此得到一個(gè)或多個(gè)已經(jīng)標(biāo)識(shí)或者分類 了的手部區(qū)域圖像和背景區(qū)域圖像的樣本。然后可以基于這些樣本來評估有關(guān)候選特征集 合的區(qū)分對象和背景的能力。
[0057] 下面參考圖4(a)_(c)描述一種給定手的位置信息，將深度信息用于分割過程中 的手部區(qū)域和背景區(qū)域的分割方法示例。
[0058] 首先初步定位手和背景區(qū)域，例如可以使用現(xiàn)有的"中心環(huán)繞法"來初步劃分手區(qū) 域及手所對應(yīng)的背景區(qū)域，如圖4中的（a)圖所示，標(biāo)號(hào)1指示的矩形框(下文簡稱為矩形 框1)內(nèi)初步劃分為手區(qū)域，矩形框1和標(biāo)號(hào)2指示的矩形框(下文簡稱為矩形框2)之間的 區(qū)域劃分為背景區(qū)域。在圖4的（a)中，可以觀察到，在矩形框1內(nèi)，除了真正屬于手的圖 像像素外，還包括部分背景區(qū)域像素，如果將整個(gè)矩形框1內(nèi)像素作為手前景像素，則會(huì)引 入部分噪聲。為了有效移除背景噪聲，本實(shí)施例加入了深度信息，根據(jù)深度信息，可得到真 實(shí)的手區(qū)域像素，如圖4中的（b)所示。因此，如圖4中的（c)所示，在矩形框2內(nèi)，除了真 實(shí)的手像素外，其余像素都定義為背景像素。基于圖4中的（c)中所定義的手區(qū)域像素和 背景像素，可以選擇最能區(qū)分手及其背景像素的圖像特征。
[0059] 根據(jù)手的有效特征，可以確定一個(gè)種子特征庫，每個(gè)種子特征都有可能在一定情 況下將手從背景中區(qū)分開來，如顏色特征，形狀特征，輪廓特征、面積特征等。各個(gè)種子特征 之間的可能組合形成各個(gè)候選特征集合。在各個(gè)候選特征集合的形成中，可以事先添加一 些限制以縮小搜索的范圍從而提高計(jì)算效率，例如可以限定特征集合中的元素?cái)?shù)目為1個(gè) 或2個(gè)，特征集合的元素限于從顏色特征和形狀特征中選擇等等。在一個(gè)示例中，可以預(yù)先 形成感興趣的各個(gè)候選特征集合，例如以顏色特征形成一個(gè)候選特征集合、以形狀特征形 成另一個(gè)候選特征集合、以輪廓特征形狀再一個(gè)候選特征集合、或者以某種特征組合形成 其他候選特征集合，諸如此類。后續(xù)的第一特征集合和第二特征集合將從這樣的預(yù)先形成 的感興趣的各個(gè)候選特征集合中進(jìn)行選擇，由此可以提高搜索效率。
[0060] 這樣，具有了手部區(qū)域和背景區(qū)域圖像的樣本，以及具有了候選特征集合，可以進(jìn) 行初始第一特征集合和第二特征集合的選擇。需要說明的是，關(guān)于最初的第一特征集合和 第二特征集合的確定，可以人工憑經(jīng)驗(yàn)確定，也可以通過自動(dòng)評估特征集合區(qū)分對象和背 景區(qū)域的能力（下文中，適當(dāng)?shù)乜珊喎Q為特征或特征集合的區(qū)分能力）、確定區(qū)分能力最強(qiáng) 的第一候選特征集合和第二候選特征集合來分別作為第一特征集合和第二特征集合。
[0061] 在一個(gè)實(shí)施例中，在后續(xù)跟蹤過程中，可以不斷重新評估各個(gè)候選特征集合的區(qū) 分對象和背景區(qū)域的能力，并根據(jù)預(yù)定規(guī)則來進(jìn)行第一特征集合和第二特征集合的更新。 [0062] 關(guān)于評估特征集合的區(qū)分對象和背景區(qū)域的能力的方法，可以利用例如開放檢驗(yàn) (CHI)、信息增益（information gain, IG)、互信息（mutual information, MI)、主成分分析 (Principle Component Analysis, PCA)等方法。
[0063] 在通過評估區(qū)分能力選定了第一特征集合和第二特征集合之后，則可以通過基于 這些特征，對訓(xùn)練樣本進(jìn)行學(xué)習(xí)，來得到對應(yīng)的第一跟蹤模板和第二跟蹤模板。例如，可以 基于訓(xùn)練樣本，計(jì)算所有特征的均值和方差來形成跟蹤模板。
[0064] 下面介紹一種采用對數(shù)相似度函數(shù)的方差比值作為最優(yōu)特征評價(jià)依據(jù)來確 定第一特征集合和第二特征集合的方法示例，以及再之后將介紹一種通過對象和背景 的直方圖分布的對數(shù)似然度比值（log likelihood ratio)來構(gòu)造跟蹤模板的方法示 例。有關(guān)采用對數(shù)相似度函數(shù)的方差比值作為最優(yōu)評價(jià)依據(jù)的詳細(xì)介紹可以參考作 者為 Robert Τ· Collins 等的發(fā)表于 IEEE transactions on pattern analysis and machine intelligence, vol. 27, no. 10, 2005 年 10 月的標(biāo)題為"Online Selection of Discriminative Tracking Features，'的文章。
[0065] 下文中，假定種子特征庫有R、G、B三種顏色特征，最后選擇的特征集合中只含有 一種顏色特征，將參考圖5描述特征選擇過程(可以在后續(xù)跟蹤過程中在線使用）的一個(gè)方 法示例。
[0066] 圖5(a)_(d)示出了示例性特征評估過程的一個(gè)示意圖。
[0067] (1)首先，分割對象像素區(qū)域和背景像素區(qū)域，如圖5(a)所示，細(xì)節(jié)過程例如如圖 4中所示。
[0068] (2)從種子特征庫中抽取一種特征f，分別計(jì)算該特征f在對象像素和背景像素上 的直方圖分布。下文中，分別使用Htjw和Hbg代表被跟蹤對象和背景區(qū)域像素在各個(gè)特征值 所對應(yīng)的直方圖分布。以圖5(a)中所對應(yīng)的對象和背景像素為例，假定采用R，G，B三種顏 色特征作為示例，計(jì)算其直方圖分布，如圖5 (b)所示，其中標(biāo)號(hào)1指示的曲線表示對象像素 在不同特征值上對應(yīng)的直方圖分布，而標(biāo)號(hào)2指示的曲線表示其背景像素在不同特征值上 所對應(yīng)的直方圖分布。
[0069] (3)通過特征評估函數(shù)計(jì)算打分并排序找到最具有區(qū)分能力的特征。在本實(shí)施 例中，使用方差比值（variance ratio)評估方法，首先計(jì)算每個(gè)特征的各個(gè)特征值i的 所對應(yīng)的對數(shù)相似度比例值L(i)，計(jì)算公式如式（1)所示；然后通過公式（2)計(jì)算方差比 值（variance ratio)，最后基于方差比值，找到區(qū)分能力排名靠前的特征，其中方差比值越 大，表明該特征區(qū)分能力越強(qiáng)。

【權(quán)利要求】
1. 一種對象跟蹤方法，包括： 順序輸入圖像； 利用第一跟蹤模板確定對象在輸入圖像中的第一位置，以及利用第二跟蹤模板確定對 象在輸入圖像中的第二位置，其中第一跟蹤模板基于第一特征集合形成，第二跟蹤模板基 于第二特征集合形成，第一特征集合不同于第二特征集合，第一特征集合和第二特征集合 的每個(gè)包括一個(gè)或多個(gè)特征；以及 基于該第一位置和第二位置，確定對象在輸入圖像中的最終位置， 其中，每預(yù)定幀數(shù)進(jìn)行第一跟蹤模板更新，以及根據(jù)預(yù)設(shè)規(guī)則對第二跟蹤模板進(jìn)行更 新，第二跟蹤模板與第一跟蹤模板獨(dú)立進(jìn)行更新，且第二跟蹤模板的更新頻率低于第一跟 蹤豐旲板。
2. 根據(jù)權(quán)利要求1的對象跟蹤方法，還包括： 根據(jù)所確定的對象在輸入圖像中的最終位置，分割對象和背景區(qū)域； 通過分析對象和背景區(qū)域，評估各個(gè)候選特征集合區(qū)分對象和背景區(qū)域的能力； 確定區(qū)分能力最強(qiáng)的第一候選特征集合和第二候選特征集合； 判斷是否要用第一候選特征集合來更新第一特征集合，以及判斷是否要用第二候選特 征集合來更新第二特征集合；以及 如果確定要用第一候選特征集合來更新第一特征集合，則更新第一特征集合，以及基 于該更新的第一特征集合和先前預(yù)定幀數(shù)的跟蹤結(jié)果來重構(gòu)第一跟蹤模板，否則每預(yù)定幀 數(shù)的圖像更新第一跟蹤模板且第一特征集合保持不變；以及如果確定要用第二候選特征集 合來更新第二特征集合，則更新第二特征集合，以及基于該更新的第二特征集合和先前預(yù) 定幀數(shù)的跟蹤結(jié)果來重構(gòu)第二跟蹤模板。
3. 根據(jù)權(quán)利要求1的對象跟蹤方法，利用第一跟蹤模板確定對象在輸入圖像中的第一 位置和利用第二跟蹤模板確定對象在輸入圖像中的第二位置包括： 根據(jù)對象的運(yùn)動(dòng)信息，預(yù)測對象在輸入圖像中的候選出現(xiàn)區(qū)域； 在候選出現(xiàn)區(qū)域內(nèi)，利用第一跟蹤模板確定對象在輸入圖像中的第一位置和利用第二 跟蹤模板確定對象在輸入圖像中的第二位置。
4. 根據(jù)權(quán)利要求1的對象跟蹤方法，其中每預(yù)定幀數(shù)的圖像更新第一跟蹤模板包括：每幀輸入圖像都更新第一跟蹤模板。
5. 根據(jù)權(quán)利要求1的對象跟蹤方法，所述利用第一跟蹤模板確定對象在輸入圖像中的 第一位置，和利用第二跟蹤模板確定對象在輸入圖像中的第二位置包括： 分別根據(jù)第一跟蹤模板和第二跟蹤模板，計(jì)算對象在輸入圖像中所對應(yīng)的候選區(qū)域的 第一置信度圖和第二置信度圖；以及 分別根據(jù)第一置信度圖和第二置信度圖，利用均值漂移得到對象在第一置信度圖上的 第一位置和對象在第二置信度圖上的第二位置，作為所述對象在輸入圖像中的第一位置和 所述對象在輸入圖像中的第二位置。
6. 根據(jù)權(quán)利要求1的對象跟蹤方法，所述基于該第一位置和第二位置，確定對象在輸 入圖像中的最終位置包括： 分別確定第一位置的可信度和第二位置的可信度； 根據(jù)第一位置的可信度和第二位置的可信度來確定第一位置所占的權(quán)重比例值和第 二位置所占的權(quán)重值；以及 根據(jù)第一位置的權(quán)重和第二位置的權(quán)重，計(jì)算第一位置和第二位置的加權(quán)和，作為所 述對象在輸入圖像中的最終位置。
7. 根據(jù)權(quán)利要求1的對象跟蹤方法，其中所述每預(yù)定幀數(shù)的圖像更新第一跟蹤模板包 括： 基于當(dāng)前跟蹤模板和當(dāng)前跟蹤到的對象的加權(quán)和來得到更新后的第一跟蹤模板。
8. 根據(jù)權(quán)利要求2的對象跟蹤方法，其中每個(gè)特征集合可由一個(gè)單獨(dú)特征組成也可以 為多個(gè)特征的組合組成，以及所述通過分析對象和背景區(qū)域，評估各個(gè)候選特征區(qū)分對象 和背景區(qū)域的能力包括： 分別計(jì)算各個(gè)特征集合在對象和背景區(qū)域像素上的直方圖分布；以及 通過特征評估函數(shù)來評估各個(gè)特征集合區(qū)分對象和背景區(qū)域的能力。
9. 根據(jù)權(quán)利要求2的對象跟蹤方法，其中所輸入的圖像包括深度信息，以及所述根據(jù) 所確定的對象在輸入圖像中的最終位置，分割對象和背景區(qū)域包括結(jié)合深度信息來分割對 象和背景區(qū)域。
10. -種對象跟蹤裝置，包括： 圖像輸入部件，用于順序輸入圖像； 第一跟蹤模板位置確定部件，利用第一跟蹤模板確定對象在輸入圖像中的第一位置， 其中第一跟蹤模板基于第一特征集合形成； 第二跟蹤模板位置確定部件，利用第二跟蹤模板確定對象在輸入圖像中的第二位置， 第二跟蹤模板基于第二特征集合形成，第一特征集合不同于第二特征集合，第一特征集合 和第二特征集合的每個(gè)包括一個(gè)或多個(gè)特征； 對象最終位置確定部件，基于該第一位置和第二位置，確定對象在輸入圖像中的最終 位置；以及 第一跟蹤模板更新部件和第二跟蹤模板更新部件，其中，第一跟蹤模板更新部件每預(yù) 定幀數(shù)更新第一跟蹤模板，以及第二跟蹤模板更新部件根據(jù)預(yù)設(shè)規(guī)則對第二跟蹤模板進(jìn)行 更新，第二跟蹤模板與第一跟蹤模板獨(dú)立進(jìn)行更新，且第二跟蹤模板的更新頻率低于第一 跟蹤模板。
【文檔編號(hào)】G06T7/20GK104424634SQ201310373327
【公開日】2015年3月18日 申請日期:2013年8月23日 優(yōu)先權(quán)日:2013年8月23日
【發(fā)明者】梁玲燕 申請人:株式會(huì)社理光