手追蹤方法、手追蹤設(shè)備和手勢(shì)識(shí)別系統(tǒng)的制作方法
【專利摘要】本發(fā)明公開一種手追蹤方法、手追蹤設(shè)備和手勢(shì)識(shí)別系統(tǒng)。手追蹤方法包括：判斷當(dāng)前幀前面的幀中是否發(fā)生遮蔽；依據(jù)遮蔽判斷結(jié)果，自適應(yīng)地從在前面的幀中所追蹤到的手目標(biāo)中選擇一手目標(biāo)作為模版；并且基于所述模板針對(duì)當(dāng)前幀進(jìn)行模板匹配方法以獲得當(dāng)前幀的手目標(biāo)。
【專利說明】手追蹤方法、手追蹤設(shè)備和手勢(shì)識(shí)別系統(tǒng)
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及圖像識(shí)別領(lǐng)域，并且更具體地涉及手追蹤方法、手追蹤設(shè)備和手勢(shì)識(shí)別系統(tǒng)。
【背景技術(shù)】
[0002]隨著在當(dāng)今人們的生活中計(jì)算機(jī)以及眾多便攜式智能設(shè)備變得越來越不可或缺，人們將希望在人與計(jì)算機(jī)之間的更自然并且更高效的交互。因此，作為自由觸摸人機(jī)交互界面的手勢(shì)遙控系統(tǒng)將成為弓I人關(guān)注的選擇。
[0003]基本上，手勢(shì)遙控系統(tǒng)將追蹤手并分析有意義的手的表達(dá)，如果它們被識(shí)別為是預(yù)先定義的手勢(shì)中的一種，則相應(yīng)的操作命令將被觸發(fā)以運(yùn)作某種應(yīng)用。可見，作為前提的魯棒性的手追蹤方法對(duì)于分析手動(dòng)作以及識(shí)別手勢(shì)來說是非常重要的。另外，對(duì)于低功率設(shè)備的實(shí)現(xiàn)，還需要考慮追蹤算法的復(fù)雜度。
[0004]當(dāng)前，某些算法或其變體已被引入用于實(shí)時(shí)手追蹤。例如，光學(xué)流(Optical Flow)算法通過附加到圖像中的運(yùn)動(dòng)像素的速度矢量來反映幀改變，然而，這需要大量計(jì)算；CamShift算法可有效地追蹤視覺場景中動(dòng)態(tài)改變的概率分布，然而，這依賴于合適的亮度并且當(dāng)在追蹤過程中存在具有與膚色類似的顏色的其他物體時(shí)將變得不具有魯棒性；模板匹配(Template Matching)算法可通過比較候選與模板之間的差異來給出最佳選擇從而高效地追蹤目標(biāo)，然而在某些情況中，追蹤準(zhǔn)確度不令人滿意。
[0005]因此，需要一種能夠即使在當(dāng)手跨越通過具有與膚色類似的顏色的某些物體時(shí)也能夠具有高追蹤準(zhǔn)確度的手追蹤方法以及應(yīng)用該手追蹤方法的手勢(shì)遙控系統(tǒng)。

【發(fā)明內(nèi)容】

[0006]根據(jù)本發(fā)明的一方面，提供一種手追蹤方法，包括:判斷當(dāng)前幀前面的幀中是否發(fā)生遮蔽；依據(jù)遮蔽判斷結(jié)果，自適應(yīng)地從在前面的幀中所追蹤到的手目標(biāo)中選擇一手目標(biāo)作為模版；并且基于所述模板針對(duì)當(dāng)前幀進(jìn)行模板匹配方法以獲得當(dāng)前幀的手目標(biāo)。
[0007]在一個(gè)實(shí)施例中，自適應(yīng)地選擇作為模版的手目標(biāo)包括:如果當(dāng)前幀前面的幀中發(fā)生遮蔽，則緊在遮蔽發(fā)生前的幀中所獲得的手目標(biāo)被作為所述模版；如果當(dāng)前幀前面的幀中未發(fā)生遮蔽，則當(dāng)前幀的前一幀中所獲得的手目標(biāo)被作為所述模版。
[0008]在一個(gè)實(shí)施例中，所述模板匹配方法包括:在當(dāng)前幀的膚色圖像中定義搜索范圍和多個(gè)候選手范圍；基于所述搜索范圍和所述模板來找出所述搜索范圍中與所述模板最匹配的候選手范圍作為在當(dāng)前幀中追蹤到的手目標(biāo)。
[0009]在一個(gè)實(shí)施例中，定義所述搜索范圍包括:在當(dāng)前幀的膚色圖像中通過將在前一幀中所追蹤到的手目標(biāo)的四周擴(kuò)大預(yù)定數(shù)目的像素來定義初始搜索范圍；并且將所述初始搜索范圍收縮為包含在前一幀中所追蹤到的手目標(biāo)以及表示當(dāng)前幀的膚色圖像與前一幀的膚色圖像之間的運(yùn)動(dòng)差的當(dāng)前膚色差分圖像在內(nèi)的最小矩形作為所述搜索范圍。
[0010]其中，模板匹配方法進(jìn)一步包括:在所述搜索范圍中定義多個(gè)第一候選手范圍，該些第一候選手范圍具有與所述模板相同的尺寸，并且，在表示當(dāng)前幀的膚色圖像與前一幀的膚色圖像之間的運(yùn)動(dòng)差的當(dāng)前膚色差分圖像中定義第二候選手范圍，該第二候選手范圍具有與所述模板相同的尺寸，針對(duì)所述多個(gè)第一候選手范圍循環(huán)執(zhí)行匹配判斷處理直到這多個(gè)第一候選手范圍都經(jīng)過匹配判斷處理為止，從而確定出與所述模板最匹配的候選手范圍作為在當(dāng)前幀中追蹤到的手目標(biāo)，所述匹配判斷處理包括:計(jì)算一個(gè)第一候選手范圍與所述模板的各像素的值的絕對(duì)差的平均值作為第一誤差；如果所述第一誤差大于第一預(yù)定閾值，則當(dāng)前第一候選手范圍被判定為不與所述模板匹配并從而被排除；如果所述第一誤差小于所述第一預(yù)定閾值，則計(jì)算第二誤差，所述第二誤差是通過將所述第一誤差減去所述第二候選手范圍的各像素的值的平均值乘以修正因子得到的值而得到的差值；如果所述第二誤差小于第二預(yù)定閾值，則當(dāng)前第一候選手范圍被判定為與所述模板匹配，并且所述第二誤差的值以及當(dāng)前第一候選手范圍的各像素的值的平均值分別作為在針對(duì)下一個(gè)第一候選手范圍的匹配判斷處理中的第二預(yù)定閾值和第二候選手范圍的各像素的值的平均值。
[0011]在一個(gè)實(shí)施例中，在當(dāng)前幀前面的幀中未發(fā)生遮蔽的情況中，所述修正因子為第一預(yù)定值，并且在當(dāng)前幀前面的幀中發(fā)生遮蔽的情況中，所述修正因子為第二預(yù)定值與緊在遮蔽發(fā)生前的幀與其前一幀的膚色差分圖像中獲得的手目標(biāo)內(nèi)各像素的值的平均值的百分?jǐn)?shù)的和。
[0012]在一個(gè)實(shí)施例中，該手追蹤方法還包括:判斷當(dāng)前幀中是否發(fā)生遮蔽，所述判斷包括:如果在當(dāng)前幀中未追蹤到手目標(biāo)，則直接判定當(dāng)前幀中未發(fā)生遮蔽；并且如果在當(dāng)前幀中追蹤到手目標(biāo)，則執(zhí)行遮蔽條件判斷以確定在當(dāng)前幀中是否發(fā)生遮蔽。
[0013]在一個(gè)實(shí)施例中，所述遮蔽條件判斷包括判斷是否滿足以下條件:(((PreOccDiff<=A)&&(DeItaDiff > B)) | ((PreOccDiff > A)&&(DeItaDiff > C)))&&(OccNum < D)，其中，PreOccDiff表示緊在遮蔽發(fā)生前的幀與其前一幀的膚色差分圖像中獲得的手目標(biāo)內(nèi)各像素的值的平均值，DeItaDif f是PreOccDif f與AvgTarDif f的差值，AvgTarDif f為當(dāng)前膚色差分圖像中與所述模板最匹配的候選手范圍內(nèi)的各像素的值的平均值，OccNum表示當(dāng)前幀前面發(fā)生連續(xù)遮蔽的次數(shù)，其中，C大于B，
[0014]并且其中，如果上述條件滿足，則判定在當(dāng)前幀中發(fā)生了遮蔽，如果上述條件不滿足，則判定當(dāng)前幀中未發(fā)生遮蔽。
[0015]根據(jù)本發(fā)明的第二方面，提供一種手追蹤系統(tǒng)，該系統(tǒng)包括:判斷裝置，判斷當(dāng)前幀前面的幀中是否發(fā)生遮蔽；選擇裝置，依據(jù)遮蔽判斷結(jié)果，自適應(yīng)地從在前面的幀中所追蹤到的手目標(biāo)中選擇一手目標(biāo)作為模版；以及獲得裝置，基于所述模板針對(duì)當(dāng)前幀進(jìn)行模板匹配方法以獲得當(dāng)前幀的手目標(biāo)。
[0016]根據(jù)本發(fā)明的第三方面，提供一種手勢(shì)識(shí)別系統(tǒng)，該手勢(shì)識(shí)別系統(tǒng)包括上述手追蹤設(shè)備。
[0017]根據(jù)本發(fā)明的手追蹤方法和手追蹤設(shè)備，即使在當(dāng)手跨越通過具有與膚色類似的顏色的某些物體時(shí)也能夠具有高追蹤準(zhǔn)確度，從而實(shí)現(xiàn)準(zhǔn)備地手勢(shì)識(shí)別。
【專利附圖】

【附圖說明】
[0018]圖1示出一般手勢(shì)識(shí)別系統(tǒng)的框架圖；[0019]圖2示出傳統(tǒng)模板匹配算法中當(dāng)手在臉前移動(dòng)時(shí)發(fā)生追蹤錯(cuò)誤的例示圖；
[0020]圖3示出根據(jù)本發(fā)明的手追蹤方法的流程圖；
[0021]圖4示出根據(jù)本發(fā)明的手追蹤方法的更詳細(xì)的流程圖；以及
[0022]圖5示出根據(jù)本發(fā)明的手追蹤方法在當(dāng)手在臉前移動(dòng)時(shí)的追蹤結(jié)果的例示圖。
【具體實(shí)施方式】
[0023]下面將詳細(xì)描述本發(fā)明各個(gè)方面的特征和示例性實(shí)施例。下面的描述涵蓋了許多具體細(xì)節(jié)，以便提供對(duì)本發(fā)明的全面理解。但是，對(duì)于本領(lǐng)域技術(shù)人員來說顯而易見的是，本發(fā)明可以在不需要這些具體細(xì)節(jié)中的一些細(xì)節(jié)的情況下實(shí)施。下面對(duì)實(shí)施例的描述僅僅是為了通過示出本發(fā)明的示例來提供對(duì)本發(fā)明更清楚的理解。本發(fā)明絕不限于下面所提出的任何具體配置和算法，而是在不脫離本發(fā)明的精神的前提下覆蓋了相關(guān)元素、部件和算法的任何修改、替換和改進(jìn)。
[0024]〈1.手勢(shì)識(shí)別系統(tǒng)〉
[0025]圖1示出了一般手勢(shì)識(shí)別系統(tǒng)的框架圖。如圖1所示，手勢(shì)識(shí)別系統(tǒng)包括三個(gè)功能部分:手檢測部分、手追蹤部分和手勢(shì)識(shí)別部分。具體地，人的動(dòng)作通過普通的web相機(jī)被捕獲并且所捕獲的圖像幀被輸入到該手勢(shì)識(shí)別系統(tǒng)中。對(duì)于每個(gè)圖像幀，首先判斷在前一幀中是否檢測到手目標(biāo)。如果在前一幀中還未檢測到手目標(biāo)，則手檢測部分將在當(dāng)前整個(gè)幀中檢測手目標(biāo)。如果在前一幀中已檢測到手目標(biāo)，則手追蹤部分將在當(dāng)前幀以及接下來的幀中追蹤手目標(biāo)。與此同時(shí)，手識(shí)別部分將分析歷史追蹤軌跡以確定是否某種預(yù)定手勢(shì)被識(shí)別出。如果某種預(yù)定手勢(shì)被識(shí)別出，則相應(yīng)手勢(shì)命令將被輸出以供后級(jí)使用，例如，以觸發(fā)某種應(yīng)用。
[0026]如上所述，如果在前一幀中已檢測到手目標(biāo)，則手追蹤部分將在當(dāng)前幀以及接下來的幀中追蹤手目標(biāo)。可見，追蹤手目標(biāo)所涉及的計(jì)算量以及追蹤準(zhǔn)確度對(duì)于手勢(shì)識(shí)別系統(tǒng)而言是很重要的。然而，如上所述，現(xiàn)有的手追蹤方法需求的計(jì)算量較大并且追蹤準(zhǔn)確度不能令人滿意，特別是在當(dāng)手移動(dòng)通過具有與膚色類似的顏色的某些物體的情形中，很可能會(huì)由于遮蔽(Occlusion)而發(fā)生追蹤錯(cuò)誤。例如，在傳統(tǒng)的模板匹配算法中，總是前一幀中所獲得的手目標(biāo)被用作當(dāng)前幀中進(jìn)行模板匹配算法的模板，因此在當(dāng)手移動(dòng)通過具有與膚色類似的顏色的某些物體的情形中由于遮蔽發(fā)生而手目標(biāo)模板被錯(cuò)用或不當(dāng)使用時(shí)，追蹤錯(cuò)誤則會(huì)發(fā)生。
[0027]例如，圖2示出了在當(dāng)手移動(dòng)通過臉時(shí)發(fā)生追蹤錯(cuò)誤的示例。如圖2中所示，圖中給出了 5個(gè)連續(xù)圖像幀331-335，在圖像幀331-333中，正常的模板匹配算法被執(zhí)行，即，圖像幀331中的手追蹤基于前一陣的圖像幀中檢測或追蹤到的手目標(biāo)作為模板，圖像幀322中的手追蹤基于圖像幀311中追蹤到的手目標(biāo)作為模板，圖像幀333中的手追蹤基于圖像幀332中追蹤到的手目標(biāo)作為模板。
[0028]然而，如圖所示，由于在圖像幀333中發(fā)生手與臉交疊的情況，在該圖像幀333中所獲得的手目標(biāo)包含了同為膚色的人臉的一部分，也就是所獲得的手目標(biāo)是不準(zhǔn)確或錯(cuò)誤的。因而，當(dāng)針對(duì)圖像幀334進(jìn)行手追蹤時(shí)，以在圖像幀333中獲得的不準(zhǔn)確或錯(cuò)誤的手目標(biāo)作為模板，在該圖像幀334中通過模板匹配將獲得手繼續(xù)停留于臉上的錯(cuò)誤追蹤結(jié)果。如此繼續(xù)，在接下來的圖像幀中也將獲得錯(cuò)誤的追蹤結(jié)果。可見，一個(gè)圖像幀中發(fā)生追蹤錯(cuò)誤，這種錯(cuò)誤將會(huì)導(dǎo)致在接下來的圖像幀中的追蹤也相應(yīng)發(fā)生錯(cuò)誤，因此追蹤結(jié)果不準(zhǔn)確，從而影響手勢(shì)的正確識(shí)別。
[0029]證實(shí)鑒于上述問題，在本發(fā)明中提供了一種利用自適應(yīng)模板匹配算法的手追蹤方法，該方法通過判斷當(dāng)前幀前面的幀中是否發(fā)生遮蔽來自適應(yīng)地選擇合適的模板以進(jìn)行模板匹配算法，從而即使當(dāng)手移動(dòng)通過具有與膚色類似的顏色的某些物體的情形中也能夠獲得高的追蹤準(zhǔn)確度。
[0030]<2.手追蹤方法〉
[0031]下面將參考圖3來描述根據(jù)本發(fā)明的手追蹤方法。
[0032]圖3示出根據(jù)本發(fā)明的手追蹤方法的流程圖。如圖3所示，針對(duì)每一圖像幀，執(zhí)行步驟S301-S303。具體地，在步驟S301中，判斷當(dāng)前幀前面的幀中是否發(fā)生遮蔽。在步驟S302中，依據(jù)遮蔽判斷結(jié)果，自適應(yīng)地從在前面的幀中所追蹤到的手目標(biāo)中選擇一手目標(biāo)作為模版。如果當(dāng)前幀前面的幀中發(fā)生遮蔽，則緊在遮蔽發(fā)生前的幀中所獲得的手目標(biāo)被作為所述模版；如果當(dāng)前幀前面的幀中未發(fā)生遮蔽，則當(dāng)前幀的前一幀中所獲得的手目標(biāo)被作為所述模版。接著，在步驟S303中，基于所述模板針對(duì)當(dāng)前幀進(jìn)行模板匹配方法以獲得當(dāng)前幀的手目標(biāo)。通過利用本發(fā)明的手追蹤方法，可以根據(jù)是否發(fā)生遮蔽來選擇合適的模板以執(zhí)行模板匹配算法，從而避免因遮蔽發(fā)生而引起的錯(cuò)誤追蹤。
[0033]接下來，將參考圖4更詳細(xì)地描述根據(jù)本發(fā)明的手追蹤方法。
[0034]圖4示出了根據(jù)本發(fā)明的手追蹤方法的更詳細(xì)的流程圖。如圖4所述，首先，在步驟S401中，計(jì)算當(dāng)前幀的膚色圖像以及表示當(dāng)前幀的膚色圖像與前一幀的膚色圖像之間的運(yùn)動(dòng)差的當(dāng)前膚色差分圖像。
[0035]接著，在步驟S402中，自適應(yīng)地定義搜索范圍。搜索范圍的定義包括以下兩個(gè)步驟:(1)在當(dāng)前幀的膚色圖像中通過將前一幀中所追蹤到的手目標(biāo)的四周擴(kuò)大預(yù)定數(shù)目的像素(例如，15個(gè)像素)來定義初始搜索范圍；以及(2)將所述初始搜索范圍收縮為包含前一幀中所追蹤到的手目標(biāo)以及所述當(dāng)前膚色差分圖像的最小矩形。如此就獲得了執(zhí)行模板匹配方法中所使用的搜索范圍。
[0036]接著，在步驟S403中，判斷在當(dāng)前幀前面的幀中是否發(fā)生遮蔽。之后，根據(jù)遮蔽判斷結(jié)果來從當(dāng)前幀前面的幀中所追蹤到的手目標(biāo)中選擇一手目標(biāo)作為當(dāng)前幀中進(jìn)行模板匹配方法的模版。
[0037]具體地，如圖3中所述，如果在步驟S403中判定在當(dāng)前幀前面的幀中未發(fā)生遮蔽，即步驟S403中的判斷結(jié)果為“否”，則過程進(jìn)行到步驟S405。在步驟S405中，如傳統(tǒng)的模板匹配算法一樣，當(dāng)前幀的前一幀中所追蹤到的手目標(biāo)作為當(dāng)前幀中進(jìn)行模板匹配方法的模板。此時(shí)，運(yùn)動(dòng)差的修正因子k為固定的預(yù)定值，例如k = 0.3，其中該修正因子k用于稍后進(jìn)行的模板匹配方法。
[0038]另一方面，如果在步驟S403中判定在當(dāng)前幀前面的幀中發(fā)生了遮蔽，即步驟S403中的判斷結(jié)果為“是”，則過程進(jìn)行到步驟S404。在步驟S404中，緊在遮蔽發(fā)生前的幀中所追蹤到手目標(biāo)被作為當(dāng)前幀中進(jìn)行模板匹配方法的模板。此時(shí)，運(yùn)動(dòng)差的修正因子k被計(jì)算為預(yù)定值與PreOccDiff的百分?jǐn)?shù)的和，例如，k = 0.4+Pre0ccDiff/100,其中，PreOccDiff表示緊在遮蔽發(fā)生前的幀與其前一幀的膚色差分圖像中獲得的手目標(biāo)內(nèi)各像素的值的平均值。對(duì)于當(dāng)前幀中的遮蔽判斷，將會(huì)在稍后的步驟中介紹，并且針對(duì)每一幀的是否遮蔽的判斷結(jié)果會(huì)被存儲(chǔ)以供在后一幀中判斷前面的幀中是否發(fā)生遮蔽而直接使用。
[0039]在步驟S402中定義了搜索范圍并且在步驟S404或405中選擇了模板之后，在步驟S406中，執(zhí)行模板匹配方法。在本發(fā)明中，該模板匹配方法是帶有運(yùn)動(dòng)差修正的模板匹配方法。本發(fā)明的關(guān)鍵在于基于遮蔽判斷結(jié)果來選擇模板，并基于如此選擇的模板來執(zhí)行模板匹配算法。因此，基于其他方面的考慮，也可以使用不帶運(yùn)動(dòng)差修正的模板匹配算法。
[0040]具體地，在該模板匹配方法中，首先在所定義的搜索范圍中定義多個(gè)第一候選手范圍，每個(gè)第一候選手范圍具有與所選模板相同的尺寸，并且在所述當(dāng)前膚色差分圖像中定義一個(gè)第二候選手范圍，此第二候選手范圍同樣具有與所選模板相同的尺寸。在示例性實(shí)施例中，在每幀中追蹤到的手目標(biāo)以及在搜索范圍中以及在膚色差分圖像中所定義的候選手范圍均為矩形，以便簡化計(jì)算量，并且矩形的位置以矩形的左上角的頂點(diǎn)來表示，以便以統(tǒng)一的規(guī)則更新手目標(biāo)的位置。
[0041]在該模板匹配方法中，針對(duì)所述多個(gè)第一候選手范圍循環(huán)執(zhí)行匹配判斷處理直到這多個(gè)第一候選手范圍都經(jīng)過配判斷處理為止，從而確定出與所擇模板最匹配的候選手范圍作為在當(dāng)前幀中追蹤到的手目標(biāo)，所述匹配判斷處理包括如下步驟:
[0042]計(jì)算一個(gè)第一候選手范圍與所選模板的各像素的值的絕對(duì)差的平均值作為第一
誤差;
[0043]如果第一誤差大于第一預(yù)定閾值，則當(dāng)前第一候選手范圍被判定為不與所選模板匹配并且從而被排除；
[0044]如果第一誤差小于第一預(yù)定閾值，則計(jì)算第二誤差，第二誤差是通過將第一誤差減去第二候選手范圍的各像素的值的平均值乘以修正因子得到的值而得到的差值；
[0045]如果第二誤差小于第二預(yù)定閾值，則當(dāng)前第一候選手范圍被判定為與所選模板匹配，并且該第二誤差的值以及當(dāng)前第一候選手范圍中的各像素的值的平均值分別作為在針對(duì)下一個(gè)第一候選手范圍的匹配判斷處理中的第二預(yù)定閾值和第二候選手范圍的各像素的值的平均值。
[0046]接著，在步驟S407中，基于在步驟S406中執(zhí)行的模板匹配算法的結(jié)果來判斷是否有候選手范圍與所選模板匹配。之后，基于判定結(jié)果以及前一幀的信息來判斷在當(dāng)前幀中是否發(fā)生遮蔽并更新相關(guān)參數(shù)以用于下一幀中的處理。具體地，如果在步驟S407中判定出沒有候選手范圍與所選模板匹配，則處理進(jìn)行到步驟S409，并且在步驟S409中直接判定當(dāng)前幀中未發(fā)生遮蔽。如果在步驟S407中判定出有候選手范圍與所選模板匹配，則處理進(jìn)行到步驟S408，并且在步驟S408中執(zhí)行遮蔽條件判斷以確定在當(dāng)前幀中是否發(fā)生遮蔽。
[0047]在步驟S408中執(zhí)行的遮蔽條件判斷包括判斷是否滿足以下條件:(((PreOccDiff< =A)&&(DeItaDiff > B)) | ((PreOccDiff > A)&&(DeItaDiff > C)))&&(OccNum < D)其中，PreOccDiff表示緊在遮蔽發(fā)生前的幀與其前一幀的膚色差分圖像中追蹤到的手目標(biāo)內(nèi)各像素的值的平均值，DeltaDiff是PreOccDiff與AvgTarDiff的差值，AvgTarDiff為當(dāng)前膚色差分圖像中與所選模板最匹配的候選手范圍內(nèi)的各像素的值的平均值，OccNum表示當(dāng)前幀前面發(fā)生連續(xù)遮蔽的次數(shù)，其中，C大于B，并且其中，如果上述條件滿足，則在步驟S410中判定在當(dāng)前幀中發(fā)生了遮蔽，如果上述條件不滿足，則在步驟S410判定當(dāng)前幀中未發(fā)生遮蔽。
[0048]在上述公式中，閾值A(chǔ)-D基于經(jīng)驗(yàn)來設(shè)定。在諸如手移動(dòng)跨越臉的情況中，一般地，以普通攝像機(jī)拍攝圖像時(shí)遮蔽大概會(huì)發(fā)生在兩幀內(nèi)，因此例如，閾值D可設(shè)為2，當(dāng)然依賴于攝像機(jī)所使用幀率以及手移動(dòng)速度等其他因素，閾值D的也可被設(shè)定為其他合適的值。另外，實(shí)際上，PreOccDiff反映出手移動(dòng)的強(qiáng)烈程度，PreOccDiff越大，表示手移動(dòng)越快或手運(yùn)動(dòng)越強(qiáng)烈，反之亦然。因此，在對(duì)B、C的取值中，C可以取比B大的值，例如，在閾值A(chǔ)都取15的情況中，B、C分別可取為B =和C = 7。后面圖4給出的示例中正是使用了這里給出的具體示例，即A = 15，B = 4，C = 5并且D = 2。
[0049]之后，在步驟S411和步驟S412中，依據(jù)步驟S409、步驟S410中的結(jié)果來更新相關(guān)參數(shù)和追蹤軌跡。具體地，在當(dāng)前幀中成功追蹤到手目標(biāo)的情況中，如果判定在當(dāng)前幀中未發(fā)生遮蔽，則當(dāng)前幀中追蹤到手目標(biāo)被作為下一幀中進(jìn)行模板匹配方法的模板，如果判定在當(dāng)前幀中發(fā)生遮蔽，則當(dāng)前幀中進(jìn)行模板匹配方法所使用的模板仍用于下一幀中進(jìn)行模板匹配方法的模板。另外，在當(dāng)前幀中沒有成功追蹤到手目標(biāo)的情況中，也仍是遮蔽發(fā)生前的幀中追蹤到手目標(biāo)被作為下一幀中進(jìn)行模板匹配方法的模板。
[0050]在當(dāng)前幀中成功追蹤到手目標(biāo)的情況中，如果判定在當(dāng)前幀中未發(fā)生遮蔽，則追蹤軌跡被更新為:PN(x，y) = Ρ(χ，y)，其中，PN(x，y)表示當(dāng)前幀中追蹤到的矩形手目標(biāo)的左上角的坐標(biāo)位置，PU，y)表示與所選模板最匹配的候選手范圍的左上角的位置。也就是說，當(dāng)前幀中追蹤到的手目標(biāo)的左上角的位置為被確定與所選模板最匹配的候選手范圍的左上角的位置。
[0051]如果判定在當(dāng)前幀中發(fā)生了遮蔽，則追蹤軌跡被更新為:
[0052]
【權(quán)利要求】
1.一種手追蹤方法，包括: 判斷當(dāng)前幀前面的幀中是否發(fā)生遮蔽； 依據(jù)遮蔽判斷結(jié)果，自適應(yīng)地從在前面的幀中所追蹤到的手目標(biāo)中選擇一手目標(biāo)作為模版；并且 基于所述模板針對(duì)當(dāng)前幀進(jìn)行模板匹配方法以獲得當(dāng)前幀的手目標(biāo)。
2.根據(jù)權(quán)利要求1所述的手追蹤方法，其中，自適應(yīng)地選擇作為模版的手目標(biāo)包括: 如果當(dāng)前幀前面的幀中發(fā)生遮蔽，則緊在遮蔽發(fā)生前的幀中所獲得的手目標(biāo)被作為所述模版； 如果當(dāng)前幀前面的幀中未發(fā)生遮蔽，則當(dāng)前幀的前一幀中所獲得的手目標(biāo)被作為所述模版。
3.根據(jù)權(quán)利要求1所述的手追蹤方法，其中，所述模板匹配方法包括: 在當(dāng)前幀的膚色圖像中定義搜索范圍和多個(gè)候選手范圍； 基于所述搜索范圍和所述模板來找出所述搜索范圍中與所述模板最匹配的候選手范圍作為在當(dāng)前幀中追蹤到的手目標(biāo)。
4.根據(jù)權(quán)利要求3所述的手追蹤方法，其中，定義所述搜索范圍包括: 在當(dāng)前幀的膚色圖像中通過將在前一幀中所追蹤到的手目標(biāo)的四周擴(kuò)大預(yù)定數(shù)目的像素來定義初始搜索范圍；并且` 將所述初始搜索范圍收縮為包含在前一幀中所追蹤到的手目標(biāo)以及表示當(dāng)前幀的膚色圖像與前一幀的膚色圖像之間的運(yùn)動(dòng)差的當(dāng)前膚色差分圖像在內(nèi)的最小矩形作為所述搜索范圍。
5.根據(jù)權(quán)利要求3或4所述的手追蹤方法，其中，所述模板匹配方法進(jìn)一步包括: 在所述搜索范圍中定義多個(gè)第一候選手范圍，該些第一候選手范圍具有與所述模板相同的尺寸，并且，在表示當(dāng)前幀的膚色圖像與前一幀的膚色圖像之間的運(yùn)動(dòng)差的當(dāng)前膚色差分圖像中定義第二候選手范圍，該第二候選手范圍具有與所述模板相同的尺寸， 針對(duì)所述多個(gè)第一候選手范圍循環(huán)執(zhí)行匹配判斷處理直到這多個(gè)第一候選手范圍都經(jīng)過匹配判斷處理為止，從而確定出與所述模板最匹配的候選手范圍作為在當(dāng)前幀中追蹤到的手目標(biāo)， 所述匹配判斷處理包括: 計(jì)算一個(gè)第一候選手范圍與所述模板的各像素的值的絕對(duì)差的平均值作為第一誤差; 如果所述第一誤差大于第一預(yù)定閾值，則當(dāng)前第一候選手范圍被判定為不與所述模板匹配并從而被排除； 如果所述第一誤差小于所述第一預(yù)定閾值，則計(jì)算第二誤差，所述第二誤差是通過將所述第一誤差減去所述第二候選手范圍的各像素的值的平均值乘以修正因子得到的值而得到的差值； 如果所述第二誤差小于第二預(yù)定閾值，則當(dāng)前第一候選手范圍被判定為與所述模板匹配，并且所述第二誤差的值以及當(dāng)前第一候選手范圍的各像素的值的平均值分別作為在針對(duì)下一個(gè)第一候選手范圍的匹配判斷處理中的第二預(yù)定閾值和第二候選手范圍的各像素的值的平均值。
6.根據(jù)權(quán)利要求5所述的手追蹤方法，其中，在當(dāng)前幀前面的幀中未發(fā)生遮蔽的情況中，所述修正因子為第一預(yù)定值，并且在當(dāng)前幀前面的幀中發(fā)生遮蔽的情況中，所述修正因子為第二預(yù)定值與緊在遮蔽發(fā)生前的幀與其前一幀的膚色差分圖像中獲得的手目標(biāo)內(nèi)各像素的值的平均值的百分?jǐn)?shù)的和。
7.根據(jù)權(quán)利要求1所述的手追蹤方法，還包括:判斷當(dāng)前幀中是否發(fā)生遮蔽，所述判斷包括: 如果在當(dāng)如幀中未追S示到手目標(biāo)，則直接判定當(dāng)如幀中未發(fā)生遮蔽；并且 如果在當(dāng)前幀中追蹤到手目標(biāo)，則執(zhí)行遮蔽條件判斷以確定在當(dāng)前幀中是否發(fā)生遮蔽。
8.根據(jù)權(quán)利要求7所述的手追蹤方法，所述遮蔽條件判斷包括判斷是否滿足以下條件: (((PreOccDiff < = A)&&(DeItaDiff > B)) | ((PreOccDiff > A)&&(DeItaDiff >C))) &&(OccNum < D)其中，PreOccDiff表示緊在遮蔽發(fā)生前的幀與其前一幀的膚色差分圖像中獲得的手目標(biāo)內(nèi)各像素的值的平均值，DeltaDiff是PreOccDiff與AvgTarDiff的差值，AvgTarDiff為當(dāng)前膚色差分圖像中與所述模板最匹配的候選手范圍內(nèi)的各像素的值的平均值，OccNum表示當(dāng)前幀前面發(fā)生連續(xù)遮蔽的次數(shù)，其中C大于B， 并且其中，如果上述條件滿足，則判定在當(dāng)前幀中發(fā)生了遮蔽，如果上述條件不滿足，則判定當(dāng)前幀中未發(fā)生遮蔽。
9.一種手追蹤設(shè)備，包括: 判斷裝置，判斷當(dāng)前幀前面的幀中是否發(fā)生遮蔽； 選擇裝置，依據(jù)遮蔽判斷結(jié)果，自適應(yīng)地從在前面的幀中所追蹤到的手目標(biāo)中選擇一手目標(biāo)作為模版；以及 獲得裝置，基于所述模板針對(duì)當(dāng)前幀進(jìn)行模板匹配方法以獲得當(dāng)前幀的手目標(biāo)。
10.一種手勢(shì)識(shí)別系統(tǒng)，該手勢(shì)識(shí)別系統(tǒng)包括如權(quán)利要求9所述的手追蹤設(shè)備。
【文檔編號(hào)】G06K9/00GK103679130SQ201210375618
【公開日】2014年3月26日 申請(qǐng)日期:2012年9月24日 優(yōu)先權(quán)日:2012年9月24日
【發(fā)明者】王琪 申請(qǐng)人:富士通株式會(huì)社