專利名稱：基于手部運(yùn)動(dòng)變化的指勢判別方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種基于手部運(yùn)動(dòng)變化的指勢判別方法，用于視頻數(shù)字圖像分析與理 解，屬于智能信息處理技術(shù)領(lǐng)域。
背景技術(shù)：
人機(jī)交互技術(shù)一直是計(jì)算機(jī)研究領(lǐng)域的前沿課題。早期的人機(jī)交互主要通過鍵 盤、鼠標(biāo)等硬件設(shè)備，實(shí)現(xiàn)人和計(jì)算機(jī)之間的交流與通信。隨著計(jì)算機(jī)技術(shù)的快速發(fā)展，國 內(nèi)外越來越多的研究者致力于研究更加符合人類自然交流習(xí)慣的新穎人機(jī)交互技術(shù)，即基 于人體生物學(xué)特征的人機(jī)交互技術(shù)。手勢是一種自然、直觀、易于學(xué)習(xí)的人機(jī)交互模式，它 可以為使用者提供與計(jì)算機(jī)之間自然的交互手段。但由于人手為非剛體，手勢也具有時(shí)間 和空間上的多樣性和多義性，導(dǎo)致手勢識(shí)別困難。相對(duì)于手勢的多樣性和多義性，指勢易于 理解。指勢是人們?nèi)粘Ｉ钪杏檬种笇?duì)空間感興趣目標(biāo)的反映，是人類語系發(fā)展和個(gè)體發(fā) 生學(xué)的重要先驅(qū)，可揭示人類社會(huì)智力，是一種理想的自然人機(jī)交互模式?；谥竸葸M(jìn)行人 機(jī)交互，則可充分利用人類的日常技能，擺脫目前使用常規(guī)輸入設(shè)備(如鍵盤、鼠標(biāo)器和觸 摸屏等)進(jìn)行輸入的束縛，其中，有效進(jìn)行指勢人機(jī)交互的關(guān)鍵是指勢判別。目前可采用的指勢判別方法主要有(1)模板匹配，該方法簡單，易于理解，但由 于指勢手與攝像機(jī)之間存在角度差異，導(dǎo)致指勢具有不同姿態(tài)，因此，需要設(shè)置多個(gè)模板， 且實(shí)時(shí)性不高；( 神經(jīng)網(wǎng)絡(luò)方法，該方法具有強(qiáng)的分類特性及抗干擾特性，但由于其處理 時(shí)間序列的能力不強(qiáng)，主要用于靜態(tài)指勢識(shí)別；(3)隱馬爾科夫模型方法，該方法具有時(shí)間 尺度不變性以及可自動(dòng)分割和分類，但由于其拓?fù)浣Y(jié)構(gòu)的一般性，導(dǎo)致其在訓(xùn)練和識(shí)別時(shí) 計(jì)算量大，且需計(jì)算大量的狀態(tài)概率密度，難以滿足實(shí)時(shí)性要求。

發(fā)明內(nèi)容
本發(fā)明的目的在于針對(duì)目前指勢判別方法計(jì)算復(fù)雜、實(shí)時(shí)性差，提供了一種基于 手部運(yùn)動(dòng)變化的指勢判別方法，根據(jù)指勢用戶在指向目標(biāo)時(shí)，指勢手臂具有明顯運(yùn)動(dòng)變化 特征，可在多種條件下實(shí)現(xiàn)指勢判別。為達(dá)到上述目的，本發(fā)明的構(gòu)思是采用背景差分法，提取前景對(duì)象，運(yùn)用膚色分 割方法，提取前景對(duì)象的手部區(qū)域，根據(jù)指勢用戶在指向目標(biāo)時(shí)，指勢手臂具有運(yùn)動(dòng)明顯至 相對(duì)靜止的變化特征，自動(dòng)判別指勢。根據(jù)上述發(fā)明構(gòu)思，本發(fā)明采用下述技術(shù)方案
一種基于手部運(yùn)動(dòng)變化的指勢判別方法。它是根據(jù)指勢中的手臂運(yùn)動(dòng)變化特征，自動(dòng) 判別指勢，具體步驟如下
1)啟動(dòng)指勢圖像采集系統(tǒng)采集視頻圖像；
2)獲取背景圖像
連續(xù)采集不包含用戶的場景圖像，當(dāng)設(shè)定時(shí)間間隔內(nèi)兩圖像差小于設(shè)定圖像差閾值 時(shí)，則將該時(shí)間間隔內(nèi)的一幅圖像作為背景圖像，否則重新采集，直到滿足設(shè)定的時(shí)間間隔內(nèi)的兩圖像差小于設(shè)定圖像差閾值；
3)前景對(duì)象分割
由攝像機(jī)采集的當(dāng)前幀圖像與步驟2)獲取的背景圖像相減，分割出前景對(duì)象區(qū)域；
4)提取手部區(qū)域；
5)指勢判別。上述步驟4)提取手部區(qū)域的具體操作步驟如下
(1)彩色空間轉(zhuǎn)換，計(jì)算色彩值Cr，Cb由RGB彩色空間的紅/P、綠仏藍(lán)i 三分量，計(jì)算 YCbCr色彩空間的色彩值Cr，Cb ..
Cr = 0. 5X7 - 0. 4187XG - 0. 0813X召 Cb = -0. 1687X7 - 0. 3313XG + 0. 5X^
(2)膚色區(qū)域提取分別確定色彩值fr閾值T\、T2’Cb閾值T^VmCr/Cb的比值閾 值T15，將滿足下式的所有像素組成的區(qū)域，確定為膚色區(qū)域S
權(quán)利要求
1.一種基于手部運(yùn)動(dòng)變化的指勢判別方法，其特征在于具體步驟如下1)啟動(dòng)指勢圖像采集系統(tǒng)采集視頻圖像；2)獲取背景圖像連續(xù)采集不包含用戶的場景圖像，當(dāng)設(shè)定時(shí)間間隔內(nèi)兩圖像差小于設(shè)定圖像差閾值 時(shí)，則將該時(shí)間間隔內(nèi)的一幅圖像作為背景圖像，否則重新采集，直到滿足設(shè)定的時(shí)間間隔 內(nèi)的兩圖像差小于設(shè)定圖像差閾值；3)前景對(duì)象分割由攝像機(jī)采集的當(dāng)前幀圖像與步驟幻獲取的背景圖像相減，分割出前景對(duì)象區(qū)域；4)提取手部區(qū)域；5)指勢判別。
2.根據(jù)權(quán)利要求1所述的基于手部運(yùn)動(dòng)變化的指勢判別方法，其特征在于所述步驟4) 提取手部區(qū)域的具體操作步驟如下(1)彩色空間轉(zhuǎn)換，計(jì)算色彩值Cr，Cb由RGB彩色空間的紅/P、綠仏藍(lán)i 三分量，計(jì)算 YCbCr色彩空間的色彩值Cr，Cb ..Cr = 0. 5X7 - 0. 4187XG - 0. 0813X召Cb = -0. 1687X7 - 0. 3313XG + 0. 5X^(2)膚色區(qū)域提取分別確定色彩值fr閾值T\、T2’Cb閾值T^VmCr/Cb的比值閾 值T15，將滿足下式的所有像素組成的區(qū)域，確定為膚色區(qū)域SS= (J\<Cr ( T2) η (r3T1) η {Cr/Cb 彡 T5)其中，η為“邏輯與”操作符；(3)提取可能的指勢用戶對(duì)象的膚色區(qū)域?qū)⑼瑫r(shí)滿足步驟；3)與步驟( 的圖像區(qū)域， 作為可能的指勢用戶對(duì)象的膚色區(qū)域；(4)提取手部區(qū)域?qū)Σ襟E(3)的二值圖像進(jìn)行連通區(qū)域搜索，計(jì)算連通區(qū)域高&與寬 5；的比值4/5；，以及連通區(qū)域中的孔洞數(shù)//和連通區(qū)域大小r，將滿足下式的所有像素組成 的區(qū)域視為非手部區(qū)域，從步驟(3)的二值圖像區(qū)域中剔除；F 二 ( S1ZSwT1 ) η Q{ >1) η r<r8其中，r6、T1為S1ISv的比值閾值，T8為連通區(qū)域大小閾值。
3.根據(jù)權(quán)利要求1所述的基于手部運(yùn)動(dòng)變化的指勢判別方法，其特征在于所述步驟5) 指勢判別的具體操作步驟如下(1)將平面圖像按角度劃分為0° 360°；(2)運(yùn)動(dòng)手部區(qū)域確定對(duì)步驟4)的手部區(qū)域，統(tǒng)計(jì)其連續(xù)運(yùn)動(dòng)方向在角度小至角度 為范圍內(nèi)的幀數(shù)#3，若#3>#。，則判定該手部區(qū)域?yàn)檫\(yùn)動(dòng)手部區(qū)域，其中，#。為幀數(shù)閾值；(3)指勢動(dòng)作判別對(duì)步驟(2)確定的手部區(qū)域，統(tǒng)計(jì)其在隨后時(shí)間內(nèi)處于連續(xù)靜止時(shí) 的幀數(shù)#b，若#b> M1，則判定用戶對(duì)象發(fā)生了指勢動(dòng)作，其中，見為幀數(shù)閾值。
全文摘要
本發(fā)明涉及一種基于手部運(yùn)動(dòng)變化的指勢判別方法。它是根據(jù)指勢中的手臂運(yùn)動(dòng)變化特征，自動(dòng)判別指勢。采用背景差分法，提取前景對(duì)象，運(yùn)用膚色分割方法，提取前景對(duì)象的手部區(qū)域，根據(jù)指勢用戶在指向目標(biāo)時(shí)，指勢手臂具有運(yùn)動(dòng)明顯至相對(duì)靜止的變化特征，自動(dòng)判別指勢。本發(fā)明方法不需要特定的硬件支持以及限定用戶活動(dòng)范圍等約束，方法簡便、靈活、易實(shí)現(xiàn)。
文檔編號(hào)G06K9/00GK102122345SQ201110042470
公開日2011年7月13日 申請日期2011年2月22日 優(yōu)先權(quán)日2011年2月22日
發(fā)明者管業(yè)鵬, 賈新麗 申請人:上海大學(xué)