一種融合人臉和手勢的智能終端人機(jī)交互方法
【專利摘要】本發(fā)明公開了一種融合人臉和手勢的智能終端人機(jī)交互方法，屬于圖像處理【技術(shù)領(lǐng)域】。第一步：根據(jù)智能終端攝像頭采集到的人臉圖像；第二步：對歸一化處理得到的人臉圖像；第三步：根據(jù)智能終端攝像頭采集到的手勢圖像進(jìn)行手部膚色和背景建模；第四步：對第三步檢測到的手勢圖像。
【專利說明】一種融合人臉和手勢的智能終端人機(jī)交互方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及一種融合人臉和手勢的智能終端人機(jī)交互方法，屬于圖像處理【技術(shù)領(lǐng)域】。
【背景技術(shù)】
[0002]隨著智能手機(jī)、智能電視、平板電腦、車載智能系統(tǒng)的迅速普及，人與智能終端的交互活動成為人們?nèi)粘Ｉ钪械闹匾M成部分。在這種情況下，基于語音、人臉、手勢等更加自然、更加方便的人機(jī)交互技術(shù)得到迅猛發(fā)展。
[0003]人臉識別技術(shù)提供了一種自然的人機(jī)交互方法。人臉是人類視覺中最為普遍的模式，最容易被人類接受。人的面部所表現(xiàn)的視覺信息在社會交流中有著很重要的作用和意義。人臉識別技術(shù)依托模式識別、圖像理解、計算機(jī)視覺和人工智能等多種學(xué)科，同時和認(rèn)知學(xué)、神經(jīng)科學(xué)、生理心理學(xué)等學(xué)科有著千絲萬縷的聯(lián)系。盡管人類在嬰兒期就可以毫不費(fèi)力地快速、準(zhǔn)確的識別人臉，然而利用計算機(jī)進(jìn)行人臉識別仍然是一個挑戰(zhàn)。目前，雖然基于人臉識別的應(yīng)用開始出現(xiàn)在智能手機(jī)、智能電視等終端產(chǎn)品上，但是受光線、角度、表情、遮擋物、眼鏡、年齡等因素影響，人臉識別的效果尚不夠理想。
[0004]手勢是另外一種自然、直觀、易于學(xué)習(xí)的人機(jī)交互手段。手勢可以分為靜態(tài)手勢和動態(tài)手勢兩種:靜態(tài)手勢指在單個時間點(diǎn)上手的空間姿態(tài)，如手的形狀、方向和身體的相對位置等；動態(tài)手勢則是由一段時間內(nèi)的手的一系列姿態(tài)組成，相比靜態(tài)手勢增加了時間信息和動作特征，如手的姿態(tài)變化和運(yùn)動軌跡?；谝曈X的手勢識別技術(shù)突出優(yōu)點(diǎn)是輸入設(shè)備便捷，例如攝像頭已經(jīng)成為智能手機(jī)等終端產(chǎn)品的標(biāo)準(zhǔn)配置，并且它對人手不做其他附加設(shè)備要求(如手套等)，使計算機(jī)與人的交互更加趨于自然化。另外，基于視覺的手勢識別技術(shù)采用視頻輸入的方式，可適用于遠(yuǎn)距離、非接觸、自由度更大的人機(jī)交互或控制系統(tǒng)。目前國際上研究手勢識別的大學(xué)和機(jī)構(gòu)比較多，例如美國的卡內(nèi)基?梅隆大學(xué)、麻省理工學(xué)院、伊利諾伊斯大學(xué)(UIUC)等，微軟、IBM、東芝、日立等公司也在手勢識別研究中做了很多努力。國內(nèi)的對該領(lǐng)域進(jìn)行研究單位主要集中在高校和中科院自動化研究所，現(xiàn)在對手勢識別的研究都還處于算法研究方面，大部分的實(shí)現(xiàn)都是基于PC機(jī)平臺的，只有少數(shù)研究為提高速度而采用了硬件加速的方法。
[0005]綜上所述，無論是人臉還是手勢，其識別效果目前尚不理想。研究發(fā)現(xiàn)單一生物特征(例如人臉、手形、指紋等)所含信息有限，是無法滿足人們多樣化需求(自然、方便、安全等)的主要原因之一。文獻(xiàn)[5]揭示了通常使用的手形和人臉?biāo)男畔?nèi)容分別只有IO5和IO3數(shù)量級，所以基于單一人臉或手形識別技術(shù)的系統(tǒng)不可能滿足人們?nèi)粘Ｉ畹亩鄻踊枨?。另外，盡管指紋和虹膜擁有大量的信息內(nèi)容，但是已有的指紋認(rèn)證系統(tǒng)對于低質(zhì)量的指紋圖像的識別率也不樂觀。因此，對于某些關(guān)鍵應(yīng)用，單一生物特征識別系統(tǒng)都很難滿足人們需求。
[0006]因此，隨著智能終端及系統(tǒng)的迅速普及，為滿足人們越來越多的需求，研究多模態(tài)生物識別融合技術(shù)(例如人臉+手勢、人臉+聲音、人臉+指紋等)，并將其應(yīng)用到智能終端及系統(tǒng)的人機(jī)交互中成為當(dāng)前研究的熱點(diǎn)。

【發(fā)明內(nèi)容】

[0007]本發(fā)明針對以上問題的提出，而研制一種融合人臉和手勢的智能終端人機(jī)交互方法。
[0008]本發(fā)明采取的技術(shù)方案如下:
[0009]第一步:根據(jù)智能終端攝像頭采集到的人臉圖像，采用灰度投影方法快速定位人眼瞳孔位置，并利用瞳孔距離對人臉圖像進(jìn)行歸一化處理；
[0010]第二步:對歸一化處理得到的人臉圖像，利用灰度投影法計算面部主要特征的中心坐標(biāo)，并根據(jù)中心坐標(biāo)劃分13個人臉面部感興趣區(qū)域(R0I)，所述面部主要特征包括眼睛、鼻子、嘴、耳朵的特征；
[0011]第三步:根據(jù)智能終端攝像頭采集到的手勢圖像進(jìn)行手部膚色和背景建模，利用膚色分割和背景減除方法進(jìn)行手勢檢測；
[0012]第四步:對第三步檢測到的手勢圖像，利用梯度方向直方圖方法描述其特征，同時結(jié)合主元分析方法(PCA)構(gòu)建其特征子空間，然后采用在線機(jī)器學(xué)習(xí)方法將第三步檢測到的手勢圖像分成M類，在本發(fā)明中，我們將M設(shè)定為10*2類，這樣為了區(qū)分左右手；
[0013]第五步:根據(jù)第二步定義的13個人臉面部感興趣區(qū)域(R0I)，結(jié)合第四步手勢識別分類結(jié)果共M類，可定義13*M類人臉-手勢基本模式；結(jié)合用戶眼睛連續(xù)閉合次數(shù)，可定義13*M*N類人臉-手勢擴(kuò)展模式，N為眼睛連續(xù)閉合次數(shù)；
[0014]第六步:根據(jù)第五步定義的人臉-手勢基本模式或擴(kuò)展模式，可由用戶自定義不同的人機(jī)交互操作。
[0015]所述第五步所述定義13*M類人臉-手勢基本模式，結(jié)合用戶眼睛連續(xù)閉合次數(shù)，可定義13*M*N類人臉-手勢擴(kuò)展模式，N為用戶眼睛連續(xù)閉合次數(shù)。
[0016]所述第六步所述的可由用戶自定義不同的人機(jī)交互操作包括打開、關(guān)閉、保存、刪除、退出、最小化、最大化、返回上級菜單、返回桌面、鎖屏。
[0017]所述13個人臉面部感興趣區(qū)域(ROI)的實(shí)現(xiàn)方法如下:首先利用灰度投影法快速定位人眼瞳孔位置，根據(jù)瞳孔距離縮放和切割所有的人臉圖像，使所有圖像之間的瞳孔位置和面部輪廓大小基本一致；接著再次利用灰度投影法定位面部特征器官的中心坐標(biāo)，面部特征器官包括眼睛、鼻子、嘴、耳；然后根據(jù)中心坐標(biāo)劃分對應(yīng)的感興趣區(qū)域。
[0018]同現(xiàn)有技術(shù)相比本發(fā)明的優(yōu)點(diǎn)是顯而易見的，具體為:
[0019]1.本發(fā)明提出了一種融合人臉和手勢的智能終端人機(jī)交互方法。該方法綜合采用人臉、手勢等視覺識別先進(jìn)技術(shù)，充分利用智能終端本身外設(shè)接口，不需要附加其他數(shù)據(jù)采集及數(shù)據(jù)處理裝置。
[0020]2.本發(fā)明定義了應(yīng)用于人機(jī)交互的人臉面部感興趣區(qū)域(ROI)。
[0021]3.本發(fā)明根據(jù)定義的人臉面部感興趣區(qū)域(R0I)，結(jié)合手勢識別分類結(jié)果(共M類)，定義了 13*M類人臉-手勢基本模式。結(jié)合用戶眼睛連續(xù)閉合次數(shù)(例如N次)，可定義13*M*N類人臉-手勢擴(kuò)展模式。
[0022]4.本發(fā)明根據(jù)定義的人臉-手勢基本模式或擴(kuò)展模式，由用戶自定義不同的人機(jī)交互操作，例如打開、關(guān)閉、保存、刪除、退出、最小化、最大化、返回上級菜單、返回桌面、鎖屏等操作。
【專利附圖】

【附圖說明】
[0023]圖1為本發(fā)明所述方法的流程圖。
[0024]圖2為本發(fā)明定乂的人臉面部感興趣區(qū)域。
[0025]圖3為本發(fā)明采用的部分手勢類型。
[0026]圖4為本發(fā)明定義的部分人臉-手勢基本模式。
【具體實(shí)施方式】
[0027]下面結(jié)合附圖對本發(fā)明做進(jìn)一步說明:
[0028]如圖1所示:本發(fā)明提出的融合人臉和手勢的智能終端人機(jī)交互方法的其基本思想是:首先利用智能終端的攝像頭設(shè)備同時采集人臉和手勢圖像，接著對檢測到人臉利用灰度投影法計算面部主要特征(如眼睛、鼻子、嘴、耳朵等)的中心坐標(biāo)，并根據(jù)中心坐標(biāo)劃分13個人臉面部感興趣區(qū)域(ROI);同時對檢測到手勢利用梯度方向直方圖方法描述其特征，同時結(jié)合主元分析方法(PCA)構(gòu)建其特征子空間，然后采用在線機(jī)器學(xué)習(xí)方法檢測到的手勢圖像分類；然后融合人臉面部感興趣區(qū)域與手勢模式，分別得到人臉-手勢基本模型和人臉-手勢擴(kuò)展模型；最后利用人臉-手勢基本模式或擴(kuò)展模式，實(shí)現(xiàn)由用戶自定義不同的人機(jī)交互操作，例如打開、關(guān)閉、保存、刪除、退出、最小化、最大化、返回上級菜單、返回桌面、鎖屏等操作。
[0029]本發(fā)明提到的13個人臉面部感興趣區(qū)域(ROI)如圖2所示:首先利用灰度投影法快速定位人眼瞳孔位置，根據(jù)瞳孔距離縮放和切割所有的人臉圖像，使所有圖像之間的瞳孔位置和面部輪廓大小基本一致；接著再次利用灰度投影法定位面部特征器官(如眼睛、鼻子、嘴、耳朵等)的中心坐標(biāo)，然后根據(jù)中心坐標(biāo)劃分對應(yīng)的感興趣區(qū)域；本發(fā)明采用灰度投影法定位及提取面部特征器官，其原理是:對于任意的正面人臉圖像，器官在面部的分布位置是滿足一定的統(tǒng)計規(guī)律的。從前額上部到下顎底部，將人臉從上至下分為五部分，額頭基本位于五分之一處，眼睛基本位于五分之二處，鼻子位于五分之三處，嘴巴位于下五分之二處，同時鼻子和嘴的中心還位于人臉的垂直中線上，下巴位于下五分之一處。根據(jù)此統(tǒng)計規(guī)律可以確定各面部特征器官在人臉圖像的大致位置。具體實(shí)現(xiàn)方法的特征是:首先根據(jù)器官在面部的大致位置設(shè)定目標(biāo)區(qū)域，一般為矩形窗，然后計算窗內(nèi)圖像在水平和垂直方向的灰度投影曲線，各曲線上的波谷即對應(yīng)特征器官的中心點(diǎn)，如眉毛的位置，眼睛瞳孔位置，嘴唇的中心等。然后根據(jù)得到的特征器官中心坐標(biāo)，分割感興趣區(qū)域。如圖2所示，201為左側(cè)額頭感興趣區(qū)域、202為右側(cè)額頭感興趣區(qū)域、203為左眼感興趣區(qū)域、204為右眼感興趣區(qū)域、205為左側(cè)臉頰感興趣區(qū)域、206為右側(cè)臉頰感興趣區(qū)域、207為左耳感興趣區(qū)域、208為右耳感興趣區(qū)域、209為左側(cè)嘴角感興趣區(qū)域、210為右側(cè)嘴角感興趣區(qū)域、211為嘴唇感興趣區(qū)域、212為下巴感興趣區(qū)域、213為鼻子感興趣區(qū)域。
[0030]本發(fā)明所采用的部分手勢如圖3所示，有助于審查員了解技術(shù)效果。根據(jù)本發(fā)明所定義的人臉面部感興趣區(qū)域(如圖2所示)，結(jié)合手勢識別分類結(jié)果(如圖3所示)，可組合定義得到13*Μ (Μ為手勢識別分類結(jié)果)類人臉-手勢基本模式。
[0031]圖4為本發(fā)明組合定義的部分人臉-手勢基本模式。，有助于審查員了解技術(shù)效果。例如，301為手勢8與211感興趣區(qū)域組合得到一種人臉-手勢基本模式；303為手勢6與213感興趣區(qū)域組合得到一種人臉-手勢基本模式；305為手勢8與212感興趣區(qū)域組合得到一種人臉-手勢基本模式；307為手勢8與208感興趣區(qū)域組合得到一種人臉-手勢基本模式；310為手勢8與202感興趣區(qū)域的組合得到一種人臉-手勢基本模式；321為手勢I與206感興趣區(qū)域組合得到一種人臉-手勢基本模式；322為手勢I與213感興趣區(qū)域組合得到一種人臉-手勢基本模式；323為手勢I與211感興趣區(qū)域組合得到一種人臉-手勢基本模式；324為手勢I與212感興趣區(qū)域組合得到一種人臉-手勢基本模式。
[0032]以上所述，僅為本發(fā)明較佳的【具體實(shí)施方式】，但本發(fā)明的保護(hù)范圍并不局限于此，任何熟悉本【技術(shù)領(lǐng)域】的技術(shù)人員在本發(fā)明揭露的技術(shù)范圍內(nèi)，根據(jù)本發(fā)明的技術(shù)方案及其發(fā)明構(gòu)思加以等同替換或改變，都應(yīng)涵蓋在本發(fā)明的保護(hù)范圍之內(nèi)。
【權(quán)利要求】
1.一種融合人臉和手勢的智能終端人機(jī)交互方法，其特征在于: 第一步:根據(jù)智能終端攝像頭采集到的人臉圖像，采用灰度投影方法快速定位人眼瞳孔位置，并利用瞳孔距離對人臉圖像進(jìn)行歸一化處理； 第二步:對歸一化處理得到的人臉圖像，利用灰度投影法計算面部主要特征的中心坐標(biāo)，并根據(jù)中心坐標(biāo)劃分13個人臉面部感興趣區(qū)域，所述面部主要特征包括眼睛、鼻子、嘴、耳朵的特征； 第三步:根據(jù)智能終端攝像頭采集到的手勢圖像進(jìn)行手部膚色和背景建模，利用膚色分割和背景減除方法進(jìn)行手勢檢測； 第四步:對第三步檢測到的手勢圖像，利用梯度方向直方圖方法描述其特征，同時結(jié)合主元分析方法構(gòu)建其特征子空間，然后采用在線機(jī)器學(xué)習(xí)方法將第三步檢測到的手勢圖像分成M類，M設(shè)定為10*2類，10*2類區(qū)分左右手； 第五步:根據(jù)第二步定義的13個人臉面部感興趣區(qū)域，結(jié)合第四步手勢識別分類結(jié)果共M類，可定義13*M類人臉-手勢基本模式；結(jié)合用戶眼睛連續(xù)閉合次數(shù)，可定義13*M*N類人臉-手勢擴(kuò)展模式，N為眼睛連續(xù)閉合次數(shù)； 第六步:根據(jù)第五步定義的人臉-手勢基本模式或擴(kuò)展模式，可由用戶自定義不同的人機(jī)交互操作。
2.根據(jù)權(quán)利要求1所述的一種融合人臉和手勢的智能終端人機(jī)交互方法，其特征在于:第五步所述定義13*M類人臉-手勢基本模式，結(jié)合用戶眼睛連續(xù)閉合次數(shù)，可定義13*M*N類人臉-手勢擴(kuò)展模式，N為用戶眼睛連續(xù)閉合次數(shù)。
3.根據(jù)權(quán)利要求1所述的一種融合人臉和手勢的智能終端人機(jī)交互方法，其特征在于:第六步所述的可由用戶自定義不同的人機(jī)交互操作包括打開、關(guān)閉、保存、刪除、退出、最小化、最大化、返回上級菜單、返回桌面、鎖屏。
4.根據(jù)權(quán)利要求1所述的一種融合人臉和手勢的智能終端人機(jī)交互方法，其特征在于:13個人臉面部感興趣區(qū)域的實(shí)現(xiàn)方法如下:首先利用灰度投影法快速定位人眼瞳孔位置，根據(jù)瞳孔距離縮放和切割所有的人臉圖像，使所有圖像之間的瞳孔位置和面部輪廓大小基本一致；接著再次利用灰度投影法定位面部特征器官的中心坐標(biāo)，面部特征器官包括眼睛、鼻子、嘴、耳；然后根據(jù)中心坐標(biāo)劃分對應(yīng)的感興趣區(qū)域。
【文檔編號】G06K9/00GK103488299SQ201310482654
【公開日】2014年1月1日 申請日期:2013年10月15日 優(yōu)先權(quán)日:2013年10月15日
【發(fā)明者】戚金清, 張遠(yuǎn)燚, 吳國強(qiáng), 張建偉, 李景虎, 沙建軍, 張華翰 申請人:大連市恒芯科技有限公司