一種基于移動終端的非接觸式交互方法
【專利摘要】一種基于移動終端的非接觸式交互方法，它涉及人機(jī)交互【技術(shù)領(lǐng)域】，它的交互方法包括以下步驟：(一)、利用移動終端自帶的第一圖像采集設(shè)備，采集包含人手的圖像；(二)、對采集的圖像進(jìn)行分析，劃分人手所在的感興趣區(qū)域；(三)、對人手所在區(qū)域進(jìn)行進(jìn)一步分類，劃分出人手關(guān)鍵部位；(四)、利用人手生理約束，對劃分的部位進(jìn)行補(bǔ)充與修正；(五)、建立人手各個部分的運動軌跡，將運動軌跡與應(yīng)用領(lǐng)域所設(shè)置的手勢進(jìn)行對比，進(jìn)行交互模式判別，并發(fā)出對應(yīng)控制命令；它通過對人手的圖像采集實現(xiàn)交互功能，并且實現(xiàn)對手勢運動的跟蹤，具有不局限于移動終端屏幕、靈活性強(qiáng)、支持多種手勢的特點。
【專利說明】
一種基于移動終端的非接觸式交互方法

【技術(shù)領(lǐng)域】
:
[0001]本發(fā)明涉及人機(jī)交互【技術(shù)領(lǐng)域】，具體涉及一種基于移動終端的非接觸式交互方法。

【背景技術(shù)】
:
[0002]現(xiàn)行的移動終端的人機(jī)交互方式，主要是通過鍵盤與觸摸屏。移動終端的面積與體積有限，無論是鍵盤還是觸摸屏交互，都有所不便，容易出現(xiàn)誤操作。
[0003]新型的人機(jī)交互方式有基于傳感器的體感交互、基于動作圖像識別的交互、基于肌肉計算的交互等。以上的各種交互方式能夠彌補(bǔ)以前存在的不足，但在應(yīng)用于移動終端上時，也有其各自的新問題與缺點。
[0004]基于傳感器的體感人機(jī)交互方式，利用加速度傳感器、重力傳感器、陀螺儀等裝置，感知其運動進(jìn)行交互。重力傳感器目前已經(jīng)用于手機(jī)等終端內(nèi)，但只能感知到手機(jī)本身的運動，而不是使用者的運動，應(yīng)用范圍很有限；如要感知使用者的運動，需要額外配置容納傳感器的遙控器，這在移動終端交互中是很不自然的，一定程度上破壞了移動終端的便攜性。
[0005]基于動作圖像識別的交互方式，利用特殊的可以采集景深信息的攝像頭，拍攝使用者的動作，通過對圖像的處理，重構(gòu)出使用者的運動信息進(jìn)行交互。該交互方式的缺點是景深攝像頭比較昂貴，而且景深攝像頭不能采集太近的距離，用于移動終端的交互不方便。
[0006]基于肌肉計算的交互方式，通過采集人體肌肉的肌電信號來判斷人體的動作，從而進(jìn)行交互。這種交互方式目前還不太成熟，設(shè)備不便攜帶。
[0007]因此，基于移動終端，需要一種新型的交互方法。
[0008]專利申請CN201110043418.7公開了一種移動終端的人機(jī)交互方法，使用移動終端內(nèi)部的傳感器與電動機(jī)，利用終端的主動旋轉(zhuǎn)發(fā)出信號，被動旋轉(zhuǎn)接受信號。該發(fā)明的主要局限是所能表達(dá)的信息種類十分有限。
[0009]專利申請CN201210056083.7公開了一種移動終端的非接觸式控制裝置與方法。該方法采集終端前方的視頻圖像并提取人手輪廓，但只能根據(jù)人手的運動方向發(fā)出命令，精細(xì)度不高。
[0010]專利申請CN201210520849.2公開了一種移動電子設(shè)備手勢控制交互方法，該發(fā)明的創(chuàng)新在于動態(tài)調(diào)整感知動作的頻率，節(jié)約移動終端的功耗。該發(fā)明使用的是加速度傳感器，感應(yīng)終端的運動。


【發(fā)明內(nèi)容】

:
[0011]本發(fā)明的目的是提供一種基于移動終端的非接觸式交互方法，它通過對人手的圖像采集實現(xiàn)交互功能，并且實現(xiàn)對手勢運動的跟蹤，具有不局限于移動終端屏幕、靈活性強(qiáng)、支持多種手勢的特點。
[0012]為了解決【背景技術(shù)】所存在的問題，本發(fā)明是采用如下技術(shù)方案:它的交互方法包括以下步驟:
[0013](一)、利用移動終端自帶的第一圖像采集設(shè)備，采集包含人手的圖像；
[0014]( 二)、對采集的圖像進(jìn)行分析，劃分人手所在的感興趣區(qū)域；
[0015](三)、對人手所在區(qū)域進(jìn)行進(jìn)一步分類，劃分出人手關(guān)鍵部位；
[0016](四)、利用人手生理約束，對劃分的部位進(jìn)行補(bǔ)充與修正；
[0017](五)、建立人手各個部分的運動軌跡，將運動軌跡與應(yīng)用領(lǐng)域所設(shè)置的手勢進(jìn)行對比，進(jìn)行交互模式判別，并發(fā)出對應(yīng)控制命令。
[0018]所述的一種基于移動終端的非接觸式交互方法還可包括:第二圖像采集設(shè)備與第一圖像采集設(shè)備參數(shù)相同，并列放置，同步采集包含人手的圖像；對采集的圖像進(jìn)行匹配與深度恢復(fù)，得到參考深度圖像。
[0019]所述的劃分人手所在的感興趣區(qū)域包括:
[0020](i)、將采集的圖像轉(zhuǎn)換到HSV彩色空間；
[0021](ii)、利用人膚色特征，初步劃分人手區(qū)域；
[0022](iii)、對劃分結(jié)果進(jìn)行去噪，去除小區(qū)域噪聲影響。
[0023]所述的劃分人體部位包括以下步驟:
[0024](I)、預(yù)先收集人工標(biāo)注的人手彩色圖像，并進(jìn)行位置預(yù)校正；
[0025](II)、對人手各個部位的每個像素，提取8個方向的梯度值以及不同步長下的差分值，作為候選特征；
[0026](III)、使用隨機(jī)決策樹分類器模型、交叉驗證法以及ID4.5訓(xùn)練算法，離線訓(xùn)練人手關(guān)鍵部位的分類器；
[0027]( IV )、在移動終端應(yīng)用該分類器，對人手關(guān)鍵部位進(jìn)行分類。
[0028]所述的對劃分部位進(jìn)行補(bǔ)充與修正包括以下步驟:
[0029]①、在分類步驟的結(jié)果中，標(biāo)出像素過少以及缺失的部位；
[0030]②、在前面一定時間內(nèi)的圖像中，查找對應(yīng)部位位置；
[0031]③、如果查找到足夠的位置信息，使用軌跡擬合，得到本幀初步預(yù)測的缺失部位信息；
[0032]④、根據(jù)人手指指節(jié)剛體約束，除拇指外四指的共面約束，手指關(guān)節(jié)的彎曲角度約束，優(yōu)先級從高到低，對上一步預(yù)測的部位信息做修正；如沒有足夠的預(yù)測信息，根據(jù)這些約束推斷缺失部位的位置。
[0033]所述的劃分人體部位包括以下步驟:
[0034](I)、預(yù)先收集人工標(biāo)注的人手的彩色圖像與深度圖像組合，并進(jìn)行位置預(yù)校正；
[0035](2)、對人手各個部位的每個像素，在圖像組中分別提取8個方向的梯度值以及不同步長下的差分值，作為候選特征；
[0036](3)、使用隨機(jī)決策樹分類器模型、交叉驗證法以及ID4.5訓(xùn)練算法，離線訓(xùn)練人手關(guān)鍵部位的分類器。
[0037](4)、在移動終端應(yīng)用該分類器，對人手關(guān)鍵部位進(jìn)行分類。
[0038]本發(fā)明具有如下有益效果:通過對人手的圖像采集實現(xiàn)交互功能，并且實現(xiàn)對手勢運動的跟蹤，具有不局限于移動終端屏幕、靈活性強(qiáng)、支持多種手勢的特點?！緦＠綀D】

【附圖說明】:
[0039]圖1為本【具體實施方式】中的互交方法的流程圖；
[0040]圖2為本【具體實施方式】中的另一種互交方法的流程圖。

【具體實施方式】
:
[0041]參看圖1-圖2，本【具體實施方式】采用如下技術(shù)方案:它的交互方法包括以下步驟:
[0042](一)、利用移動終端自帶的第一圖像采集設(shè)備，采集包含人手的圖像；
[0043]( 二)、對采集的圖像進(jìn)行分析，劃分人手所在的感興趣區(qū)域；
[0044](三)、對人手所在區(qū)域進(jìn)行進(jìn)一步分類，劃分出人手關(guān)鍵部位；
[0045](四)、利用人手生理約束，對劃分的部位進(jìn)行補(bǔ)充與修正；
[0046](五)、建立人手各個部分的運動軌跡，將運動軌跡與應(yīng)用領(lǐng)域所設(shè)置的手勢進(jìn)行對比，進(jìn)行交互模式判別，并發(fā)出對應(yīng)控制命令。
[0047]所述的一種基于移動終端的非接觸式交互方法還可包括:第二圖像采集設(shè)備與第一圖像采集設(shè)備參數(shù)相同，并列放置，同步采集包含人手的圖像；對采集的圖像進(jìn)行匹配與深度恢復(fù)，得到參考深度圖像。
[0048]如圖1，所示，本【具體實施方式】的具體操作流程如下:
[0049]圖像采集設(shè)備101采集包含人手的圖像；
[0050]現(xiàn)有的主流移動終端所配備的圖像采集設(shè)備，普遍具有近距離對焦功能，可以得到較為清晰的圖像。
[0051]在步驟102中，對采集的圖像進(jìn)行目標(biāo)分割，得到包含人手的感興趣區(qū)域范圍。該步驟首先將所采集的圖像轉(zhuǎn)換到HSV空間，HSV空間采用將亮度和色調(diào)分離的存儲方式，受外界光照影響較小。同時，轉(zhuǎn)換到HSV空間后，人體膚色的范圍更為集中，可以基于膚色與連通性進(jìn)行目標(biāo)分割。
[0052]在步驟103中，對分割的結(jié)果進(jìn)行去噪聲操作。去掉過小的噪聲區(qū)域。
[0053]在步驟104中，對人手所在區(qū)域像素進(jìn)行分類，劃分出人手的各個關(guān)鍵部位。所述分類器采用隨機(jī)決策樹方式，由預(yù)先標(biāo)注的人手圖像150通過步驟151進(jìn)行離線訓(xùn)練。
[0054]如分類結(jié)果中存在缺失部位，在步驟111中，讀取之前存儲的一段時間內(nèi)的圖像，判斷是否存在對應(yīng)部位。在步驟112中，通過軌跡擬合，初步預(yù)測缺失部位的位置。
[0055]在步驟105中，基于人手的生理約束，對人手指部位進(jìn)行修正。
[0056]在步驟106中，將人手指部位的信息，與應(yīng)用程序預(yù)先定義的手勢161進(jìn)行比較，識別手勢；
[0057]在步驟107中，執(zhí)行對應(yīng)控制命令。
[0058]附圖2示出本【具體實施方式】的另一實施例，該移動終端的非接觸式交互方法還可以包括兩個圖像采集設(shè)備與深度恢復(fù)模塊。
[0059]第一圖像采集設(shè)備201與第二圖像采集設(shè)備202的光學(xué)參數(shù)相同，在驅(qū)動裝置200作用下，同步采集包含人手的圖像；
[0060]在步驟203中，對采集的圖像進(jìn)行目標(biāo)分割，得到包含人手的感興趣區(qū)域，與圖1的步驟102原理相同；
[0061]在步驟204中，對分割的結(jié)果進(jìn)行去噪聲操作。去掉過小的噪聲區(qū)域。
[0062]在步驟205中，在兩幅圖像的感興趣區(qū)域內(nèi)查找匹配特征點，并進(jìn)行深度信息恢復(fù)，得到圖像匹配結(jié)果與參考深度圖像；
[0063]在步驟206中，同時使用彩色圖像與深度圖像，對人手所在區(qū)域像素進(jìn)行分類，劃分出人手各個關(guān)鍵部位。所述分類器采用隨機(jī)決策樹方式，由預(yù)先標(biāo)注的人手圖像250通過步驟251進(jìn)行離線訓(xùn)練。
[0064]圖2中的其它為提及步驟與圖1的對應(yīng)步驟相同。
[0065]以上所述僅為本發(fā)明的較佳實施例而已，并不用以限制本發(fā)明，凡在本發(fā)明的精神和原則之內(nèi)，所作的任何修改、等同替換、改進(jìn)等，均應(yīng)包含在本發(fā)明的保護(hù)范圍之內(nèi)。
【權(quán)利要求】
1.一種基于移動終端的非接觸式交互方法，其特征在于它的交互方法包括以下步驟: (一)、利用移動終端自帶的第一圖像采集設(shè)備，采集包含人手的圖像； (二)、對采集的圖像進(jìn)行分析，劃分人手所在的感興趣區(qū)域； (三)、對人手所在區(qū)域進(jìn)行進(jìn)一步分類，劃分出人手關(guān)鍵部位； (四)、利用人手生理約束，對劃分的部位進(jìn)行補(bǔ)充與修正； (五)、建立人手各個部分的運動軌跡，將運動軌跡與應(yīng)用領(lǐng)域所設(shè)置的手勢進(jìn)行對t匕，進(jìn)行交互模式判別，并發(fā)出對應(yīng)控制命令。
2.根據(jù)權(quán)利要求1所述的一種基于移動終端的非接觸式交互方法，其特征在于所述的一種基于移動終端的非接觸式交互方法還可包括:第二圖像采集設(shè)備與第一圖像采集設(shè)備參數(shù)相同，并列放置，同步采集包含人手的圖像；對采集的圖像進(jìn)行匹配與深度恢復(fù)，得到參考深度圖像。
3.根據(jù)權(quán)利要求1所述的一種基于移動終端的非接觸式交互方法，其特征在于所述的劃分人手所在的感興趣區(qū)域包括: (i)、將采集的圖像轉(zhuǎn)換到HSV彩色空間； (?)、利用人膚色特征，初步劃分人手區(qū)域； (iii)、對劃分結(jié)果進(jìn)行去噪，去除小區(qū)域噪聲影響。
4.根據(jù)權(quán)利要求1所述的一種基于移動終端的非接觸式交互方法，其特征在于所述的劃分人體部位包括以下步驟: (I)、預(yù)先收集人工標(biāo)注的人手彩色圖像，并進(jìn)行位置預(yù)校正； (II)、對人手各個部位的每個像素，提取8個方向的梯度值以及不同步長下的差分值，作為候選特征； (III)、使用隨機(jī)決策樹分類器模型、交叉驗證法以及ID4.5訓(xùn)練算法，離線訓(xùn)練人手關(guān)鍵部位的分類器； (IV )、在移動終端應(yīng)用該分類器，對人手關(guān)鍵部位進(jìn)行分類。
5.根據(jù)權(quán)利要求1所述的一種基于移動終端的非接觸式交互方法，其特征在于所述的對劃分部位進(jìn)行補(bǔ)充與修正包括以下步驟: ①、在分類步驟的結(jié)果中，標(biāo)出像素過少以及缺失的部位； ②、在前面一定時間內(nèi)的圖像中，查找對應(yīng)部位位置； ③、如果查找到足夠的位置信息，使用軌跡擬合，得到本幀初步預(yù)測的缺失部位信息； ④、根據(jù)人手指指節(jié)剛體約束，除拇指外四指的共面約束，手指關(guān)節(jié)的彎曲角度約束，優(yōu)先級從高到低，對上一步預(yù)測的部位信息做修正；如沒有足夠的預(yù)測信息，根據(jù)這些約束推斷缺失部位的位置。
6.根據(jù)權(quán)利要求2所述的一種基于移動終端的非接觸式交互方法，其特征在于所述的劃分人體部位包括以下步驟: (1)、預(yù)先收集人工標(biāo)注的人手的彩色圖像與深度圖像組合，并進(jìn)行位置預(yù)校正； (2)、對人手各個部位的每個像素，在圖像組中分別提取8個方向的梯度值以及不同步長下的差分值，作為候選特征； (3)、使用隨機(jī)決策樹分類器模型、交叉驗證法以及ID4.5訓(xùn)練算法，離線訓(xùn)練人手關(guān)鍵部位的分類器。(4)、在移動終端應(yīng)用該分類器，對人手關(guān)鍵部位進(jìn)行分類。
【文檔編號】G06K9/00GK104375631SQ201310514379
【公開日】2015年2月25日 申請日期:2013年10月22日 優(yōu)先權(quán)日:2013年10月22日
【發(fā)明者】陳擁權(quán), 張羽, 李梁 申請人:安徽寰智信息科技股份有限公司