基于手勢交互中人體骨骼提取的自適應(yīng)界面生成方法
【專利摘要】本發(fā)明公開了一種基于手勢交互中人體骨骼提取的自適應(yīng)界面生成方法。使用者進入由紅外發(fā)射器和紅外接收器組成的深度傳感器視野時，傳感器內(nèi)置程序捕捉人體深度數(shù)據(jù)并依此提取人體多個關(guān)節(jié)點位置信息；選擇肩關(guān)節(jié)點為圓心，臂長為活動半徑劃定圓形區(qū)域作為手勢活動區(qū)域；并以肩關(guān)節(jié)點正上方圓形邊界線上點為0°角，選擇0°-150°扇形區(qū)域生成交互舒適區(qū)；最終將顯示界面上的交互控件集中顯示在扇形區(qū)域內(nèi)，生成自適應(yīng)的控件排布。本發(fā)明使使用者在手勢交互環(huán)境中從被動適應(yīng)顯示界面轉(zhuǎn)變?yōu)橛娠@示界面主動適應(yīng)用戶操作，即使界面上需要用戶操作的控件都自適應(yīng)分布在手勢操作的舒適區(qū)內(nèi)，方便觸及，且提高操作的正確率，增強用戶體驗。
【專利說明】基于手勢交互中人體骨骼提取的自適應(yīng)界面生成方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及一種自適應(yīng)用戶界面的生成方法，尤其涉及一種基于手勢交互中人體骨骼提取的自適應(yīng)界面生成方法。
【背景技術(shù)】
[0002]體感手勢交互已經(jīng)在越來越多的領(lǐng)域得到應(yīng)用，從沉浸式體感游戲到體感交互技術(shù)在視頻會議上的應(yīng)用，手勢作為一種更直觀、更自然地表達用戶操作意圖的方式被看作是人機交互的重要手段。但是不同于鼠標指針在顯示界面上的交互，手勢交互是將人手的移動軌跡映射到顯示界面上從而對界面控件進行操作的一種方式，因此這種方式受限于手臂的移動范圍，因此在手勢交互中，顯示界面上的邊緣角落都是操作的死角，而且很多區(qū)域?qū)τ谟脩羰謩輥碚f，都需要將手臂伸到不舒適的位置和角度，用戶體驗差。

【發(fā)明內(nèi)容】

[0003]為了克服上述現(xiàn)有技術(shù)的不足，本發(fā)明提供了一種基于手勢交互中人體骨骼提取的自適應(yīng)界面生成方法。
[0004]本發(fā)明所采用的技術(shù)方案是:
一種基于手勢交互中人體骨骼提取的自適應(yīng)界面生成方法，步驟如下:
步驟SOl:使用者進入深度傳感器視野，所述的深度傳感器包括紅外發(fā)射器和紅外接收器的組合，在手勢交互環(huán)境中，深度傳感器置于顯示屏幕正下方或正上方，面對使用者，通過紅外測距得到人體深度數(shù)據(jù)；
步驟S02:傳感器內(nèi)置程序通過步驟SOl中得到的人體深度數(shù)據(jù)提取人體20個關(guān)節(jié)點位置信息，包括人體肩關(guān)節(jié)點位置信息；
步驟S03:使用者通過揮動手臂來驅(qū)動屏幕上的映射點移動，深度傳感器通過步驟S02中獲得的關(guān)節(jié)點信息截取移動的手臂上的關(guān)節(jié)點信息，進而判斷參與交互的手臂相對人體的方位，最終判斷使用者是用左手交互還是右手交互；
步驟S04:依據(jù)步驟S03中的判斷，選擇相應(yīng)的肩關(guān)節(jié)點，并以該肩關(guān)節(jié)點為圓心，臂長為活動半徑劃定圓形區(qū)域作為手勢活動區(qū)域；以肩關(guān)節(jié)點正上方圓形邊界線上點為0°角，右手交互時順時針方向或左手交互時逆時針方向選擇0° - 150°扇形區(qū)域為交互舒適區(qū)；
步驟S05:依據(jù)步驟S04中劃分的交互舒適區(qū)，將顯示屏幕上的交互控件集中顯示在扇形區(qū)域內(nèi)，所述的操作控件集中顯示的扇形區(qū)域為自適應(yīng)界面；
步驟S06:根據(jù)設(shè)定的時間間隔，重新依據(jù)步驟SOl - S05生成交互舒適區(qū)和所述的自適應(yīng)界面。
[0005]所述的步驟S06，進一步設(shè)定肩關(guān)節(jié)點的位移參數(shù)，當所述的肩關(guān)節(jié)點位移超過設(shè)定的位移參數(shù)，執(zhí)行步驟SOl - S05。
[0006]所述的交互控件是用戶界面中需要使用者定位、選擇、點擊操作的元素，包括按鈕、復(fù)選框、輸入框。
[0007]所述的交互控件在扇形交互舒適區(qū)內(nèi)呈邏輯順序排列。
[0008]與現(xiàn)有技術(shù)相比，本發(fā)明的有益效果是使使用者在手勢交互環(huán)境中從被動適應(yīng)顯示界面轉(zhuǎn)變?yōu)橛娠@示界面主動適應(yīng)用戶操作，即使界面上需要用戶操作的控件都自適應(yīng)分布在手勢操作的舒適區(qū)內(nèi)，方便觸及，且提高操作的正確率，增強用戶體驗。
【專利附圖】

【附圖說明】
[0009]圖1為本發(fā)明一種基于手勢交互中人體骨骼提取的自適應(yīng)界面生成方法的流程圖；
圖2為本發(fā)明實現(xiàn)效果的結(jié)構(gòu)示意圖；
圖3為本發(fā)明操作效果示意圖。
【具體實施方式】
[0010]下面結(jié)合附圖對本發(fā)明進一步說明。
[0011]參照圖1，本申請?zhí)峁┑幕谑謩萁换ブ腥梭w骨骼提取的自適應(yīng)界面生成方法的實現(xiàn)流程圖，包括:
步驟SOl:使用者進入深度傳感器視野。此處的深度傳感器是指紅外發(fā)射器和紅外接收器的組合，如Microsoft Kinect。在手勢交互環(huán)境中，深度傳感器一般置于顯示屏幕正下方或正上方，面對使用者，通過紅外測距得到人體深度數(shù)據(jù)；
步驟S02:傳感器內(nèi)置程序通過步驟SOl中得到的人體深度數(shù)據(jù)提取人體多個關(guān)節(jié)點位置信息(一般為2 O個)，包括人體肩關(guān)節(jié)點位置信息；
步驟S03:使用者在交互中通過揮動手臂來驅(qū)動屏幕上的映射點移動。深度傳感器通過步驟S02中獲得的關(guān)節(jié)點信息截取移動的手臂上的關(guān)節(jié)點信息，進而判斷參與交互的手臂相對人體的方位，最終判斷使用者是用左手交互還是右手交互；
步驟S04:依據(jù)步驟S03中的判斷，選擇相應(yīng)的肩關(guān)節(jié)點，并以此為圓心，臂長為活動半徑劃定圓形區(qū)域作為手勢活動區(qū)域。以肩關(guān)節(jié)點(圓心)正上方圓形邊界線上點為0°角，順時針方向(右手交互)或逆時針方向(左手交互)選擇0° - 150°扇形區(qū)域為交互舒適區(qū)；步驟S05:依據(jù)步驟S04中劃分的扇形交互舒適區(qū)，將顯示界面上的操作控件集中顯示在扇形區(qū)域內(nèi)；
步驟S06:依據(jù)步驟S05中的實現(xiàn)方式，深度感應(yīng)器程序跟蹤關(guān)節(jié)點位置，在任意顯示界面中生成自適應(yīng)的空間排布。
[0012]參照圖2、圖3可以看出本發(fā)明的實現(xiàn)結(jié)構(gòu)和操作效果:一種基于手勢交互中人體骨骼提取的自適應(yīng)界面生成方法，包括顯示界面1，提取的關(guān)節(jié)點2，肩關(guān)節(jié)點4，扇形交互舒適區(qū)3，自適應(yīng)排列的交互控件5。所述的交互控件5位于扇形交互舒適區(qū)3內(nèi)部。
[0013]所述的扇形交互舒適區(qū)3是以提取的肩關(guān)節(jié)點4為圓心，并以手臂關(guān)節(jié)連線長度(臂長)為半徑，展開角度為150°的扇形區(qū)域。
[0014]所述的扇形交互舒適區(qū)3根據(jù)使用者不同手的交互而位于不同位置。當使用者使用左手交互時，扇形交互舒適區(qū)3位于使用者左側(cè)，以肩關(guān)節(jié)點(圓心)正上方圓形邊界線上點為0°角，相對使用者逆時針旋轉(zhuǎn)150°形成的扇形區(qū)域；當使用者使用右手交互時，扇形交互舒適區(qū)3位于使用者右側(cè)，以肩關(guān)節(jié)點(圓心)正上方圓形邊界線上點為0°角，相對使用者順時針旋轉(zhuǎn)150°形成的扇形區(qū)域。
[0015]所述的肩關(guān)節(jié)點4隨著使用者在交互過程中不斷地變換位置而移動位置信息；所述的扇形交互舒適區(qū)3隨之不斷改變。
[0016]所述的交互控件5是用戶界面中需要用戶定位、選擇、點擊等操作的元素，包括按鈕、復(fù)選框、輸入框以及其他一切可能出現(xiàn)在用戶界面上的交互對象。
[0017]所述的交互控件5自適應(yīng)顯示在扇形交互舒適區(qū)3內(nèi)部，并呈一定邏輯順序排列。
【權(quán)利要求】
1.一種基于手勢交互中人體骨骼提取的自適應(yīng)界面生成方法，其特征在于， 步驟如下: 步驟SOl:使用者進入深度傳感器視野，所述的深度傳感器包括紅外發(fā)射器和紅外接收器的組合，在手勢交互環(huán)境中，深度傳感器置于顯示屏幕正下方或正上方，面對使用者，深度傳感器通過紅外測距得到人體深度數(shù)據(jù)； 步驟S02:傳感器內(nèi)置程序通過步驟SOl中得到的人體深度數(shù)據(jù)提取人體多個關(guān)節(jié)點位置信息，包括人體肩關(guān)節(jié)點位置信息； 步驟S03:使用者通過揮動手臂來驅(qū)動屏幕上的映射點移動，深度傳感器通過步驟S02中獲得的關(guān)節(jié)點信息截取移動的手臂上的關(guān)節(jié)點信息，進而判斷參與交互的手臂相對人體的方位，最終判斷使用者是用左手交互還是右手交互； 步驟S04:依據(jù)步驟S03中的判斷，選擇相應(yīng)的肩關(guān)節(jié)點，并以該肩關(guān)節(jié)點為圓心，臂長為活動半徑劃定圓形區(qū)域作為手勢活動區(qū)域；以肩關(guān)節(jié)點正上方圓形邊界線上點為0°角，右手交互時順時針方向或左手交互時逆時針方向選擇0° - 150°扇形區(qū)域為交互舒適區(qū)； 步驟S05:依據(jù)步驟S04中劃分的交互舒適區(qū)，將顯示屏幕上的交互控件集中顯示在扇形區(qū)域內(nèi)，所述的操作控件集中顯示的扇形區(qū)域為自適應(yīng)界面； 步驟S06:根據(jù)設(shè)定的時間間隔，重新依據(jù)步驟SOl - S05生成交互舒適區(qū)和所述的自適應(yīng)界面。
2.根據(jù)權(quán)利要求1所述的自適應(yīng)界面生成方法，其特征在于，所述的步驟S06，進一步設(shè)定肩關(guān)節(jié)點的位移參數(shù)，當所述的肩關(guān)節(jié)點位移超過設(shè)定的位移參數(shù)，執(zhí)行步驟SOl -S05。
3.根據(jù)權(quán)利要求1所述的自適應(yīng)界面生成方法，其特征在于，所述的交互控件是用戶界面中需要使用者定位、選擇、點擊操作的元素，包括按鈕、復(fù)選框、輸入框。
4.根據(jù)權(quán)利要求3所述的自適應(yīng)界面生成方法，其特征在于，所述的交互控件在扇形交互舒適區(qū)內(nèi)呈邏輯順序排列。
【文檔編號】G06F3/0487GK103941857SQ201410062425
【公開日】2014年7月23日 申請日期:2014年2月22日 優(yōu)先權(quán)日:2014年2月22日
【發(fā)明者】彭韌, 樓小龍, 厲向東, 郝力濱, 廖宇晗, 江山永, 金小能, 程章, 高翔, 葉思巧 申請人:浙江大學