本發(fā)明提出了一種基于手勢控制非觸摸屏的人機(jī)交互系統(tǒng)及方法。本發(fā)明可以降低傳統(tǒng)人機(jī)交互的硬件成本，可應(yīng)用于智能城市、智能家庭、大型展覽設(shè)施控制、演講報(bào)告智能顯示以及電子娛樂等各種人機(jī)交互領(lǐng)域，可以提高人們、特別是老年人及殘疾人的生活質(zhì)量。

技術(shù)背景

隨著社會(huì)的快速發(fā)展，人們越來越傾向使用舒適、便捷、安全的方法來操作和控制機(jī)器。智能人機(jī)交互技術(shù)(human-computerinteraction，簡稱hci)在智能家居、娛樂設(shè)施、終端電子設(shè)備等領(lǐng)域已得到了廣泛的應(yīng)用；在智能手機(jī)、體感游戲設(shè)施、宣傳展示設(shè)備中，智能交互技術(shù)具有極其重要甚至決定性的地位；在醫(yī)療康復(fù)、智能家電領(lǐng)域，智能交互技術(shù)也得到了迅速普及和應(yīng)用。人機(jī)交互技術(shù)是豐富現(xiàn)代社會(huì)中的智能元素，滿足人民大眾的生活、娛樂需求，是建設(shè)智慧城市和智慧家庭的一個(gè)重要切入點(diǎn)。

本發(fā)明是利用手勢變化來操作智能機(jī)器，實(shí)現(xiàn)簡單快捷的人機(jī)交互。通過認(rèn)知不同的手勢，給予電腦和智能電視賦予不同的指令，建立一個(gè)基于手勢變化來控制電腦或電視的人機(jī)交互系統(tǒng)。本發(fā)明可以降低傳統(tǒng)人機(jī)交互的硬件成本，力求給用戶新鮮、方便的體驗(yàn)，可用于智能城市、智能家庭、大型展覽設(shè)施控制、演講報(bào)告智能顯示以及電子娛樂等各種人機(jī)交互領(lǐng)域。本發(fā)明不僅面向一般的用戶，更是面向一些身體不便的殘疾人或者沒有精力去學(xué)習(xí)和熟悉傳統(tǒng)指令用法的老年人，讓他們通過手勢這樣簡易便捷方法來實(shí)現(xiàn)對(duì)智能機(jī)器的操作，以提高他們的生活質(zhì)量，減少看護(hù)人員的人力成本，降低其家庭成員的負(fù)擔(dān)。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明的目的在于針對(duì)已有技術(shù)的不足，提供一種基于手勢控制非觸摸屏的人機(jī)交互系統(tǒng)和方法。利用高速照相機(jī)獲取手勢，并利用照相機(jī)前安置的偏振片，消除電腦或電視顯示屏幕上的偏振光，實(shí)現(xiàn)手勢的正確識(shí)別，從而操作電腦和智能電視。

為達(dá)到上述發(fā)明目的，本發(fā)明采用下述技術(shù)方案：

一種基于手勢控制非觸摸屏的人機(jī)交互系統(tǒng)，包括一臺(tái)主控制器和一塊顯示屏；所述顯示屏垂直放置；在顯示屏的斜上方安置一個(gè)高速照相機(jī)對(duì)著顯示屏；在照相機(jī)前設(shè)置一個(gè)偏振片；通過調(diào)整偏振片的旋轉(zhuǎn)角度來消除顯示屏上的偏振光；顯示器和高速照相機(jī)連接到主控制器；顯示屏可進(jìn)行三維空間旋轉(zhuǎn)，照相機(jī)也相應(yīng)的改變拍攝位置和角度。

一種基于手勢控制非觸摸屏的人機(jī)交互系統(tǒng)，包括一臺(tái)主控制器和一塊顯示屏；所述顯示屏水平放置在桌面上；在顯示屏正上方安置一個(gè)垂直于顯示屏的高速照相機(jī)；在照相機(jī)前設(shè)置一個(gè)偏振片；通過調(diào)整偏振片的旋轉(zhuǎn)角度來消除顯示屏上的偏振光；顯示屏和高速照相機(jī)連接到主控制器。

主控制器是對(duì)高速照相機(jī)獲取的圖片進(jìn)行分析、計(jì)算、并運(yùn)行相應(yīng)的算法，把結(jié)果輸出到顯示屏上。顯示屏是用來顯示主控制器運(yùn)行的人機(jī)交互的結(jié)果，按照不同需求，可以垂直放置或者水平放置，必要時(shí)也可以傾斜放置。高速照相機(jī)是用來獲取手勢的圖像，并把圖像傳輸給主控制器。偏振片放置在照相機(jī)前面，通過調(diào)整偏振片旋轉(zhuǎn)角度，使得偏振片能夠消除顯示屏上所發(fā)出的偏振光，利于提取人手在視頻中的形狀。

一種基于手勢控制非觸摸屏的人機(jī)交互方法，采用上述系統(tǒng)進(jìn)行操作，其特征在于操作步驟如下：

1.啟動(dòng)人機(jī)交互系統(tǒng)：

首先打開高速照相機(jī)開關(guān)和顯示屏開關(guān)，然后啟動(dòng)主控制器來控制高速照相機(jī)和顯示屏的運(yùn)作，通過偏振片濾去了顯示屏發(fā)射的光線。

2.在上述人機(jī)交互系統(tǒng)內(nèi)設(shè)定工作范圍：

本發(fā)明規(guī)定了顯示屏作為背景物，在拍攝圖像中只取顯示屏空間位置的范圍作為人機(jī)交互工作范圍，在此范圍之外的物體被忽略掉；因?yàn)閿z像設(shè)備和顯示屏的位置相對(duì)固定，因此在程序中一次設(shè)置就可以長時(shí)間使用。

3.在上述人機(jī)交互系統(tǒng)內(nèi)實(shí)現(xiàn)手勢識(shí)別：

本發(fā)明中的人機(jī)交互是基于手勢識(shí)別的，一般來說，任何手勢識(shí)別算法，如hu方法、svm方法、深度學(xué)習(xí)方法來識(shí)別手勢，都可以應(yīng)用到本發(fā)明中；本發(fā)明采用的手勢識(shí)別是基于形狀空間理論的方法，具體描述如下：

(3-1)獲得前景人體的圖像：

用戶把手放置在人機(jī)交互系統(tǒng)的工作范圍區(qū)，通過高速照相機(jī)獲取包含手的視頻圖像；通過調(diào)整放置在照相機(jī)前面的偏振片旋轉(zhuǎn)角度，去除顯示屏發(fā)出的光，獲得前景人體的圖像；

(3-2)獲得手部的形狀：

轉(zhuǎn)化圖像的顏色，從傳統(tǒng)的rgb格式轉(zhuǎn)化成hsv格式，可增大皮膚顏色和其它顏色的區(qū)別，從而提取出包含皮膚的人體信息，這些信息包含了手的圖像信息，利用高斯去噪方法和數(shù)學(xué)形態(tài)學(xué)方法去除部分噪音，保留手圖像中的正確信息；

(3-3)轉(zhuǎn)換包含手信息的視頻圖像為二值圖像；

(3-4)提取圖像中的手部外輪廓：

在圖像中物體包含內(nèi)輪廓和外輪廓，這里只提取外輪廓而消除內(nèi)輪廓；計(jì)算每個(gè)外輪廓的面積，如果其面積過小，其輪廓將被當(dāng)做噪音而被刪除，這樣整個(gè)圖像中保留了手部外輪廓；

(3-5)提取手掌中心點(diǎn)：

用戶的手部輪廓可能包含部分胳膊輪廓信息，會(huì)影響手勢的識(shí)別；由于所有形狀中心線上點(diǎn)到輪廓的最短距離中，手掌中心點(diǎn)到輪廓的最短距離是最長的，利用此性質(zhì)可找到手掌中心點(diǎn)；獲得手掌中心點(diǎn)公式如下：

p手部形狀內(nèi)部任意點(diǎn)，ps是手部外輪廓上的點(diǎn)，||p,ps||表示p和ps之間的歐幾里得距離；通過這個(gè)公式可得到手掌的中心點(diǎn)pc；

(3-6)提取手掌外輪廓：

手掌中心點(diǎn)到手部外輪廓的最短距離公式如下：

ds＝||pc-ps||，(2)

pc是由公式(1)計(jì)算得到的手掌中心點(diǎn)，ps是手部外輪廓上的點(diǎn)，ds是手掌中心點(diǎn)到手部外輪廓的最短距離；以此最短距離的二倍長度作為半徑，手掌中心點(diǎn)作為圓心，畫圓來分割手部形狀，可以切除掉手臂部分的形狀；一些時(shí)候，手指的部分形狀也被切除掉了；因?yàn)槭直鄣男螤钤诠ぷ鲄^(qū)一直延伸到工作區(qū)外，因此圓圈外沒有延伸到工作區(qū)外的形狀作為手指形狀，從而恢復(fù)手指形狀而獲得完整的手掌形狀；如果圓圈外所有連接形狀沒有延伸到工作區(qū)外，則利用圓圈外形狀面積來確定其是否是手掌一部分，公式如下：

其中，si是連接圓內(nèi)手形狀的圓圈外形狀面積，sc是圓面積，ζ是閾值，設(shè)定滿足(3)式的i形狀可確認(rèn)為手掌的一部分；

(3-7)提取手掌輪廓特征點(diǎn)：

以手掌和手臂兩個(gè)切割點(diǎn)中的一個(gè)點(diǎn)為起始特征點(diǎn)，另一個(gè)為終止特征點(diǎn)，從起始特征點(diǎn)開始，沿著輪廓線到終止特征點(diǎn)，等弧長取n個(gè)點(diǎn)，從終止特征點(diǎn)到起始特征點(diǎn)，反方向等弧長取m個(gè)點(diǎn)，輪廓線上的特征點(diǎn)一共是n+m+2；特征點(diǎn)越多，手勢識(shí)別越準(zhǔn)確；反之，特征點(diǎn)越少，速度越快；具體個(gè)數(shù)是由用戶來決定；

(3-8)獲取數(shù)據(jù)庫中的手掌輪廓特征點(diǎn)：

步驟(3-2)到(3-7)來處理數(shù)據(jù)庫中的手圖像，獲得數(shù)據(jù)庫手掌輪廓的特征點(diǎn)；如果數(shù)據(jù)庫中的手部圖像是已經(jīng)經(jīng)過了(3-2)到(3-6)步驟后的手掌外輪廓圖像，那么每次運(yùn)行系統(tǒng)只要根據(jù)提取輪廓線上的特征點(diǎn)個(gè)數(shù)要求而采用(3-7)步驟即可；

(3-9)利用形狀空間理論方法識(shí)別手勢：

通過一個(gè)形狀在不同位置、旋轉(zhuǎn)方向、不同尺度縮放所形成的多個(gè)新形狀，在形狀空間中都可以用一個(gè)點(diǎn)來表示，在利用形狀空間理論進(jìn)行手勢識(shí)別前，需要把手掌輪廓特征點(diǎn)投影到形狀空間中；兩個(gè)不同的形狀相似度，可以通過形狀空間中的procrustean距離來表示，在實(shí)數(shù)空間中，procrustean距離公式如下：

dp[o(τ1),o(τ2)]＝inf[cos^-1(＜x,y＞):x∈o(τ1),y∈o(τ2)]，(4)

其中，τ1和τ2分別是兩個(gè)需要比較相似度的手掌外輪廓特征點(diǎn)集；τ1和τ2作為兩個(gè)向量投影到超球中，此超球記為pre-形狀空間；o(τ1)和o(τ2)分別是τ1和τ2在pre-形狀空間中的大圓；＜x,y＞是x和y之間的內(nèi)積；

如果是復(fù)數(shù)空間，則procrustean距離公式如下：

其中，τ1j和τ2j分別是τ1和τ2的第j個(gè)復(fù)數(shù)坐標(biāo)；τ^*是τ的共軛復(fù)數(shù)；

通過公式(4)和(5)，計(jì)算數(shù)據(jù)庫中的每個(gè)標(biāo)準(zhǔn)手和觀察手的相似度，如果他們的距離滿足以下公式：

dp[o(τ1),o(τ2)]≤ξ,(6)

其中，ξ是標(biāo)準(zhǔn)手和觀察手相似度比較的閾值，根據(jù)輪廓點(diǎn)個(gè)數(shù)的不同，ξ可能取值不同，本專利設(shè)定ξ＝0.4；

滿足公式(6)的標(biāo)準(zhǔn)手輪廓可能有很多，在這些標(biāo)準(zhǔn)手輪廓中，和觀察手之間procrustean距離最短的標(biāo)準(zhǔn)手，作為觀察手的識(shí)別手型；

如果遍歷所有的標(biāo)準(zhǔn)手，都沒有識(shí)別出觀察手的手型來，那么，要通知用戶識(shí)別失敗，需要用戶調(diào)整手的姿勢；此外，通過這一步驟，可消除視頻中人臉的形狀。

4.根據(jù)軟件功能不同選擇不同的手勢來控制軟件：

根據(jù)軟件功能不同來選擇不同的手勢控制和操作該軟件，例如，用兩根手指來控制軟件窗口的移動(dòng)，利用兩個(gè)手的拇指和食指張開后移動(dòng)，來放大或縮小軟件窗口等。

5.關(guān)閉系統(tǒng)。

本發(fā)明與現(xiàn)有技術(shù)相比較，具有如下顯而易見的突出實(shí)質(zhì)性特點(diǎn)和顯著技術(shù)進(jìn)步：

本發(fā)明在高速照相機(jī)前安置一個(gè)偏振片，通過偏振片消除顯示屏上的偏振光，從而幫助識(shí)別手勢，進(jìn)而根據(jù)手勢變化來操作電腦和智能電視，實(shí)現(xiàn)人機(jī)交互。本發(fā)明成本低，適用于智能城市、智能家庭、大型展覽設(shè)施控制、演講報(bào)告智能顯示以及電子娛樂等各種人機(jī)交互領(lǐng)域，可以提高人們、特別是老年人及殘疾人的生活質(zhì)量。

附圖說明：

圖1是本發(fā)明中一種類型的人機(jī)交互系統(tǒng)的結(jié)構(gòu)示意圖：

一種基于手勢控制非觸摸屏的人機(jī)交互系統(tǒng)，包括一臺(tái)主控制器(1)和一塊顯示屏(2)，其特征在于：所述顯示屏(2)垂直放置；在顯示屏(2)的斜上方安置一個(gè)高速照相機(jī)(3)對(duì)著顯示屏(2)；在照相機(jī)(3)前設(shè)置一個(gè)偏振片(4)；通過調(diào)整偏振片(4)的旋轉(zhuǎn)角度來消除顯示屏(2)上的偏振光；顯示器(2)和高速照相機(jī)(3)連接到主控制器(1)；顯示屏(2)可進(jìn)行三維空間旋轉(zhuǎn)，照相機(jī)(3)也相應(yīng)的改變拍攝位置和角度。

圖2是本發(fā)明中一種類型的人機(jī)交互系統(tǒng)的結(jié)構(gòu)示意圖：

一種基于手勢控制非觸摸屏的人機(jī)交互系統(tǒng)，包括一臺(tái)主控制器(1)和一塊顯示屏(2)，其特征在于：所述顯示屏(2)水平放置在桌面上；在顯示屏(2)正上方安置一個(gè)垂直于顯示屏(2)的高速照相機(jī)(3)；在照相機(jī)(3)前設(shè)置一個(gè)偏振片(4)；通過調(diào)整偏振片(4)的旋轉(zhuǎn)角度來消除顯示屏(2)上的偏振光；顯示屏(2)和高速照相機(jī)(3)連接到主控制器(1)。

圖3是本發(fā)明人機(jī)交互的工作流程。

圖4是本發(fā)明中手勢識(shí)別的工作流程。

具體實(shí)施方式：

本發(fā)明的實(shí)施例結(jié)合附圖詳述如下：

實(shí)施例一：

參見圖1，本發(fā)明基于手勢控制非觸摸屏的人機(jī)交互系統(tǒng)，包括一臺(tái)主控制器(1)和一塊顯示屏(2)，其特征在于：所述顯示屏(2)垂直放置；在顯示屏(2)的斜上方安置一個(gè)高速照相機(jī)(3)對(duì)著顯示屏(2)；在照相機(jī)(3)前設(shè)置一個(gè)偏振片(4)；通過調(diào)整偏振片(4)的旋轉(zhuǎn)角度來消除顯示屏(2)上的偏振光；顯示器(2)和高速照相機(jī)(3)連接到主控制器(1)；顯示屏(2)可進(jìn)行三維空間旋轉(zhuǎn)，照相機(jī)(3)也相應(yīng)的改變拍攝位置和角度。

實(shí)施例二：

參見圖2，本發(fā)明基于手勢控制非觸摸屏的人機(jī)交互系統(tǒng)，包括一臺(tái)主控制器(1)和一塊顯示屏(2)，其特征在于：所述顯示屏(2)水平放置在桌面上；在顯示屏(2)正上方安置一個(gè)垂直于顯示屏(2)的高速照相機(jī)(3)；在照相機(jī)(3)前設(shè)置一個(gè)偏振片(4)；通過調(diào)整偏振片(4)的旋轉(zhuǎn)角度來消除顯示屏(2)上的偏振光；顯示屏(2)和高速照相機(jī)(3)連接到主控制器(1)。

實(shí)施例三：

參見圖1、圖2和圖3，本發(fā)明基于手勢控制非觸摸屏的人機(jī)交互方法，應(yīng)用圖1和圖2所述系統(tǒng)進(jìn)行操作，利用偏振片消除顯示屏上的光線，通過手勢的變化來控制軟件的運(yùn)行，其特征在于實(shí)施過程如下：

1.啟動(dòng)人機(jī)交互系統(tǒng)；

2.在人機(jī)交互系統(tǒng)內(nèi)設(shè)定工作范圍；

3.手勢識(shí)別；

4.根據(jù)軟件功能不同選擇不同的手勢來控制軟件；

5.關(guān)閉系統(tǒng)。

實(shí)施例四：

本實(shí)施例與實(shí)施例三基本相同，特別之處如下：

實(shí)施例三中所述步驟1啟動(dòng)人機(jī)交互系統(tǒng)：首先打開高速照相機(jī)開關(guān)和顯示屏開關(guān)，然后啟動(dòng)主控制器來控制高速照相機(jī)和顯示屏的運(yùn)作，通過偏振片濾去了顯示屏發(fā)射的光線。

實(shí)施例三中所述步驟2在人機(jī)交互系統(tǒng)內(nèi)設(shè)定工作范圍：規(guī)定顯示屏作為背景物，在拍攝圖像中只取顯示屏空間位置的范圍作為人機(jī)交互工作范圍，在此范圍之外的物體被忽略掉。

實(shí)施例五：

參見圖1、圖2和圖4，本發(fā)明基于手勢控制非觸摸屏的人機(jī)交互方法，應(yīng)用圖1和圖2所述系統(tǒng)進(jìn)行操作，利用偏振片消除顯示屏上的光線，基于手勢識(shí)別來控制軟件的運(yùn)行，手勢識(shí)別方法特征在于實(shí)施過程如下：

1.獲得前景人體的圖像；

2.獲得手部的形狀；

3.轉(zhuǎn)換包含手信息的視頻圖像為二值圖像；

4.提取圖像中的手部外輪廓；

5.提取手掌中心點(diǎn)；

6.提取手掌外輪廓；

7.提取手掌輪廓特征點(diǎn)；

8.獲取數(shù)據(jù)庫中的手掌輪廓特征點(diǎn)；

9.利用形狀空間理論方法識(shí)別手勢。

實(shí)施例六：

本實(shí)施例與實(shí)施例五基本相同，特別之處如下：

實(shí)施例五中所述步驟1獲得前景人體的圖像：用戶把手放置在人機(jī)交互系統(tǒng)的工作范圍區(qū)，通過高速照相機(jī)獲取包含手的視頻圖像；通過調(diào)整放置在照相機(jī)前面的偏振片旋轉(zhuǎn)角度，去除顯示屏發(fā)出的光，獲得前景人體的圖像。

實(shí)施例五中所述步驟2獲得手部的形狀：轉(zhuǎn)化圖像的顏色，從傳統(tǒng)的rgb格式轉(zhuǎn)化成hsv格式，可增大皮膚顏色和其它顏色的區(qū)別，從而提取出包含皮膚的人體信息，這些信息包含了手的圖像信息，利用高斯去噪方法和數(shù)學(xué)形態(tài)學(xué)方法去除部分噪音，保留手圖像中的正確信息。

實(shí)施例五中所述步驟3轉(zhuǎn)換包含手信息的視頻圖像為二值圖像。

實(shí)施例五中所述步驟4提取圖像中的手部外輪廓：在圖像中物體包含內(nèi)輪廓和外輪廓，這里只提取外輪廓而消除內(nèi)輪廓；計(jì)算每個(gè)外輪廓的面積，如果其面積過小，其輪廓將被當(dāng)做噪音而被刪除，這樣整個(gè)圖像中保留了手部外輪廓。

實(shí)施例五中所述步驟5提取手掌中心點(diǎn)：用戶的手部輪廓可能包含部分胳膊輪廓信息，會(huì)影響手勢的識(shí)別；由于所有形狀中心線上點(diǎn)到輪廓的最短距離中，手掌中心點(diǎn)到輪廓的最短距離是最長的，利用此性質(zhì)可找到手掌中心點(diǎn)；獲得手掌中心點(diǎn)公式如下：

p手部形狀內(nèi)部任意點(diǎn)，ps是手部外輪廓上的點(diǎn)，||p,ps||表示p和ps之間的歐幾里得距離；通過這個(gè)公式可以得到手掌的中心點(diǎn)pc；

實(shí)施例五中所述步驟6提取手掌外輪廓：手掌中心點(diǎn)到手部外輪廓的最短距離公式如下：

ds＝||pc-ps||，

pc是由公式(1)計(jì)算得到的手掌中心點(diǎn)，ps是手部外輪廓上的點(diǎn)，ds是手掌中心點(diǎn)到手部外輪廓的最短距離；以此最短距離的二倍長度作為半徑，手掌中心點(diǎn)作為圓心，畫圓來分割手部形狀，可以切除掉手臂部分的形狀；一些時(shí)候，手指的部分形狀也被切除掉了；因?yàn)槭直鄣男螤钤诠ぷ鲄^(qū)一直延伸到工作區(qū)外，因此圓圈外沒有延伸到工作區(qū)外的形狀作為手指形狀，從而恢復(fù)手指形狀而獲得完整的手掌形狀；如果圓圈外所有連接形狀沒有延伸到工作區(qū)外，則利用圓圈外形狀面積來確定其是否是手掌一部分，公式如下：

其中，si是連接圓內(nèi)手形狀的圓圈外形狀面積，sc是圓面積，ζ是閾值，設(shè)定滿足上式的i形狀可確認(rèn)為手掌的一部分。

實(shí)施例五中所述步驟7提取手掌輪廓特征點(diǎn)：以手掌和手臂兩個(gè)切割點(diǎn)中的一個(gè)點(diǎn)為起始特征點(diǎn)，另一個(gè)為終止特征點(diǎn)，從起始特征點(diǎn)開始，沿著輪廓線到終止特征點(diǎn)，等弧長取n個(gè)點(diǎn)，從終止特征點(diǎn)到起始特征點(diǎn)，反方向等弧長取m個(gè)點(diǎn)，輪廓線上的特征點(diǎn)一共是n+m+2；特征點(diǎn)越多，手勢識(shí)別越準(zhǔn)確；反之，特征點(diǎn)越少，速度越快；具體個(gè)數(shù)是由用戶來決定。

實(shí)施例五中所述步驟8獲取數(shù)據(jù)庫中的手掌輪廓特征點(diǎn)：步驟2到7來處理數(shù)據(jù)庫中的手圖像，獲得數(shù)據(jù)庫手掌輪廓的特征點(diǎn)；如果數(shù)據(jù)庫中的手部圖像是已經(jīng)經(jīng)過了2到6步驟后的手掌外輪廓圖像，那么每次運(yùn)行系統(tǒng)只要根據(jù)提取輪廓線上的特征點(diǎn)個(gè)數(shù)要求而采用7步驟即可。

實(shí)施例五中所述步驟9利用形狀空間理論方法識(shí)別手勢：通過一個(gè)形狀在不同位置、旋轉(zhuǎn)方向、不同尺度縮放所形成的多個(gè)新形狀，在形狀空間中都可以用一個(gè)點(diǎn)來表示，在利用形狀空間理論進(jìn)行手勢識(shí)別前，需要把手掌輪廓特征點(diǎn)投影到形狀空間中；兩個(gè)不同的形狀相似度，可以通過形狀空間中的procrustean距離來表示，在實(shí)數(shù)空間中，procrustean距離公式如下：

dp[o(τ1),o(τ2)]＝inf[cos^-1(＜x,y＞):x∈o(τ1),y∈o(τ2)]，

其中，τ1和τ2分別是兩個(gè)需要比較相似度的手掌外輪廓特征點(diǎn)集；τ1和τ2作為兩個(gè)向量投影到超球中，此超球記為pre-形狀空間；o(τ1)和o(τ2)分別是τ1和τ2在pre-形狀空間中的大圓；＜x,y＞是x和y之間的內(nèi)積；

如果是復(fù)數(shù)空間，則procrustean距離公式如下：

其中，τ1j和τ2j分別是τ1和τ2的第j個(gè)復(fù)數(shù)坐標(biāo)；τ^*是τ的共軛復(fù)數(shù)；

通過上述公式，計(jì)算數(shù)據(jù)庫中的每個(gè)標(biāo)準(zhǔn)手和觀察手的相似度，如果他們的距離滿足以下公式：

dp[o(τ1),o(τ2)]≤ξ,

其中，ξ是標(biāo)準(zhǔn)手和觀察手相似度比較的閾值，根據(jù)輪廓點(diǎn)個(gè)數(shù)的不同，ξ可能取值不同，本專利設(shè)定ξ＝0.4；

滿足要求的標(biāo)準(zhǔn)手輪廓可能有很多，在這些標(biāo)準(zhǔn)手輪廓中，和觀察手之間procrustean距離最短的標(biāo)準(zhǔn)手，作為觀察手的識(shí)別手型；

如果遍歷所有的標(biāo)準(zhǔn)手，都沒有識(shí)別出觀察手的手型來，那么，要通知用戶識(shí)別失敗，需要用戶調(diào)整手的姿勢；此外，通過這一步驟，可消除視頻中人臉的形狀。