專利名稱：基于手語手套的手語識(shí)別方法及系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及人工智能領(lǐng)域的模式識(shí)別，尤其涉及一種基于手語手套的手語識(shí)別方 法及系統(tǒng)。
背景技術(shù)：
目前的手勢識(shí)別分為兩種，一種是基于傳感器數(shù)據(jù)的手勢識(shí)別方法，一種是基于 圖像識(shí)別的手勢識(shí)別方法。
基于物理手套傳感器數(shù)據(jù)的手勢識(shí)別是從傳感器直接獲得手指運(yùn)動(dòng)特征數(shù)據(jù)，通 過一定的算法將其翻譯成人可直接識(shí)別的文字或聲音；基于圖像識(shí)別的手勢識(shí)別方法是通 過圖像錄入設(shè)備把手行輸入到計(jì)算機(jī)當(dāng)中，借助圖像處理技術(shù)進(jìn)行手勢識(shí)別的方法。
國內(nèi)外科學(xué)家對手勢識(shí)別進(jìn)行了大量基于圖像識(shí)別的研究。但對于基于圖像識(shí)別 的手勢識(shí)別方法，依賴于攝像機(jī)成像、環(huán)境、光線等因素，由于人手在運(yùn)動(dòng)過程中，必然會(huì)使 手指遮掩而使攝像機(jī)拍攝不到要分析的手指圖像。
對基于傳感器數(shù)據(jù)手套的手勢識(shí)別技術(shù)近年來國內(nèi)也有研究，主要是通過單一的 傳感器所獲取的手指運(yùn)動(dòng)特征值進(jìn)行匹配，如加速度值或者角度值。即基于單一源的數(shù)據(jù) 采集和數(shù)據(jù)識(shí)別。其需要依靠服務(wù)器端大數(shù)據(jù)量的模式匹配，在客戶端無法直接完成識(shí)別。發(fā)明內(nèi)容
本發(fā)明要解決的技術(shù)問題在于針對現(xiàn)有技術(shù)中手語識(shí)別正確率低，識(shí)別速度不高 的缺陷，提供一種基于多個(gè)數(shù)據(jù)源的數(shù)據(jù)采集和識(shí)別，且識(shí)別正確率高、速度快的手語識(shí)別 方法及手語識(shí)別手套。
本發(fā)明解決其技術(shù)問題所采用的技術(shù)方案是
提供一種基于手語手套的手語識(shí)別方法，包括以下步驟
獲取手語識(shí)別手套的手指彎曲部分的彎曲傳感器感知的手指彎曲數(shù)據(jù)；
獲取手語識(shí)別手套的手腕部分的旋轉(zhuǎn)傳感器感知的手掌旋轉(zhuǎn)角度數(shù)據(jù)；
采集手語識(shí)別手套的圖像，其中手套十只指尖的顏色各不相同，十只手指的顏色 各不相同；手心和手背具有不同的顏色，左右兩只手套手腕部分也具有不同的顏色；
對采集的圖像進(jìn)行顏色識(shí)別，根據(jù)顏色識(shí)別提取指尖的特征值、手指部分的特征 值、手心和手背的特征值以及手腕部分的特征值；
對手指彎曲數(shù)據(jù)和手掌旋轉(zhuǎn)角度數(shù)據(jù)進(jìn)行預(yù)處理，并將預(yù)處理后的數(shù)據(jù)和所有的 特征值組成匹配序列，將該匹配序列與存儲(chǔ)在手語數(shù)字化標(biāo)準(zhǔn)庫中的數(shù)據(jù)進(jìn)行匹配；
將匹配的結(jié)果轉(zhuǎn)化為可識(shí)別的輸出信號(hào)并發(fā)送給輸出終端。
本發(fā)明所述的手語識(shí)別方法中，該方法還包括步驟
獲取手語識(shí)別手套上設(shè)置的磁力傳感器感知的指尖運(yùn)動(dòng)數(shù)據(jù)并進(jìn)行預(yù)處理，所述 手語手套的指尖上設(shè)有磁鐵；
所述匹配序列中還包括預(yù)處理后的指尖運(yùn)動(dòng)數(shù)據(jù)。
本發(fā)明所述的手語識(shí)別方法中，指尖的特征值為對應(yīng)不同顏色指尖的點(diǎn)坐標(biāo)；手 指部分的特征值為對應(yīng)不同顏色指尖的線坐標(biāo)；手心和手背的特征值為對應(yīng)不同顏色的手 心和手背的中心坐標(biāo)；手腕部分的特征值為對應(yīng)不同顏色手腕部分的中心坐標(biāo)。
本發(fā)明所述的手語識(shí)別方法中，所述輸出信號(hào)為文字、圖片或者語音。
本發(fā)明解決其技術(shù)問題所采用的另一技術(shù)方案是
提供一種基于手語手套的手語識(shí)別系統(tǒng)，包括
指尖運(yùn)動(dòng)數(shù)據(jù)獲取模塊，用于獲取手語識(shí)別手套上設(shè)置的指尖傳感器感知的指尖 運(yùn)動(dòng)數(shù)據(jù)；
手指彎曲數(shù)據(jù)獲取模塊，用于獲取手語識(shí)別手套的手指彎曲部分的彎曲傳感器感 知的手指彎曲數(shù)據(jù)；
手掌旋轉(zhuǎn)角度數(shù)據(jù)獲取模塊，用于獲取手語識(shí)別手套的手腕部分的旋轉(zhuǎn)傳感器感 知的手掌旋轉(zhuǎn)角度數(shù)據(jù)；
預(yù)處理模塊，用于對手指彎曲數(shù)據(jù)和手掌旋轉(zhuǎn)角度數(shù)據(jù)進(jìn)行預(yù)處理；
圖像采集模塊，用于采集手語識(shí)別手套的圖像，其中手套十只指尖的顏色各不相 同，十只手指的顏色各不相同；手心和手背具有不同的顏色，左右兩只手套手腕部分也具有 不同的顏色；
顏色識(shí)別模塊，用于對采集的圖像進(jìn)行顏色識(shí)別；
特征值提取模塊，用于根據(jù)顏色識(shí)別提取指尖的特征值、手指部分的特征值、手心 和手背的特征值以及手腕部分的特征值；
匹配模塊，用于將預(yù)處理后的手指彎曲數(shù)據(jù)、手掌旋轉(zhuǎn)角度數(shù)據(jù)和所有的特征值 組成匹配序列，將該匹配序列與存儲(chǔ)在手語數(shù)字化標(biāo)準(zhǔn)庫中的數(shù)據(jù)進(jìn)行匹配；
輸出模塊，用于將匹配的結(jié)果轉(zhuǎn)化為可識(shí)別的輸出信號(hào)并發(fā)送給輸出終端。
本發(fā)明所述的手語識(shí)別系統(tǒng)中，所述數(shù)據(jù)獲取模塊，還用于獲取手語識(shí)別手套上 設(shè)置的磁力傳感器感知的指尖運(yùn)動(dòng)數(shù)據(jù)，所述手語手套的指尖上設(shè)有磁鐵；
所述預(yù)處理模塊還用于對所述指尖運(yùn)動(dòng)數(shù)據(jù)進(jìn)行預(yù)處理；
所述匹配序列中還包括預(yù)處理后的指尖運(yùn)動(dòng)數(shù)據(jù)。
本發(fā)明所述的手語識(shí)別系統(tǒng)中，所述特征值提取模塊中所提取的指尖的特征值為 對應(yīng)不同顏色指尖的點(diǎn)坐標(biāo)；手指部分的特征值為對應(yīng)不同顏色指尖的線坐標(biāo)；手心和手 背的特征值為對應(yīng)不同顏色的手心和手背的中心坐標(biāo)；手腕部分的特征值為對應(yīng)不同顏色 手腕部分的中心坐標(biāo)。
本發(fā)明解決其技術(shù)問題所采用的第三技術(shù)方案是
提供一種手語手套，其特征在于，手套十只指尖的顏色各不相同，十只手指的顏 色各不相同；手心和手背具有不同的顏色，左右兩只手套手腕部分也具有不同的顏色；
手指彎曲部分設(shè)有彎曲傳感器，用于感知手指彎曲數(shù)據(jù)；
手腕部分設(shè)有旋轉(zhuǎn)傳感器，用于感知手掌旋轉(zhuǎn)角度數(shù)據(jù)；
手語手套上設(shè)有數(shù)據(jù)通信模塊，用于接收所述手指彎曲數(shù)據(jù)和所述手掌旋轉(zhuǎn)角度 數(shù)據(jù)并通過無線的方式發(fā)送給手語識(shí)別系統(tǒng)。
本發(fā)明所述的手語手套中，手套指尖上設(shè)有磁鐵，手套手背上設(shè)有磁力傳感器，用 于感知指尖動(dòng)作時(shí)磁鐵產(chǎn)生的磁力；所述數(shù)據(jù)通信模塊還用于接收磁力傳感器感知的磁力數(shù)據(jù)并通過無線的方式發(fā)送給手語識(shí)別系統(tǒng)。
本發(fā)明所述的手語手套中，所述彎曲傳感器至少感知手指的4種彎曲程度。
本發(fā)明所述的手語手套中，所述旋轉(zhuǎn)傳感器至少感知手掌的4種旋轉(zhuǎn)角度。
本發(fā)明產(chǎn)生的有益效果是本發(fā)明的手語手套中磁力傳感器、彎曲傳感器、旋轉(zhuǎn)傳 感器等可采樣多種數(shù)據(jù)，將單個(gè)手的動(dòng)作進(jìn)行了準(zhǔn)確的數(shù)據(jù)采集，提高了準(zhǔn)確率；通過將手 套的指尖，手指等的涂色，將復(fù)雜的動(dòng)作視頻識(shí)別簡化為簡單的顏色識(shí)別。
進(jìn)一步地通過確定點(diǎn)、線、面的空間坐標(biāo)，從而將雙手的空間組合關(guān)系進(jìn)行了準(zhǔn)確 的數(shù)據(jù)采集，同時(shí)也輔助了單個(gè)手的動(dòng)作的數(shù)據(jù)采集，提高了識(shí)別準(zhǔn)確率。


下面將結(jié)合附圖及實(shí)施例對本發(fā)明作進(jìn)一步說明，附圖中
圖1是本發(fā)明實(shí)施例基于手語手套的手語識(shí)別方法流程圖2是本發(fā)明實(shí)施例基于手語手套的手語識(shí)別系統(tǒng)結(jié)構(gòu)示意圖。
具體實(shí)施方式
為了使本發(fā)明的目的、技術(shù)方案及優(yōu)點(diǎn)更加清楚明白，以下結(jié)合附圖及實(shí)施例，對 本發(fā)明進(jìn)行進(jìn)一步詳細(xì)說明。應(yīng)當(dāng)理解，此處所描述的具體實(shí)施例僅用以解釋本發(fā)明，并不 用于限定本發(fā)明。
本發(fā)明的手語手套的十只指尖的顏色各不相同，十只手指的顏色各不相同；手心 和手背具有不同的顏色，左右兩只手套手腕部分也具有不同的顏色。手套的手指彎曲部分 設(shè)有彎曲傳感器，用于感知手指彎曲數(shù)據(jù)；手腕部分設(shè)有旋轉(zhuǎn)傳感器。利用該手套，可將標(biāo) 準(zhǔn)的手語進(jìn)行數(shù)字化，即將手語中的字，詞，句等表達(dá)單元進(jìn)行數(shù)字化，保存到一個(gè)手語數(shù) 字化標(biāo)準(zhǔn)庫中。
本發(fā)明實(shí)施例基于手語手套的手語識(shí)別方法，如圖1所示，包括以下步驟
S101、獲取手語識(shí)別手套的手指彎曲部分的彎曲傳感器感知的手指彎曲數(shù)據(jù)；
S102、獲取手語識(shí)別手套的手腕部分的旋轉(zhuǎn)傳感器感知的手掌旋轉(zhuǎn)角度數(shù)據(jù)；
S103、采集手語識(shí)別手套的圖像，其中手套十只指尖的顏色各不相同，十只手指的 顏色各不相同；手心和手背具有不同的顏色，左右兩只手套手腕部分也具有不同的顏色；
S104、對采集的圖像進(jìn)行顏色識(shí)別；根據(jù)顏色識(shí)別提取指尖的特征值、手指部分的 特征值、手心和手背的特征值以及手腕部分的特征值；
S105、對手指彎曲數(shù)據(jù)和手掌旋轉(zhuǎn)角度數(shù)據(jù)進(jìn)行預(yù)處理；
S106、將預(yù)處理后的數(shù)據(jù)和所有的特征值組成匹配序列，將該匹配序列與存儲(chǔ)在 手語數(shù)字化標(biāo)準(zhǔn)庫中的數(shù)據(jù)進(jìn)行匹配；
S107、將匹配的結(jié)果轉(zhuǎn)化為可識(shí)別的輸出信號(hào)并發(fā)送給輸出終端。本發(fā)明的一個(gè) 實(shí)施例中，輸出信號(hào)為文字、圖片或者語音。
進(jìn)一步地，本發(fā)明實(shí)施例中，指尖的特征值為對應(yīng)不同顏色指尖的點(diǎn)坐標(biāo)；手指部 分的特征值為對應(yīng)不同顏色指尖的線坐標(biāo)；手心和手背的特征值為對應(yīng)不同顏色的手心和 手背的中心坐標(biāo)；手腕部分的特征值為對應(yīng)不同顏色手腕部分的中心坐標(biāo)。
本發(fā)明的一個(gè)實(shí)施例中，為了更好地識(shí)別手指的動(dòng)作，手語手套的指尖上設(shè)有磁鐵，手套上設(shè)有磁力傳感器，通過磁力傳感器感知磁鐵的磁力變化可以感知手指的運(yùn)動(dòng)，則該方法還包括步驟
獲取手語識(shí)別手套上設(shè)置的磁力傳感器感知的指尖運(yùn)動(dòng)數(shù)據(jù)并進(jìn)行預(yù)處理，手語手套的指尖上設(shè)有磁鐵；
匹配序列中還包括預(yù)處理后的指尖運(yùn)動(dòng)數(shù)據(jù)。
通常，在手語數(shù)字化時(shí)，以手語的表達(dá)單位為索引，由簡單到復(fù)雜進(jìn)行數(shù)字化，例如，“你好”，“再見”，“謝謝”，“很好”，“你叫什么名字”，“很高興認(rèn)識(shí)您”等。一個(gè)手語表達(dá)單元，可能有多個(gè)手語動(dòng)作。如果一個(gè)手語動(dòng)作數(shù)字化后為一個(gè)矢量，則一個(gè)手語表達(dá)單元數(shù)字化后可能為多個(gè)矢量。
例如，將手語中的“你好”進(jìn)行數(shù)字化，其方法是
I)先戴上手套；
2)然后用手語表示這個(gè)詞，手套上的傳感器返回了相應(yīng)的感知數(shù)據(jù)。同時(shí)這個(gè)動(dòng)作用視頻記錄下來，通過視頻分析軟件(主要是模式提取和識(shí)別)提取出手套中不同的顏色，并將這些顏色的空間坐標(biāo)形成一個(gè)坐標(biāo)序列。將感知數(shù)據(jù)(用矢量S表示)和視頻分析 (用矢量V表示)數(shù)據(jù)集中起來作為手語的數(shù)字化結(jié)果，該結(jié)果稱為手語數(shù)字化標(biāo)準(zhǔn)庫，例如，可用一個(gè)矢量(Si I V)表示。易知，該標(biāo)準(zhǔn)庫中保存的是手語對應(yīng)的文字(如本例中的“你好”)及其對應(yīng)的矢量；
3)在需要進(jìn)行手語和文字轉(zhuǎn)換時(shí)，將手套戴上，然后開始手語識(shí)別，即利用手套采集的數(shù)據(jù)，與手語數(shù)字化標(biāo)準(zhǔn)庫進(jìn)行匹配。從而得到手語對應(yīng)的文字。
本發(fā)明的一個(gè)較佳實(shí)施例中，手套的指尖具有10種顏色，不妨用C[I]，C[2]，… ，C[10]表示。
手套的手指部分(即從指尖到手掌的部分，長度一般為接近于普通人手指的長度)具有10種顏色，不妨用D[1]，D[2]，…，D[10]表示。
手套的掌心和手背的中心部分用圓表示，具有2種顏色，不妨用E[1]，E[2]表示。
手套的小手臂部分(從肘部到手腕部之間的部分)具有2種顏色，一個(gè)是左手，一個(gè)是右手，不妨用G[I]和G[2]表不。
可在手套外側(cè)每個(gè)指甲上(一個(gè)簡化版本是拇指，食指，無名指上，因?yàn)檫@三個(gè)手指是手語動(dòng)作中的基本手指)具有磁鐵，能夠?qū)κ终菩牡拇帕鞲衅鳟a(chǎn)生磁力影響。
手套手心外側(cè)或手背裝有磁力傳感器，可將來自手套外側(cè)指甲上的磁鐵裝置產(chǎn)生的磁力記錄下來。手語表達(dá)單元如對應(yīng)一個(gè)手語動(dòng)作，則不妨設(shè)該值為T。若一 個(gè)手語表達(dá)單元對應(yīng)多個(gè)動(dòng)作，例如，“你好”對應(yīng)2個(gè)手語動(dòng)作，則不妨設(shè)該值為T[l]，Τ[2]。
手套手指部分具有彎曲傳感器裝置，可以感知手指彎曲的程度。假設(shè)每個(gè)手指的編號(hào)為八[1]^[2]，一^[10]，根據(jù)傳感器的性能(價(jià)格)，不妨設(shè)手指彎曲的程度用高度彎曲，中度彎曲，輕度彎曲，不彎曲4種狀態(tài)表示，則感知的10個(gè)手指的彎曲數(shù)據(jù)為 A[i, j], I≤i≤10，I≤j≤4表示。
手套的手腕上具有旋轉(zhuǎn)扭矩傳感器(即上文所描述的旋轉(zhuǎn)傳感器)，可以感知手掌的方位(如向上，向下，向左，向右等)。根據(jù)傳感器的性能(價(jià)格)，不妨設(shè)手掌的旋轉(zhuǎn)角度用 B[1]，B[2]，…，B[n]表示。例如左旋90度為B [I]，右旋90度為B [2]，上旋90度為B [3]， 下旋90度為B [4]等。
—個(gè)手語表達(dá)單元，可能有多個(gè)手語動(dòng)作。如果一個(gè)手語動(dòng)作的傳感器數(shù)據(jù)為一個(gè)矢量，則一個(gè)手語表達(dá)單元的傳感器數(shù)據(jù)可能為多個(gè)矢量。
識(shí)別時(shí)對圖像中的特征值進(jìn)行提取，以將圖像轉(zhuǎn)化為空間坐標(biāo)的序列。識(shí)別產(chǎn)生的數(shù)據(jù)為C[1]，C[2]， ，C[10]，D[1]，D[2]， ，D[10]，E[1]，E[2]的空間位置的組合，通常表示為在一個(gè)XY 二維坐標(biāo)系(也可為XYZ三維空間坐標(biāo)系，例如50厘米*50厘米*50厘米空間，由普通人的小大臂長度為主要依據(jù)確定)中的點(diǎn)線面關(guān)系。通過簡單的顏色識(shí)別，可將視頻中的指尖部分提取為10個(gè)點(diǎn)(P[1]，P[2]，…，P[10])，將視頻中的手指部分提取為 10根線(L[1]，L[2]，一，L[10])，將手掌心和手背心的2種顏色提取為2個(gè)面(F[1]，F(xiàn)[2])， 將左右2個(gè)小臂提取出的線段的坐標(biāo)數(shù)據(jù)為S[l]和S[2]。將上述10個(gè)點(diǎn)，10根短線(約 4厘米左右)，以及2個(gè)圓心，2根長線(約20厘米左右)的中心的空間坐標(biāo)數(shù)據(jù)，該數(shù)據(jù)可視為一種空間組合位置關(guān)系。
可以理解的是，以上的數(shù)據(jù)中，有些數(shù)據(jù)可能為空。例如，若手握拳，則手掌心的坐標(biāo)為空。同時(shí)，應(yīng)優(yōu)先捕捉指尖，以及伸展的手指，其視頻捕捉的準(zhǔn)確度較高。對于完全彎曲的手指，可能捕捉的結(jié)果為空。
戴上手套，以字、詞、句等常用表達(dá)的使用頻率為序，逐個(gè)輸入規(guī)范的手語表達(dá)單元。表達(dá)單元可能是一個(gè)動(dòng)作，也可能由多個(gè)動(dòng)作組成。
對于單個(gè)動(dòng)作而言，傳感器產(chǎn)生的數(shù)據(jù)為T，A[i，j]，A[i，j] (I彡i彡10，I彡j彡4)，B[k] (I彡k彡4)。本實(shí)施例假定彎曲傳感器有4種返回?cái)?shù)據(jù)， 旋轉(zhuǎn)傳感器器有4種返回?cái)?shù)據(jù)。
手語數(shù)字化標(biāo)準(zhǔn)庫中包括多個(gè)匹配項(xiàng)，每一個(gè)匹配項(xiàng)包括多個(gè)數(shù)據(jù)，其中第一個(gè)為一個(gè)手語表達(dá)單元(如一個(gè)字，詞，句等)，第二個(gè)為識(shí)別項(xiàng)，即T，A[i，j] (I 彡 i 彡 10，I 彡 j 彡 4)，B[k] (I 彡 k 彡 4)，P[1]-P[10]的坐標(biāo)，L[1]_L[10]的坐標(biāo)，F(xiàn)[l] 的中心的坐標(biāo)，F(xiàn)[2]的中心的坐標(biāo)，S[l]和S[2]的坐標(biāo)?？梢岳斫獾氖?，若表達(dá)單元由多個(gè)動(dòng)作組成，則識(shí)別項(xiàng)具有多個(gè)。
將經(jīng)預(yù)處理后的傳 感器數(shù)據(jù)以及圖像識(shí)別后提取的特征值與手語數(shù)字化標(biāo)準(zhǔn)庫中的數(shù)據(jù)進(jìn)行匹配，例如，采用方差計(jì)算方法進(jìn)行匹配，從而將輸入的手勢數(shù)據(jù)轉(zhuǎn)換為相應(yīng)的字、詞、句。
本發(fā)明實(shí)施例基于手語手套的手語識(shí)別系統(tǒng)，用于實(shí)現(xiàn)上述方法，如圖2所示，具體包括
指尖運(yùn)動(dòng)數(shù)據(jù)獲取模塊201，用于獲取手語識(shí)別手套上設(shè)置的指尖傳感器感知的指尖運(yùn)動(dòng)數(shù)據(jù)；
手指彎曲數(shù)據(jù)獲取模塊202，用于獲取手語識(shí)別手套的手指彎曲部分的彎曲傳感器感知的手指彎曲數(shù)據(jù)；
手掌旋轉(zhuǎn)角度數(shù)據(jù)獲取模塊203，用于獲取手語識(shí)別手套的手腕部分的旋轉(zhuǎn)傳感器感知的手掌旋轉(zhuǎn)角度數(shù)據(jù)；
預(yù)處理模塊204，用于對手指彎曲數(shù)據(jù)和手掌旋轉(zhuǎn)角度數(shù)據(jù)進(jìn)行預(yù)處理；
圖像采集模塊205，可以是攝像頭，或者帶有攝像頭功能的設(shè)備，如智能手機(jī)和平板電腦，用于采集手語識(shí)別手套的圖像，其中手套十只指尖的顏色各不相同，十只手指的顏色各不相同；手心和手背具有不同的顏色，左右兩只手套手腕部分也具有不同的顏色；
顏色識(shí)別模塊206，用于對采集的圖像進(jìn)行顏色識(shí)別；
特征值提取模塊207，用于根據(jù)顏色識(shí)別提取指尖的特征值、手指部分的特征值、 手心和手背的特征值以及手腕部分的特征值；
匹配模塊208，用于將預(yù)處理后的手指彎曲數(shù)據(jù)、手掌旋轉(zhuǎn)角度數(shù)據(jù)和所有的特征 值組成匹配序列，將該匹配序列與存儲(chǔ)在手語數(shù)字化標(biāo)準(zhǔn)庫中的數(shù)據(jù)進(jìn)行匹配；
輸出模塊209，用于將匹配的結(jié)果轉(zhuǎn)化為可識(shí)別的輸出信號(hào)并發(fā)送給輸出終端。
本發(fā)明的一個(gè)實(shí)施例中，數(shù)據(jù)獲取模塊，還用于獲取手語識(shí)別手套上設(shè)置的磁力 傳感器感知的指尖運(yùn)動(dòng)數(shù)據(jù)，手語手套的指尖上設(shè)有磁鐵；
預(yù)處理模塊還用于對指尖運(yùn)動(dòng)數(shù)據(jù)進(jìn)行預(yù)處理；
匹配序列中還包括預(yù)處理后的指尖運(yùn)動(dòng)數(shù)據(jù)。
進(jìn)一步地，特征值提取模塊中所提取的指尖的特征值為對應(yīng)不同顏色指尖的點(diǎn)坐 標(biāo)；手指部分的特征值為對應(yīng)不同顏色指尖的線坐標(biāo)；手心和手背的特征值為對應(yīng)不同顏 色的手心和手背的中心坐標(biāo)；手腕部分的特征值為對應(yīng)不同顏色手腕部分的中心坐標(biāo)。
本發(fā)明實(shí)施例的手語手套，手套十只指尖的顏色各不相同，十只手指的顏色各不 相同；手心和手背具有不同的顏色，左右兩只手套手腕部分也具有不同的顏色；
手指彎曲部分設(shè)有彎曲傳感器，用于感知手指彎曲數(shù)據(jù)；本發(fā)明實(shí)施例中彎曲傳 感器至少感知手指的4種彎曲程度。
手腕部分設(shè)有旋轉(zhuǎn)傳感器，用于感知手掌旋轉(zhuǎn)角度數(shù)據(jù)；本發(fā)明實(shí)施例中旋轉(zhuǎn)傳 感器至少感知手掌的4種旋轉(zhuǎn)角度。
手語手套上設(shè)有數(shù)據(jù)通信模塊，用于接收手指彎曲數(shù)據(jù)和手掌旋轉(zhuǎn)角度數(shù)據(jù)并通 過無線的方式發(fā)送給手語識(shí)別系統(tǒng)。
進(jìn)一步地，在上述實(shí)施例的基礎(chǔ)上，手套指尖上設(shè)有磁鐵，手套手背上設(shè)有磁力傳 感器，用于感知指尖動(dòng)作時(shí)磁鐵產(chǎn)生的磁力；數(shù)據(jù)通信模塊還用于接收磁力傳感器感知的 磁力數(shù)據(jù)并通過無線的方式發(fā)送給手語識(shí)別系統(tǒng)。
應(yīng)當(dāng)理解的是，對本領(lǐng)域普通技術(shù)人員來說，可以根據(jù)上述說明加以改進(jìn)或變換， 而所有這些改進(jìn)和變換都應(yīng)屬于本發(fā)明所附權(quán)利要求的保護(hù)范圍。
權(quán)利要求
1.一種基于手語手套的手語識(shí)別方法，其特征在于，包括以下步驟獲取手語識(shí)別手套的手指彎曲部分的彎曲傳感器感知的手指彎曲數(shù)據(jù)；獲取手語識(shí)別手套的手腕部分的旋轉(zhuǎn)傳感器感知的手掌旋轉(zhuǎn)角度數(shù)據(jù)；采集手語識(shí)別手套的圖像，其中手套十只指尖的顏色各不相同，十只手指的顏色各不相同；手心和手背具有不同的顏色，左右兩只手套手腕部分也具有不同的顏色；對采集的圖像進(jìn)行顏色識(shí)別，根據(jù)顏色識(shí)別提取指尖的特征值、手指部分的特征值、手心和手背的特征值以及手腕部分的特征值；對手指彎曲數(shù)據(jù)和手掌旋轉(zhuǎn)角度數(shù)據(jù)進(jìn)行預(yù)處理，并將預(yù)處理后的數(shù)據(jù)和所有的特征值組成匹配序列，將該匹配序列與存儲(chǔ)在手語數(shù)字化標(biāo)準(zhǔn)庫中的數(shù)據(jù)進(jìn)行匹配；將匹配的結(jié)果轉(zhuǎn)化為可識(shí)別的輸出信號(hào)并發(fā)送給輸出終端。
2.根據(jù)權(quán)利要求1所述的手語識(shí)別方法，其特征在于，該方法還包括步驟獲取手語識(shí)別手套上設(shè)置的磁力傳感器感知的指尖運(yùn)動(dòng)數(shù)據(jù)并進(jìn)行預(yù)處理，所述手語手套的指尖上設(shè)有磁鐵；所述匹配序列中還包括預(yù)處理后的指尖運(yùn)動(dòng)數(shù)據(jù)。
3.根據(jù)權(quán)利要求1所述的手語識(shí)別方法，其特征在于，指尖的特征值為對應(yīng)不同顏色指尖的點(diǎn)坐標(biāo)；手指部分的特征值為對應(yīng)不同顏色指尖的線坐標(biāo)；手心和手背的特征值為對應(yīng)不同顏色的手心和手背的中心坐標(biāo)；手腕部分的特征值為對應(yīng)不同顏色手腕部分的中心坐標(biāo)。
4.根據(jù)權(quán)利要求1所述的手語識(shí)別方法，其特征在于，所述輸出信號(hào)為文字、圖片或者語音。
5.一種基于手語手套的手語識(shí)別系統(tǒng)，其特征在于，包括指尖運(yùn)動(dòng)數(shù)據(jù)獲取模塊，用于獲取手語識(shí)別手套上設(shè)置的指尖傳感器感知的指尖運(yùn)動(dòng)數(shù)據(jù)；手指彎曲數(shù)據(jù)獲取模塊，用于獲取手語識(shí)別手套的手指彎曲部分的彎曲傳感器感知的手指彎曲數(shù)據(jù)；手掌旋轉(zhuǎn)角度數(shù)據(jù)獲取模塊，用于獲取手語識(shí)別手套的手腕部分的旋轉(zhuǎn)傳感器感知的手掌旋轉(zhuǎn)角度數(shù)據(jù)；預(yù)處理模塊，用于對手指彎曲數(shù)據(jù)和手掌旋轉(zhuǎn)角度數(shù)據(jù)進(jìn)行預(yù)處理；圖像采集模塊，用于采集手語識(shí)別手套的圖像，其中手套十只指尖的顏色各不相同，十只手指的顏色各不相同；手心和手背具有不同的顏色，左右兩只手套手腕部分也具有不同的顏色；顏色識(shí)別模塊，用于對采集的圖像進(jìn)行顏色識(shí)別；特征值提取模塊，用于根據(jù)顏色識(shí)別提取指尖的特征值、手指部分的特征值、手心和手背的特征值以及手腕部分的特征值；匹配模塊，用于將預(yù)處理后的手指彎曲數(shù)據(jù)、手掌旋轉(zhuǎn)角度數(shù)據(jù)和所有的特征值組成匹配序列，將該匹配序列與存儲(chǔ)在手語數(shù)字化標(biāo)準(zhǔn)庫中的數(shù)據(jù)進(jìn)行匹配；輸出模塊，用于將匹配的結(jié)果轉(zhuǎn)化為可識(shí)別的輸出信號(hào)并發(fā)送給輸出終端。
6.根據(jù)權(quán)利要求5所述的手語識(shí)別系統(tǒng)，其特征在于，所述數(shù)據(jù)獲取模塊，還用于獲取手語識(shí)別手套上設(shè)置的磁力傳感器感知的指尖運(yùn)動(dòng)數(shù)據(jù)，所述手語手套的指尖上設(shè)有磁鐵；所述預(yù)處理模塊還用于對所述指尖運(yùn)動(dòng)數(shù)據(jù)進(jìn)行預(yù)處理；所述匹配序列中還包括預(yù)處理后的指尖運(yùn)動(dòng)數(shù)據(jù)。
7.根據(jù)權(quán)利要求5所述的手語識(shí)別系統(tǒng)，其特征在于，所述特征值提取模塊中所提取的指尖的特征值為對應(yīng)不同顏色指尖的點(diǎn)坐標(biāo)；手指部分的特征值為對應(yīng)不同顏色指尖的線坐標(biāo)；手心和手背的特征值為對應(yīng)不同顏色的手心和手背的中心坐標(biāo)；手腕部分的特征值為對應(yīng)不同顏色手腕部分的中心坐標(biāo)。
8.一種手語手套，其特征在于，手套十只指尖的顏色各不相同，十只手指的顏色各不相同；手心和手背具有不同的顏色，左右兩只手套手腕部分也具有不同的顏色；手指彎曲部分設(shè)有彎曲傳感器，用于感知手指彎曲數(shù)據(jù)；手腕部分設(shè)有旋轉(zhuǎn)傳感器，用于感知手掌旋轉(zhuǎn)角度數(shù)據(jù)；手語手套上設(shè)有數(shù)據(jù)通信模塊，用于接收所述手指彎曲數(shù)據(jù)和所述手掌旋轉(zhuǎn)角度數(shù)據(jù)并通過無線的方式發(fā)送給手語識(shí)別系統(tǒng)。
9.根據(jù)權(quán)利要求8所述的手語手套，其特征在于，手套指尖上設(shè)有磁鐵，手套手背上設(shè)有磁力傳感器，用于感知指尖動(dòng)作時(shí)磁鐵產(chǎn)生的磁力；所述數(shù)據(jù)通信模塊還用于接收磁力傳感器感知的磁力數(shù)據(jù)并通過無線的方式發(fā)送給手語識(shí)別系統(tǒng)。
10.根據(jù)權(quán)利要求8所述的手語手套，其特征在于，所述彎曲傳感器至少感知手指的4 種彎曲程度。
11.根據(jù)權(quán)利要求8所述的手語手套，其特征在于，所述旋轉(zhuǎn)傳感器至少感知手掌的4 種旋轉(zhuǎn)角度。
全文摘要
本發(fā)明公開了一種基于手語手套的手語識(shí)別方法及系統(tǒng)，手語手套的十只指尖的顏色各不相同，十只手指的顏色各不相同；手心和手背具有不同的顏色，左右兩只手套手腕部分也具有不同的顏色；手指彎曲部分設(shè)有彎曲傳感器，手腕部分設(shè)有旋轉(zhuǎn)傳感器，手語手套上設(shè)有數(shù)據(jù)通信模塊，可進(jìn)行手語手套和手語識(shí)別系統(tǒng)之間的數(shù)據(jù)傳輸。手語識(shí)別系統(tǒng)通過對手指彎曲數(shù)據(jù)和手掌旋轉(zhuǎn)角度數(shù)據(jù)進(jìn)行預(yù)處理，并將預(yù)處理后的數(shù)據(jù)和所有的特征值組成匹配序列，將該匹配序列與存儲(chǔ)在手語數(shù)字化標(biāo)準(zhǔn)庫中的數(shù)據(jù)進(jìn)行匹配；將匹配的結(jié)果轉(zhuǎn)化為可識(shí)別的輸出信號(hào)并發(fā)送給輸出終端，從而完成手語識(shí)別。本發(fā)明結(jié)合傳感器和圖像識(shí)別，提高了手語識(shí)別的準(zhǔn)確率。
文檔編號(hào)G06K9/62GK103049761SQ20131002188
公開日2013年4月17日 申請日期2013年1月21日 優(yōu)先權(quán)日2013年1月21日
發(fā)明者任偉, 牟揚(yáng) 申請人:中國地質(zhì)大學(xué)(武漢)