一種基于手勢追蹤的手語翻譯方法及系統(tǒng)的制作方法【專利摘要】本發(fā)明公開的一種基于手勢追蹤的手語翻譯方法及系統(tǒng)，利用手勢追蹤傳感器獲取手勢運動信息，并將獲取到的手勢運動信息傳輸?shù)浇K端上的數(shù)字信號處理器進行解析，將解析出所述手勢運動信息與存儲在終端上的手語信息數(shù)據(jù)庫中保存的手勢運動信息進行比對，對比出所述手勢運動信息所對應(yīng)的手語信息，從而可以準(zhǔn)確的獲取用戶通過手勢運動發(fā)出的手語信息，解決普通人對手語理解困難的問題，增強語言障礙的人與普通人之間的交流和溝通，為人們的日常生活提供方便?！緦＠f明】一種基于手勢追蹤的手語翻譯方法及系統(tǒng)【
技術(shù)領(lǐng)域：
】[0001]本發(fā)明涉及人機交互【
技術(shù)領(lǐng)域：
】，特別涉及一種基于手勢追蹤的手語翻譯方法及系統(tǒng)。【
背景技術(shù)：
】[0002]當(dāng)今社會發(fā)展越來越快，互聯(lián)網(wǎng)技術(shù)以及與電子技術(shù)的結(jié)合程度越來越高。智能化，人性化的要求也越來越高。[0003]對于一些語言障礙的人士的關(guān)心也引起了大多說人的注意。知道和理解語言障礙人士的意圖，也是越來越迫切解決的問題。針對聾啞人士的手語溝通的問題，一般都需要經(jīng)過手語專業(yè)的訓(xùn)練才能看懂，一般人往往很難看懂。那么怎么解決這種之間的溝通障礙成為了目前迫切的問題。[0004]隨著手勢追蹤技術(shù)的日益發(fā)展，人們使用此項技術(shù)來實現(xiàn)人與智能終端之間的交互已經(jīng)成為現(xiàn)實，但是在現(xiàn)有技術(shù)中智能終端基于手勢追蹤技術(shù)的應(yīng)用僅限于對簡單手勢的追蹤，對于復(fù)雜的手勢，智能終端的手勢追蹤技術(shù)并不能很準(zhǔn)確的獲取到相應(yīng)的信息，因此還不能直接用現(xiàn)有技術(shù)中智能終端的手勢追蹤功能來解決語言障礙人士的手語翻譯問題。[0005]有鑒于此，現(xiàn)有的技術(shù)還需要進一步的發(fā)展和改進。【
發(fā)明內(nèi)容】[0006]鑒于上述現(xiàn)有技術(shù)的智能終端中手勢追蹤技術(shù)還不能準(zhǔn)確的對手語進行翻譯的不足之處，本發(fā)明的目的在于提供一種基于手勢追蹤的手語翻譯方法及系統(tǒng)，所述方法利用leapmotion傳感器和NMF算法進行手勢追蹤，來精確獲取手語彳目息的方法。[0007]為了達到上述目的，本發(fā)明采取了以下技術(shù)方案:一種基于手勢追蹤的手語翻譯方法，其中，用于帶有手勢追蹤傳感器和數(shù)字信號處理器的終端進行手語翻譯，所述方法包括以下步驟:A、在所述終端上預(yù)先存儲手語信息數(shù)據(jù)庫；所述手語信息數(shù)據(jù)庫用于存儲與手語信息相對應(yīng)的手勢信息；B、開啟手勢追蹤傳感器，實時捕獲用戶發(fā)出的手勢運動信息，并將所述手勢運動信息以幀數(shù)據(jù)信息的方式傳輸給數(shù)字信號處理器；C、數(shù)字信號處理器接收所述幀數(shù)據(jù)信息并對其進行解析，將解析出的手勢運動信息與手語信息數(shù)據(jù)庫中存儲的手勢運動信息相比對，查找出與該手勢運動信息相對應(yīng)的手語信肩、O[0008]所述基于手勢追蹤的手語翻譯方法，其中，在所述步驟B之前還包括以下步驟:B0、開啟手勢追蹤傳感器之后，對初始化過程是否正常進行檢測，所述初始化過程包括:所述手勢追蹤傳感器的攝像頭是否正常啟動、所述數(shù)字信號處理器是否正常上電以及數(shù)字信號處理算法是否加載成功。[0009]所述基于手勢追蹤的手語翻譯方法，其中，所述步驟C中包括:數(shù)字信號處理器首先將其接收到的幀數(shù)據(jù)信息保存在預(yù)處理模塊中的緩沖區(qū)域，然后再將保存在緩沖區(qū)域的幀數(shù)據(jù)信息發(fā)送到處理模塊進行解析。[0010]所述基于手勢追蹤的手語翻譯方法，其中，在所述步驟C中還包括:系統(tǒng)啟動定時模塊定時對接收到的幀數(shù)據(jù)信息保存到預(yù)處理模塊的緩沖區(qū)域進行監(jiān)控，防止幀數(shù)據(jù)信息丟失。[0011]所述基于手勢追蹤的手語翻譯方法，其中，在所述步驟C中將解析出的手勢運動信息與所述手語信息數(shù)據(jù)庫中手語信息相比對時運用的是NMF矩陣分解算法。[0012]一種具有手勢追蹤的手語翻譯系統(tǒng)，其中，用于帶有手勢追蹤傳感器和數(shù)字信號處理器的終端進行手語翻譯，所述系統(tǒng)包括以下模塊:預(yù)先存儲模塊，用于預(yù)先存儲手語信息數(shù)據(jù)庫，所述手語信息數(shù)據(jù)庫用于存儲與手語信息相對應(yīng)的手勢信息；手勢運動追蹤模塊，用于開啟手勢追蹤傳感器，實時捕獲用戶發(fā)出的手勢運動信息，將所述手勢運動信息以幀數(shù)據(jù)信息的方式傳輸給數(shù)字信號處理器；手語翻譯模塊，用于數(shù)字信號處理器接收所述幀數(shù)據(jù)信息并對其進行解析，將解析出的手勢運動信息與手語信息數(shù)據(jù)庫中存儲的手勢運動信息相比對，查找出與該手勢運動信息相對應(yīng)的手語信息。[0013]所述基于手勢追蹤的手語翻譯系統(tǒng)，其中，所述系統(tǒng)還包括:初始化檢測模塊，用于在手勢追蹤傳感器開啟之后，對初始化過程是否正常進行檢測，所述初始化過程包括:所述手勢追蹤傳感器的攝像頭是否正常啟動、所述數(shù)字信號處理器是否正常上電以及數(shù)字信號處理算法是否加載成功。[0014]所述基于手勢追蹤的手語翻譯系統(tǒng)，其中，所述手語翻譯模塊包括預(yù)處理單元和處理單元；所述預(yù)處理單元，用于數(shù)字信號處理器將其接收到的幀數(shù)據(jù)信息保存在預(yù)處理模塊中的緩沖區(qū)域；處理單元，用于將保存在緩沖區(qū)域的幀數(shù)據(jù)信息發(fā)送到處理模塊進行解析。[0015]所述基于手勢追蹤的手語翻譯系統(tǒng)，其中，所述手語翻譯模塊還包括定時模塊；所述定時模塊，系統(tǒng)用于對接收到的幀數(shù)據(jù)信息保存到預(yù)處理模塊的緩沖區(qū)域進行定時監(jiān)控，防止幀數(shù)據(jù)信息丟失。[0016]所述基于手勢追蹤的手語翻譯系統(tǒng)，其中，所述手語翻譯模塊中將解析出的手勢運動信息與所述手語信息數(shù)據(jù)庫中手語信息相比對時運用的是NMF矩陣分解算法。[0017]有益效果:本發(fā)明提供的一種基于手勢追蹤的手語翻譯方法及系統(tǒng)，利用手勢追蹤傳感器獲取手勢運動信息，并將獲取到的手勢運動信息傳輸?shù)浇K端上的數(shù)字信號處理器進行解析，將解析出所述手勢運動信息與存儲在終端上的手語信息數(shù)據(jù)庫中保存的手勢運動信息進行比對，對比出所述手勢運動信息所對應(yīng)的手語信息，從而可以準(zhǔn)確的獲取用戶通過手勢運動發(fā)出的手語信息，解決普通人對手語理解困難的問題，增強語言障礙的人與普通人之間的交流和溝通，為人們的日常生活提供方便?！緦＠綀D】【附圖說明】[0018]圖1是本發(fā)明一種基于手勢追蹤的手語翻譯方法的步驟流程圖。[0019]圖2是本發(fā)明一種基于手勢追蹤的手語翻譯系統(tǒng)的原理結(jié)構(gòu)圖?！揪唧w實施方式】[0020]本發(fā)明提供了一種基于手勢追蹤的手語翻譯方法及系統(tǒng)。為使本發(fā)明的目的、技術(shù)方案及效果更加清楚、明確，以下參照附圖并舉實例對本發(fā)明進一步詳細說明。應(yīng)當(dāng)理解，此處所描述的具體實施例僅用以解釋本發(fā)明，并不用于限定本發(fā)明。[0021]本發(fā)明提供的一種基于手勢追蹤的手語翻譯方法，用于帶有手勢追蹤傳感器和數(shù)字信號處理器的終端進行手語翻譯。[0022]具體的,所述手勢追蹤傳感器,較佳的,使用LeapMotion體感傳感器。所述LeapMotion體感傳感器根據(jù)內(nèi)置的兩個攝像頭從不同角度捕捉的畫面，重建出手掌在真實的三維信息空間的運動信息。檢測的范圍大概在傳感器上方10毫米到800毫米之間，檢測的空間大體是一個倒四棱椎體。[0023]工作原理:LeapMotion體感傳感器會建立一個直角坐標(biāo)系，坐標(biāo)的原點是傳感器的中心，坐標(biāo)的X軸平行于傳感器，指向屏幕右方，Y軸指向上方，Z軸指向背離屏幕的方向。在使用過程中，LeapMotion體感傳感器會定期的發(fā)送關(guān)于手的運動信息，每份這樣的信息稱為幀，每一個這樣的幀包含檢測到的:所有手掌的列表及信息、所有手指的列表及信息、手持工具(細的、筆直的、比手指長的東西，例如一枝筆)的列表及信息以及所有可指向?qū)ο?PointableObject),即所有手指和工具的列表及信息。LeapMotion體感傳感器會給所有這些信息自動分配一個唯一標(biāo)識(ID)，在手掌、手指、工具保持在視野范圍內(nèi)時，是不會改變的，根據(jù)這些ID,可以通過Frame::hand(),Frame::finger()等函數(shù)來查詢每個運動對象的信息。Leap可以根據(jù)每幀和前幀檢測到的數(shù)據(jù)，生成運動信息。[0024]例如，若檢測到兩只手，并且兩只手都超一個方向移動，就認為是平移；若是像握著球一樣轉(zhuǎn)動，則記為旋轉(zhuǎn)；若兩只手靠近或分開，則記為縮放。具體的，所生成的數(shù)據(jù)包含:旋轉(zhuǎn)的軸向向量、旋轉(zhuǎn)的角度(順時針為正)、描述旋轉(zhuǎn)的矩陣、縮放因子、平移向量。[0025]對于每只手，可以檢測到如下信息:手掌中心的位置(三維向量，相對于傳感器坐標(biāo)原點，毫米為單位)、手掌移動的速度(毫米每秒)、手掌的法向量(垂直于手掌平面，從手心指向外)、手掌朝向的方向、根據(jù)手掌彎曲的弧度確定的虛擬球體的中心、以及根據(jù)手掌彎曲的弧度確定的虛擬球體的半徑。[0026]下面結(jié)合實施例對如何利用LeapMotion體感傳感器和數(shù)字信號處理器對本發(fā)明所提供的一種基于手勢追蹤的手語翻譯方法進行詳細解釋。[0027]如圖1所示，所述基于手勢追蹤的手語翻譯方法，用于帶有手勢追蹤傳感器和數(shù)字信號處理器的終端進行手語翻譯，所述方法包括以下步驟:S1、在所述終端上預(yù)先存儲手語信息數(shù)據(jù)庫；所述手語信息數(shù)據(jù)庫用于存儲與手語信息相對應(yīng)的手勢信息。[0028]在終端上預(yù)先存儲一手語信息數(shù)據(jù)庫，所述手語信息數(shù)據(jù)庫中保存了各種用戶可能發(fā)出的代表手語信息的手勢運動信息，并將此手勢運動信息與手語信息一一對應(yīng)。[0029]S2、開啟手勢追蹤傳感器，實時捕獲用戶發(fā)出的手勢運動信息，并將所述手勢運動信息以幀數(shù)據(jù)信息的方式傳輸給數(shù)字信號處理器。[0030]開啟終端上的手勢追蹤傳感器，也即是LeapMotion體感傳感器，開啟手勢追蹤功能，所述手勢追蹤傳感器能全方位的獲取用戶發(fā)出的手勢運動信息，包括所有手指和工具的列表及信息，并獲取到的手勢運動信息已幀數(shù)據(jù)信息的方式傳輸給數(shù)字信號處理器。[0031]進一步的，在開啟手勢追蹤傳感器之后，還需要對初始化過程是否正常進行檢測，所述初始化過程包括:所述手勢追蹤傳感器的攝像頭是否正常啟動、所述數(shù)字信號處理器是否正常上電以及數(shù)字信號處理算法是否加載成功。[0032]所述初始化過程其實是一個終端中基于手勢追蹤進行手語翻譯的準(zhǔn)備過程是否正常進行檢測的過程，其包括硬件方面從非工作狀態(tài)進入到工作狀態(tài)是否正常的檢測也包括軟件方面是否正常加載的檢測。[0033]可以想到的是，如果初始化檢測出現(xiàn)異常，則直接退出本應(yīng)用，停止進行手勢追蹤，并且發(fā)送通知給終端，使用戶得知終端此功能出現(xiàn)故障。[0034]S3、數(shù)字信號處理器接收所述幀數(shù)據(jù)信息并對其進行解析，將解析出的手勢運動信息與手語信息數(shù)據(jù)庫中存儲的手勢運動信息相比對，查找出與該手勢運動信息相對應(yīng)的手語信息。[0035]具體的，數(shù)字信號處理器在接收到所述幀數(shù)據(jù)信息之后，可以建立多個進程來處理其所獲取到的幀數(shù)據(jù)信息，較佳的，為了能加快處理幀數(shù)據(jù)信息的速度，數(shù)字信號處理器首先將其接收到的幀數(shù)據(jù)信息保存在預(yù)處理模塊中的內(nèi)存緩沖區(qū)域中，然后再將保存在內(nèi)存緩沖區(qū)域的幀數(shù)據(jù)信息發(fā)送到處理模塊進行解析。[0036]由于幀數(shù)據(jù)信息比較大的原因，所述內(nèi)存緩沖區(qū)域可以分為兩個區(qū)域大小相同的部分，每個部分大小為2Mbit。所述處理模塊中比對過程可以包括write和read還有cleanlock和unlock的過程。基于此設(shè)計,在初始化過程中還可以包括:初始化分配內(nèi)存緩沖區(qū)域，及處理模塊中硬件和軟件的初始化過程。[0037]在所述處理模塊中解析出所述幀數(shù)據(jù)信息中所包括的手勢運動信息之后，所述處理模塊將其解析出的所述手勢運動信息與預(yù)先存儲的手語信息數(shù)據(jù)庫中所保存的手勢運動信息相比對，查找出與其解析出的手勢運動信息相對應(yīng)的手語信息，并將其查找出的手語信息上報終端進行顯示。[0038]具體的，為了很更快的查找出與解析出的手勢運動信息相對應(yīng)的手語信息，在上述步驟中使用NMF矩陣分解算法，使用此算法能快速的在手語信息數(shù)據(jù)庫中查找出相對應(yīng)的手語信息。[0039]所述NMF矩陣分解算法是一種新的矩陣分解算法，現(xiàn)在廣泛應(yīng)用于圖像的分析和處理領(lǐng)域。由于圖像本身包含大量的數(shù)據(jù)，計算機一般將圖像的信息按照矩陣的形式進行存放，針對圖像的識別、分析和處理也是在矩陣的基礎(chǔ)上進行的，憑借其高效的數(shù)據(jù)檢索能力，能夠在以圖像為主的手語信息數(shù)據(jù)庫中發(fā)揮很大的作用。所述NMF矩陣分解算法克服了傳統(tǒng)矩陣分解的很多問題，通過尋找上下文有意義的解決方法，提供解釋數(shù)據(jù)的更深看法。NMF通過尋找低秩，非負分解那些都為非負值的矩陣。因此本發(fā)明中使用NMF矩陣分解算法進行快速對比，可以得到更快的查找出對比結(jié)果。[0040]進一步的，在使用所述NMF矩陣分解算法在進行手勢運行信息比對時，還需要結(jié)合數(shù)字信號處理器中接收到的上下幀數(shù)據(jù)信息，根據(jù)具體的語境對對比出的手語信息是否正確進行判斷，更好的提高手語翻譯的準(zhǔn)確性。[0041]為了進一步提高手語翻譯的準(zhǔn)確性，在所述步驟S3中還包括:系統(tǒng)啟動定時模塊定時對接收到的幀數(shù)據(jù)信息保存到預(yù)處理模塊的緩沖區(qū)域進行監(jiān)控，防止幀數(shù)據(jù)信息丟失。從而協(xié)調(diào)預(yù)處理模塊中預(yù)處理線程和處理模塊中比對數(shù)據(jù)的線程之間的協(xié)同性，防止出現(xiàn)幀數(shù)據(jù)信息的丟失和將解析出的手勢運動信息與手語信息數(shù)據(jù)庫中的手勢運動信息進行對比時出現(xiàn)的數(shù)據(jù)丟失等誤操作。[0042]具體的，所述定時模塊從開始追蹤到手勢動作開始計時。由于手語表達一個意思是一個連續(xù)性的動作，這個過程中會有一個適當(dāng)?shù)耐ｎD，比如左手換右手；右手變換動作與左手進行配合等進行的停頓。因為上述停頓時間較為短暫，因此可以將上述停頓看成是一個連續(xù)的動作，定時模塊不停止定時，又由于手語表達一個句子時，其停頓的時間是有限的，因此可以通過系統(tǒng)設(shè)置或者自定義的方式設(shè)置停頓時間在3秒以內(nèi)獲取到的手勢動作為一個句子，超過3秒鐘沒有任何動作變化說明通過手語發(fā)出的整個句子已經(jīng)表達完成，定時模塊停止定時，如此便可以提高一個手語表達的連貫性和準(zhǔn)確性。[0043]因此系統(tǒng)通過所述定時模塊對接收到的代表整個手語句子信息的幀數(shù)據(jù)信息是否保存到預(yù)處理模塊的緩沖區(qū)域進行監(jiān)控，防止手勢運動信息丟失。[0044]所述定時模塊是系統(tǒng)保證資源不被其他進程占用的一個非常好用的方法，可以保證手勢跟蹤的過程中系統(tǒng)資源不會釋放，從而保證了手語能夠準(zhǔn)確高效的進行翻譯。[0045]可以想到的是，如果定時模塊中檢測出現(xiàn)了數(shù)據(jù)丟失或者其他情況的誤操作，則中斷此應(yīng)用，釋放在內(nèi)存緩沖區(qū)域中的內(nèi)存，取消定時模塊中的定時，并上報終端，呈現(xiàn)給用戶。[0046]進一步的，在由于比對后的結(jié)果顯示出的是比對后的結(jié)果實際上是GBK漢字碼，需要系統(tǒng)所提供的字庫接口進行轉(zhuǎn)換成UNICODE碼輸出，調(diào)用顯示線程進行顯示輸出。[0047]本發(fā)明提供的一種具有手勢追蹤的手語翻譯方法，適用于電子設(shè)備之中，尤其適用于智能終端中，用于對用戶發(fā)出的手勢運動信息進行追蹤和翻譯，從而方便用戶之間溝通。[0048]具體應(yīng)用時，首先需要啟動電子設(shè)備上的手勢追蹤的手語翻譯的功能模塊，設(shè)置在該功能模塊上的LeapMotion體感傳感器與定時模塊相結(jié)合獲取到用戶發(fā)出手勢運動信息，并將獲取到的手勢運動信息，即幀數(shù)據(jù)信息存儲到預(yù)處理模塊中的內(nèi)存緩沖區(qū)域中，然后再發(fā)送到處理模塊進行處理。所述處理模塊的處理為將獲取到的手勢運動信息與預(yù)先存儲手語信息數(shù)據(jù)庫中的手語信息數(shù)據(jù)進行比對，從而比對出獲取的手勢運動信息具體所表達的意思，并將比對的結(jié)果在電子設(shè)備的顯示屏上顯示出來，從而實現(xiàn)對手勢進行追蹤并進行翻譯的目的，為用戶之間的溝通提供方便。[0049]在上述本發(fā)明提供的一種具有手勢追蹤的手語翻譯方法的基礎(chǔ)上，本發(fā)明還提供了一種具有手勢追蹤的手語翻譯系統(tǒng)，同樣所述系統(tǒng)用于帶有手勢追蹤傳感器和數(shù)字信號處理器的終端進行手語翻譯，如圖2所示，所述系統(tǒng)包括以下模塊:預(yù)先存儲模塊10，用于預(yù)先存儲手語信息數(shù)據(jù)庫，所述手語信息數(shù)據(jù)庫用于存儲與手語信息相對應(yīng)的手勢信息；具體功能如上述步驟SI所述。[0050]手勢運動追蹤模塊20，用于開啟手勢追蹤傳感器，實時捕獲用戶發(fā)出的手勢運動信息，將所述手勢運動信息以幀數(shù)據(jù)信息的方式傳輸給數(shù)字信號處理器；具體功能如上述步驟S2所述。[0051]手語翻譯模塊30，用于數(shù)字信號處理器接收所述幀數(shù)據(jù)信息并對其進行解析，將解析出的手勢運動信息與手語信息數(shù)據(jù)庫中存儲的手勢運動信息相比對，查找出與該手勢運動信息相對應(yīng)的手語信息；具體功能如上述步驟S3所述。[0052]所述系統(tǒng)還包括:初始化檢測模塊，用于在手勢追蹤傳感器開啟之后，對初始化過程是否正常進行檢測，所述初始化過程包括:所述手勢追蹤傳感器的攝像頭是否正常啟動、所述數(shù)字信號處理器是否正常上電以及數(shù)字信號處理算法是否加載成功。[0053]所述手語翻譯模塊30包括預(yù)處理單元和處理單元；所述預(yù)處理單元，用于數(shù)字信號處理器將其接收到的幀數(shù)據(jù)信息保存在預(yù)處理模塊中的緩沖區(qū)域；處理單元，用于將保存在緩沖區(qū)域的幀數(shù)據(jù)信息發(fā)送到處理模塊進行解析。[0054]所述手語翻譯模塊30還包括定時模塊；所述定時模塊，系統(tǒng)用于對接收到的幀數(shù)據(jù)信息保存到預(yù)處理模塊的緩沖區(qū)域進行定時監(jiān)控，防止幀數(shù)據(jù)信息丟失。[0055]所述基于手勢追蹤的手語翻譯系統(tǒng)，其中，所述手語翻譯模塊中將解析出的手勢運動信息與所述手語信息數(shù)據(jù)庫中手語信息相比對時運用的是NMF矩陣分解算法。[0056]本發(fā)明提供的一種基于手勢追蹤的手語翻譯的方法及系統(tǒng)，通過利用手勢追蹤傳感器獲取手勢運動信息，并將獲取到的手勢運動信息以幀數(shù)據(jù)信息的方式傳輸?shù)浇K端上的數(shù)字信號處理器進行解析，將解析出所述手勢運動信息與存儲在終端上的手語信息數(shù)據(jù)庫中保存的手勢運動信息進行比對，對比出所述手勢運動信息所對應(yīng)的手語信息，從而可以準(zhǔn)確的獲取用戶通過手勢運動發(fā)出的手語信息，使普通人能輕松的從終端上查看到語言障礙人士發(fā)出手語信息，輕松理解其所要表達的信息，所述方法和系統(tǒng)解決普通人對手語理解困難的問題，方便了語言障礙的人與普通人之間的交流和溝通。[0057]可以理解的是，對本領(lǐng)域普通技術(shù)人員來說，可以根據(jù)本發(fā)明的技術(shù)方案及其發(fā)明構(gòu)思加以等同替換或改變，而所有這些改變或替換都應(yīng)屬于本發(fā)明所附的權(quán)利要求的保護范圍?！緳?quán)利要求】1.一種基于手勢追蹤的手語翻譯方法，其特征在于，用于帶有手勢追蹤傳感器和數(shù)字信號處理器的終端進行手語翻譯，所述方法包括以下步驟:A、在所述終端上預(yù)先存儲手語信息數(shù)據(jù)庫；所述手語信息數(shù)據(jù)庫用于存儲與手語信息相對應(yīng)的手勢信息；B、開啟手勢追蹤傳感器，實時捕獲用戶發(fā)出的手勢運動信息，并將所述手勢運動信息以幀數(shù)據(jù)信息的方式傳輸給數(shù)字信號處理器；C、數(shù)字信號處理器接收所述幀數(shù)據(jù)信息并對其進行解析，將解析出的手勢運動信息與手語信息數(shù)據(jù)庫中存儲的手勢運動信息相比對，查找出與該手勢運動信息相對應(yīng)的手語信息。2.根據(jù)權(quán)利要求1所述基于手勢追蹤的手語翻譯方法，其特征在于，在所述步驟B之前還包括以下步驟:B0、開啟手勢追蹤傳感器之后，對初始化過程是否正常進行檢測，所述初始化過程包括:所述手勢追蹤傳感器的攝像頭是否正常啟動、所述數(shù)字信號處理器是否正常上電以及數(shù)字信號處理算法是否加載成功。3.根據(jù)權(quán)利要求1所述基于手勢追蹤的手語翻譯方法，其特征在于，所述步驟C中包括:數(shù)字信號處理器首先將其接收到的幀數(shù)據(jù)信息保存在預(yù)處理模塊中的緩沖區(qū)域，然后再將保存在緩沖區(qū)域的幀數(shù)據(jù)信息發(fā)送到處理模塊進行解析。4.根據(jù)權(quán)利要求3所述基于手勢追蹤的手語翻譯方法，其特征在于，在所述步驟C中還包括:系統(tǒng)啟動定時模塊定時對接收到的幀數(shù)據(jù)信息保存到預(yù)處理模塊的緩沖區(qū)域進行監(jiān)控，防止幀數(shù)據(jù)信息丟失。5.根據(jù)權(quán)利要求1所述基于手勢追蹤的手語翻譯方法，其特征在于，在所述步驟C中將解析出的手勢運動信息與所述手語信息數(shù)據(jù)庫中手語信息相比對時運用的是NMF矩陣分解算法。6.一種具有手勢追蹤的手語翻譯系統(tǒng)，其特征在于，用于帶有手勢追蹤傳感器和數(shù)字信號處理器的終端進行手語翻譯，所述系統(tǒng)包括以下模塊:預(yù)先存儲模塊，用于預(yù)先存儲手語信息數(shù)據(jù)庫，所述手語信息數(shù)據(jù)庫用于存儲與手語信息相對應(yīng)的手勢信息；手勢運動追蹤模塊，用于開啟手勢追蹤傳感器，實時捕獲用戶發(fā)出的手勢運動信息，將所述手勢運動信息以幀數(shù)據(jù)信息的方式傳輸給數(shù)字信號處理器；手語翻譯模塊，用于數(shù)字信號處理器接收所述幀數(shù)據(jù)信息并對其進行解析，將解析出的手勢運動信息與手語信息數(shù)據(jù)庫中存儲的手勢運動信息相比對，查找出與該手勢運動信息相對應(yīng)的手語信息。7.根據(jù)權(quán)利要求6所述基于手勢追蹤的手語翻譯系統(tǒng)，其特征在于，所述系統(tǒng)還包括:初始化檢測模塊，用于在手勢追蹤傳感器開啟之后，對初始化過程是否正常進行檢測，所述初始化過程包括:所述手勢追蹤傳感器的攝像頭是否正常啟動、所述數(shù)字信號處理器是否正常上電以及數(shù)字信號處理算法是否加載成功。8.根據(jù)權(quán)利要求6所述基于手勢追蹤的手語翻譯系統(tǒng)，其特征在于，所述手語翻譯模塊包括預(yù)處理單元和處理單元；所述預(yù)處理單元，用于數(shù)字信號處理器將其接收到的幀數(shù)據(jù)信息保存在預(yù)處理模塊中的緩沖區(qū)域；處理單元，用于將保存在緩沖區(qū)域的幀數(shù)據(jù)信息發(fā)送到處理模塊進行解析。9.根據(jù)權(quán)利要求8所述基于手勢追蹤的手語翻譯系統(tǒng)，其特征在于，所述手語翻譯模塊還包括定時模塊；所述定時模塊，系統(tǒng)用于對接收到的幀數(shù)據(jù)信息保存到預(yù)處理模塊的緩沖區(qū)域進行定時監(jiān)控，防止幀數(shù)據(jù)信息丟失。10.根據(jù)權(quán)利要求6所述基于手勢追蹤的手語翻譯系統(tǒng)，其特征在于，所述手語翻譯模塊中將解析出的手勢運動信息與所述手語信息數(shù)據(jù)庫中手語信息相比對時運用的是NMF矩陣分解算法。【文檔編號】G09B21/04GK103793527SQ201410063592【公開日】2014年5月14日申請日期:2014年2月25日優(yōu)先權(quán)日:2014年2月25日【發(fā)明者】陳瓊申請人:惠州Tcl移動通信有限公司