專利名稱：一種語音手勢交互翻譯裝置及其控制方法
技術(shù)領(lǐng)域：
本發(fā)明涉及傳感器技術(shù)、識別技術(shù)領(lǐng)域，特別涉及一種語音手勢交互翻譯裝置及其控制方法。
背景技術(shù)：
手語是用手勢比量動作，根據(jù)手勢的變化模擬形象或者音節(jié)以構(gòu)成一定意思或詞語，其作為聽力障礙的人(即聾啞人，以下簡稱為聽障人)之間、聽障人與健全人(即聽、說能力正常的人)之間互相交流的一種手的語言，是聽障人主要的交際工具。由于手語的動作較多且遵循一定的規(guī)則、需要經(jīng)過系統(tǒng)的學(xué)習(xí)才能掌握，大多數(shù)健全人可能會理解少數(shù)手語的意思，或者完全不明白，因此聽障人與健全人之間常出現(xiàn)交流不順暢、甚至沒有任何交流，勢必會傷害聽障人的感情，影響健全人與聽障人的團(tuán)結(jié)。

發(fā)明內(nèi)容
鑒于上述現(xiàn)有技術(shù)的不足之處，本發(fā)明的目的在于提供一種語音手勢交互翻譯裝置及其控制方法，以解決聽障人與健全人之間的交流障礙問題。為了達(dá)到上述目的，本發(fā)明采取了以下技術(shù)方案:
一種語音手勢交互翻譯裝置，其特征在于，包括手勢翻譯器和語音翻譯器；
所述手勢翻譯器，用于獲取第一用戶的手勢動作，與預(yù)存的手語數(shù)據(jù)進(jìn)行匹配、輸出該手勢動作對應(yīng)的詞語信息，轉(zhuǎn)換為語音信號進(jìn)行播放；
所述語音翻譯器與所述手勢翻譯器通信連接，用于獲取第二用戶的語音信號，將所述語音信號轉(zhuǎn)換為文字信息后與預(yù)存的手語數(shù)據(jù)進(jìn)行匹配、生成該文字信息對應(yīng)的手勢動作，將手勢動作按順序進(jìn)行顯示。所述的語音手勢交互翻譯裝置，其中，所述手勢翻譯器包括:
手勢傳感器，用于感應(yīng)第一用戶手指的指式、動作和朝向，結(jié)合手與人體之間的相對位置生成相應(yīng)的手勢動作，并無線傳輸至第一處理器；
第一處理器，用于將接收的手勢動作與預(yù)存的手語數(shù)據(jù)進(jìn)行匹配，輸出該手勢動作對應(yīng)的詞語信息，將詞語信息組合為語句信息后轉(zhuǎn)換為語音信號輸出；
語音播放模塊，用于接收語音信號、將語音信號放大后播放；
所述手勢傳感器與第一處理器無線連接，所述第一處理器連接語音播放模塊。所述的語音手勢交互翻譯裝置，其中，所述語音翻譯器包括:
語音采集模塊，用于獲取第二用戶的語音信號并傳輸；
第二處理器，用于將接收的第二用戶的語音信號轉(zhuǎn)換為文字信息、與預(yù)存的手語數(shù)據(jù)進(jìn)行匹配、生成該文字信息對應(yīng)的手勢動作；
顯示模塊，用于獲取手勢動作并按手勢動作生成的先后順序逐一顯示；
所述語音采集模塊、第二處理器、顯示模塊依次連接。所述的語音手勢交互翻譯裝置，其中，所述手勢傳感器包括手套、距離傳感器以及手勢合成模塊，所述手套、距離傳感器分別連接手勢合成模塊；
所述手套上設(shè)置有多個加速度傳感器且分別位于與手指關(guān)節(jié)相對應(yīng)的位置、手背以及手心，用于感應(yīng)第一用戶手指的指式、動作和朝向；
所述距離傳感器用于感應(yīng)所述多個加速度傳感器與人體之間的相對位置；
所述手勢合成模塊根據(jù)手指的指式、動作、朝向以及加速度傳感器與人體之間的相對位置進(jìn)行手勢語識別，生成相應(yīng)的手勢動作，并無線傳輸至第一處理器。所述的語音手勢交互翻譯裝置，其中，所述手勢翻譯器還包括:
動作判斷模塊，用于根據(jù)第一用戶輸入的操作命令控制加速度傳感器和距離傳感器開始或停止感應(yīng)；所述動作判斷模塊連接手套和距離傳感器。所述的語音手勢交互翻譯裝置，其中，所述第一處理器還包括:
語句組合模塊，用于將手勢動作對應(yīng)的詞語信息根據(jù)預(yù)設(shè)的語句格式組合成語句信
肩、O一種語音手勢交互翻譯裝置的控制方法，其包括:
A、手勢翻譯器獲取第一用戶的手勢動作，與預(yù)存的手語數(shù)據(jù)進(jìn)行匹配、輸出該手勢動作對應(yīng)的詞語信息，將詞語信息轉(zhuǎn)換為語音信號進(jìn)行播放；
B、語音翻譯器獲取第二用戶的語音信號，將所述語音信號轉(zhuǎn)換為文字信息后與預(yù)存的手語數(shù)據(jù)進(jìn)行匹配、生成該文字信息對應(yīng)的手勢動作，將手勢動作按順序進(jìn)行顯示。 所述的語音手勢交互翻譯裝置的控制方法，其中，所述步驟A中，手勢翻譯器獲取第一用戶的手勢動作具體包括:
Al、加速度傳感器感應(yīng)第一用戶的手的指式、動作和朝向；
A2、距離傳感器感應(yīng)所述加速度傳感器感與人體之間的相對位置；
A3、手勢合成模塊根據(jù)所述手指的指式、動作、朝向以及加速度傳感器與人體之間的相對位置進(jìn)行手勢語識別，生成相應(yīng)的手勢動作。所述的語音手勢交互翻譯裝置的控制方法，其中，所述步驟A之前還包括:
AO:動作判斷模塊根據(jù)第一用戶輸入的操作命令控制加速度傳感器和距離傳感器開始感應(yīng)。相較于現(xiàn)有技術(shù)，本發(fā)明提供的一種語音手勢交互翻譯裝置及其控制方法，通過手勢翻譯器獲取聽障人的手勢動作，與預(yù)存的手語數(shù)據(jù)進(jìn)行匹配、輸出該手勢動作對應(yīng)的詞語信息，再轉(zhuǎn)換為語音信號后進(jìn)行播放；通過語音翻譯器獲取健全人的語音信號，將所述語音信號轉(zhuǎn)換為文字信息后與預(yù)存的手語數(shù)據(jù)進(jìn)行匹配、生成該文字信息對應(yīng)的手勢動作，將手勢動作按順序在顯示屏上進(jìn)行顯示，這樣聽障人的手語轉(zhuǎn)換為相應(yīng)的聲音播放，健全人的語言轉(zhuǎn)換為相應(yīng)的手語展示，即可實現(xiàn)聽障人與健全人之間無障礙交流。


圖1為本發(fā)明語音手勢交互翻譯裝置的結(jié)構(gòu)框圖。圖2為本發(fā)明語音手勢交互翻譯裝置的控制方法流程圖。
具體實施例方式本發(fā)明提供一種語音手勢交互翻譯裝置及其控制方法，為使本發(fā)明的目的、技術(shù)方案及效果更加清楚、明確，以下參照附圖并舉實施例對本發(fā)明進(jìn)一步詳細(xì)說明。應(yīng)當(dāng)理解，此處所描述的具體實施例僅用以解釋本發(fā)明，并不用于限定本發(fā)明。請參閱圖1，其為本發(fā)明語音手勢交互翻譯裝置的結(jié)構(gòu)框圖，如圖所示，其包括手勢翻譯器10和語音翻譯器20。所述手勢翻譯器10獲取第一用戶的手勢動作，與預(yù)存的手語數(shù)據(jù)進(jìn)行匹配、輸出該手勢動作對應(yīng)的詞語信息，轉(zhuǎn)換為語音信號進(jìn)行播放。所述語音翻譯器20與所述手勢翻譯器10通信連接，獲取第二用戶的語音信號，將所述語音信號轉(zhuǎn)換為文字信息后與預(yù)存的手語數(shù)據(jù)進(jìn)行匹配、生成該文字信息對應(yīng)的手勢動作，將手勢動作按順序進(jìn)行顯示。所述第一用戶指聽障人，佩戴手勢翻譯器10 ;所述第二用戶指健全人，佩戴語音翻譯器20。手勢翻譯器10包括手勢傳感器、第一處理器和語音播放模塊。所述第一處理器和語音播放模塊可設(shè)置在一起，所述手勢傳感器獨立于第一處理器和語音播放模塊，與第一處理器無線連接。手勢傳感器將感應(yīng)到的聽障人的手指的指式、動作和朝向，結(jié)合手與人體之間的相對位置生成相應(yīng)的手勢動作，并無線傳輸至第一處理器，也可以通過藍(lán)牙方式傳輸。其中，手勢傳感器包括手套、距離傳感器以及手勢合成模塊。所述手套上設(shè)置有多個加速度傳感器且分別位于與手指關(guān)節(jié)相對應(yīng)的位置、手背以及手心處，可感應(yīng)第一用戶手指的指式、動作和朝向。所述加速度傳感器為MEMS加速度傳感器。聽障人雙手帶上該手套后，由過感應(yīng)手指運動過程中三軸方向的運動加速度，分析判斷出手指及雙手的運動軌跡、運動方向、運動行程，即可識別出聽障人比劃的手語?；谑终Z有多種姿勢，有的會高舉過頭頂，有的會放在耳邊，例如“對不起”的手語有點類似于敬禮。為了使感應(yīng)到的手語動作更加準(zhǔn)確，通過所述距離傳感器感應(yīng)所述多個加速度傳感器與人體之間的相對位置，再通過手勢合成模塊將手指的指式、動作、朝向以及加速度傳感器與人體之間的相對位置放在一起進(jìn)行手勢語識別，即可生成相應(yīng)的更為準(zhǔn)確的手勢動作，然后無線或藍(lán)牙傳輸至第一處理器。為了判斷聽障人是否需要進(jìn)行手語對話，將一些尋常動作，如握住扶手、喝水、搓手等與手語區(qū)分，避免加速度傳感器的誤判斷，進(jìn)一步地，所述手勢翻譯器還包括一動作判斷模塊，其連接手套和距離傳感器，根據(jù)聽障人輸入的操作命令控制加速度傳感器和距離傳感器開始或停止感應(yīng)。在具體實施時，所述動作判斷模為設(shè)置在手套上的一輕觸開關(guān)，例如設(shè)置在手腕附近，當(dāng)聽障人需要手語交流時，按下該輕觸開關(guān)后即可啟動加速度傳感器和距離傳感器使其工作。當(dāng)一句話或一段話表示完后，再按一下輕觸開關(guān)即可使加速度傳感器和距離傳感器停止工作，避免手勢動作誤感應(yīng)。較佳地，所述輕觸開關(guān)還包括一延時電路，用于當(dāng)加速度傳感器和距離傳感器啟動前，聽障人有足夠的時間使雙手放在準(zhǔn)備位置，以確保感應(yīng)的手勢動作的正確性。所述第一處理器接收所述手勢動作后與預(yù)存的手語數(shù)據(jù)進(jìn)行匹配，輸出該手勢動作對應(yīng)的詞語信息。在第一處理器中設(shè)置一存儲模塊來預(yù)先存儲一些目前常用的手語數(shù)據(jù)，即一個連續(xù)的手勢動作表示什么意思，該意思對應(yīng)一詞語信息?；谀壳安粩喑霈F(xiàn)一些網(wǎng)絡(luò)新詞匯，為了及時更新手語數(shù)據(jù)，進(jìn)一步地，所述第一處理器還包括一 USB接口，插入USB數(shù)據(jù)線后即可連接網(wǎng)絡(luò)下載最新的手語數(shù)據(jù)?；诼犝先酥g為了簡便，往往喜歡打自然手語，該自然手語文法欠順，如“我聰明不是”、“我收到有”、“她漂亮很”等，為了理順這些語句的意思，所述第一處理器還包括語句組合模塊，針對意思較為簡單的手語，如“我好很”，將表示該意思的手勢動作對應(yīng)的詞語信息按照語言表達(dá)方式調(diào)整后輸出“我很好”的語句信息。針對一長段話，將多個手勢動作對應(yīng)的詞語信息根據(jù)預(yù)設(shè)的語句格式組合在一起，調(diào)整成一段意思清楚的語句信息。第一處理器將語句信息轉(zhuǎn)換為語音信號后輸出至語音播放模塊，語音信號經(jīng)過放大后播放。在具體實施時，語音播放模塊可采用一帶音頻放大電路的喇叭來播放語音信號。當(dāng)健全人聽到所述語音播放模塊放出的聲音需要回應(yīng)聽障人時，通過語音翻譯器20上的語音采集模塊采集健全人的語音信號并傳輸至第二處理器中。語音采集模塊可以為麥克風(fēng)。第二處理器將接收到的語音信號轉(zhuǎn)換為文字信息、與預(yù)存的手語數(shù)據(jù)進(jìn)行匹配、生成該文字信息對應(yīng)的手勢動作。顯示模塊按手勢動作生成的先后順序逐一進(jìn)行顯示。在具體實施時，手勢動作可以動畫的形式在顯示屏上顯示。為了確保語音采集的準(zhǔn)確性，進(jìn)一步地所述第二處理器還包括一定時器，通過該定時器來判斷健全人所要表述的一段話是否完結(jié)。當(dāng)健全人說完一句話3秒后，語音采集模塊沒有采集到任何語音信號，則默認(rèn)為健全人的意思已經(jīng)表述完畢，則第二處理器才對當(dāng)前采集的語音信號進(jìn)行轉(zhuǎn)換，所顯示的手勢動作僅表示該一句話的內(nèi)容?；谏鲜稣Z音手勢交互翻譯裝置，本發(fā)明還提供一種語音手勢交互翻譯裝置的控制方法，其包括步驟:
S10、手勢翻譯器獲取第一用戶的手勢動作，與預(yù)存的手語數(shù)據(jù)進(jìn)行匹配、輸出該手勢動作對應(yīng)的詞語信息，將詞語信息轉(zhuǎn)換為語音信號進(jìn)行播放。S20、語音翻譯器獲取第二用戶的語音信號，將所述語音信號轉(zhuǎn)換為文字信息后與預(yù)存的手語數(shù)據(jù)進(jìn)行匹配、生成該文字信息對應(yīng)的手勢動作，將手勢動作按順序進(jìn)行顯示。在所述步驟SlO之前，需要判斷是否需要獲取第一用戶的手勢動作，其包括:動作判斷模塊根據(jù)第一用戶輸入的操作命令控制加速度傳感器和距離傳感器開始感應(yīng)。其中，所述步驟SlO中，手勢翻譯器獲取第一用戶的手勢動作具體包括:
步驟1、加速度傳感器感應(yīng)第一用戶的手的指式、動作和朝向。步驟2、距離傳感器感應(yīng)所述加速度傳感器感與人體之間的相對位置。步驟3、手勢合成模塊根據(jù)所述手指的指式、動作、朝向以及加速度傳感器與人體之間的相對位置進(jìn)行手勢語識別，生成相應(yīng)的手勢動作。第一用戶(即聽障人)與第二用戶(即健全人)溝通時，通過手勢翻譯器即可將聽障人的手語翻譯成相應(yīng)的文本、即詞語信息，再將該詞語信息轉(zhuǎn)換為語音播出，相當(dāng)于聽障人說話表達(dá)其意思。當(dāng)健全人回復(fù)談話內(nèi)容時，由語音翻譯器將健全人說的話、即語音信號轉(zhuǎn)換成相應(yīng)的文本、即文字信息，再將該文字信息翻譯成對應(yīng)的手勢動作在顯示屏上顯示出來，相當(dāng)于“說”給聽障人聽，這樣，無需改變用戶原有的語言表達(dá)方式，也無需學(xué)習(xí)手語，在聽障人與健全人之間即可實現(xiàn)無障礙的交流溝通，使聽障人能更好地融入正常人的社會生活。可以理解的是，對本領(lǐng)域普通技術(shù)人員來說，可以根據(jù)本發(fā)明的技術(shù)方案及其發(fā)明構(gòu)思加以等同替換或改變，而所有這些改變或替換都應(yīng)屬于本發(fā)明所附的權(quán)利要求的保護(hù)范圍。
權(quán)利要求
1.一種語音手勢交互翻譯裝置，其特征在于，包括手勢翻譯器和語音翻譯器； 所述手勢翻譯器，用于獲取第一用戶的手勢動作，與預(yù)存的手語數(shù)據(jù)進(jìn)行匹配、輸出該手勢動作對應(yīng)的詞語信息，轉(zhuǎn)換為語音信號進(jìn)行播放； 所述語音翻譯器與所述手勢翻譯器通信連接，用于獲取第二用戶的語音信號，將所述語音信號轉(zhuǎn)換為文字信息后與預(yù)存的手語數(shù)據(jù)進(jìn)行匹配、生成該文字信息對應(yīng)的手勢動作，將手勢動作按順序進(jìn)行顯示。
2.根據(jù)權(quán)利要求1所述的語音手勢交互翻譯裝置，其特征在于，所述手勢翻譯器包括: 手勢傳感器，用于感應(yīng)第一用戶手指的指式、動作和朝向，結(jié)合手與人體之間的相對位置生成相應(yīng)的手勢動作，并無線傳輸至第一處理器； 第一處理器，用于將接收的手勢動作與預(yù)存的手語數(shù)據(jù)進(jìn)行匹配，輸出該手勢動作對應(yīng)的詞語信息，將詞語信息組合為語句信息后轉(zhuǎn)換為語音信號輸出； 語音播放模塊，用于接收語音信號、將語音信號放大后播放； 所述手勢傳感器與第一處理器無線連接，所述第一處理器連接語音播放模塊。
3.根據(jù)權(quán)利要求1所述的語音手勢交互翻譯裝置，其特征在于，所述語音翻譯器包括: 語音采集模塊，用于獲取第二用戶的語音信號并傳輸； 第二處理器，用于將接收的第二用戶的語音信號轉(zhuǎn)換為文字信息、與預(yù)存的手語數(shù)據(jù)進(jìn)行匹配、生成該文字信息對應(yīng)的手勢動作； 顯示模塊，用于獲取手勢動作并按手勢動作生成的先后順序逐一顯示； 所述語音采集模塊、第二處理器、顯示模塊依次連接。
4.根據(jù)權(quán)利要求2所述的語音手勢交互翻譯裝置，其特征在于，所述手勢傳感器包括手套、距離傳感器以及手勢合成模塊，所述手套、距離傳感器分別連接手勢合成模塊； 所述手套上設(shè)置有多個加速度傳感器且分別位于與手指關(guān)節(jié)相對應(yīng)的位置、手背以及手心，用于感應(yīng)第一用戶手指的指式、動作和朝向； 所述距離傳感器用于感應(yīng)所述多個加速度傳感器與人體之間的相對位置； 所述手勢合成模塊根據(jù)手指的指式、動作、朝向以及加速度傳感器與人體之間的相對位置進(jìn)行手勢語識別，生成相應(yīng)的手勢動作，并無線傳輸至第一處理器。
5.根據(jù)權(quán)利要求4所述的語音手勢交互翻譯裝置，其特征在于，所述手勢翻譯器還包括: 動作判斷模塊，用于根據(jù)第一用戶輸入的操作命令控制加速度傳感器和距離傳感器開始或停止感應(yīng)；所述動作判斷模塊連接手套和距離傳感器。
6.根據(jù)權(quán)利要求2所述的語音手勢交互翻譯裝置，其特征在于，所述第一處理器還包括: 語句組合模塊，用于將手勢動作對應(yīng)的詞語信息根據(jù)預(yù)設(shè)的語句格式組合成語句信肩、O
7.一種語音手勢交互翻譯裝置的控制方法，其特征在于，包括: A、手勢翻譯器獲取第一用戶的手勢動作，與預(yù)存的手語數(shù)據(jù)進(jìn)行匹配、輸出該手勢動作對應(yīng)的詞語信息，將詞語信息轉(zhuǎn)換為語音信號進(jìn)行播放； B、語音翻譯器獲取第二用戶的語音信號，將所述語音信號轉(zhuǎn)換為文字信息后與預(yù)存的手語數(shù)據(jù)進(jìn)行匹配、生成該文字信息對應(yīng)的手勢動作，將手勢動作按順序進(jìn)行顯示。
8.根據(jù)權(quán)利要求5所述的語音手勢交互翻譯裝置的控制方法，其特征在于，所述步驟A中，手勢翻譯器獲取第一用戶的手勢動作具體包括: Al、加速度傳感器感應(yīng)第一用戶的手的指式、動作和朝向； A2、距離傳感器感應(yīng)所述加速度傳感器感與人體之間的相對位置； A3、手勢合成模塊根據(jù)所述手指的指式、動作、朝向以及加速度傳感器與人體之間的相對位置進(jìn)行手勢語識別，生成相應(yīng)的手勢動作。
9.根據(jù)權(quán)利要求7所述的語音手勢交互翻譯裝置的控制方法，其特征在于，所述步驟A之前還包括: AO:動作判斷模塊根據(jù)第一用戶輸入的操作命令控制加速度傳感器和距離傳感器開始感 應(yīng)。
全文摘要
本發(fā)明公開了一種語音手勢交互翻譯裝置及其控制方法，所述語音手勢交互翻譯裝置包括手勢翻譯器和語音翻譯器，手勢翻譯器和語音翻譯器通信連接；手勢翻譯器獲取第一用戶的手勢動作，與預(yù)存的手語數(shù)據(jù)進(jìn)行匹配、輸出該手勢動作對應(yīng)的詞語信息，再轉(zhuǎn)換為語音信號后進(jìn)行播放；語音翻譯器獲取第二用戶的語音信號，將所述語音信號轉(zhuǎn)換為文字信息后與預(yù)存的手語數(shù)據(jù)進(jìn)行匹配、生成該文字信息對應(yīng)的手勢動作，將手勢動作按順序進(jìn)行顯示。本發(fā)明通過第一用戶使用手勢翻譯器將手語翻譯成語音播出；第二用戶使用語音翻譯器將語音信號翻譯成對應(yīng)的手勢動作進(jìn)行顯示，在聽障人與健全人之間即可實現(xiàn)無障礙的交流溝通，使聽障人能更好地融入正常人的社會生活。
文檔編號G10L15/26GK103116576SQ201310033370
公開日2013年5月22日 申請日期2013年1月29日 優(yōu)先權(quán)日2013年1月29日
發(fā)明者呂勇攀, 呂偉 申請人:安徽安泰新型包裝材料有限公司, 深圳勁嘉彩印集團(tuán)股份有限公司