聾啞人進(jìn)行信息交流的方法、裝置及智能終端的制作方法
【專利摘要】本發(fā)明實(shí)施例提供一種聾啞人進(jìn)行信息交流的方法、裝置及智能終端，其中一方法包括：接收語音信號(hào)，在預(yù)先建立的手語庫中對(duì)所述語音信號(hào)進(jìn)行匹配；根據(jù)在預(yù)先建立的手語庫中對(duì)所述語音信號(hào)的匹配結(jié)果，從所述手語庫中選擇與所述語音信號(hào)對(duì)應(yīng)標(biāo)準(zhǔn)手語信息；以及呈現(xiàn)從所述手語庫中選擇與所述語音信號(hào)對(duì)應(yīng)標(biāo)準(zhǔn)手語信息。通過在預(yù)先建立的手語庫中對(duì)所述語音信號(hào)進(jìn)行匹配，從所述手語庫中選擇與所述語音信號(hào)對(duì)應(yīng)標(biāo)準(zhǔn)手語信息，從而可以將與所述語音信號(hào)對(duì)應(yīng)標(biāo)準(zhǔn)手語信息展現(xiàn)給作為接收方的聾啞人，從而克服了聾啞人在進(jìn)行信息交流時(shí)智能終端性能沒有充分發(fā)揮的缺陷，增強(qiáng)了聾啞人利用智能終端進(jìn)行信息交流的便捷性。
【專利說明】
聾啞人進(jìn)行信息交流的方法、裝置及智能終端
技術(shù)領(lǐng)域
[0001]本發(fā)明實(shí)施例涉及智能終端技術(shù)領(lǐng)域，尤其涉及一種聾啞人進(jìn)行信息交流的方法、裝置及智能終端。
【背景技術(shù)】
[0002]手機(jī)作為現(xiàn)代重要而普及的交流工具，尤其是移動(dòng)互聯(lián)網(wǎng)技術(shù)的到來，使得傳統(tǒng)意義上的手機(jī)即功能機(jī)已經(jīng)被逐漸的具有強(qiáng)大數(shù)據(jù)處理功能的智能機(jī)代替。智能機(jī)除了可以實(shí)現(xiàn)傳統(tǒng)手機(jī)的基本通信功能比如發(fā)短信、打電話等，還可以依托于移動(dòng)互聯(lián)網(wǎng)進(jìn)行信息獲取以及信息交流。
[0003]對(duì)于大多數(shù)無語言和聽覺障礙的用戶來說，智能手機(jī)極大的方便了信息的獲取和交流，可以無障礙的進(jìn)行使用。但是，對(duì)于有語言和聽覺障礙的聾啞人來說，在進(jìn)行信息交流時(shí)，由于無法正常發(fā)音，無法收聽標(biāo)準(zhǔn)的語言，只能通過收發(fā)短信來進(jìn)行，因此，使得手機(jī)的性能沒有充分的發(fā)揮，對(duì)聾啞人在信息交流時(shí)提供的便捷性較差。

【發(fā)明內(nèi)容】

[0004]本發(fā)明實(shí)施例的目的在于提供一種與聾啞人進(jìn)行信息交流的方法、裝置及智能終端，用以解決現(xiàn)有技術(shù)中聾啞人在進(jìn)行信息交流時(shí)智能終端性能沒有充分發(fā)揮的缺陷，增強(qiáng)聾啞人利用智能終端進(jìn)行信息交流的便捷性。
[0005]本發(fā)明實(shí)施例采用的技術(shù)方案如下:
[0006]本發(fā)明實(shí)施例提供一種與聾啞人進(jìn)行信息交流的方法，其包括:
[0007]接收語音信號(hào)，在預(yù)先建立的手語庫中對(duì)所述語音信號(hào)進(jìn)行匹配；
[0008]根據(jù)在預(yù)先建立的手語庫中對(duì)所述語音信號(hào)的匹配結(jié)果，從所述手語庫中選擇與所述語音信號(hào)對(duì)應(yīng)標(biāo)準(zhǔn)手語信息；
[0009]呈現(xiàn)從所述手語庫中選擇與所述語音信號(hào)對(duì)應(yīng)標(biāo)準(zhǔn)手語信息。
[0010]優(yōu)選地，在本發(fā)明的一實(shí)施例中，所述接收語音信號(hào)，在預(yù)先建立的手語庫中對(duì)所述語音信號(hào)進(jìn)行匹配包括:
[0011]接收語音信號(hào)，將所述語音信號(hào)轉(zhuǎn)換成數(shù)字信號(hào)，在預(yù)先建立的手語庫中對(duì)所述語音信號(hào)對(duì)應(yīng)的數(shù)字信號(hào)進(jìn)行匹配。
[0012]優(yōu)選地，在本發(fā)明的一實(shí)施例中，所述根據(jù)在預(yù)先建立的手語庫中對(duì)所述語音信號(hào)的匹配結(jié)果，從所述手語庫中選擇與所述語音信號(hào)對(duì)應(yīng)標(biāo)準(zhǔn)手語信息包括:
[0013]根據(jù)對(duì)所述語音信號(hào)對(duì)應(yīng)的數(shù)字信號(hào)的匹配結(jié)果，從所述手語庫中選擇與所述語音信號(hào)對(duì)應(yīng)的數(shù)字信號(hào)匹配的標(biāo)準(zhǔn)手語信息。
[0014]優(yōu)選地，在本發(fā)明的一實(shí)施例中，所述呈現(xiàn)從所述手語庫中選擇與所述語音信號(hào)對(duì)應(yīng)標(biāo)準(zhǔn)手語信息包括:
[0015]顯示從所述手語庫中選擇與所述語音信號(hào)對(duì)應(yīng)的數(shù)字信號(hào)匹配的標(biāo)準(zhǔn)手語信息。
[0016]優(yōu)選地，在本發(fā)明的一實(shí)施例中，所述顯示從所述手語庫中選擇與所述語音信號(hào)對(duì)應(yīng)的數(shù)字信號(hào)匹配的標(biāo)準(zhǔn)手語信息包括:以圖形方式顯示從所述手語庫中選擇與所述語音信號(hào)對(duì)應(yīng)的數(shù)字信號(hào)匹配的標(biāo)準(zhǔn)手語信息。
[0017]優(yōu)選地，在本發(fā)明的一實(shí)施例中，還包括:判斷是否啟動(dòng)聾啞交互，如果是，則執(zhí)行啟動(dòng)標(biāo)準(zhǔn)語音信號(hào)的接收;否則，結(jié)束。
[0018]本發(fā)明實(shí)施例提供一種與聾啞人進(jìn)行信息交流的方法，其包括:
[0019]捕獲手語手勢(shì)并采集捕獲到的手語手勢(shì)形成手語手勢(shì)圖像序列；
[0020]對(duì)手語手勢(shì)圖像序列中每個(gè)手語手勢(shì)圖像進(jìn)行手勢(shì)特征識(shí)別和定位；
[0021]根據(jù)識(shí)別和定位到的手勢(shì)特征在手語庫中進(jìn)行匹配生成數(shù)字信號(hào)；
[0022]發(fā)送根據(jù)在手語庫中匹配結(jié)果生成的數(shù)字信號(hào)。
[0023]優(yōu)選地，在本發(fā)明的一實(shí)施例中，所述捕獲手語手勢(shì)并采集捕獲到的手語手勢(shì)形成手語手勢(shì)圖像序列包括:
[0024]捕獲手語手勢(shì)并采集捕獲到的手語手勢(shì)，形成手語手勢(shì)圖像序列，將所述手語手勢(shì)圖像序列轉(zhuǎn)換成數(shù)字信號(hào)。
[0025]優(yōu)選地，在本發(fā)明的一實(shí)施例中，所述根據(jù)識(shí)別和定位到的手勢(shì)特征在手語庫中進(jìn)行匹配生成數(shù)字信號(hào):
[0026]根據(jù)識(shí)別和定位到的手勢(shì)特征在對(duì)應(yīng)手語手勢(shì)圖像上的數(shù)字信號(hào)，在手語庫中進(jìn)行匹配生成語音信號(hào)。
[0027]優(yōu)選地，在本發(fā)明的一實(shí)施例中，所述對(duì)手語手勢(shì)圖像序列中每個(gè)手語手勢(shì)圖像進(jìn)行手勢(shì)特征識(shí)別和定位包括:
[0028]對(duì)手語手勢(shì)圖像序列中每個(gè)手語手勢(shì)圖像手勢(shì)分解，在手勢(shì)分解了的手語手勢(shì)圖像上進(jìn)行手勢(shì)特征識(shí)別和定位。
[0029]優(yōu)選地，在本發(fā)明的一實(shí)施例中，還包括:判斷是否啟動(dòng)聾啞交互，如果是，則執(zhí)行啟動(dòng)手語手勢(shì)的捕獲;否則，結(jié)束。
[0030]本發(fā)明實(shí)施例提供一種與聾啞人進(jìn)行信息交流的裝置，其包括:
[0031]接收單元，用于接收語音信號(hào)，在預(yù)先建立的手語庫中對(duì)所述語音信號(hào)進(jìn)行匹配；
[0032]匹配單元，用于根據(jù)在預(yù)先建立的手語庫中對(duì)所述語音信號(hào)的匹配結(jié)果，從所述手語庫中選擇與所述語音信號(hào)對(duì)應(yīng)標(biāo)準(zhǔn)手語信息；
[0033]呈現(xiàn)單元，用于呈現(xiàn)從所述手語庫中選擇與所述語音信號(hào)對(duì)應(yīng)標(biāo)準(zhǔn)手語信息。
[0034]本發(fā)明實(shí)施例提供一種與聾啞人進(jìn)行信息交流的方法，其包括:
[0035]采集單元，用于捕獲手語手勢(shì)并采集捕獲到的手語手勢(shì)形成手語手勢(shì)圖像序列；
[0036]定位單元，用于對(duì)手語手勢(shì)圖像序列中每個(gè)手語手勢(shì)圖像進(jìn)行手勢(shì)特征識(shí)別和定位；
[0037]匹配單元，用于根據(jù)識(shí)別和定位到的手勢(shì)特征在手語庫中進(jìn)行匹配生成數(shù)字信號(hào)；
[0038]發(fā)送單元，用于發(fā)送根據(jù)在手語庫中匹配結(jié)果生成的數(shù)字信號(hào)。
[0039]本發(fā)明實(shí)施例提供一種智能終端，其包括呈現(xiàn)單元以及硬件處理器，所述硬件處理器用于接收語音信號(hào)，在預(yù)先建立的手語庫中對(duì)所述語音信號(hào)進(jìn)行匹配；以及根據(jù)在預(yù)先建立的手語庫中對(duì)所述語音信號(hào)的匹配結(jié)果，從所述手語庫中選擇與所述語音信號(hào)對(duì)應(yīng)標(biāo)準(zhǔn)手語信息;所述呈現(xiàn)單元用于呈現(xiàn)從所述手語庫中選擇與所述語音信號(hào)對(duì)應(yīng)標(biāo)準(zhǔn)手語?目息O
[0040]本發(fā)明實(shí)施例提供一種智能終端，其包括攝像頭、硬件處理器以及射頻模塊，所述攝像頭捕獲手語手勢(shì)并采集捕獲到的手語手勢(shì)形成手語手勢(shì)圖像序列;所述硬件處理器用于對(duì)手語手勢(shì)圖像序列中每個(gè)手語手勢(shì)圖像進(jìn)行手勢(shì)特征識(shí)別和定位；以及根據(jù)識(shí)別和定位到的手勢(shì)特征在手語庫中進(jìn)行匹配生成數(shù)字信號(hào);所述射頻模塊用于發(fā)送根據(jù)在手語庫中匹配結(jié)果生成的數(shù)字信號(hào)。
[0041 ]本發(fā)明實(shí)施例的技術(shù)方案具有以下優(yōu)點(diǎn):
[0042]通過在預(yù)先建立的手語庫中對(duì)所述語音信號(hào)進(jìn)行匹配，從所述手語庫中選擇與所述語音信號(hào)對(duì)應(yīng)標(biāo)準(zhǔn)手語信息，從而可以將與所述語音信號(hào)對(duì)應(yīng)標(biāo)準(zhǔn)手語信息展現(xiàn)給作為接收方的聾啞人;或者，捕獲手語手勢(shì)并采集捕獲到的手語手勢(shì)形成手語手勢(shì)圖像序列，對(duì)每個(gè)手語手勢(shì)圖像進(jìn)行手勢(shì)特征識(shí)別和定位并在手語庫中進(jìn)行匹配生成語音信號(hào)從而生成語音信號(hào)，將聾啞人的手語展現(xiàn)給接收方的無聽力和語言障礙用戶，從而實(shí)現(xiàn)了雙方的信息交互，克服了聾啞人在進(jìn)行信息交流時(shí)智能終端性能沒有充分發(fā)揮的缺陷，增強(qiáng)了聾啞人利用智能終端進(jìn)行信息交流的便捷性。
【附圖說明】
[0043]為了更清楚地說明本發(fā)明實(shí)施例或現(xiàn)有技術(shù)中的技術(shù)方案，下面將對(duì)實(shí)施例或現(xiàn)有技術(shù)描述中所需要使用的附圖作一簡(jiǎn)單地介紹，顯而易見地，下面描述中的附圖是本發(fā)明的一些實(shí)施例，對(duì)于本領(lǐng)域普通技術(shù)人員來講，在不付出創(chuàng)造性勞動(dòng)的前提下，還可以根據(jù)這些附圖獲得其他的附圖。
[0044]圖1為本發(fā)明實(shí)施例一與聾啞人進(jìn)行信息交流的方法流程示意圖；
[0045]圖2為本發(fā)明實(shí)施例二與聾啞人進(jìn)行信息交流的方法流程示意圖；
[0046]圖3為本發(fā)明實(shí)施例三與聾啞人進(jìn)行信息交流的裝置結(jié)構(gòu)示意圖；
[0047]圖4為本發(fā)明實(shí)施例四與聾啞人進(jìn)行信息交流的裝置結(jié)構(gòu)示意圖；
[0048]圖5為本發(fā)明實(shí)施例五智能終端結(jié)構(gòu)示意圖；
[0049]圖6為本發(fā)明實(shí)施例六智能終端結(jié)構(gòu)示意圖；
【具體實(shí)施方式】
[0050]為使本發(fā)明實(shí)施例的目的、技術(shù)方案和優(yōu)點(diǎn)更加清楚，下面將結(jié)合本發(fā)明實(shí)施例中的附圖，對(duì)本發(fā)明實(shí)施例中的技術(shù)方案進(jìn)行清楚、完整地描述，顯然，所描述的實(shí)施例是本發(fā)明一部分實(shí)施例，而不是全部的實(shí)施例?；诒景l(fā)明中的實(shí)施例，本領(lǐng)域普通技術(shù)人員在沒有作出創(chuàng)造性勞動(dòng)前提下所獲得的所有其他實(shí)施例，都屬于本發(fā)明保護(hù)的范圍。
[0051]本發(fā)明下述實(shí)施例中，通過在預(yù)先建立的手語庫中對(duì)所述語音信號(hào)進(jìn)行匹配，從所述手語庫中選擇與所述語音信號(hào)對(duì)應(yīng)標(biāo)準(zhǔn)手語信息，從而可以將與所述語音信號(hào)對(duì)應(yīng)標(biāo)準(zhǔn)手語信息展現(xiàn)給作為接收方的聾啞人;或者，捕獲手語手勢(shì)并采集捕獲到的手語手勢(shì)形成手語手勢(shì)圖像序列，對(duì)每個(gè)手語手勢(shì)圖像進(jìn)行手勢(shì)特征識(shí)別和定位并在手語庫中進(jìn)行匹配生成語音信號(hào)從而生成語音信號(hào)，將聾啞人的手語展現(xiàn)給接收方的無聽力和語言障礙用戶，從而實(shí)現(xiàn)了雙方的信息交互，克服了聾啞人在進(jìn)行信息交流時(shí)智能終端性能沒有充分發(fā)揮的缺陷，增強(qiáng)了聾啞人利用智能終端進(jìn)行信息交流的便捷性。
[0052]下述實(shí)施例中，智能終端除了可以包括智能手機(jī)，還可以包括智能平板、智能電視、智能手環(huán)等等智能硬件設(shè)備。
[0053]圖1為本發(fā)明實(shí)施例一與聾啞人進(jìn)行信息交流的方法流程示意圖；本實(shí)施例中，無語言和聽覺障礙的用戶向有語言和聽覺障礙的聾啞人撥打電話為例，撥打方為無語言和聽覺障礙的用戶，收聽方為有語言和聽覺障礙的聾啞人，本實(shí)施例從收聽方一側(cè)進(jìn)行技術(shù)方案的說明。如圖1所示，其包括:
[0054]S101、接收語音信號(hào)，在預(yù)先建立的手語庫中對(duì)所述語音信號(hào)進(jìn)行匹配；
[0055]本實(shí)施例中，語音信號(hào)來自無語言和聽覺障礙的用戶，手語庫中包括標(biāo)準(zhǔn)的手語信息，手語庫的建立通過把聾啞人在日常使用過程中所有使用到的手語，并進(jìn)行標(biāo)準(zhǔn)化得至IJ。具體地，可以收集不同國(guó)家或地區(qū)的使用的手語體系，比如有美國(guó)的“詞匯性手語”、中國(guó)的“拼字性手語”，可以為不同手語體系建立獨(dú)立的手語庫。在具體建立手語庫時(shí)，可以首先確定一個(gè)不同手語體系不同手語的手語模型，基于語音信號(hào)與不同手語模型的比對(duì)，從而實(shí)現(xiàn)匹配的過程。
[0056]優(yōu)選地，本實(shí)施例中或其他任意實(shí)施例中，步驟SlOl中接收語音信號(hào)，在預(yù)先建立的手語庫中對(duì)所述語音信號(hào)進(jìn)行匹配可以具體包括:接收語音信號(hào)，將所述語音信號(hào)轉(zhuǎn)換成數(shù)字信號(hào)，在預(yù)先建立的手語庫中對(duì)所述語音信號(hào)對(duì)應(yīng)的數(shù)字信號(hào)進(jìn)行匹配。
[0057]具體地，接收的語音信號(hào)可以是射頻信號(hào)，通過對(duì)該射頻信號(hào)進(jìn)行解調(diào)、信道分離、解密、信道解碼、語音解碼等方式得到數(shù)字信號(hào)。
[0058]S102、根據(jù)在預(yù)先建立的手語庫中對(duì)所述語音信號(hào)的匹配結(jié)果，從所述手語庫中選擇與所述語音信號(hào)對(duì)應(yīng)標(biāo)準(zhǔn)手語信息；
[0059]本實(shí)施例中或其他任意實(shí)施例中，匹配的過程實(shí)現(xiàn)了語音信號(hào)與手語庫中標(biāo)準(zhǔn)化手語的對(duì)應(yīng)關(guān)系確定過程，當(dāng)進(jìn)行語音信號(hào)與標(biāo)準(zhǔn)化手語的對(duì)應(yīng)時(shí)，可以首先確定手語體系以及該手語體系對(duì)應(yīng)的手語庫，在確定的手語庫中查找與語音信號(hào)對(duì)應(yīng)的標(biāo)準(zhǔn)化手語。具體地中，由于在手語庫中，每一個(gè)手語圖形可以匹配到對(duì)應(yīng)一個(gè)二進(jìn)制碼，根據(jù)該二進(jìn)制碼生成對(duì)應(yīng)的語音信號(hào)。
[0060]本實(shí)施例中或其他任意實(shí)施例中，所述根據(jù)在預(yù)先建立的手語庫中對(duì)所述語音信號(hào)的匹配結(jié)果，從所述手語庫中選擇與所述語音信號(hào)對(duì)應(yīng)標(biāo)準(zhǔn)手語信息包括:根據(jù)對(duì)所述語音信號(hào)對(duì)應(yīng)的數(shù)字信號(hào)的匹配結(jié)果，從所述手語庫中選擇與所述語音信號(hào)對(duì)應(yīng)的數(shù)字信號(hào)匹配的標(biāo)準(zhǔn)手語信息。
[0061]S103、呈現(xiàn)從所述手語庫中選擇與所述語音信號(hào)對(duì)應(yīng)標(biāo)準(zhǔn)手語信息。
[0062]本實(shí)施例中，所述呈現(xiàn)從所述手語庫中選擇與所述語音信號(hào)對(duì)應(yīng)標(biāo)準(zhǔn)手語信息包括:顯示從所述手語庫中選擇與所述語音信號(hào)對(duì)應(yīng)的數(shù)字信號(hào)匹配的標(biāo)準(zhǔn)手語信息。具體地，所述顯示從所述手語庫中選擇與所述語音信號(hào)對(duì)應(yīng)的數(shù)字信號(hào)匹配的標(biāo)準(zhǔn)手語信息包括:以圖形方式顯示從所述手語庫中選擇與所述語音信號(hào)對(duì)應(yīng)的數(shù)字信號(hào)匹配的標(biāo)準(zhǔn)手語?目息O
[0063]對(duì)于視力良好的聾啞人，可以將手語以圖形方式顯示在智能終端的顯示屏上。
[0064]優(yōu)選地，在本發(fā)明的一實(shí)施例中，還包括:判斷是否啟動(dòng)聾啞交互，如果是，則執(zhí)行啟動(dòng)標(biāo)準(zhǔn)語音信號(hào)的接收;否則，結(jié)束。
[0065]具體地，可以在智能終端上設(shè)定一快捷啟動(dòng)按鍵，通過該快捷啟動(dòng)按鍵的觸發(fā)來判斷是否啟動(dòng)了聾啞交互模式。
[0066]但是，需要說明的是，也可以根據(jù)上述圖1所述的方法制作一APP，在智能終端上安裝并啟動(dòng)該APP。
[0067]上述語音信號(hào)可以包括通過運(yùn)營(yíng)商網(wǎng)絡(luò)如GSM/CDMA進(jìn)行發(fā)送的信號(hào)，也可以包括通過移動(dòng)互聯(lián)網(wǎng)進(jìn)行傳輸?shù)男盘?hào)，比如通過微信等。
[0068]圖2為本發(fā)明實(shí)施例二與聾啞人進(jìn)行信息交流的方法流程示意圖；本實(shí)施例中，有語言和聽覺障礙的用戶向無語言和聽覺障礙的聾啞人撥打電話為例，撥打方為有語言和聽覺障礙的用戶，收聽方為無語言和聽覺障礙的聾啞人，本實(shí)施例從收聽方一側(cè)進(jìn)行技術(shù)方案的說明。如圖2所示，其包括:
[0069]S201、捕獲手語手勢(shì)并采集捕獲到的手語手勢(shì)形成手語手勢(shì)圖像序列；
[0070]本實(shí)施例中或者其他任意實(shí)施例中，在智能終端上均配置有前置或者后置攝像頭，當(dāng)聾啞人在使用手語進(jìn)行信息表達(dá)的過程中，通過攝像頭捕獲并采集手語手勢(shì)從而形成手勢(shì)圖像序列，包括在連續(xù)時(shí)間點(diǎn)上的手勢(shì)圖像。
[0071]本實(shí)施例中或者其他任意實(shí)施例中，步驟S201中所述捕獲手語手勢(shì)并采集捕獲到的手語手勢(shì)形成手語手勢(shì)圖像序列包括:
[0072]捕獲手語手勢(shì)并采集捕獲到的手語手勢(shì)，形成手語手勢(shì)圖像序列，將所述手語手勢(shì)圖像序列轉(zhuǎn)換成數(shù)字信號(hào)。
[0073]另外，對(duì)于支持手寫的智能手機(jī)來說，可以捕獲聾啞人在手機(jī)觸控屏幕上手寫輸入的手語手勢(shì)，比如在微信上手寫出手語。
[0074]S202、對(duì)手語手勢(shì)圖像序列中每個(gè)手語手勢(shì)圖像進(jìn)行手勢(shì)特征識(shí)別和定位；
[0075]本實(shí)施例中或者其他任意實(shí)施例中，步驟S202中所述對(duì)手語手勢(shì)圖像序列中每個(gè)手語手勢(shì)圖像進(jìn)行手勢(shì)特征識(shí)別和定位包括:
[0076]對(duì)手語手勢(shì)圖像序列中每個(gè)手語手勢(shì)圖像手勢(shì)分解，在手勢(shì)分解了的手語手勢(shì)圖像上進(jìn)行手勢(shì)特征識(shí)別和定位。
[0077]本實(shí)施例中，通過在一系列的圖像上尋找不變特征，并利用這些特征來定位入臉，具體包括模板匹配法和基于外觀形狀的方法，所述手指上的不變特征至少包括:形狀、膚色、紋理、邊緣信息。
[0078]或者，制作標(biāo)準(zhǔn)模板(固定模板)或?qū)⒛０逑刃袇?shù)化(可變模板)，計(jì)算輸入圖像與模板之間的相關(guān)值，這個(gè)相關(guān)值通常都是獨(dú)立計(jì)算手指的輪廓、指尖各自的匹配程度后得出的綜合描述，最后再根據(jù)相關(guān)值和預(yù)先設(shè)定的閾值來確定圖像中是否存在手指。
[0079]S203、根據(jù)識(shí)別和定位到的手勢(shì)特征在手語庫中進(jìn)行匹配生成數(shù)字信號(hào)；
[0080]與上述圖1類似，根據(jù)不同手語手勢(shì)與語音信號(hào)的對(duì)應(yīng)關(guān)系，在手勢(shì)庫中建立了標(biāo)注語音信號(hào)，當(dāng)進(jìn)行手語與語音信號(hào)的對(duì)應(yīng)時(shí)，可以首先確定手語體系以及該手語體系對(duì)應(yīng)的手語庫，在確定的手語庫中查找與手語信號(hào)對(duì)應(yīng)的標(biāo)準(zhǔn)語音信號(hào)。
[0081]優(yōu)選地，在本發(fā)明的一實(shí)施例中，所述根據(jù)識(shí)別和定位到的手勢(shì)特征在手語庫中進(jìn)行匹配生成數(shù)字信號(hào):
[0082]根據(jù)識(shí)別和定位到的手勢(shì)特征在對(duì)應(yīng)手語手勢(shì)圖像上的數(shù)字信號(hào)，在手語庫中進(jìn)行匹配生成語音信號(hào)。
[0083]S204、發(fā)送根據(jù)在手語庫中匹配結(jié)果生成的數(shù)字信號(hào)。
[0084]本實(shí)施例或者其他任意實(shí)施例中，將匹配到的語音信號(hào)發(fā)送到接收方，并在接收方得智能終端上進(jìn)行播放。
[0085]本實(shí)施例或其他任意實(shí)施例中，還可以包括:判斷是否啟動(dòng)聾啞交互，如果是，則執(zhí)行啟動(dòng)手語手勢(shì)的捕獲;否則，結(jié)束。
[0086]具體地，可以在智能終端上設(shè)定一快捷啟動(dòng)按鍵，通過該快捷啟動(dòng)按鍵的觸發(fā)來判斷是否啟動(dòng)了聾啞交互模式。
[0087]但是，需要說明的是，也可以根據(jù)上述圖1所述的方法制作一APP，在智能終端上安裝并啟動(dòng)該APP。
[0088]上述語音信號(hào)可以包括通過運(yùn)營(yíng)商網(wǎng)絡(luò)如GSM/CDMA進(jìn)行發(fā)送的信號(hào)，也可以包括通過移動(dòng)互聯(lián)網(wǎng)進(jìn)行傳輸?shù)男盘?hào)，比如通過微信等。
[0089]需要說明的是，在另外一實(shí)施例中，上述步驟S201可以在發(fā)送方側(cè)執(zhí)行，而步驟S202-204可以在接收方側(cè)執(zhí)行。
[0090]圖3為本發(fā)明實(shí)施例三與聾啞人進(jìn)行信息交流的裝置結(jié)構(gòu)示意圖；如圖3所示，其包括:
[0091 ]接收單元301，用于接收語音信號(hào)，在預(yù)先建立的手語庫中對(duì)所述語音信號(hào)進(jìn)行匹配；
[0092]匹配單元302，用于根據(jù)在預(yù)先建立的手語庫中對(duì)所述語音信號(hào)的匹配結(jié)果，從所述手語庫中選擇與所述語音信號(hào)對(duì)應(yīng)標(biāo)準(zhǔn)手語信息；
[0093]呈現(xiàn)單元303，用于呈現(xiàn)從所述手語庫中選擇與所述語音信號(hào)對(duì)應(yīng)標(biāo)準(zhǔn)手語信息。
[0094]本實(shí)施例中或其他任意實(shí)施例中，所述接收單元進(jìn)一步用于接收語音信號(hào)，將所述語音信號(hào)轉(zhuǎn)換成數(shù)字信號(hào)，在預(yù)先建立的手語庫中對(duì)所述語音信號(hào)對(duì)應(yīng)的數(shù)字信號(hào)進(jìn)行匹配。
[0095]本實(shí)施例中或其他任意實(shí)施例中，所述匹配單元進(jìn)一步用于根據(jù)對(duì)所述語音信號(hào)對(duì)應(yīng)的數(shù)字信號(hào)的匹配結(jié)果，從所述手語庫中選擇與所述語音信號(hào)對(duì)應(yīng)的數(shù)字信號(hào)匹配的標(biāo)準(zhǔn)手語信息。
[0096]本實(shí)施例中或其他任意實(shí)施例中，所述呈現(xiàn)單元進(jìn)一步用于顯示從所述手語庫中選擇與所述語音信號(hào)對(duì)應(yīng)的數(shù)字信號(hào)匹配的標(biāo)準(zhǔn)手語信息。
[0097]本實(shí)施例中或其他任意實(shí)施例中，所述呈現(xiàn)單元進(jìn)一步用于以圖形方式顯示從所述手語庫中選擇與所述語音信號(hào)對(duì)應(yīng)的數(shù)字信號(hào)匹配的標(biāo)準(zhǔn)手語信息。
[0098]本實(shí)施例中或其他任意實(shí)施例中，還包括判斷單元，用于判斷是否啟動(dòng)聾啞交互，如果是，則執(zhí)行啟動(dòng)接收單元，接收標(biāo)準(zhǔn)語音信號(hào);否則，結(jié)束。
[0099]圖4為本發(fā)明實(shí)施例四與聾啞人進(jìn)行信息交流的裝置結(jié)構(gòu)示意圖；如圖4所示，其包括:
[0100]采集單元401:用于捕獲手語手勢(shì)并采集捕獲到的手語手勢(shì)形成手語手勢(shì)圖像序列；
[0101]定位單元402:用于對(duì)手語手勢(shì)圖像序列中每個(gè)手語手勢(shì)圖像進(jìn)行手勢(shì)特征識(shí)別和定位；
[0102]匹配單元403:用于根據(jù)識(shí)別和定位到的手勢(shì)特征在手語庫中進(jìn)行匹配生成數(shù)字信號(hào)；
[0103]發(fā)送單元404:用于發(fā)送根據(jù)在手語庫中匹配結(jié)果生成的數(shù)字信號(hào)。
[0104]本實(shí)施例或其他任意實(shí)施例中，所述采集單元401進(jìn)一步用于捕獲手語手勢(shì)并采集捕獲到的手語手勢(shì)，形成手語手勢(shì)圖像序列，將所述手語手勢(shì)圖像序列轉(zhuǎn)換成數(shù)字信號(hào)。
[0105]本實(shí)施例或其他任意實(shí)施例中，所述匹配單元403進(jìn)一步用于根據(jù)識(shí)別和定位到的手勢(shì)特征在對(duì)應(yīng)手語手勢(shì)圖像上的數(shù)字信號(hào)，在手語庫中進(jìn)行匹配生成語音信號(hào)。
[0106]本實(shí)施例或其他任意實(shí)施例中，所述定位單元402進(jìn)一步用于對(duì)手語手勢(shì)圖像序列中每個(gè)手語手勢(shì)圖像手勢(shì)分解，在手勢(shì)分解了的手語手勢(shì)圖像上進(jìn)行手勢(shì)特征識(shí)別和定位。
[0107]本實(shí)施例或其他任意實(shí)施例中，還包括判斷單元(圖中未示出)，用于判斷是否啟動(dòng)聾啞交互，如果是，則啟動(dòng)采集單元捕獲手語手勢(shì);否則，結(jié)束。
[0108]圖5為本發(fā)明實(shí)施例五智能終端結(jié)構(gòu)示意圖；如圖5所示，智能終端500包括呈現(xiàn)單元501以及硬件處理器502，所述硬件處理器502用于接收語音信號(hào)，在預(yù)先建立的手語庫中對(duì)所述語音信號(hào)進(jìn)行匹配；以及根據(jù)在預(yù)先建立的手語庫中對(duì)所述語音信號(hào)的匹配結(jié)果，從所述手語庫中選擇與所述語音信號(hào)對(duì)應(yīng)標(biāo)準(zhǔn)手語信息；所述呈現(xiàn)單元501用于呈現(xiàn)從所述手語庫中選擇與所述語音信號(hào)對(duì)應(yīng)標(biāo)準(zhǔn)手語信息。
[0109]圖6為本發(fā)明實(shí)施例六智能終端結(jié)構(gòu)示意圖；如圖6所示，其可以包括攝像頭601、硬件處理器602以及射頻模塊603，所述攝像頭601捕獲手語手勢(shì)并采集捕獲到的手語手勢(shì)形成手語手勢(shì)圖像序列;所述硬件處理器602用于對(duì)手語手勢(shì)圖像序列中每個(gè)手語手勢(shì)圖像進(jìn)行手勢(shì)特征識(shí)別和定位，以及根據(jù)識(shí)別和定位到的手勢(shì)特征在手語庫中進(jìn)行匹配生成數(shù)字信號(hào)，所述手勢(shì)庫包括標(biāo)準(zhǔn)的語音信號(hào);所述射頻模塊603用于發(fā)送根據(jù)在手語庫中匹配結(jié)果生成的數(shù)字信號(hào)。
[0110]另外一實(shí)施例中，攝像頭可被智能終端的手寫屏幕代替，用于捕獲手語手勢(shì)并采集捕獲到的手語手勢(shì)形成手語手勢(shì)圖像序列，詳細(xì)不再【附圖說明】。
[0111]以上所描述的裝置實(shí)施例僅僅是示意性的，其中所述作為分離部件說明的單元可以是或者也可以不是物理上分開的，作為單元顯示的部件可以是或者也可以不是物理單元，即可以位于一個(gè)地方，或者也可以分布到多個(gè)網(wǎng)絡(luò)單元上。可以根據(jù)實(shí)際的需要選擇其中的部分或者全部模塊來實(shí)現(xiàn)本實(shí)施例方案的目的。本領(lǐng)域普通技術(shù)人員在不付出創(chuàng)造性的勞動(dòng)的情況下，即可以理解并實(shí)施。
[0112]通過以上的實(shí)施方式的描述，本領(lǐng)域的技術(shù)人員可以清楚地了解到各實(shí)施方式可借助軟件加必需的通用硬件平臺(tái)的方式來實(shí)現(xiàn)，當(dāng)然也可以通過硬件?；谶@樣的理解，上述技術(shù)方案本質(zhì)上或者說對(duì)現(xiàn)有技術(shù)做出貢獻(xiàn)的部分可以以軟件產(chǎn)品的形式體現(xiàn)出來，該計(jì)算機(jī)軟件產(chǎn)品可以存儲(chǔ)在計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)中，如R0M/RAM、磁碟、光盤等，包括若干指令用以使得一臺(tái)計(jì)算機(jī)設(shè)備(可以是個(gè)人計(jì)算機(jī)，服務(wù)器，或者網(wǎng)絡(luò)設(shè)備等)執(zhí)行各個(gè)實(shí)施例或者實(shí)施例的某些部分所述的方法。
[0113]最后應(yīng)說明的是:以上實(shí)施例僅用以說明本發(fā)明的技術(shù)方案，而非對(duì)其限制;盡管參照前述實(shí)施例對(duì)本發(fā)明進(jìn)行了詳細(xì)的說明，本領(lǐng)域的普通技術(shù)人員應(yīng)當(dāng)理解:其依然可以對(duì)前述各實(shí)施例所記載的技術(shù)方案進(jìn)行修改，或者對(duì)其中部分技術(shù)特征進(jìn)行等同替換；而這些修改或者替換，并不使相應(yīng)技術(shù)方案的本質(zhì)脫離本發(fā)明各實(shí)施例技術(shù)方案的精神和范圍。
【主權(quán)項(xiàng)】
1.一種與聾啞人進(jìn)行信息交流的方法，其特征在于，包括: 接收語音信號(hào)，在預(yù)先建立的手語庫中對(duì)所述語音信號(hào)進(jìn)行匹配； 根據(jù)在預(yù)先建立的手語庫中對(duì)所述語音信號(hào)的匹配結(jié)果，從所述手語庫中選擇與所述語音信號(hào)對(duì)應(yīng)標(biāo)準(zhǔn)手語信息； 呈現(xiàn)從所述手語庫中選擇與所述語音信號(hào)對(duì)應(yīng)標(biāo)準(zhǔn)手語信息。2.根據(jù)就權(quán)利要求1所述的方法，其特征在于，所述接收語音信號(hào)，在預(yù)先建立的手語庫中對(duì)所述語音信號(hào)進(jìn)行匹配包括: 接收語音信號(hào)，將所述語音信號(hào)轉(zhuǎn)換成數(shù)字信號(hào)，在預(yù)先建立的手語庫中對(duì)所述語音信號(hào)對(duì)應(yīng)的數(shù)字信號(hào)進(jìn)行匹配。3.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述根據(jù)在預(yù)先建立的手語庫中對(duì)所述語音信號(hào)的匹配結(jié)果，從所述手語庫中選擇與所述語音信號(hào)對(duì)應(yīng)標(biāo)準(zhǔn)手語信息包括: 根據(jù)對(duì)所述語音信號(hào)對(duì)應(yīng)的數(shù)字信號(hào)的匹配結(jié)果，從所述手語庫中選擇與所述語音信號(hào)對(duì)應(yīng)的數(shù)字信號(hào)匹配的標(biāo)準(zhǔn)手語信息。4.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述呈現(xiàn)從所述手語庫中選擇與所述語音信號(hào)對(duì)應(yīng)標(biāo)準(zhǔn)手語信息包括: 顯示從所述手語庫中選擇與所述語音信號(hào)對(duì)應(yīng)的數(shù)字信號(hào)匹配的標(biāo)準(zhǔn)手語信息。5.根據(jù)權(quán)利要求4所述的方法，其特征在于，所述顯示從所述手語庫中選擇與所述語音信號(hào)對(duì)應(yīng)的數(shù)字信號(hào)匹配的標(biāo)準(zhǔn)手語信息包括:以圖形方式顯示從所述手語庫中選擇與所述語音信號(hào)對(duì)應(yīng)的數(shù)字信號(hào)匹配的標(biāo)準(zhǔn)手語信息。6.根據(jù)權(quán)利要求1-5任一項(xiàng)所述的方法，其特征在于，還包括:判斷是否啟動(dòng)聾啞交互，如果是，則執(zhí)行啟動(dòng)標(biāo)準(zhǔn)語音信號(hào)的接收;否則，結(jié)束。7.一種與聾啞人進(jìn)行信息交流的方法，其特征在于，包括: 捕獲手語手勢(shì)并采集捕獲到的手語手勢(shì)形成手語手勢(shì)圖像序列； 對(duì)手語手勢(shì)圖像序列中每個(gè)手語手勢(shì)圖像進(jìn)行手勢(shì)特征識(shí)別和定位； 根據(jù)識(shí)別和定位到的手勢(shì)特征在手語庫中進(jìn)行匹配生成數(shù)字信號(hào)； 發(fā)送根據(jù)在手語庫中匹配結(jié)果生成的數(shù)字信號(hào)。8.根據(jù)權(quán)利要求7所述的方法，其特征在于，所述捕獲手語手勢(shì)并采集捕獲到的手語手勢(shì)形成手語手勢(shì)圖像序列包括: 捕獲手語手勢(shì)并采集捕獲到的手語手勢(shì)，形成手語手勢(shì)圖像序列，將所述手語手勢(shì)圖像序列轉(zhuǎn)換成數(shù)字信號(hào)。9.根據(jù)權(quán)利要求8所述的方法，其特征在于，所述根據(jù)識(shí)別和定位到的手勢(shì)特征在手語庫中進(jìn)行匹配生成數(shù)字信號(hào): 根據(jù)識(shí)別和定位到的手勢(shì)特征在對(duì)應(yīng)手語手勢(shì)圖像上的數(shù)字信號(hào)，在手語庫中進(jìn)行匹配生成語音信號(hào)。10.根據(jù)權(quán)利要求7所述的方法，其特征在于，所述對(duì)手語手勢(shì)圖像序列中每個(gè)手語手勢(shì)圖像進(jìn)行手勢(shì)特征識(shí)別和定位包括: 對(duì)手語手勢(shì)圖像序列中每個(gè)手語手勢(shì)圖像手勢(shì)分解，在手勢(shì)分解了的手語手勢(shì)圖像上進(jìn)行手勢(shì)特征識(shí)別和定位。11.根據(jù)權(quán)利要求7所述的方法，其特征在于，還包括:判斷是否啟動(dòng)聾啞交互，如果是，則執(zhí)行啟動(dòng)手語手勢(shì)的捕獲;否則，結(jié)束。12.一種與聾啞人進(jìn)行信息交流的裝置，其特征在于，包括: 接收單元，用于接收語音信號(hào)，在預(yù)先建立的手語庫中對(duì)所述語音信號(hào)進(jìn)行匹配； 匹配單元，用于根據(jù)在預(yù)先建立的手語庫中對(duì)所述語音信號(hào)的匹配結(jié)果，從所述手語庫中選擇與所述語音信號(hào)對(duì)應(yīng)標(biāo)準(zhǔn)手語信息； 呈現(xiàn)單元，用于呈現(xiàn)從所述手語庫中選擇與所述語音信號(hào)對(duì)應(yīng)標(biāo)準(zhǔn)手語信息。13.一種與聾啞人進(jìn)行信息交流的裝置，其特征在于，包括: 采集單元，用于捕獲手語手勢(shì)并采集捕獲到的手語手勢(shì)形成手語手勢(shì)圖像序列； 定位單元，用于對(duì)手語手勢(shì)圖像序列中每個(gè)手語手勢(shì)圖像進(jìn)行手勢(shì)特征識(shí)別和定位； 匹配單元，用于根據(jù)識(shí)別和定位到的手勢(shì)特征在手語庫中進(jìn)行匹配生成數(shù)字信號(hào)； 發(fā)送單元，用于發(fā)送根據(jù)在手語庫中匹配結(jié)果生成的數(shù)字信號(hào)。14.一種智能終端，其特征在于，包括呈現(xiàn)單元以及硬件處理器，所述硬件處理器用于接收語音信號(hào)，在預(yù)先建立的手語庫中對(duì)所述語音信號(hào)進(jìn)行匹配；以及根據(jù)在預(yù)先建立的手語庫中對(duì)所述語音信號(hào)的匹配結(jié)果，從所述手語庫中選擇與所述語音信號(hào)對(duì)應(yīng)標(biāo)準(zhǔn)手語信息;所述呈現(xiàn)單元用于呈現(xiàn)從所述手語庫中選擇與所述語音信號(hào)對(duì)應(yīng)標(biāo)準(zhǔn)手語信息。15.一種智能終端，其特征在于，包括攝像頭、硬件處理器以及射頻模塊，所述攝像頭捕獲手語手勢(shì)并采集捕獲到的手語手勢(shì)形成手語手勢(shì)圖像序列;所述硬件處理器用于對(duì)手語手勢(shì)圖像序列中每個(gè)手語手勢(shì)圖像進(jìn)行手勢(shì)特征識(shí)別和定位；以及根據(jù)識(shí)別和定位到的手勢(shì)特征在手語庫中進(jìn)行匹配生成數(shù)字信號(hào);所述射頻模塊用于發(fā)送根據(jù)在手語庫中匹配結(jié)果生成的數(shù)字信號(hào)。
【文檔編號(hào)】G06K9/62GK105868282SQ201610168501
【公開日】2016年8月17日
【申請(qǐng)日】2016年3月23日
【發(fā)明人】趙永貴
【申請(qǐng)人】樂視致新電子科技（天津）有限公司