本發(fā)明涉及智能裝置技術(shù)領(lǐng)域，尤其涉及一種聾啞人輔助方法、裝置以及電子設(shè)備。

背景技術(shù)：

聽覺是人類感知世界的一種重要方式。人類通過聽覺可以實(shí)現(xiàn)人與人之間的思想與感情的傳遞和反饋、躲避環(huán)境中的危險狀況等。

調(diào)查顯示，聽力語言殘疾人數(shù)居視力殘疾、肢殘、肢殘等五大殘疾人數(shù)之首，僅中國聽力語言殘疾人數(shù)就有2000萬左右，并且其中包括許多七歲以下的兒童。聽力語言殘疾人群由于聽力語言能力的缺陷，造成生活中存在非常多的障礙，因此聽力語言殘疾人群是亟需幫助的。目前，常見的聽力常見的聾啞人輔助設(shè)備包括：助聽器或人工耳蝸，這些設(shè)備對很多聾啞人都有幫助，但同時也存在一定的局限性。一方面，不同殘疾程度對助聽器或人工耳蝸的設(shè)備參數(shù)要求不同，用戶在選擇相應(yīng)產(chǎn)品時需要復(fù)雜的甄選過程。另一方面，對于聽力在語前已完全喪失且成年人，即使通過人工耳蝸植入等方式使其恢復(fù)聽覺，也不是恢復(fù)聽覺后就能聽懂說話，而是要進(jìn)行語言訓(xùn)練，而且由于錯過了最佳語言學(xué)習(xí)期，語言訓(xùn)練效果往往不理想，導(dǎo)致交流時仍存在較大的障礙。綜上，現(xiàn)有技術(shù)中的聾啞人輔助設(shè)備一定的局限性，如何輔助聾啞人方便、快捷的感知聲音仍是本領(lǐng)域技術(shù)人員不斷研究的問題。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明的實(shí)施例提供一種聾啞人輔助方法、裝置以及電子設(shè)備，主要用于輔助聾啞人方便、快捷的感知聲音。

為達(dá)到上述目的，本發(fā)明的實(shí)施例采用如下技術(shù)方案：

第一方面，提供一種聾啞人輔助方法，包括：

接收聲音；

對所述聲音進(jìn)行識別并根據(jù)識別結(jié)果將所述聲音轉(zhuǎn)換為顯示信號；

在所述顯示信號的驅(qū)動下進(jìn)行顯示。

第二方面，提供一種交流輔助裝置，包括：

接收單元，用于接收聲音；

轉(zhuǎn)換單元，用于對所述聲音進(jìn)行識別并根據(jù)識別結(jié)果將所述聲音轉(zhuǎn)換為顯示信號；

顯示單元，用于在所述顯示信號的驅(qū)動下進(jìn)行顯示。

第三方面，提供一種電子設(shè)備，包括：聲音采集設(shè)備、顯示設(shè)備、存儲器和處理器，聲音采集設(shè)備、顯示設(shè)備和存儲器耦合至所述處理器；所述存儲器用于存儲計(jì)算機(jī)執(zhí)行代碼，所述計(jì)算機(jī)執(zhí)行代碼用于控制所述處理器執(zhí)行第一方面所述的聾啞人輔助方法。

第四方面，提供一種存儲介質(zhì)，其特征在于，用于儲存為第二方面所述的交流輔助裝置所用的計(jì)算機(jī)軟件指令，其包含執(zhí)行第一方面所述的聾啞人輔助方法所設(shè)計(jì)的程序代碼。

第五方面，提供一種計(jì)算機(jī)程序產(chǎn)品，可直接加載到計(jì)算機(jī)的內(nèi)部存儲器中，并含有軟件代碼，所述計(jì)算機(jī)程序經(jīng)由計(jì)算機(jī)載入并執(zhí)行后能夠?qū)崿F(xiàn)第一方面所述的聾啞人輔助方法。

本發(fā)明的實(shí)施例提供的聾啞人輔助方法，首先接收聲音，然后對接收到的聲音行識別并根據(jù)識別結(jié)果將聲音轉(zhuǎn)換為顯示信號，最后在顯示信號的驅(qū)動下進(jìn)行顯示，由于本發(fā)明實(shí)施例提供的聾啞人輔助方法可以將接收到的聲音轉(zhuǎn)換為顯示信號，并將在顯示信號的驅(qū)動下進(jìn)行顯示，即可以將接收到的聽覺信號轉(zhuǎn)換成視覺信號，進(jìn)而使聾啞人通過視覺看到與聲音對應(yīng)的顯示內(nèi)容，因此通過本發(fā)明實(shí)施例提供的聾啞人輔助方法可以輔助聾啞人感知聲音。此外，相比于現(xiàn)有技術(shù)中的聾啞人輔助設(shè)備，本發(fā)明實(shí)施例提供的聾啞人輔助方法無需復(fù)雜的甄選過程，也無需進(jìn)行語言訓(xùn)練，因此相比于現(xiàn)有技術(shù)本發(fā)明實(shí)施例提供的聾啞人輔助方法可以輔助聾啞人方便、快捷的感知聲音。

附圖說明

為了更清楚地說明本發(fā)明實(shí)施例或現(xiàn)有技術(shù)中的技術(shù)方案，下面將對實(shí)施例或現(xiàn)有技術(shù)描述中所需要使用的附圖作簡單地介紹，顯而易見地，下面描述中的附圖僅僅是本發(fā)明的一些實(shí)施例，對于本領(lǐng)域普通技術(shù)人員來講，在不付出創(chuàng)造性勞動的前提下，還可以根據(jù)這些附圖獲得其他的附圖。

圖1為本發(fā)明的實(shí)施例提供的聾啞人輔助方法的步驟流程圖之一；

圖2為本發(fā)明的實(shí)施例提供的聾啞人輔助方法的步驟流程圖之二；

圖3為本發(fā)明的實(shí)施例提供的聾啞人輔助方法的步驟流程圖之三；

圖4為本發(fā)明的實(shí)施例提供的聲音方位與顯示位置的對應(yīng)關(guān)系的示意圖；

圖5為本發(fā)明的實(shí)施例提供的聾啞人輔助方法的步驟流程圖之四；

圖6為本發(fā)明的實(shí)施例提供的聾啞人輔助裝置的示意性結(jié)構(gòu)圖之一；

圖7為本發(fā)明的實(shí)施例提供的聾啞人輔助裝置的示意性結(jié)構(gòu)圖之二；

圖8為本發(fā)明的實(shí)施例提供的聾啞人輔助裝置的示意性結(jié)構(gòu)圖之三；

圖9為本發(fā)明的實(shí)施例提供的電子設(shè)備的示意性結(jié)構(gòu)圖。

具體實(shí)施方式

本文中術(shù)語“和/或”，僅僅是一種描述關(guān)聯(lián)對象的關(guān)聯(lián)關(guān)系，表示可以存在三種關(guān)系，例如，a和/或b，可以表示：單獨(dú)存在a，同時存在a和b，單獨(dú)存在b這三種情況。另外，本文中字符“/”，一般表示前后關(guān)聯(lián)對象是一種“或”的關(guān)系。如果不加說明，本文中的“多個”是指兩個或兩個以上。

需要說明的是，本發(fā)明實(shí)施例中，“示例性的”或者“例如”等詞用于表示作例子、例證或說明。本發(fā)明實(shí)施例中被描述為“示例性的”或者“例如”的任何實(shí)施例或設(shè)計(jì)方案不應(yīng)被解釋為比其它實(shí)施例或設(shè)計(jì)方案更優(yōu)選或更具優(yōu)勢。確切而言，使用“示例性的”或者“例如”等詞旨在以具體方式呈現(xiàn)相關(guān)概念。

需要說明的是，本發(fā)明實(shí)施例中，除非另有說明，“多個”的含義是指兩個或兩個以上。

需要說明的是，本發(fā)明實(shí)施例中，“的(英文：of)”，“相應(yīng)的(英文：corresponding，relevant)”和“對應(yīng)的(英文：corresponding)”有時可以混用，應(yīng)當(dāng)指出的是，在不強(qiáng)調(diào)其區(qū)別時，其所要表達(dá)的含義是一致的。

下面將結(jié)合本發(fā)明實(shí)施例的說明書附圖，對本發(fā)明實(shí)施例提供的技術(shù)方案進(jìn)行說明。顯然，所描述的是本發(fā)明的一部分實(shí)施例，而不是全部的實(shí)施例。需要說明的是，下文所提供的任意多個技術(shù)方案中的部分或全部技術(shù)特征在不沖突的情況下，可以結(jié)合使用，形成新的技術(shù)方案。

本發(fā)明實(shí)施例所提供的技術(shù)方案的基本原理為：對接收到的聲音進(jìn)行識別，將接收到的聲音轉(zhuǎn)換為顯示信號并在顯示信號的驅(qū)動下將聲音對應(yīng)的內(nèi)容顯示出來，從而使聾啞人通過觀看與聲音對應(yīng)的視覺信息感知聲音。

本發(fā)明實(shí)施例提供的聾啞人輔助方法的執(zhí)行主體可以為聾啞人輔助裝置或者可以用于執(zhí)行聾啞人輔助方法的電子設(shè)備。其中，聾啞人輔助裝置可以為上述電子設(shè)備中的中央處理器(centralprocessingunit，cpu)、cpu與存儲器等硬件的組合、或者可以為上述電子設(shè)備中的其他控制單元或者模塊。

示例性的，上述電子設(shè)備可以為采用本發(fā)明實(shí)施例提供的方法進(jìn)行聾啞人輔助的手機(jī)、增強(qiáng)現(xiàn)實(shí)眼鏡(簡稱：ar眼鏡)、個人計(jì)算機(jī)((personalcomputer，pc)、上網(wǎng)本、個人數(shù)字助理(英文：personaldigitalassistant，簡稱：pda)、服務(wù)器等，或者上述電子設(shè)備可以為安裝有可以進(jìn)行聾啞人輔助的軟件客戶端或軟件系統(tǒng)或軟件應(yīng)用的pc、服務(wù)器等，具體的硬件實(shí)現(xiàn)環(huán)境可以通用計(jì)算機(jī)形式，或者是asic的方式，也可以是fpga，或者是一些可編程的擴(kuò)展平臺例如tensilica的xtensa平臺等等。

基于上述內(nèi)容，本發(fā)明的實(shí)施例提供一種聾啞人輔助方法，具體的參照圖1所示，該聾啞人輔助方法包括如下步驟：

s11、接收聲音。

具體的，上述實(shí)施例中的聲音可以為他人與用戶進(jìn)行交流時發(fā)出的說話聲音、廣播發(fā)出的說話聲音等；也可以為環(huán)境中的聲音，例如：汽車鳴笛的聲音、狗叫的聲音、打雷的聲音等。

此外，上述步驟s11中具體可以通過麥克風(fēng)(英文名稱：microphone，簡稱：mic)、mic陣列等聲音感應(yīng)裝置來對聲音進(jìn)行接收。

s12、對聲音進(jìn)行識別并根據(jù)識別結(jié)果將聲音轉(zhuǎn)換為顯示信號。

具體的，上述實(shí)施例中對聲音進(jìn)行識別并根據(jù)識別結(jié)果將聲音轉(zhuǎn)換為顯示信號的過程可以在聾啞人輔助裝置內(nèi)部完成，也可以通過遠(yuǎn)程服務(wù)設(shè)備協(xié)助完成。

當(dāng)對聲音進(jìn)行識別并根據(jù)識別結(jié)果將聲音轉(zhuǎn)換為顯示信號的過程在聾啞人輔助裝置內(nèi)部完成時，步驟s12具體可以通過如下步驟實(shí)現(xiàn)：a、通過內(nèi)部的聲音處理裝置對聲音進(jìn)行識別，b根據(jù)聲音處理裝置的識別結(jié)果將聲音轉(zhuǎn)換為對應(yīng)的顯示信號。

當(dāng)對聲音進(jìn)行識別并根據(jù)識別結(jié)果將聲音轉(zhuǎn)換為顯示信號的過程通過遠(yuǎn)程服務(wù)設(shè)備協(xié)助完成時，步驟s12具體可以通過如下步驟實(shí)現(xiàn)：c、將聲音發(fā)送至遠(yuǎn)端服務(wù)器，以便與端服務(wù)器對聲音進(jìn)行識別并根據(jù)識別結(jié)果將聲音轉(zhuǎn)換為顯示信號。d、接收遠(yuǎn)端服務(wù)器發(fā)送的顯示信號。示例性的，遠(yuǎn)端服務(wù)設(shè)備可以為云端服務(wù)器等。

可選的，上述步驟s12中將聲音轉(zhuǎn)換為顯示信號具體可以為：將聲音轉(zhuǎn)換為用于顯示文字的顯示信號、用于顯示標(biāo)識的顯示信號、用于顯示動態(tài)畫面的顯示信號中的至少一種。

示例性的，當(dāng)接收到的聲音為與用戶面對面進(jìn)行交流的人發(fā)出的語音時，可以將接收到的聲音轉(zhuǎn)換成用于顯示文字的顯示信號。再例如：當(dāng)接收到的聲音為狗叫聲時，可以將接收到的聲音轉(zhuǎn)換成用于顯示狗的卡通畫等標(biāo)識的顯示信號。再例如：當(dāng)接收到的聲音為汽車行走時發(fā)出的聲音時，可以將接收到的聲音轉(zhuǎn)換為用于顯示汽車行走的動態(tài)畫面的顯示信號。此外，上述實(shí)施例中還可以通過多種方式的組合來更加清楚的通過視覺信息表現(xiàn)接收到的聲音。例如：當(dāng)接收到的聲音為汽車行走時發(fā)出的聲音時，可以將接收到的聲音轉(zhuǎn)換為用于顯示汽車行走的動態(tài)畫面以及汽車標(biāo)識的顯示信號。當(dāng)然，在上述實(shí)施例基礎(chǔ)上本領(lǐng)域技還可能想到將接收到的聲音轉(zhuǎn)換為其他類型的顯示信號，但這都屬于本發(fā)明實(shí)施例的合理變通方案，因此均應(yīng)屬于本發(fā)明實(shí)施例的保護(hù)范圍之內(nèi)。

s13、在顯示信號的驅(qū)動下進(jìn)行顯示。

上述對視覺信息進(jìn)行顯示的具體顯示方式可以基于本發(fā)明實(shí)施例提供的聾啞人輔助方法的執(zhí)行主體來選擇。例如：當(dāng)上述實(shí)施例提供的聾啞人輔助方法的執(zhí)行主體為手機(jī)時，在顯示信號的驅(qū)動下進(jìn)行顯示可以為通過顯示信號驅(qū)動手機(jī)屏幕進(jìn)行顯示，再例如：當(dāng)上述實(shí)施例提供的聾啞人輔助方法的執(zhí)行主體為ar眼鏡時，對視覺信息進(jìn)行顯示可以為通過顯示信號驅(qū)動投影顯示裝置將顯示內(nèi)容投影在ar眼鏡的鏡片上進(jìn)行顯示。

本發(fā)明的實(shí)施例提供的聾啞人輔助方法，首先接收聲音，然后對接收到的聲音行識別并根據(jù)識別結(jié)果將聲音轉(zhuǎn)換為顯示信號，最后在顯示信號的驅(qū)動下進(jìn)行顯示，由于本發(fā)明實(shí)施例提供的聾啞人輔助方法可以將接收到的聲音轉(zhuǎn)換為顯示信號，并將在顯示信號的驅(qū)動下進(jìn)行顯示，即可以將接收到的聽覺信號轉(zhuǎn)換成視覺信號，進(jìn)而使聾啞人通過視覺看到與聲音對應(yīng)的顯示內(nèi)容，因此通過本發(fā)明實(shí)施例提供的聾啞人輔助方法可以輔助聾啞人感知聲音。此外，相比于現(xiàn)有技術(shù)中的聾啞人輔助設(shè)備，本發(fā)明實(shí)施例提供的聾啞人輔助方法無需復(fù)雜的甄選過程，也無需進(jìn)行語言訓(xùn)練，因此相比于現(xiàn)有技術(shù)本發(fā)明實(shí)施例提供的聾啞人輔助方法可以輔助聾啞人方便、快捷的感知聲音。

可選的，參照圖2所示，上述步驟s12中對聲音進(jìn)行識別并根據(jù)識別結(jié)果將聲音轉(zhuǎn)換為顯示信號，具體可以通過如下步驟實(shí)現(xiàn)：

s121、對聲音的種類進(jìn)行識別。

在步驟s121中，若通過對聲音的種類進(jìn)行識別后確定聲音為說話聲時，執(zhí)行步驟s122；和/或，若通過對聲音的種類進(jìn)行識別后確定聲音為環(huán)境聲時，執(zhí)行步驟s123。即，本發(fā)明實(shí)施例中的步驟s122和步驟s123可以均執(zhí)行，也可以擇一執(zhí)行。

需要說明的是，本發(fā)明實(shí)施例中的說話聲一般是指人類在交談、演講、播報(bào)新聞等時發(fā)出的聲音。此外，在一些情況下，說話聲也可能會經(jīng)過處理后被接收到，例如：在演講時將演講者發(fā)出的聲音經(jīng)過放大后輸出并被接收到。雖然此類聲音并不是人類直接發(fā)出的說話聲，但此類聲音也屬于本發(fā)明實(shí)施例中的說話聲。

還需要說明的是，本發(fā)明實(shí)施例中的環(huán)境聲音是區(qū)別于說話聲的其他聲音，即將接收到的聲音分為說話聲和環(huán)境聲。具體的，環(huán)境聲可以為：汽車鳴笛的聲音、狗叫的聲音、打雷的聲音、環(huán)境中的噪聲等。

s122、識別說話聲的內(nèi)容，根據(jù)說話聲的內(nèi)容將說話聲轉(zhuǎn)換為用于驅(qū)動顯示文字的顯示信號。

可選的，上述實(shí)施例中識別說話聲的內(nèi)容具體可以通過如下步驟實(shí)現(xiàn)：e、通過語種類型識別技術(shù)判斷接收到聲音的語種類型，例如：將接收到的聲音識別為中文、英文、法文等。f、根據(jù)接收到聲音的語種類型與具體接收到的聲音識別說話內(nèi)容。即，當(dāng)接收到的聲音為說話聲時，可以先識別說話聲的語種類型再識別說話的具體內(nèi)容。

由于說話內(nèi)容往往比較復(fù)雜，通過標(biāo)識、動態(tài)畫面等方法很難清楚的對應(yīng)說話內(nèi)容進(jìn)行顯示，因此在本發(fā)明實(shí)施中，當(dāng)聲音為說話聲時，將根據(jù)說話聲的內(nèi)容將聲音轉(zhuǎn)為文字，從而更加清楚的顯示出接收到的說話聲的內(nèi)容。

s123、識別環(huán)境聲的類別，根據(jù)環(huán)境聲的類別將環(huán)境聲轉(zhuǎn)換為用于驅(qū)動顯示標(biāo)識的顯示信號。

示例性的，上述實(shí)施例中的標(biāo)識具體可以為：狗的卡通畫、汽車的卡通畫、危險標(biāo)識、雷電標(biāo)識等。

進(jìn)一步的，上述實(shí)施例提供的聾啞人輔助方法可以輔助聾啞人感知說話聲音以及環(huán)境中的各種聲音，但是當(dāng)用戶處于嘈雜的環(huán)境中接受到說話聲時，接收到的說話聲中可能包含有環(huán)境中的噪音，進(jìn)而可能會造成說話聲的內(nèi)容識別不準(zhǔn)確。針對上述問題本發(fā)明實(shí)施例提供了一種聾啞人輔助方法，具體的，參照圖3所示，在圖2所示聾啞人輔助方的基礎(chǔ)上本發(fā)明實(shí)施例提供的聾啞人輔助方法還進(jìn)一步包括：

s31、獲取相對人的圖像。

其中，相對人為發(fā)出說話聲的人。

具體的，可以通過單目攝像頭、雙目攝像頭、深度攝像頭、圖像傳感器等的一種或多種來獲取相對人的圖像。本發(fā)明實(shí)施例中可以采用任一種圖像采集裝置還獲取相對人的圖像，本發(fā)明實(shí)施例中對獲取相對人的圖像的方式不作限定，以能夠獲取相對人的圖像為準(zhǔn)。此外，示例性的，相對人的圖像可以為相對人說話時的動態(tài)畫面。

s32、根據(jù)相對人的圖像獲取相對人的嘴唇動作。

上述步驟s122中根據(jù)所述說話聲的內(nèi)容將所述說話聲轉(zhuǎn)換為用于驅(qū)動顯示文字的顯示信號，可以通過步驟s33所提供的實(shí)現(xiàn)方式來實(shí)現(xiàn)。

s33、根據(jù)所述說話聲的內(nèi)容和所述相對人的嘴唇動作將所述說話聲轉(zhuǎn)換為用于驅(qū)動顯示文字的顯示信號。

上述實(shí)施例中通過進(jìn)一步獲取獲取相對人的圖像，對相對人的圖像進(jìn)行識別獲取相對人的嘴唇動作，然后在聲音為說話聲時，識別說話聲的內(nèi)容，以及根據(jù)說話聲的內(nèi)容和相對人的嘴唇動作將說話聲的內(nèi)容轉(zhuǎn)換為與文字對應(yīng)的顯示信號，由于通過唇語識別技術(shù)可以根據(jù)相對人的嘴唇動作解讀部分相對人說的話，因此可以提高轉(zhuǎn)換的準(zhǔn)確性。

進(jìn)一步的，上述實(shí)施例提供的聾啞人輔助方法還包括：

獲取聲音的方位；

上述步驟s13中在所述顯示信號的驅(qū)動下進(jìn)行顯示具體可以通過如下實(shí)現(xiàn)方式來實(shí)現(xiàn)：根據(jù)所述聲音的方位在所述顯示信號的驅(qū)動下在顯示界面的相應(yīng)位置上進(jìn)行顯示。

示例性的，參照圖4所示，當(dāng)聲音所在方為位于用戶后方f1時，將與聲音對應(yīng)的顯示內(nèi)容41在顯示界面40的下方；當(dāng)聲音所在方為位于用戶前方f2時，將與聲音對應(yīng)的顯示內(nèi)容42顯示在顯示界面40的上方；當(dāng)聲音所在方為位于用戶左側(cè)f3時，將與聲音對應(yīng)的顯示內(nèi)容43顯示在顯示界面40的左側(cè)；當(dāng)聲音所在方為位于用戶右側(cè)f4時，將與聲音對應(yīng)的顯示內(nèi)容44顯示在顯示界面40的右側(cè)。

根據(jù)聲音的方位將顯示內(nèi)容在顯示界面的相應(yīng)位置上進(jìn)行顯示，可以進(jìn)一步使用戶了解到聲音產(chǎn)生的方位，進(jìn)而可以輔助聾啞人更加全面的對聲音進(jìn)行感知。

聾啞人可以通過手語與正常人進(jìn)行交流、溝通，但當(dāng)聾啞人面對一些對手語不了解的人時，交流、溝通將無法進(jìn)行。針對上述問題，本發(fā)明實(shí)施例進(jìn)一步提供了一種聾啞人輔助方法，具體的，參照圖5所示，本發(fā)明實(shí)施例提供的聾啞人輔助方法包括：

s51、檢測用戶的手部動作。

可選的，檢測用戶的手部動作具體可以為：通過單目攝像頭、雙目攝像頭、深度攝像頭、圖像傳感器等的一種或多種來獲取用戶的動態(tài)畫面，進(jìn)而根據(jù)用戶的動態(tài)畫面獲取用戶的手部動作。此外，檢測用戶的手部動作還可以通過手部穿戴設(shè)備，檢測用戶手部的加速度、旋轉(zhuǎn)角度等運(yùn)動參數(shù)，并根據(jù)運(yùn)動參數(shù)來獲取用戶的手部動作。其中，手部穿戴設(shè)備可以為：指環(huán)、腕帶、數(shù)據(jù)手套等。

s52、對用戶的手部動作進(jìn)行識別并根據(jù)識別結(jié)果將用戶的手部動作轉(zhuǎn)換為語音。

同樣，上述實(shí)施例中對用戶的手部動作進(jìn)行識別并根據(jù)識別結(jié)果將用戶的手部動作轉(zhuǎn)換為語音的過程可以在聾啞人輔助裝置內(nèi)部完成，也可以通過遠(yuǎn)程服務(wù)設(shè)備協(xié)助完成。

當(dāng)對用戶的手部動作進(jìn)行識別并根據(jù)識別結(jié)果將用戶的手部動作轉(zhuǎn)換為語音的過程在聾啞人輔助裝置內(nèi)部完成時，步驟s52具體可以通過如下步驟實(shí)現(xiàn)：a、通過聾啞人輔助裝置內(nèi)部的圖像處理裝置對用戶的手部動作進(jìn)行識別。b根據(jù)圖像處理裝置的識別結(jié)果將用戶的手部動作轉(zhuǎn)換為對應(yīng)的語音。

當(dāng)對圖像進(jìn)行識別并根據(jù)識別結(jié)果將圖像轉(zhuǎn)換為聲音信息的過程通過遠(yuǎn)程服務(wù)設(shè)備協(xié)助完成時，步驟s52具體可以通過如下步驟實(shí)現(xiàn)：c、將圖像發(fā)送至遠(yuǎn)端服務(wù)器，以便遠(yuǎn)端服務(wù)器對用戶的手部動作進(jìn)行識別并根據(jù)識別結(jié)果將用戶的手部動作轉(zhuǎn)換為語音。d、接收遠(yuǎn)端服務(wù)器發(fā)送的語音。示例性的，遠(yuǎn)端服務(wù)設(shè)備可以為云端服務(wù)器等。

s53、對語音進(jìn)行播報(bào)。

具體的，可以通過語音合成技術(shù)將手勢表達(dá)的手語內(nèi)容轉(zhuǎn)換為語音，并通過揚(yáng)聲器(英文名稱：speaker)將語音播報(bào)出來。

上述實(shí)施例中可以將手語內(nèi)容轉(zhuǎn)換成語音并播報(bào)出來，所以可以使不了解手語的人通過播報(bào)出來的語音獲知手語聾啞人通手語所表達(dá)的內(nèi)容，進(jìn)而進(jìn)一步輔助聾啞人進(jìn)行溝通。

下面說明本發(fā)明實(shí)施例提供的與上文所提供的方法實(shí)施例相對應(yīng)的裝置實(shí)施例。需要說明的是，下述裝置實(shí)施例中相關(guān)內(nèi)容的解釋，均可以參考上述方法實(shí)施例。

在采用對應(yīng)各個功能劃分各個功能模塊的情況下，圖6示出了上述實(shí)施例中所涉及的聾啞人輔助裝置的一種可能的結(jié)構(gòu)示意圖。參照圖6所示，聾啞人輔助裝置包括：

接收單元61，用于接收聲音；

轉(zhuǎn)換單元62，用于對聲音進(jìn)行識別并根據(jù)識別結(jié)果將聲音轉(zhuǎn)換為顯示信號；

顯示單元63，用于在顯示信號的驅(qū)動下進(jìn)行顯示。

本發(fā)明實(shí)施例提供的聾啞人輔助裝置包括：接收單元、轉(zhuǎn)換單元以及顯示單元，其中，接收單元用于接收聲音，轉(zhuǎn)換單元用于對聲音進(jìn)行識別并根據(jù)識別結(jié)果將聲音轉(zhuǎn)換為顯示信號，顯示單元用于在顯示信號的驅(qū)動下進(jìn)行顯示，所以本發(fā)明實(shí)施例提供的聾啞人輔助裝置可以將接收到的聽覺信號轉(zhuǎn)換成視覺信號，進(jìn)而使聾啞人通過視覺看到與聲音對應(yīng)的顯示內(nèi)容，因此通過本發(fā)明實(shí)施例提供的聾啞人輔助裝置可以輔助聾啞人感知聲音。此外，相比于現(xiàn)有技術(shù)中的聾啞人輔助設(shè)備，本發(fā)明實(shí)施例提供的聾啞人輔助裝置無需復(fù)雜的甄選過程，也無需進(jìn)行語言訓(xùn)練，因此相比于現(xiàn)有技術(shù)本發(fā)明實(shí)施例提供的聾啞人輔助裝置可以輔助聾啞人方便、快捷的感知聲音。

可選的，轉(zhuǎn)換單元62具體用于對聲音的種類進(jìn)行識別；

轉(zhuǎn)換單元62具體用于當(dāng)聲音為說話聲時，識別說話聲的內(nèi)容，根據(jù)說話聲的內(nèi)容將說話聲轉(zhuǎn)換為用于驅(qū)動顯示文字的顯示信號；和/或當(dāng)聲音為環(huán)境聲時，識別環(huán)境聲的類別，根據(jù)環(huán)境聲的類別將環(huán)境聲轉(zhuǎn)換為用于驅(qū)動顯示標(biāo)識的顯示信號。

可選的，接收單元61還用于獲取相對人的圖像；其中，相對人為發(fā)出說話聲的人；

轉(zhuǎn)換單元62還用于根據(jù)相對人的圖像獲取相對人的嘴唇動作；

所述轉(zhuǎn)換單元62具體用于根據(jù)所述說話聲的內(nèi)容和所述相對人的嘴唇動作將所述說話聲轉(zhuǎn)換為用于驅(qū)動顯示文字的顯示信號。

可選的，接收單元61還用于獲取聲音的方位；

所述顯示單元63還用于根據(jù)所述聲音的方位在所述顯示信號的驅(qū)動下在顯示界面的相應(yīng)位置上進(jìn)行顯示。

可選的，參照圖7所示，轉(zhuǎn)換單元62包括：發(fā)送模塊71和接收模塊72；

發(fā)送模塊71用于將聲音發(fā)送至遠(yuǎn)端服務(wù)器，以便與端服務(wù)器對聲音進(jìn)行識別并根據(jù)識別結(jié)果將聲音轉(zhuǎn)換為顯示信號；

接收模塊72用于接收遠(yuǎn)端服務(wù)器發(fā)送的顯示信號。

可選的，參照圖8所示，聾啞人輔助裝置600還包括：語音播報(bào)單元64；

接收單元61還用于檢測用戶的手部動作；

識別單元62還用于對用戶的手部動作進(jìn)行識別并根據(jù)識別結(jié)果將用戶的手部動作轉(zhuǎn)換為語音；

語音播報(bào)單元64用于對語音進(jìn)行播報(bào)。

即，接收單元61用于實(shí)現(xiàn)上述聾啞人輔助方法中的接收聲音、獲取相對人的圖像以及獲取聲音的方位的步驟；識別單元62用于實(shí)現(xiàn)上述聾啞人輔助方法中的對聲音進(jìn)行識別并根據(jù)識別結(jié)果將聲音轉(zhuǎn)換為顯示信號、對聲音的種類進(jìn)行識別、識別說話聲的內(nèi)容，根據(jù)說話聲的內(nèi)容將說話聲轉(zhuǎn)換為用于驅(qū)動顯示文字的顯示信號、識別環(huán)境聲的類別，根據(jù)環(huán)境聲的類別將環(huán)境聲轉(zhuǎn)換為用于驅(qū)動顯示標(biāo)識的顯示信號、根據(jù)相對人的圖像獲取相對人的嘴唇動作、根據(jù)說話聲的內(nèi)容和相對人的嘴唇動作將說話聲的內(nèi)容轉(zhuǎn)換為與文字對應(yīng)的顯示信號以及對用戶的手部動作進(jìn)行識別并根據(jù)識別結(jié)果將用戶的手部動作轉(zhuǎn)換為語音的步驟；發(fā)送模塊71用于實(shí)現(xiàn)上述聾啞人輔助方法中的將聲音發(fā)送至遠(yuǎn)端服務(wù)器的步驟；發(fā)送模塊72用于實(shí)現(xiàn)上述聾啞人輔助方法中的接收遠(yuǎn)端服務(wù)器發(fā)送的顯示信號的步驟；顯示單元63用于實(shí)現(xiàn)上述聾啞人輔助方法中的在顯示信號的驅(qū)動下進(jìn)行顯示和根據(jù)環(huán)境聲的方位將標(biāo)識顯示在顯示界面的相應(yīng)位置的步驟，語音播報(bào)單元64用于實(shí)現(xiàn)上述聾啞人輔助方法中的對語音進(jìn)行播報(bào)的步驟。

還需說明的是，上述方法實(shí)施例涉及的各步驟的所有相關(guān)內(nèi)容均可以援引到對應(yīng)功能模塊的功能描述，在此不再贅述。

在硬件實(shí)現(xiàn)上，上述的接收單元61可以是mic、mic陣列、攝像頭、圖像傳感器、超聲波檢測裝置、紅外攝像頭等中的一種或多種。識別單元62可以處理器或者收發(fā)機(jī)；顯示單元63可以是顯示屏、激光投影顯示裝置；語音播報(bào)單元64可以是揚(yáng)聲器等。上述聾啞人輔助裝置所執(zhí)行的動作所對應(yīng)的程序均可以以軟件形式存儲于聾啞人輔助裝置的存儲器中，以便于處理器調(diào)用執(zhí)行以上各個單元對應(yīng)的操作。

在采用集成的單元的情況下，圖9示出了包括上述實(shí)施例中所涉及的聾啞人輔助裝置的電子設(shè)備的可能的結(jié)構(gòu)示意圖。電子設(shè)備900包括：處理器91、存儲器92、系統(tǒng)總線93、通信接口94、聲音采集設(shè)備95、顯示設(shè)備96。

上述處理器91可以是一個處理器，也可以是多個處理元件的統(tǒng)稱。例如，處理器91可以為中央處理器(centralprocessingunit，cpu)。處理器91也可以為其他通用處理器、數(shù)字信號處理器(digitalsignalprocessing，dsp)、專用集成電路(applicationspecificintegratedcircuit，asic)、現(xiàn)場可編程門陣列(field-programmablegatearray，fpga)或者其他可編程邏輯器件、分立門或者晶體管邏輯器件、分立硬件組件等，其可以實(shí)現(xiàn)或執(zhí)行結(jié)合本發(fā)明公開內(nèi)容所描述的各種示例性的邏輯方框，模塊和電路。通用處理器可以是微處理器或者該處理器也可以是任何常規(guī)的處理器等。處理器91還可以為專用處理器，該專用處理器可以包括基帶處理芯片、射頻處理芯片等中的至少一個。處理器也可以是實(shí)現(xiàn)計(jì)算功能的組合，例如包含一個或多個微處理器組合，dsp和微處理器的組合等等。進(jìn)一步地，該專用處理器還可以包括具有該裝置其他專用處理功能的芯片。

存儲器92用于存儲計(jì)算機(jī)執(zhí)行代碼，處理器91與存儲器92通過系統(tǒng)總線93連接，當(dāng)電子設(shè)備運(yùn)行時，處理器91用于執(zhí)行存儲器92存儲的計(jì)算機(jī)執(zhí)行代碼，以執(zhí)行本發(fā)明實(shí)施例提供的任意一種聾啞人輔助方法，如，處理器91用于支持電子設(shè)備執(zhí)行圖1所示的步驟s12、圖2所示的步驟s121、s122、123、圖3所示的步驟s32、s33以及圖5所示的步驟s52，和/或用于本文所描述的技術(shù)的其它過程，具體的聾啞人輔助方法可參考上文及附圖中的相關(guān)描述，此處不再贅述。

系統(tǒng)總線93可以包括數(shù)據(jù)總線、電源總線、控制總線和信號狀態(tài)總線等。本實(shí)施例中為了清楚說明，在圖9中將各種總線都示意為系統(tǒng)總線93。

通信接口94具體可以是該裝置上的收發(fā)器。該收發(fā)器可以為無線收發(fā)器。例如，無線收發(fā)器可以是該裝置的天線等。處理器91通過通信接口94與其他設(shè)備，例如，若該裝置為該電子設(shè)備中的一個模塊或組件時，該裝置用于與該電子設(shè)備中的其他模塊之間進(jìn)行數(shù)據(jù)交互。

結(jié)合本發(fā)明公開內(nèi)容所描述的方法的步驟可以硬件的方式來實(shí)現(xiàn)，也可以是由處理器執(zhí)行軟件指令的方式來實(shí)現(xiàn)。本發(fā)明實(shí)施例還提供一種存儲介質(zhì)，用于儲存為圖9所示的電子設(shè)備所用的計(jì)算機(jī)軟件指令，其包含執(zhí)行上述任一實(shí)施例提供的聾啞人輔助方法所設(shè)計(jì)的程序代碼。其中，軟件指令可以由相應(yīng)的軟件模塊組成，軟件模塊可以被存放于隨機(jī)存取存儲器(英文：randomaccessmemory，縮寫：ram)、閃存、只讀存儲器(英文：readonlymemory，縮寫：rom)、可擦除可編程只讀存儲器(英文：erasableprogrammablerom，縮寫：eprom)、電可擦可編程只讀存儲器(英文：electricallyeprom，縮寫：eeprom)、寄存器、硬盤、移動硬盤、只讀光盤(cd-rom)或者本領(lǐng)域熟知的任何其它形式的存儲介質(zhì)中。一種示例性的存儲介質(zhì)耦合至處理器，從而使處理器能夠從該存儲介質(zhì)讀取信息，且可向該存儲介質(zhì)寫入信息。當(dāng)然，存儲介質(zhì)也可以是處理器的組成部分。處理器和存儲介質(zhì)可以位于asic中。另外，該asic可以位于核心網(wǎng)接口設(shè)備中。當(dāng)然，處理器和存儲介質(zhì)也可以作為分立組件存在于核心網(wǎng)接口設(shè)備中。

本發(fā)明實(shí)施例還提供一種計(jì)算機(jī)程序產(chǎn)品，該計(jì)算機(jī)程序可直接加載到計(jì)算機(jī)的內(nèi)部存儲器中，并含有軟件代碼，計(jì)算機(jī)程序經(jīng)由計(jì)算機(jī)載入并執(zhí)行后能夠?qū)崿F(xiàn)上述任一實(shí)施例提供的聾啞人輔助方法。

本領(lǐng)域技術(shù)人員應(yīng)該可以意識到，在上述一個或多個示例中，本發(fā)明所描述的功能可以用硬件、軟件、固件或它們的任意組合來實(shí)現(xiàn)。當(dāng)使用軟件實(shí)現(xiàn)時，可以將這些功能存儲在計(jì)算機(jī)可讀介質(zhì)中或者作為計(jì)算機(jī)可讀介質(zhì)上的一個或多個指令或代碼進(jìn)行傳輸。計(jì)算機(jī)可讀介質(zhì)包括計(jì)算機(jī)存儲介質(zhì)和通信介質(zhì)，其中通信介質(zhì)包括便于從一個地方向另一個地方傳送計(jì)算機(jī)程序的任何介質(zhì)。存儲介質(zhì)可以是通用或?qū)Ｓ糜?jì)算機(jī)能夠存取的任何可用介質(zhì)。

以上所述，僅為本發(fā)明的具體實(shí)施方式，但本發(fā)明的保護(hù)范圍并不局限于此，任何熟悉本技術(shù)領(lǐng)域的技術(shù)人員在本發(fā)明揭露的技術(shù)范圍內(nèi)，可輕易想到的變化或替換，都應(yīng)涵蓋在本發(fā)明的保護(hù)范圍之內(nèi)。因此，本發(fā)明的保護(hù)范圍應(yīng)以權(quán)利要求的保護(hù)范圍為準(zhǔn)。