在智能手表上實(shí)現(xiàn)智能家居設(shè)備控制的系統(tǒng)及其方法
【專(zhuān)利摘要】本發(fā)明公開(kāi)了一種在智能手表上實(shí)現(xiàn)智能家居設(shè)備控制的系統(tǒng)及其方法。該系統(tǒng)包括：智能手表端模塊，負(fù)責(zé)實(shí)時(shí)收集來(lái)自麥克風(fēng)數(shù)據(jù)，發(fā)送用戶語(yǔ)音數(shù)據(jù)和接收系統(tǒng)合成音數(shù)據(jù)；智能家居端控制模塊，負(fù)責(zé)對(duì)家居設(shè)備發(fā)送控制指令，通過(guò)調(diào)用SDK接口接收來(lái)自智能手表的語(yǔ)音數(shù)據(jù)；云端語(yǔ)音對(duì)話模塊，接收來(lái)自SDK的語(yǔ)音數(shù)據(jù)，并完成人機(jī)對(duì)話過(guò)程，將對(duì)話結(jié)果反饋給智能家居控制模塊；家居設(shè)備名字自定義模塊，負(fù)責(zé)實(shí)現(xiàn)用戶對(duì)家居設(shè)備進(jìn)行個(gè)性化眤稱的定制。本發(fā)明通過(guò)從智能手表采集到用戶語(yǔ)音數(shù)據(jù)，上傳到云端進(jìn)行智能語(yǔ)音對(duì)話，并將對(duì)話結(jié)果反饋給智能家居控制中心，從而實(shí)現(xiàn)方便、快捷的家居設(shè)備控制。
【專(zhuān)利說(shuō)明】在智能手表上實(shí)現(xiàn)智能家居設(shè)備控制的系統(tǒng)及其方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及一種控制系統(tǒng)及與所述控制系統(tǒng)配套的控制方法，尤其涉及一種通過(guò)語(yǔ)音對(duì)話技術(shù)在智能手表上實(shí)現(xiàn)智能家居設(shè)備控制的系統(tǒng)及其方法。
【背景技術(shù)】
[0002]隨著智能家居設(shè)備的逐漸普及，如何更智能的控制智能家居設(shè)備、提升用戶使用智能家居設(shè)備的體驗(yàn)，已經(jīng)顯得越來(lái)越重要。一般情況下，目前家居設(shè)備的生產(chǎn)廠商會(huì)提供兩種控制方式，一種是傳統(tǒng)的紅外遙控器，通過(guò)紅外的方式實(shí)現(xiàn)控制，另一種是開(kāi)發(fā)一個(gè)移動(dòng)端的app應(yīng)用，安裝在手機(jī)或者手持平板上，通過(guò)觸屏方式實(shí)現(xiàn)控制。這兩種控制方式，都存在一定的局限性。比如，第一種方式，只能在非常有限的距離范圍內(nèi)實(shí)現(xiàn)控制，無(wú)法實(shí)現(xiàn)透墻跨樓層、不同房間的控制，且實(shí)現(xiàn)的控制體驗(yàn)非常不好；第二種方式，要求用戶必須占用手機(jī)，在來(lái)電話的情況下無(wú)法實(shí)現(xiàn)控制，而且一般情況下，人們回家后習(xí)慣將手機(jī)放在固定的地方，人在家的范圍內(nèi)移動(dòng)時(shí)，控制非常不方便。隨著可穿戴式設(shè)備智能手表的出現(xiàn)，結(jié)合語(yǔ)音對(duì)話技術(shù)后，為我們提供了一種更方便、更快捷的控制方式。

【發(fā)明內(nèi)容】

[0003]本發(fā)明提供一種通過(guò)語(yǔ)音對(duì)話技術(shù)在智能手表上實(shí)現(xiàn)智能家居設(shè)備控制的系統(tǒng)及其方法，其能在智能手表上實(shí)現(xiàn)更方便、快捷地控制智能家居設(shè)備。
[0004]本發(fā)明是這樣實(shí)現(xiàn)的，一種在智能手表上實(shí)現(xiàn)智能家居設(shè)備控制的系統(tǒng)，其包括智能手表端模塊、智能家居控制端模塊和云端語(yǔ)音對(duì)話模塊，所述智能家居控制端模塊包括語(yǔ)音軟件開(kāi)發(fā)工具包(Software Development Kit, SDK)模塊和家居控制應(yīng)用程序編程接口(Application Programming Interface, API)模塊,所述云端語(yǔ)音對(duì)話模塊包括接入服務(wù)器模塊和內(nèi)核計(jì)算服務(wù)器模塊，所述內(nèi)核計(jì)算服務(wù)器模塊包括語(yǔ)音識(shí)別模塊、語(yǔ)義理解模塊、對(duì)話管理模塊和語(yǔ)音合成模塊；其中，
[0005]所述智能手表端模塊用于通過(guò)控制麥克風(fēng)采集用戶語(yǔ)音數(shù)據(jù)，還用于語(yǔ)音播放；所述語(yǔ)音SDK模塊一方面用于采用無(wú)線通訊方式建立所述智能手表端模塊與所述智能家居控制端模塊之間的信息連接，另一方面用于采用HTTP協(xié)議建立所述智能家居控制端模塊與所述云端語(yǔ)音對(duì)話模塊之間的信息連接；所述云端語(yǔ)音對(duì)話模塊用于根據(jù)所述語(yǔ)音SDK模塊傳遞的所述用戶語(yǔ)音數(shù)據(jù)完成人機(jī)對(duì)話過(guò)程并由此產(chǎn)生控制命令和反饋語(yǔ)音，其中，所述接入服務(wù)器模塊用于與所述語(yǔ)音SDK模塊建立網(wǎng)絡(luò)接入服務(wù)，并負(fù)責(zé)不同服務(wù)器之間的負(fù)載均衡，所述內(nèi)核計(jì)算服務(wù)器模塊用于服務(wù)器端的內(nèi)核計(jì)算:所述語(yǔ)音識(shí)別模塊用于將所述用戶語(yǔ)音數(shù)據(jù)轉(zhuǎn)換成文字，所述語(yǔ)義理解模塊用于將所述文字進(jìn)行文本分析識(shí)別出用戶的語(yǔ)義意圖信息，所述對(duì)話管理模塊用于結(jié)合場(chǎng)景及上、下用戶的語(yǔ)義意圖信息持續(xù)跟蹤分析所述用戶的語(yǔ)義意圖信息的變化，并由此給出該系統(tǒng)的反饋信息，所述語(yǔ)音合成模塊用于將所述反饋信息轉(zhuǎn)化為所述控制命令和所述反饋語(yǔ)音；所述家居控制API模塊用于根據(jù)所述語(yǔ)音SDK模塊傳遞的所述控制命令調(diào)用各智能家居設(shè)備的控制指令A(yù)PI，實(shí)現(xiàn)相應(yīng)智能家居設(shè)備的控制；所述智能手表端模塊根據(jù)所述語(yǔ)音SDK模塊傳遞的所述反饋語(yǔ)音進(jìn)行語(yǔ)音播放。
[0006]作為上述方案的進(jìn)一步改進(jìn)，該系統(tǒng)還包括家居設(shè)備名字自定義模塊，所述家居設(shè)備名字自定義模塊用于接受用戶自定義的各智能家居設(shè)備名稱，并訓(xùn)練生成定制的語(yǔ)義資源方便所述家居控制API模塊的控制。
[0007]作為上述方案的進(jìn)一步改進(jìn)，所述智能手表端模塊包括實(shí)時(shí)錄音模塊、VAD模塊、通信模塊、語(yǔ)音反饋模塊，其中，所述實(shí)時(shí)錄音模塊用于調(diào)用所述智能手表的API接口獲取麥克風(fēng)數(shù)據(jù)以采集所述用戶語(yǔ)音數(shù)據(jù)；所述VAD模塊用于檢測(cè)所述用戶語(yǔ)音數(shù)據(jù)中是否存在語(yǔ)音信號(hào)并進(jìn)行提?。凰鐾ㄐ拍K用于完成所述智能手表端模塊和所述智能家居控制端模塊之間的語(yǔ)音數(shù)據(jù)交互；所述語(yǔ)音反饋模塊用于將所述反饋語(yǔ)音合成語(yǔ)音提示向用戶播放。
[0008]優(yōu)選地，所述通信模塊為藍(lán)牙通信模塊或者WiFi通信模塊。
[0009]作為上述方案的進(jìn)一步改進(jìn)，所述家居設(shè)備名字自定義模塊包括HTTP服務(wù)模塊、后臺(tái)服務(wù)模塊；所述HTTP服務(wù)模塊包括名字輸入模塊和資源包ID映射模塊；所述名字輸入模塊用于接收網(wǎng)頁(yè)或者手機(jī)上發(fā)送請(qǐng)求的各智能家居設(shè)備；所述資源包ID映射模塊用于在每個(gè)用戶定制好自己的設(shè)備名字后后臺(tái)生成一個(gè)語(yǔ)義資源，并將這個(gè)語(yǔ)義資源映射到一個(gè)ID上；所述后臺(tái)服務(wù)模塊包括語(yǔ)義模板庫(kù)、資源定制模塊、語(yǔ)義擴(kuò)展分析模塊和模板合并模塊；所述語(yǔ)義模板庫(kù)的語(yǔ)義模板知識(shí)覆蓋智能家居控制領(lǐng)域所有各智能家居設(shè)備的控制命令和設(shè)備名稱；所述資源定制模塊用于形成定制的語(yǔ)義資源；所述語(yǔ)義擴(kuò)展分析模塊用于對(duì)所述名字輸入模塊輸出的文本進(jìn)行擴(kuò)展分析，包括分詞和文本規(guī)范化；所述模板合并模塊用于通過(guò)分析將原有語(yǔ)義模板中設(shè)備名和新定制增加的設(shè)備名字進(jìn)行合并，形成新的語(yǔ)義資源。
[0010]本發(fā)明還提供一種在智能手表上實(shí)現(xiàn)智能家居設(shè)備控制的方法，其包括以下步驟:
[0011]通過(guò)控制麥克風(fēng)采集用戶語(yǔ)音數(shù)據(jù)；
[0012]一方面采用無(wú)線通訊方式接收所述用戶語(yǔ)音數(shù)據(jù)，另一方面采用HTTP協(xié)議以發(fā)送所述用戶語(yǔ)音數(shù)據(jù)；
[0013]根據(jù)所述用戶語(yǔ)音數(shù)據(jù)完成人機(jī)對(duì)話過(guò)程并由此產(chǎn)生控制命令和反饋語(yǔ)音，其中，包括步驟:建立網(wǎng)絡(luò)接入服務(wù)，并負(fù)責(zé)不同服務(wù)器之間的負(fù)載均衡；服務(wù)器端的內(nèi)核計(jì)算:將所述用戶語(yǔ)音數(shù)據(jù)轉(zhuǎn)換成文字，將所述文字進(jìn)行文本分析識(shí)別出用戶的語(yǔ)義意圖信息，結(jié)合場(chǎng)景及上、下用戶的語(yǔ)義意圖信息持續(xù)跟蹤分析所述用戶的語(yǔ)義意圖信息的變化，并由此給出該系統(tǒng)的反饋信息，將所述反饋信息轉(zhuǎn)化為所述控制命令和所述反饋語(yǔ)音；
[0014]傳遞所述控制命令和所述反饋語(yǔ)音；
[0015]根據(jù)所述控制命令調(diào)用各智能家居設(shè)備的控制指令A(yù)PI，實(shí)現(xiàn)相應(yīng)智能家居設(shè)備的控制，根據(jù)所述反饋語(yǔ)音進(jìn)行語(yǔ)音播放。
[0016]作為上述方案的進(jìn)一步改進(jìn)，該方法還包括以下步驟:接受用戶自定義的各智能家居設(shè)備名稱，并訓(xùn)練生成定制的語(yǔ)義資源。
[0017]作為上述方案的進(jìn)一步改進(jìn)，通過(guò)控制麥克風(fēng)采集用戶語(yǔ)音數(shù)據(jù)的步驟中，還包括以下步驟:[0018]調(diào)用所述智能手表的API接口獲取麥克風(fēng)數(shù)據(jù)以采集所述用戶語(yǔ)音數(shù)據(jù)；
[0019]檢測(cè)所述用戶語(yǔ)音數(shù)據(jù)中是否存在語(yǔ)音信號(hào)并進(jìn)行提??；
[0020]完成語(yǔ)音數(shù)據(jù)交互；
[0021 ] 將所述反饋語(yǔ)音合成語(yǔ)音提示向用戶播放。
[0022]優(yōu)選地，所述家居設(shè)備名字自定義步驟包括以下步驟:
[0023]接收網(wǎng)頁(yè)或者手機(jī)上發(fā)送請(qǐng)求的各智能家居設(shè)備；
[0024]定義語(yǔ)義模板知識(shí)覆蓋智能家居控制領(lǐng)域所有各智能家居設(shè)備的控制命令和設(shè)備名稱；
[0025]形成定制的語(yǔ)義資源；
[0026]對(duì)文本進(jìn)行擴(kuò)展分析，包括分詞和文本規(guī)范化；
[0027]通過(guò)分析將原有語(yǔ)義模板中設(shè)備名和新定制增加的設(shè)備名字進(jìn)行合并，形成新的語(yǔ)義資源。
[0028]本發(fā)明還提供另一種在智能手表上實(shí)現(xiàn)智能家居設(shè)備控制的方法，其包括以下步驟:
[0029]用戶通過(guò)調(diào)用所述智能手表的API接口獲取麥克風(fēng)數(shù)據(jù)以采集用戶語(yǔ)音數(shù)據(jù)；
[0030]向云端服務(wù)器轉(zhuǎn)發(fā)所述用戶語(yǔ)音數(shù)據(jù)；
[0031]所述向云端服務(wù)器根據(jù)所述用戶語(yǔ)音數(shù)據(jù)進(jìn)行語(yǔ)音識(shí)別和對(duì)話管理，形成控制命令及與所述控制命令相對(duì)應(yīng)的反饋語(yǔ)音；
[0032]根據(jù)所述控制命令調(diào)用各智能家居設(shè)備的控制指令A(yù)PI，實(shí)現(xiàn)相應(yīng)智能家居設(shè)備的控制；
[0033]所述智能手表將所述反饋語(yǔ)音播放出來(lái)。
[0034]本發(fā)明的優(yōu)點(diǎn)在于:一是通過(guò)具備上下文的人機(jī)對(duì)話實(shí)現(xiàn)家居的控制，提供了一種非常自然、快捷的控制方式；二是使用者可以直接使用智能手表來(lái)實(shí)現(xiàn)所有智能家居設(shè)備的控制，走到哪里都可以方便的控制；三是使用者可以自定義個(gè)性化的智能家居名稱，讓智能家居設(shè)備控制更個(gè)性化和娛樂(lè)化。
【專(zhuān)利附圖】

【附圖說(shuō)明】
[0035]圖1是本發(fā)明較佳實(shí)施例在智能手表上實(shí)現(xiàn)智能家居設(shè)備控制的系統(tǒng)結(jié)構(gòu)圖。
[0036]圖2是本發(fā)明較佳實(shí)施例在智能手表上實(shí)現(xiàn)智能家居設(shè)備控制的云端語(yǔ)音對(duì)話模塊的系統(tǒng)結(jié)構(gòu)圖。
[0037]圖3是本發(fā)明較佳實(shí)施例在智能手表上實(shí)現(xiàn)智能家居設(shè)備控制的家居設(shè)備名字自定義模塊的系統(tǒng)結(jié)構(gòu)圖。
[0038]圖4是本發(fā)明較佳實(shí)施例在智能手表上實(shí)現(xiàn)智能家居設(shè)備控制的智能手表端的系統(tǒng)結(jié)構(gòu)圖。
[0039]圖5是本發(fā)明較佳實(shí)施例在智能手表上實(shí)現(xiàn)智能家居設(shè)備控制的方法流程圖。
[0040]圖6是本發(fā)明較佳實(shí)施例在云端實(shí)現(xiàn)智能家居設(shè)備名字自定義的方法流程圖。
【具體實(shí)施方式】
[0041]為了使本發(fā)明的目的、技術(shù)方案及優(yōu)點(diǎn)更加清楚明白，以下結(jié)合附圖及實(shí)施例，對(duì)本發(fā)明進(jìn)行進(jìn)一步詳細(xì)說(shuō)明。應(yīng)當(dāng)理解，此處所描述的具體實(shí)施例僅用以解釋本發(fā)明，并不用于限定本發(fā)明。
[0042]在需要控制家中的智能設(shè)備時(shí)，本發(fā)明的較佳實(shí)施方式提供的在智能手表(圖未示)上實(shí)現(xiàn)智能家居設(shè)備控制的系統(tǒng)能夠?qū)崿F(xiàn)智能設(shè)備的控制，比如:要打開(kāi)臥室燈，使用者只要按一下所述智能手表上的錄音開(kāi)始按鈕，用很自然的表達(dá)方式說(shuō)出控制命令形成語(yǔ)音數(shù)據(jù)，所述語(yǔ)音數(shù)據(jù)通過(guò)所述智能手表上傳到云端服務(wù)器(圖未示)進(jìn)行語(yǔ)音識(shí)別、語(yǔ)義分析和對(duì)話管理分析，理解用戶的控制意圖后識(shí)別所述控制命令，因而向相應(yīng)的智能家居設(shè)備發(fā)出所述控制命令，同時(shí)，將所述控制命令形成合成反饋語(yǔ)音通過(guò)所述智能手表播放出來(lái)，從而實(shí)現(xiàn)控制家居設(shè)備的人機(jī)交互。
[0043]請(qǐng)參閱圖1，在智能手表上實(shí)現(xiàn)智能家居設(shè)備控制的系統(tǒng)包括智能手表端模塊14、智能家居端控制模塊13、云端語(yǔ)音對(duì)話模塊11和家居設(shè)備名字自定義模塊12。
[0044]智能手表端模塊14用于通過(guò)控制麥克風(fēng)采集用戶語(yǔ)音數(shù)據(jù)，請(qǐng)結(jié)合圖2，在本實(shí)施方式中，智能手表端模塊14包括實(shí)時(shí)錄音模塊42、VAD模塊21、通信模塊44、語(yǔ)音反饋模塊45。
[0045]實(shí)時(shí)錄音模塊42用于調(diào)用所述智能手表的API接口獲取麥克風(fēng)數(shù)據(jù)以采集所述用戶語(yǔ)音數(shù)據(jù)，可采用手表麥克風(fēng)46產(chǎn)生所述用戶語(yǔ)音數(shù)據(jù)。VAD模塊21用于檢測(cè)所述用戶語(yǔ)音數(shù)據(jù)中是否存在語(yǔ)音信號(hào)并進(jìn)行提取。通信模塊44用于完成智能手表端模塊14和智能家居控制端模塊13之間的語(yǔ)音數(shù)據(jù)交互，通信模塊44可為藍(lán)牙通信模塊或者WiFi通信模塊。語(yǔ)音反饋模塊45用于將所述反饋語(yǔ)音合成語(yǔ)音提示向用戶播放，可采用手表喇叭47播放所述反饋語(yǔ)音。
[0046]在本實(shí)施方式中，VAD模塊41采用基于能量和統(tǒng)計(jì)模型的方法檢測(cè)從實(shí)時(shí)錄音模塊42中獲取的數(shù)據(jù)中是否存在語(yǔ)音信號(hào)，如檢測(cè)出語(yǔ)音信號(hào)則將語(yǔ)音數(shù)據(jù)通過(guò)通信模塊44發(fā)送到語(yǔ)音SDK模塊131進(jìn)行處理。實(shí)時(shí)錄音模塊42負(fù)責(zé)調(diào)用智能手表端音頻API接口 43，從手表麥克風(fēng)46獲取音頻數(shù)據(jù)。音頻API接口 43負(fù)責(zé)與智能手表的內(nèi)置硬件設(shè)備手表麥克風(fēng)46和手表喇機(jī)47進(jìn)行交互,獲取麥克風(fēng)錄音音頻并向手表喇機(jī)47輸出合成音頻數(shù)據(jù)。通信模塊44負(fù)責(zé)與智能家居控制端模塊13進(jìn)行數(shù)據(jù)通信。語(yǔ)音反饋模塊45接受來(lái)自智能家居控制端模塊13的語(yǔ)音反饋數(shù)據(jù)，并調(diào)用所述智能手表的音頻API接口。
[0047]請(qǐng)?jiān)俅螀㈤唸D1，智能家居端控制模塊13包括語(yǔ)音軟件開(kāi)發(fā)工具包(SoftwareDevelopment Kit, SDK)模塊 131、家居控制應(yīng)用程序編程接口(Application ProgrammingInterface, API)模塊 132。
[0048]語(yǔ)音SDK模塊131 —方面用于采用無(wú)線通訊方式建立智能手表端模塊14與智能家居控制端模塊13之間的信息連接，以使智能家居控制端模塊13接收來(lái)自智能手表端模塊14的所述用戶語(yǔ)音數(shù)據(jù)，而智能手表端模塊14能接收來(lái)自智能家居控制端模塊13的所述反饋語(yǔ)音供手表喇叭47播放。
[0049]語(yǔ)音SDK模塊131另一方面用于采用HTTP協(xié)議建立智能家居控制端模塊13與云端語(yǔ)音對(duì)話模塊11之間的信息連接，以使云端語(yǔ)音對(duì)話模塊11接收來(lái)自智能家居控制端模塊13的所述用戶語(yǔ)音數(shù)據(jù)，而智能家居控制端模塊13接收來(lái)自云端語(yǔ)音對(duì)話模塊11的所述控制命令和所述反饋語(yǔ)音。家居控制API模塊132根據(jù)語(yǔ)音SDK模塊131傳遞的所述控制命令調(diào)用各智能家居設(shè)備的控制指令A(yù)PI，實(shí)現(xiàn)相應(yīng)智能家居設(shè)備的控制。[0050]在本實(shí)施方式中，語(yǔ)音SDK模塊131負(fù)責(zé)接受來(lái)自通信模塊44的語(yǔ)音數(shù)據(jù)后，上傳到云端語(yǔ)音對(duì)話模塊11，并負(fù)責(zé)接受來(lái)自云端語(yǔ)音對(duì)話模塊11的控制命令和反饋語(yǔ)音。家居控制API模塊132負(fù)責(zé)根據(jù)所述控制命令完成相應(yīng)的設(shè)備控制接口調(diào)用，實(shí)現(xiàn)設(shè)備控制。所述反饋語(yǔ)音傳遞給手表喇叭47進(jìn)行播放。
[0051]也就是說(shuō)，在智能家居控制器端，使用開(kāi)發(fā)的SDK工具包來(lái)建立兩個(gè)連接，一是通過(guò)WIFI或者藍(lán)牙方式，建立智能手表端模塊14與智能家居控制端模塊13之間的連接，用于將從智能手表的手表麥克風(fēng)46采集到的語(yǔ)音數(shù)據(jù)傳輸?shù)街悄芗揖涌刂贫四K13，并將需要合成的音頻返回給智能手表；二是通過(guò)HTTP協(xié)議建立智能家居控制端模塊13與云端語(yǔ)音對(duì)話模塊11之間的Session連接，負(fù)責(zé)將音頻(即語(yǔ)音數(shù)據(jù))上傳到云端語(yǔ)音對(duì)話模塊11，同時(shí)，將對(duì)話反饋出的控制命令返回給智能家居控制端模塊13的家居控制API模塊132，家居控制API模塊132調(diào)用家居控制API來(lái)實(shí)現(xiàn)家居的控制。
[0052]云端語(yǔ)音對(duì)話模塊11建立一個(gè)智能家居控制領(lǐng)域的文本數(shù)據(jù)庫(kù)，該數(shù)據(jù)庫(kù)覆蓋了智能家居領(lǐng)域的所有智能設(shè)備控制的說(shuō)法句式語(yǔ)料。該文本數(shù)據(jù)庫(kù)進(jìn)行分詞、文本規(guī)范化處理后，采用詞頻統(tǒng)計(jì)分析算法、基于類(lèi)別的語(yǔ)言模型訓(xùn)練工具訓(xùn)練得到上下文相關(guān)的四元子統(tǒng)計(jì)語(yǔ)言模型，再與通用語(yǔ)言模型進(jìn)行插值后，生成智能家居領(lǐng)域定制的語(yǔ)言模型。
[0053]云端語(yǔ)音對(duì)話模塊11還建立一個(gè)覆蓋智能家居控制領(lǐng)域的語(yǔ)義理解模板庫(kù)和統(tǒng)計(jì)模型。通過(guò)兩種方法實(shí)現(xiàn)高精度的語(yǔ)義理解算法:一是通過(guò)人工定義大量智能家居領(lǐng)域語(yǔ)義模板庫(kù)，對(duì)需要控制的智能設(shè)備及控制操作進(jìn)行的說(shuō)法進(jìn)行覆蓋，得到語(yǔ)音識(shí)別結(jié)果后，使用模板匹配的算法進(jìn)行語(yǔ)義理解；二是根據(jù)實(shí)際使用過(guò)程中采集到的用戶數(shù)據(jù)、模板庫(kù)自動(dòng)生成的說(shuō)法數(shù)據(jù)，訓(xùn)練SVM統(tǒng)計(jì)模型，得到語(yǔ)音識(shí)別結(jié)果后，使用SVM統(tǒng)計(jì)算法進(jìn)行語(yǔ)義理解。
[0054]完成語(yǔ)義理解后，相應(yīng)的語(yǔ)義項(xiàng)輸入到對(duì)話管理算法中，對(duì)話管理算法根據(jù)當(dāng)前與用戶對(duì)話所處的對(duì)話狀態(tài)實(shí)時(shí)反饋相應(yīng)的控制操作及對(duì)話文本。對(duì)話狀態(tài)會(huì)維護(hù)包括用戶歷史信息、用戶目標(biāo)跟蹤、用戶當(dāng)前描述信息、用戶意圖狀態(tài)轉(zhuǎn)移概率等，對(duì)話狀態(tài)通過(guò)馬爾柯夫決策過(guò)程(Markov Decision Procession, MDP)進(jìn)行建模。
[0055]請(qǐng)結(jié)合圖3，云端語(yǔ)音對(duì)話模塊11用于根據(jù)所述用戶語(yǔ)音數(shù)據(jù)完成人機(jī)對(duì)話過(guò)程并由此產(chǎn)生所述控制命令和所述反饋語(yǔ)音。云端語(yǔ)音對(duì)話模塊11包括接入服務(wù)器模塊21和內(nèi)核計(jì)算服務(wù)器模塊22，接入服務(wù)器模塊21用于與語(yǔ)音SDK模塊131建立網(wǎng)絡(luò)接入服務(wù)，并負(fù)責(zé)不同服務(wù)器之間的負(fù)載均衡。內(nèi)核計(jì)算服務(wù)器模塊22用于服務(wù)器端的內(nèi)核計(jì)算。其中，內(nèi)核計(jì)算服務(wù)器模塊22包括語(yǔ)音識(shí)別模塊221、語(yǔ)義理解模塊222、對(duì)話管理模塊223和語(yǔ)音合成模塊224。
[0056]語(yǔ)音識(shí)別模塊221用于將所述用戶語(yǔ)音數(shù)據(jù)轉(zhuǎn)換成文字，語(yǔ)義理解模塊222用于將所述文字進(jìn)行文本分析識(shí)別出用戶的語(yǔ)義意圖信息，對(duì)話管理模塊223用于結(jié)合場(chǎng)景及上、下用戶的語(yǔ)義意圖信息持續(xù)跟蹤分析所述用戶的語(yǔ)義意圖信息的變化，并由此給出該系統(tǒng)的反饋信息，語(yǔ)音合成模塊224用于將所述反饋信息轉(zhuǎn)化為所述控制命令和所述反饋語(yǔ)音。
[0057]在本實(shí)施方式中，語(yǔ)音識(shí)別模塊221接受來(lái)自語(yǔ)音SDK模塊131的語(yǔ)音數(shù)據(jù)后，通過(guò)WFST解碼技術(shù)在云端語(yǔ)言模型上進(jìn)行解碼，最終實(shí)現(xiàn)將語(yǔ)音轉(zhuǎn)化為多候選文本做為后續(xù)語(yǔ)義理解模塊222的輸入；語(yǔ)義理解模塊222采用基于模板庫(kù)規(guī)則匹配算法和基于SVM進(jìn)行語(yǔ)義項(xiàng)提取算法，將語(yǔ)音識(shí)別的文本結(jié)果轉(zhuǎn)化成家居控制領(lǐng)域的語(yǔ)義項(xiàng)；對(duì)話管理模塊223采用了基于MDP的對(duì)話決策算法，考慮到用戶上下文信息、意圖跟蹤等，將相應(yīng)的家居控制指令反饋給使用者，同時(shí)，還將返回系統(tǒng)向使用者做出的一些提示文本；語(yǔ)音合成模塊224采用了基于統(tǒng)計(jì)模型的參數(shù)化合成算法，將系統(tǒng)提示文本轉(zhuǎn)化為標(biāo)準(zhǔn)普通話。通過(guò)上述過(guò)程，實(shí)現(xiàn)了一個(gè)完整的人機(jī)交互控制過(guò)程。
[0058]請(qǐng)結(jié)合圖4，家居設(shè)備名字自定義模塊12用于接受用戶自定義的各智能家居設(shè)備名稱，并訓(xùn)練生成定制的語(yǔ)義資源方便家居控制API模塊132的控制。家居設(shè)備名字自定義模塊12包括HTTP服務(wù)模塊31、后臺(tái)服務(wù)模塊32。當(dāng)用戶需要給自己的家居設(shè)備設(shè)置個(gè)性化的昵稱時(shí)，用戶可以網(wǎng)頁(yè)上或者在手機(jī)上輸入設(shè)備的昵稱文本及對(duì)應(yīng)的編號(hào)ID，并提交到云端語(yǔ)音對(duì)話模塊11，和系統(tǒng)原有的語(yǔ)義模板庫(kù)進(jìn)行合并，即可方便地生成個(gè)性化對(duì)話控制資源包。
[0059]HTTP服務(wù)模塊31包括名字輸入模塊311和資源包ID映射模塊312。名字輸入模塊311用于接收網(wǎng)頁(yè)或者手機(jī)上發(fā)送請(qǐng)求的各智能家居設(shè)備。資源包ID映射模塊312用于每個(gè)用戶定制好自己的設(shè)備名字后，后臺(tái)會(huì)生成一個(gè)語(yǔ)義資源，并將這個(gè)資源包即所述語(yǔ)義資源映射到一個(gè)ID上，便后續(xù)的使用。
[0060]后臺(tái)服務(wù)模塊32包括語(yǔ)義模板庫(kù)321、資源定制模塊322、語(yǔ)義擴(kuò)展分析模塊323和模板合并模塊324。
[0061]語(yǔ)義模板庫(kù)的語(yǔ)義模板321知識(shí)覆蓋智能家居控制領(lǐng)域所有各智能家居設(shè)備的控制命令和設(shè)備名稱；資源定制模塊322用于形成定制的語(yǔ)義資源；語(yǔ)義擴(kuò)展分析模塊323用于對(duì)所述名字輸入模塊311輸出的文本進(jìn)行擴(kuò)展分析，包括分詞和文本規(guī)范化；模板合并模塊324用于通過(guò)分析將原有語(yǔ)義模板321中設(shè)備名和新定制增加的設(shè)備名字進(jìn)行合并，形成新的語(yǔ)義資源。
[0062]本發(fā)明的在智能手表上實(shí)現(xiàn)智能家居設(shè)備控制的系統(tǒng)在應(yīng)用時(shí)，其匹配的在智能手表上實(shí)現(xiàn)智能家居設(shè)備控制的方法的大致流程如圖5所示，使用者需要進(jìn)行家居設(shè)備控制時(shí)，通過(guò)點(diǎn)擊智能手表端app后，說(shuō)出語(yǔ)音控制命令，系統(tǒng)經(jīng)過(guò)VAD模塊21檢測(cè)出有語(yǔ)音數(shù)據(jù)后，即通過(guò)wif1-藍(lán)牙模塊(即通信模塊44)向智能家居端控制模塊13的語(yǔ)音SDK模塊131傳送語(yǔ)音數(shù)據(jù)，并向云端語(yǔ)音對(duì)話模塊11轉(zhuǎn)發(fā)，云端語(yǔ)音對(duì)話模塊11收到數(shù)據(jù)后，進(jìn)行實(shí)時(shí)流式識(shí)別和對(duì)話管理，完成后返回相應(yīng)的控制命令。智能家居端控制模塊13收到控制命令后，家居控制API模塊132調(diào)用API接口實(shí)現(xiàn)對(duì)設(shè)備的控制，同時(shí)，語(yǔ)音SDK模塊131將反饋語(yǔ)音送給智能手表端模塊14，語(yǔ)音反饋模塊45用于將反饋音頻播放給使用者，完成語(yǔ)音控制及交互。
[0063]云端自定義設(shè)備名字模塊12對(duì)請(qǐng)求進(jìn)行處理后提供自定義語(yǔ)義資源包及ResourceID的過(guò)程如圖6所示:
[0064]首先，建立家居領(lǐng)域控制命令數(shù)據(jù)庫(kù)，提取家居通用語(yǔ)義模板庫(kù)，當(dāng)使用者要自定義設(shè)備名字時(shí)，先將名家通過(guò)語(yǔ)音SDK模塊131傳到云端語(yǔ)音對(duì)話模塊11的服務(wù)器上，調(diào)用家居通用語(yǔ)義模板庫(kù)，進(jìn)行資源的合并與優(yōu)化，并最終生成定制的語(yǔ)義資源包及相應(yīng)的資源編號(hào)ResourcelD。
[0065]以上所述僅為本發(fā)明的較佳實(shí)施例而已，并不用以限制本發(fā)明，凡在本發(fā)明的精神和原則之內(nèi)所作的任何修改、等同替換和改進(jìn)等，均應(yīng)包含在本發(fā)明的保護(hù)范圍之內(nèi)。
【權(quán)利要求】
1.一種在智能手表上實(shí)現(xiàn)智能家居設(shè)備控制的系統(tǒng)，其特征在于:其包括智能手表端模塊、智能家居控制端模塊和云端語(yǔ)音對(duì)話模塊，所述智能家居控制端模塊包括語(yǔ)音軟件開(kāi)發(fā)工具包(Software Development Kit, SDK)模塊和家居控制應(yīng)用程序編程接口(Application Programming Interface, API)模塊,所述云端語(yǔ)音對(duì)話模塊包括接入服務(wù)器模塊和內(nèi)核計(jì)算服務(wù)器模塊，所述內(nèi)核計(jì)算服務(wù)器模塊包括語(yǔ)音識(shí)別模塊、語(yǔ)義理解模塊、對(duì)話管理模塊和語(yǔ)音合成模塊；其中， 所述智能手表端模塊用于通過(guò)控制麥克風(fēng)采集用戶語(yǔ)音數(shù)據(jù)，還用于語(yǔ)音播放； 所述語(yǔ)音SDK模塊一方面用于采用無(wú)線通訊方式建立所述智能手表端模塊與所述智能家居控制端模塊之間的信息連接，另一方面用于采用HTTP協(xié)議建立所述智能家居控制端模塊與所述云端語(yǔ)音對(duì)話模塊之間的信息連接； 所述云端語(yǔ)音對(duì)話模塊用于根據(jù)所述語(yǔ)音SDK模塊傳遞的所述用戶語(yǔ)音數(shù)據(jù)完成人機(jī)對(duì)話過(guò)程并由此產(chǎn)生控制命令和反饋語(yǔ)音，其中，所述接入服務(wù)器模塊用于與所述語(yǔ)音SDK模塊建立網(wǎng)絡(luò)接入服務(wù)，并負(fù)責(zé)不同服務(wù)器之間的負(fù)載均衡，所述內(nèi)核計(jì)算服務(wù)器模塊用于服務(wù)器端的內(nèi)核計(jì)算:所述語(yǔ)音識(shí)別模塊用于將所述用戶語(yǔ)音數(shù)據(jù)轉(zhuǎn)換成文字，所述語(yǔ)義理解模塊用于將所述文字進(jìn)行文本分析識(shí)別出用戶的語(yǔ)義意圖信息，所述對(duì)話管理模塊用于結(jié)合場(chǎng)景及上、下用戶的語(yǔ)義意圖信息持續(xù)跟蹤分析所述用戶的語(yǔ)義意圖信息的變化，并由此給出該系統(tǒng)的反饋信息，所述語(yǔ)音合成模塊用于將所述反饋信息轉(zhuǎn)化為所述控制命令和所述反饋語(yǔ)音； 所述家居控制API模塊用于根據(jù)所述語(yǔ)音SDK模塊傳遞的所述控制命令調(diào)用各智能家居設(shè)備的控制指令A(yù)PI，實(shí)現(xiàn)相應(yīng)智能家居設(shè)備的控制； 所述智能手表端模塊根據(jù)所述語(yǔ)音SDK模塊傳遞的所述反饋語(yǔ)音進(jìn)行語(yǔ)音播放。
2.如權(quán)利要求1所述的在智能手表上實(shí)現(xiàn)智能家居設(shè)備控制的系統(tǒng)，其特征在于:該系統(tǒng)還包括家居設(shè)備名字自定義模塊，所述家居設(shè)備名字自定義模塊用于接受用戶自定義的各智能家居設(shè)備名稱，并訓(xùn)練生成定制的語(yǔ)義資源方便所述家居控制API模塊的控制。
3.如權(quán)利要求1所述的在智能手表上實(shí)現(xiàn)智能家居設(shè)備控制的系統(tǒng)，其特征在于:所述智能手表端模塊包括實(shí)時(shí)錄音模塊、VAD模塊、通信模塊、語(yǔ)音反饋模塊，其中，所述實(shí)時(shí)錄音模塊用于調(diào)用所述智能手表的API接口獲取麥克風(fēng)數(shù)據(jù)以采集所述用戶語(yǔ)音數(shù)據(jù)；所述VAD模塊用于檢測(cè)所述用戶語(yǔ)音數(shù)據(jù)中是否存在語(yǔ)音信號(hào)并進(jìn)行提?。凰鐾ㄐ拍K用于完成所述智能手表端模塊和所述智能家居控制端模塊之間的語(yǔ)音數(shù)據(jù)交互；所述語(yǔ)音反饋模塊用于將所述反饋語(yǔ)音合成語(yǔ)音提示向用戶播放。
4.如權(quán)利要求3所述的在智能手表上實(shí)現(xiàn)智能家居設(shè)備控制的系統(tǒng)，其特征在于:所述通信模塊為藍(lán)牙通信模塊或者WiFi通信模塊。
5.如權(quán)利要求2所述的在智能手表上實(shí)現(xiàn)智能家居設(shè)備控制的系統(tǒng)，其特征在于:所述家居設(shè)備名字自定義模塊包括HTTP服務(wù)模塊、后臺(tái)服務(wù)模塊；所述HTTP服務(wù)模塊包括名字輸入模塊和資源包ID映射模塊；所述名字輸入模塊用于接收網(wǎng)頁(yè)或者手機(jī)上發(fā)送請(qǐng)求的各智能家居設(shè)備；所述資源包ID映射模塊用于在每個(gè)用戶定制好自己的設(shè)備名字后后臺(tái)生成一個(gè)語(yǔ)義資源，并將這個(gè)語(yǔ)義資源映射到一個(gè)ID上；所述后臺(tái)服務(wù)模塊包括語(yǔ)義模板庫(kù)、資源定制模塊、語(yǔ)義擴(kuò)展分析模塊和模板合并模塊；所述語(yǔ)義模板庫(kù)的語(yǔ)義模板知識(shí)覆蓋智能家居控制領(lǐng)域所有各智能家居設(shè)備的控制命令和設(shè)備名稱；所述資源定制模塊用于形成定制的語(yǔ)義資源；所述語(yǔ)義擴(kuò)展分析模塊用于對(duì)所述名字輸入模塊輸出的文本進(jìn)行擴(kuò)展分析，包括分詞和文本規(guī)范化；所述模板合并模塊用于通過(guò)分析將原有語(yǔ)義模板中設(shè)備名和新定制增加的設(shè)備名字進(jìn)行合并，形成新的語(yǔ)義資源。
6.一種在智能手表上實(shí)現(xiàn)智能家居設(shè)備控制的方法，其特征在于:其包括以下步驟: 通過(guò)控制麥克風(fēng)采集用戶語(yǔ)音數(shù)據(jù)； 一方面采用無(wú)線通訊方式接收所述用戶語(yǔ)音數(shù)據(jù)，另一方面采用HTTP協(xié)議以發(fā)送所述用戶語(yǔ)音數(shù)據(jù)； 根據(jù)所述用戶語(yǔ)音數(shù)據(jù)完成人機(jī)對(duì)話過(guò)程并由此產(chǎn)生控制命令和反饋語(yǔ)音，其中，包括步驟:建立網(wǎng)絡(luò)接入服務(wù)，并負(fù)責(zé)不同服務(wù)器之間的負(fù)載均衡；服務(wù)器端的內(nèi)核計(jì)算:將所述用戶語(yǔ)音數(shù)據(jù)轉(zhuǎn)換成文字，將所述文字進(jìn)行文本分析識(shí)別出用戶的語(yǔ)義意圖信息，結(jié)合場(chǎng)景及上、下用戶的語(yǔ)義意圖信息持續(xù)跟蹤分析所述用戶的語(yǔ)義意圖信息的變化，并由此給出該系統(tǒng)的反饋信息，將所述反饋信息轉(zhuǎn)化為所述控制命令和所述反饋語(yǔ)音； 傳遞所述控制命令和所述反饋語(yǔ)音； 根據(jù)所述控制命令調(diào)用各智能家居設(shè)備的控制指令A(yù)PI，實(shí)現(xiàn)相應(yīng)智能家居設(shè)備的控制，根據(jù)所述反饋語(yǔ)音進(jìn)行語(yǔ)音播放。
7.如權(quán)利要求6所述的在智能手表上實(shí)現(xiàn)智能家居設(shè)備控制的方法，其特征在于:該方法還包括以下步驟:接受用戶自定義的各智能家居設(shè)備名稱，并訓(xùn)練生成定制的語(yǔ)義資源。
8.如權(quán)利要求6所述的在智能手表上實(shí)現(xiàn)智能家居設(shè)備控制的方法，其特征在于:通過(guò)控制麥克風(fēng)采集用戶語(yǔ)音數(shù)據(jù)的步驟中`還包括以下步驟: 調(diào)用所述智能手表的API接口獲取麥克風(fēng)數(shù)據(jù)以采集所述用戶語(yǔ)音數(shù)據(jù)； 檢測(cè)所述用戶語(yǔ)音數(shù)據(jù)中是否存在語(yǔ)音信號(hào)并進(jìn)行提??； 完成語(yǔ)音數(shù)據(jù)交互； 將所述反饋語(yǔ)音合成語(yǔ)音提示向用戶播放。
9.如權(quán)利要求7所述的在智能手表上實(shí)現(xiàn)智能家居設(shè)備控制的方法，其特征在于:所述家居設(shè)備名字自定義步驟包括以下步驟: 接收網(wǎng)頁(yè)或者手機(jī)上發(fā)送請(qǐng)求的各智能家居設(shè)備； 定義語(yǔ)義模板知識(shí)覆蓋智能家居控制領(lǐng)域所有各智能家居設(shè)備的控制命令和設(shè)備名稱； 形成定制的語(yǔ)義資源； 對(duì)文本進(jìn)行擴(kuò)展分析，包括分詞和文本規(guī)范化； 通過(guò)分析將原有語(yǔ)義模板中設(shè)備名和新定制增加的設(shè)備名字進(jìn)行合并，形成新的語(yǔ)義資源。
10.一種在智能手表上實(shí)現(xiàn)智能家居設(shè)備控制的方法，其特征在于:其包括以下步驟: 用戶通過(guò)調(diào)用所述智能手表的API接口獲取麥克風(fēng)數(shù)據(jù)以采集用戶語(yǔ)音數(shù)據(jù)； 向云端服務(wù)器轉(zhuǎn)發(fā)所述用戶語(yǔ)音數(shù)據(jù)； 所述向云端服務(wù)器根據(jù)所述用戶語(yǔ)音數(shù)據(jù)進(jìn)行語(yǔ)音識(shí)別和對(duì)話管理，形成控制命令及與所述控制命令相對(duì)應(yīng)的反饋語(yǔ)音； 根據(jù)所述控制命令調(diào)用各智能家居設(shè)備的控制指令A(yù)PI，實(shí)現(xiàn)相應(yīng)智能家居設(shè)備的控制；所述智能 手表將所述反饋語(yǔ)音播放出來(lái)。
【文檔編號(hào)】G10L15/22GK103730116SQ201410006820
【公開(kāi)日】2014年4月16日 申請(qǐng)日期:2014年1月7日 優(yōu)先權(quán)日:2014年1月7日
【發(fā)明者】雷雄國(guó), 俞凱, 宋洪博, 王艷龍, 張李 申請(qǐng)人:蘇州思必馳信息科技有限公司