本發(fā)明涉及智能控制領(lǐng)域，尤其涉及基于多輪對話下的玩具智能控制方法及系統(tǒng)。

背景技術(shù)：

1、隨著人工智能和自然語言處理技術(shù)的快速發(fā)展，智能玩具逐漸成為兒童娛樂和教育的重要工具。這些玩具不僅能與兒童進(jìn)行簡單的互動，還能通過學(xué)習(xí)和適應(yīng)來提供個性化的體驗。

2、然而，目前市場上的大多數(shù)智能玩具仍然存在一些顯著的局限性，主要表現(xiàn)在以下幾個方面：單輪對話的限制，目前許多智能玩具只能處理單輪對話，即一次只能響應(yīng)一個簡單的指令。這種方式缺乏上下文理解能力，使得玩具無法進(jìn)行連續(xù)的、多輪的互動。例如，用戶可能對玩具發(fā)出一系列相關(guān)的問題，但玩具無法記住前一個問題的內(nèi)容，導(dǎo)致對話的連貫性和自然性較差。語義理解不足，現(xiàn)有的智能玩具在語義理解方面還有很大的提升空間。很多玩具只能識別簡單的命令和關(guān)鍵詞，而無法理解復(fù)雜的句子結(jié)構(gòu)和多層次的語義。這限制了玩具在實際互動中的應(yīng)用場景和智能化水平。缺乏個性化和適應(yīng)性，當(dāng)前的智能玩具大多缺乏根據(jù)用戶歷史對話和行為調(diào)整互動策略的能力，無法根據(jù)用戶的興趣和需求提供個性化的服務(wù)。兒童在不同的成長階段有不同的興趣和學(xué)習(xí)需求，玩具如果不能適應(yīng)這些變化，就難以持續(xù)吸引和教育用戶。反饋機(jī)制不足，很多智能玩具在與用戶互動后，沒有有效的反饋機(jī)制來評估和改進(jìn)自身的表現(xiàn)。缺乏反饋學(xué)習(xí)使得玩具難以優(yōu)化對話策略和互動方法，導(dǎo)致用戶體驗難以得到持續(xù)改善。

技術(shù)實現(xiàn)思路

1、基于多輪對話下的玩具智能控制方法，包括：

2、s1.獲取用戶使用玩具時通過語音或文本輸入的對話信息，若對話信息為語音形式輸入則進(jìn)入步驟s2進(jìn)行語音信息預(yù)估；

3、s2.提取語音形式輸入的對話信息的聲學(xué)特征，將聲學(xué)特征送入語音信息預(yù)估模型中進(jìn)行計算，得出用戶的預(yù)估信息；

4、s3.將對話信息送入對話解析模型進(jìn)行意圖分類和對話動作識別，得到意圖標(biāo)簽和對話動作標(biāo)簽；

5、s4.通過意圖標(biāo)簽、對話動作標(biāo)簽和用戶的預(yù)估信息匹配動作指令或?qū)υ捇貞?yīng)內(nèi)容，并生成相應(yīng)的控制指令；

6、s5.玩具根據(jù)生成的控制指令進(jìn)行相應(yīng)的動作展示或語音回應(yīng)，獲取用戶的反饋信息，根據(jù)反饋信息調(diào)整控制指令。

7、作為本發(fā)明的一種優(yōu)選技術(shù)方案，對話解析模型包括編碼器層、時間衰減多頭自注意力網(wǎng)絡(luò)層和解碼器層；

8、編碼器層包括歷史對話編碼器和用戶當(dāng)前對話編碼器，歷史對話編碼器和用戶當(dāng)前對話編碼器是兩個不同的雙向長短期記憶網(wǎng)絡(luò)，歷史對話編碼器用于將對話信息中的歷史輪次句子進(jìn)行編碼，得到歷史對話向量，用戶當(dāng)前對話編碼器用于將對話信息中用戶當(dāng)前發(fā)送的句子進(jìn)行編碼，得到用戶當(dāng)前對話向量；

9、時間衰減多頭自注意力網(wǎng)絡(luò)層包含多層的注意力網(wǎng)絡(luò)，由3層時間衰減多頭自注意力網(wǎng)絡(luò)堆疊而成，用于接收來自歷史對話編碼器和用戶當(dāng)前對話編碼器的輸出向量，拼接歷史對話向量和用戶當(dāng)前對話向量輸入到時間衰減多頭自注意力網(wǎng)絡(luò)層，進(jìn)行字符級注意力交互計算和句子級注意力交互計算；

10、解碼器層包括意圖分類器、對話動作識別分類器和槽填充解碼器，意圖分類器是一個帶有softmax輸出頭的全連接神經(jīng)網(wǎng)絡(luò)，用于接收用戶當(dāng)前對話向量和經(jīng)過時間衰減多頭注意力網(wǎng)絡(luò)層交互計算的用戶當(dāng)前對話向量，進(jìn)行意圖分類任務(wù)；對話動作識別分類器是一個帶有sigmoid輸出頭的全連接神經(jīng)網(wǎng)絡(luò)，用于接收用戶當(dāng)前對話向量和經(jīng)過時間衰減多頭注意力網(wǎng)絡(luò)層交互計算的用戶當(dāng)前對話向量，進(jìn)行對話動作識別任務(wù)；槽填充解碼器是一個單向長短期記憶網(wǎng)絡(luò)，用于接收用戶當(dāng)前對話向量的每個字符的原始編碼和經(jīng)過時間衰減多頭注意力網(wǎng)絡(luò)層交互計算的用戶當(dāng)前對話向量的每個字符的原始編碼、意圖分類器和對話動作識別分類器的輸出，進(jìn)行槽填充任務(wù)。

11、作為本發(fā)明的一種優(yōu)選技術(shù)方案，歷史對話編碼器用于將對話信息中的歷史輪次句子進(jìn)行編碼，得到歷史對話向量，用戶當(dāng)前對話編碼器用于將對話信息中用戶當(dāng)前發(fā)送的句子進(jìn)行編碼，得到用戶當(dāng)前對話向量，具體步驟為：

12、a1.獲取初始對話信息數(shù)據(jù)，將對話信息數(shù)據(jù)的整輪對話記為d，d＝{r1，r2,…，rt}，t表示對話的輪次，將歷史對話記為h，h＝{r1，r2，…，rt-1}，rt為當(dāng)前用戶對話句子，rt＝{wt1,wt2,…，wtn}，n表示rt中字符的數(shù)量；

13、a2.使用glove分布式詞向量對每個對話句子進(jìn)行初始化，通過雙向長短期記憶網(wǎng)絡(luò)的embedding層對歷史對話進(jìn)行詞的向量化表示，得到歷史對話h的每一個句子ri＝{vi1，vi2，…，vin}(i表示第i輪的歷史對話，n表示句子字符的數(shù)量)，其中vin表示第i個句子第n個字符的向量表示，使用雙向長短期記憶網(wǎng)絡(luò)模型a對ri進(jìn)行編碼，得到每個歷史對話句子的高維空間的編碼表示：

14、

15、其中mi表示前向長短期記憶網(wǎng)絡(luò)和反向長短期記憶網(wǎng)絡(luò)最后一個時刻隱藏單元的輸出拼接的句向量，表示embedding函數(shù)，mi∈rd，d代表mi向量的維度，得到所有的歷史對話向量m＝{m1,m2,…,mt-1}∈r(t-1)*d；

16、a3.獲取經(jīng)過詞的向量化表示后的用戶當(dāng)前對話rt＝{vt1,vt2,…，vtn}，使用雙向長短期記憶網(wǎng)絡(luò)模型b對rt進(jìn)行編碼，得到用戶當(dāng)前發(fā)送的句子和每個字符的高維空間的編碼表示：

17、

18、其中hlast表示前向長短期記憶網(wǎng)絡(luò)和反向長短期記憶網(wǎng)絡(luò)最后一個時刻隱藏單元的輸出拼接的句向量，ho＝{h1,h2,…，hn}，表示前向長短期記憶網(wǎng)絡(luò)和反向長短期記憶網(wǎng)絡(luò)每個時間步隱藏單元輸出拼接的字符向量，其中hi表示第i個時間步的輸出，hi∈rd，得到用戶當(dāng)前對話向量hlast∈rd和用戶當(dāng)前對話的字符向量ho＝{h1,h2,…，hn}∈rn*d。

19、作為本發(fā)明的一種優(yōu)選技術(shù)方案，進(jìn)行字符級注意力交互計算和句子級注意力交互計算，具體步驟為：

20、b1.將用戶當(dāng)前對話向量hlast和歷史對話向量m＝{m1,m2,…，mt-1}進(jìn)行拼接，得到全對話向量mr＝{hlast,m1,m2,…,mt-1}∈rt*d，將mr使用位置編碼函數(shù)計算得到位置編碼pe(mr)，將位置編碼添加入全對話向量得到重構(gòu)全對話向量mr*＝mr+pe(mr)；

21、b2.將重構(gòu)全對話向量mr*使用時間衰減多頭自注意力網(wǎng)絡(luò)進(jìn)行計算，得到最終的句子級上下文加權(quán)和；

22、b3.將用戶當(dāng)前對話的字符向量ho和歷史對話向量m進(jìn)行拼接，得到全對話字符向量mo＝{mo1，mo2，…，mon}＝[{h1,m1,m2,…,mt-1}，{h2,m1,m2,…,mt-1}，…，{hn,m1,m2,…，mt-1}，將mo使用位置編碼函數(shù)計算得到位置編碼pe(mo)，將位置編碼添加入全對話字符向量得到重構(gòu)全對話字符向量mo*＝mo+pe(mo)；

23、b4.將重構(gòu)全對話字符向量mo*時間衰減多頭自注意力網(wǎng)絡(luò)進(jìn)行計算，得到最終的字符級別的上下文加權(quán)和。

24、作為本發(fā)明的一種優(yōu)選技術(shù)方案，時間衰減多頭自注意力分?jǐn)?shù)由線性時間衰減函數(shù)、凸形時間衰減函數(shù)和凹形時間衰減函數(shù)這三種時間衰減函數(shù)組成的自適應(yīng)時間注意力函數(shù)計算得到；

25、作為本發(fā)明的一種優(yōu)選技術(shù)方案，語音信息預(yù)估，具體為，提取對話信息的聲學(xué)特征，包括音高、音色、聲音的功率譜和線性預(yù)測參數(shù)；將聲學(xué)特征送入語音信息預(yù)估模型中進(jìn)行計算，輸出用戶的年齡預(yù)估標(biāo)簽、性別預(yù)估標(biāo)簽和情緒預(yù)估標(biāo)簽；

26、作為本發(fā)明的一種優(yōu)選技術(shù)方案，通過意圖標(biāo)簽、對話動作標(biāo)簽和用戶的預(yù)估信息匹配動作指令或?qū)υ捇貞?yīng)內(nèi)容，并生成相應(yīng)的控制指令，具體步驟為：

27、c1.通過意圖標(biāo)簽在控制指令庫中匹配意圖需求一致的標(biāo)準(zhǔn)控制指令，得到第一匹配結(jié)果并送入c2匹配行為需求；

28、c2.在第一匹配結(jié)果中匹配有與對話動作標(biāo)簽一致的行為需求的標(biāo)準(zhǔn)控制指令，得到第二匹配結(jié)果，若未接收到用戶的預(yù)估信息，則將第二匹配結(jié)果中編號最大的標(biāo)準(zhǔn)控制指令輸出作為控制指令，否則，將第二匹配結(jié)果送入c3匹配個性化需求；

29、c3.在第二匹配結(jié)果中匹配有與用戶的預(yù)估信息一致的個性化需求的標(biāo)準(zhǔn)控制指令，將第三匹配結(jié)果中編號最大的標(biāo)準(zhǔn)控制指令輸出作為控制指令。

30、作為本發(fā)明的一種優(yōu)選技術(shù)方案，獲取用戶的反饋信息，根據(jù)反饋信息調(diào)整控制指令，具體步驟為：

31、d1.在玩具開始控制指令的輸出后，監(jiān)聽用戶的對話，將用戶的對話送入對話解析模型，得到用戶反饋的意圖標(biāo)簽和對話動作標(biāo)簽；

32、d2.對反饋的意圖標(biāo)簽和對話動作標(biāo)簽進(jìn)行異常監(jiān)控，對反饋的意圖標(biāo)簽和對話動作標(biāo)簽與玩具生成該次控制指令的意圖標(biāo)簽和對話動作標(biāo)簽進(jìn)行檢索，若出現(xiàn)與反饋處理庫中一致的標(biāo)簽對照情況，則將反饋處理庫中的標(biāo)準(zhǔn)控制指令輸出調(diào)整玩具；

33、d3.采集異常監(jiān)控中的異常情況出現(xiàn)次數(shù)，并根據(jù)次數(shù)為反饋處理庫中標(biāo)簽對照情況添加權(quán)重。

34、基于多輪對話下的玩具智能控制系統(tǒng)，包括：

35、對話管理模塊，用于獲取用戶使用玩具時通過語音或文本輸入的對話信息，存儲并管理對話信息；

36、信息預(yù)估模塊，用于提取語音形式輸入的對話信息的聲學(xué)特征，將聲學(xué)特征送入語音信息預(yù)估模型中進(jìn)行計算，得出用戶的預(yù)估信息；

37、對話解析模塊，用于將對話信息送入對話解析模型進(jìn)行意圖分類和對話動作識別，得到意圖標(biāo)簽和對話動作標(biāo)簽；

38、智能控制模塊，用于通過意圖標(biāo)簽、對話動作標(biāo)簽和用戶的預(yù)估信息匹配動作指令或?qū)υ捇貞?yīng)內(nèi)容，并生成相應(yīng)的控制指令；

39、反饋調(diào)節(jié)模塊，用于獲取用戶的反饋信息，根據(jù)反饋信息調(diào)整控制指令。

40、本發(fā)明具有以下優(yōu)點：

41、1、本發(fā)明通過對話解析模型獲取用戶的意圖標(biāo)簽和對話動作標(biāo)簽，對話解析模型將時間衰減函數(shù)與多頭自注意力網(wǎng)絡(luò)相結(jié)合，既考慮全局上下文同時重點關(guān)注最近上下文，使得模型能夠更好地利用歷史上下文，并使用字符級注意力為不同的字符篩選出不同關(guān)注度的上下文信息，提高了模型的識別能力，實現(xiàn)了對多輪對話進(jìn)行有效的語意識別。

42、2、本發(fā)明通過對用戶進(jìn)行語音信息預(yù)估，獲取用戶的預(yù)估信息，將用戶的預(yù)估信息結(jié)合意圖標(biāo)簽和對話動作標(biāo)簽進(jìn)行玩具的控制指令匹配，提高了玩具控制的個性化程度；

43、3、本發(fā)明通過對用戶反饋的意圖標(biāo)簽和對話動作標(biāo)簽進(jìn)行異常監(jiān)測，根據(jù)監(jiān)測結(jié)果實時調(diào)節(jié)玩具的控制指令，并根據(jù)異常情況次數(shù)添加權(quán)重，實現(xiàn)了玩具控制的有效反饋和持續(xù)優(yōu)化。