本技術(shù)涉及車機(jī)交互領(lǐng)域，具體而言，涉及一種基于情感感知和上下文理解的車輛智能交互方法、裝置、電子設(shè)備和存儲介質(zhì)。

背景技術(shù)：

1、現(xiàn)有方案中，cn201810805123.0提出了一種通過面部數(shù)據(jù)來判斷駕駛?cè)饲榫w，這種方案中需要對圖像實(shí)時(shí)采集，對于集成模塊的計(jì)算能力要求較高，且情緒種類的訓(xùn)練過程需要對大量的圖片進(jìn)行處理，人工成本較高，其他類似方案中方法單一。

技術(shù)實(shí)現(xiàn)思路

1、本技術(shù)實(shí)施例的目的在于提供一種基于情感感知和上下文理解的車輛智能交互方法、裝置、電子設(shè)備和存儲介質(zhì)，用以基于用戶的語音識別用戶的情緒和上下文，從而響應(yīng)用戶的交互請求。

2、第一方面，本發(fā)明提供一種基于情感感知和上下文理解的車輛智能交互方法，所述方法包括：

3、獲取音頻數(shù)據(jù)，并基于所述音頻數(shù)據(jù)生成語音文本，其中，所述音頻數(shù)據(jù)基于用戶語音生成；

4、基于所述語音文本獲取上下文信息，并基于所述上下文信息識別所述用戶情緒；

5、基于所述用戶情緒確定針對所述用戶語音的響應(yīng)結(jié)果。

6、本技術(shù)第一方面通過獲取音頻數(shù)據(jù)和基于所述音頻數(shù)據(jù)生成語音文本，進(jìn)而能夠基于所述語音文本獲取上下文信息，進(jìn)而能夠基于所述上下文信息識別所述用戶情緒，從而能夠基于所述用戶情緒確定針對所述用戶語音的響應(yīng)結(jié)果，這樣一來，在針對用戶語音做出響應(yīng)時(shí)，能夠根據(jù)上下文信息識別用戶的情緒，從而基于用戶的情緒提高響應(yīng)結(jié)果的準(zhǔn)確性，其中，根據(jù)上下文信息識別用戶的情緒與現(xiàn)有技術(shù)相比，其能夠基于上下文信息更加準(zhǔn)確地獲取用戶的情緒。

7、在可選的實(shí)施方式中，所述用戶情緒包括消極類情緒、積極類情緒和中性類情緒，所述消極類情緒包括敏感、投訴、暴躁、辱罵、抱怨、急躁、憤怒、求助和危險(xiǎn)，所述積極類情緒包括舒適和愉快。

8、本可選的實(shí)施方式可將用戶情緒劃分為消極類情緒、積極類情緒和中性類情緒，從而針對消極類情緒、積極類情緒和中性類情緒做出相應(yīng)的響應(yīng)結(jié)果，進(jìn)一步提高響應(yīng)結(jié)果。另一方面，通過進(jìn)一步將消極類情緒劃分敏感、投訴、暴躁、辱罵、抱怨、急躁、憤怒、求助和危險(xiǎn)，將所述積極類情緒劃分為舒適和愉快，可基于顆粒度更細(xì)的情緒劃分提高響應(yīng)結(jié)果與用戶情緒的匹配精確度。

9、在可選的實(shí)施方式中，所述基于所述上下文信息識別所述用戶情緒，包括：

10、將所述上下文信息輸入至情緒識別模型，以使所述情緒識別模型輸出用于表征所述用戶情緒的情緒標(biāo)簽，其中，所述情緒標(biāo)簽包括情緒分類標(biāo)簽、情緒子分類標(biāo)簽和全局情緒分類標(biāo)簽，所述情緒分類標(biāo)簽基于所述消極類情緒、所述積極類情緒和所述中性類情緒中的一種情緒確定，所述情緒子分類標(biāo)簽基于所述消極類情緒的子情緒類型、所述積極類情緒的子情緒類型、所述中性類情緒的子情緒類型確定。

11、本可選的實(shí)施方式可將所述上下文信息輸入至情緒識別模型，進(jìn)而能歐使所述情緒識別模型輸出用于表征所述用戶情緒的情緒標(biāo)簽，從而能夠基于情緒標(biāo)簽確定響應(yīng)結(jié)果。

12、在可選的實(shí)施方式中，所述方法包括：所述情緒識別模型基于第一數(shù)據(jù)集、第二數(shù)據(jù)集和第三數(shù)據(jù)集訓(xùn)練得到，其中，所述第一數(shù)據(jù)集為攜帶所述情緒分類標(biāo)簽的樣本、所述第二數(shù)據(jù)集為攜帶所述情緒子分類標(biāo)簽的樣本、所述第三數(shù)據(jù)集為攜帶所述全局情緒分類標(biāo)簽的樣本，所述情緒識別模型的訓(xùn)練結(jié)果基于訓(xùn)練約束罰項(xiàng)約束。

13、本可選的實(shí)施方式可基于第一數(shù)據(jù)集、第二數(shù)據(jù)集和第三數(shù)據(jù)集訓(xùn)練情緒識別模型，其中，在訓(xùn)練情緒識別模型過程中，通過訓(xùn)練約束罰項(xiàng)約束，一方面能夠保證父子級關(guān)系保持對應(yīng)，也能保證父子級的識別效果更加準(zhǔn)確，這樣在模型中能夠較為精確精細(xì)地識別駕駛員和乘客的情緒狀態(tài)，并據(jù)此調(diào)整車輛的響應(yīng)和互動方式。

14、在可選的實(shí)施方式中，所述方法還包括：

15、基于統(tǒng)計(jì)分析和詞向量嵌入生成情感分析結(jié)果；

16、基于所述情感分析結(jié)果優(yōu)化所述情緒識別模型的輸出結(jié)果。

17、本可選的實(shí)施方式可基于統(tǒng)計(jì)分析和詞向量嵌入生成情感分析結(jié)果，進(jìn)而能夠基于所述情感分析結(jié)果優(yōu)化所述情緒識別模型的輸出結(jié)果，從而能夠提高情緒識別模型的輸出結(jié)果的準(zhǔn)確性。

18、在可選的實(shí)施方式中，所述基于所述語音文本獲取上下文信息，包括：

19、基于預(yù)設(shè)閾值確定語義范圍；

20、基于所述語義范圍從所述語音文本中提取所述上下文信息。

21、本可選的實(shí)施方式可基于預(yù)設(shè)閾值確定語義范圍，進(jìn)而能夠基于所述語義范圍靈活地從所述語音文本中提取所述上下文信息。

22、在可選的實(shí)施方式中，所述響應(yīng)結(jié)果包括調(diào)整音量、音調(diào)和語速。

23、第二方面，本發(fā)明提供一種基于情感感知和上下文理解的車輛智能交互裝置，所述裝置包括：

24、第一獲取模塊，用于獲取音頻數(shù)據(jù)，并基于所述音頻數(shù)據(jù)生成語音文本，其中，所述音頻數(shù)據(jù)基于用戶語音生成；

25、第二獲取模塊，用于基于所述語音文本獲取上下文信息，并基于所述上下文信息識別所述用戶情緒；

26、確定模塊，用于基于所述用戶情緒確定針對所述用戶語音的響應(yīng)結(jié)果。

27、本技術(shù)第二方面通過獲取音頻數(shù)據(jù)和基于所述音頻數(shù)據(jù)生成語音文本，進(jìn)而能夠基于所述語音文本獲取上下文信息，進(jìn)而能夠基于所述上下文信息識別所述用戶情緒，從而能夠基于所述用戶情緒確定針對所述用戶語音的響應(yīng)結(jié)果，這樣一來，在針對用戶語音做出響應(yīng)時(shí)，能夠根據(jù)上下文信息識別用戶的情緒，從而基于用戶的情緒提高響應(yīng)結(jié)果的準(zhǔn)確性，其中，根據(jù)上下文信息識別用戶的情緒與現(xiàn)有技術(shù)相比，其能夠基于上下文信息更加準(zhǔn)確地獲取用戶的情緒。

28、第三方面，本發(fā)明提供一種電子設(shè)備，包括：

29、處理器；以及

30、存儲器，配置用于存儲機(jī)器可讀指令，所述指令在由所述處理器執(zhí)行時(shí)，執(zhí)行如前述實(shí)施方式任一項(xiàng)所述的基于情感感知和上下文理解的車輛智能交互方法。

31、本技術(shù)第三方面的電子設(shè)備通過執(zhí)行基于情感感知和上下文理解的車輛智能交互方法，進(jìn)而能夠獲取音頻數(shù)據(jù)和基于所述音頻數(shù)據(jù)生成語音文本，進(jìn)而能夠基于所述語音文本獲取上下文信息，進(jìn)而能夠基于所述上下文信息識別所述用戶情緒，從而能夠基于所述用戶情緒確定針對所述用戶語音的響應(yīng)結(jié)果，這樣一來，在針對用戶語音做出響應(yīng)時(shí)，能夠根據(jù)上下文信息識別用戶的情緒，從而基于用戶的情緒提高響應(yīng)結(jié)果的準(zhǔn)確性，其中，根據(jù)上下文信息識別用戶的情緒與現(xiàn)有技術(shù)相比，其能夠基于上下文信息更加準(zhǔn)確地獲取用戶的情緒。

32、第四方面，本發(fā)明提供一種存儲介質(zhì)，所述存儲介質(zhì)存儲有計(jì)算機(jī)程序，所述計(jì)算機(jī)程序被處理器執(zhí)行如前述實(shí)施方式任一項(xiàng)所述的基于情感感知和上下文理解的車輛智能交互方法。

33、本技術(shù)第四方面的存儲介質(zhì)通過執(zhí)行基于情感感知和上下文理解的車輛智能交互方法，進(jìn)而能夠獲取音頻數(shù)據(jù)和基于所述音頻數(shù)據(jù)生成語音文本，進(jìn)而能夠基于所述語音文本獲取上下文信息，進(jìn)而能夠基于所述上下文信息識別所述用戶情緒，從而能夠基于所述用戶情緒確定針對所述用戶語音的響應(yīng)結(jié)果，這樣一來，在針對用戶語音做出響應(yīng)時(shí)，能夠根據(jù)上下文信息識別用戶的情緒，從而基于用戶的情緒提高響應(yīng)結(jié)果的準(zhǔn)確性，其中，根據(jù)上下文信息識別用戶的情緒與現(xiàn)有技術(shù)相比，其能夠基于上下文信息更加準(zhǔn)確地獲取用戶的情緒。