基于上下文進(jìn)行意圖識(shí)別的方法和系統(tǒng)的制作方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明設(shè)及人工智能領(lǐng)域，特別設(shè)及基于上下文進(jìn)行意圖識(shí)別的方法和系統(tǒng)。
【背景技術(shù)】
[0002] 意圖識(shí)別是識(shí)別一種行為的意圖。例如，在問(wèn)答對(duì)話中，提問(wèn)者每句話都帶有一定 的意圖，應(yīng)答方根據(jù)對(duì)方的意圖進(jìn)行回答。
[0003] 相關(guān)問(wèn)題在捜索引擎、聊天機(jī)器人等場(chǎng)景下有廣泛的應(yīng)用。尤其在聊天機(jī)器人中， 意圖識(shí)別是整個(gè)系統(tǒng)的核屯、模塊。在回答用戶的問(wèn)題時(shí)，就是通過(guò)分析用戶意圖，在了解用 戶想問(wèn)什么之后給出相應(yīng)的答案。
[0004] 現(xiàn)有技術(shù)中進(jìn)行意圖識(shí)別的方法主要是獲取一批數(shù)據(jù)，然后對(duì)每條數(shù)據(jù)的意圖進(jìn) 行人工標(biāo)注，從而得到訓(xùn)練數(shù)據(jù)。通過(guò)訓(xùn)練數(shù)據(jù)結(jié)合特定的算法訓(xùn)練出模型，并使用所得到 的模型對(duì)新的語(yǔ)料進(jìn)行意圖識(shí)別。然而，當(dāng)前意圖識(shí)別大多是基于單句對(duì)話的，但是人的 對(duì)話都是在一定的上下文中進(jìn)行的，同一句話在不同的上下文中可能表述的意思完全不一 樣。如果僅僅使用單句進(jìn)行意圖識(shí)別完全違背了自然語(yǔ)言的形式，很多意圖是無(wú)法區(qū)分出 來(lái)的。
[0005] 例如，在京東客服日常咨詢的問(wèn)題中有售后運(yùn)費(fèi)（退貨產(chǎn)生的費(fèi)用）和售前運(yùn)費(fèi) (商家寄給客戶商品產(chǎn)生的費(fèi)用）兩種。如果用戶詢問(wèn)"運(yùn)費(fèi)誰(shuí)出"，僅僅根據(jù)該句話無(wú)法 區(qū)分用戶是咨詢售前運(yùn)費(fèi)還是售后運(yùn)費(fèi)。當(dāng)將該句話放到上下文場(chǎng)景中時(shí)就很容易區(qū)分： 如果用戶先咨詢"我要退貨"，再問(wèn)"運(yùn)費(fèi)誰(shuí)出"，很明顯是售后運(yùn)費(fèi)；如果先咨詢"現(xiàn)在下單 什么時(shí)候到"，再問(wèn)"運(yùn)費(fèi)誰(shuí)出"，則是售前運(yùn)費(fèi)。
[0006] 由此，可W看到僅僅根據(jù)單句的信息進(jìn)行意圖識(shí)別存在一些缺陷。一方面，在對(duì)訓(xùn) 練語(yǔ)料進(jìn)行人工標(biāo)注時(shí)無(wú)法區(qū)分很多問(wèn)題中用戶的真實(shí)意圖，導(dǎo)致不同人標(biāo)注的結(jié)果不一 樣，從而影響訓(xùn)練數(shù)據(jù)質(zhì)量。另一方面，訓(xùn)練出來(lái)的模型對(duì)同樣的話預(yù)測(cè)的意圖永遠(yuǎn)是一致 的，不會(huì)根據(jù)不同的上下文變化，從而導(dǎo)致預(yù)測(cè)錯(cuò)誤。
[0007] 因此，需要一種能夠基于上下文進(jìn)行意圖識(shí)別的方法和系統(tǒng)。

【發(fā)明內(nèi)容】

[000引根據(jù)本發(fā)明的一個(gè)實(shí)施例，提供了一種基于上下文進(jìn)行意圖識(shí)別的方法，包括：基 于用戶歷史咨詢?nèi)罩荆瑢?duì)包括在所述用戶歷史咨詢?nèi)罩局械挠脩籼岢龅膯?wèn)題進(jìn)行人工標(biāo) 注；對(duì)每一個(gè)問(wèn)題執(zhí)行特征提取，W生成訓(xùn)練語(yǔ)料；根據(jù)監(jiān)督學(xué)習(xí)算法，對(duì)所生成的訓(xùn)練語(yǔ) 料進(jìn)行模型訓(xùn)練，W獲得訓(xùn)練模型；W及基于所獲得的訓(xùn)練模型，對(duì)當(dāng)前的問(wèn)題進(jìn)行預(yù)估并 獲得預(yù)估后的用戶意圖識(shí)別結(jié)果。
[0009] 優(yōu)選地，對(duì)包括在所述用戶歷史咨詢?nèi)罩局械挠脩籼岢龅膯?wèn)題進(jìn)行人工標(biāo)注進(jìn)一 步包括；按照會(huì)話對(duì)所獲取的用戶歷史咨詢?nèi)罩具M(jìn)行劃分，并逐句對(duì)所述用戶歷史咨詢?nèi)?志進(jìn)行人工標(biāo)注。
[0010] 優(yōu)選地，對(duì)所生成的訓(xùn)練語(yǔ)料進(jìn)行模型訓(xùn)練進(jìn)一步包括：對(duì)每一個(gè)問(wèn)題添加上文 意圖分類信息；提取每一個(gè)問(wèn)題的位置信息；w及將每一個(gè)問(wèn)題轉(zhuǎn)化為特征向量作為所述 訓(xùn)練語(yǔ)料。
[0011] 優(yōu)選地，對(duì)所生成的訓(xùn)練語(yǔ)料進(jìn)行模型訓(xùn)練進(jìn)一步包括：對(duì)特征提取后的所有數(shù) 據(jù)進(jìn)行分詞，并根據(jù)增益來(lái)獲取增益最大的預(yù)定數(shù)目個(gè)分詞作為特征詞典；基于所述特征 詞典，將每個(gè)訓(xùn)練數(shù)據(jù)轉(zhuǎn)化為訓(xùn)練向量；W及將所述訓(xùn)練向量作為所述監(jiān)督學(xué)習(xí)算法的輸 入，執(zhí)行所述監(jiān)督學(xué)習(xí)算法W獲得訓(xùn)練模型。
[0012] 優(yōu)選地，對(duì)當(dāng)前的問(wèn)題進(jìn)行預(yù)估進(jìn)一步包括；獲取當(dāng)前問(wèn)題和用戶信息；根據(jù)用 戶ID獲取用戶的歷史信息，得到本句問(wèn)題在會(huì)話中的位置信息W及上文意圖分類信息；對(duì) 所述當(dāng)前問(wèn)題執(zhí)行特征提取W獲得特征向量；W及基于訓(xùn)練模型，輸入所述特征向量W獲 得對(duì)當(dāng)前的問(wèn)題的預(yù)估結(jié)果。
[0013]根據(jù)本發(fā)明的另一個(gè)實(shí)施例，提供了一種基于上下文進(jìn)行意圖識(shí)別的系統(tǒng)，包括： 人工標(biāo)注模塊，所述人工標(biāo)注模塊被配置成基于用戶歷史咨詢?nèi)罩?，?duì)包括在所述用戶歷 史咨詢?nèi)罩局械挠脩籼岢龅膯?wèn)題進(jìn)行人工標(biāo)注；特征提取模塊，所述特征提取模塊被配置 成對(duì)每一個(gè)問(wèn)題執(zhí)行特征提取，W生成訓(xùn)練語(yǔ)料；模型訓(xùn)練模塊，所述模型訓(xùn)練模塊被配置 成根據(jù)監(jiān)督學(xué)習(xí)算法，對(duì)所生成的訓(xùn)練語(yǔ)料進(jìn)行模型訓(xùn)練，W獲得訓(xùn)練模型；W及線上預(yù)估 模塊，所述線上預(yù)估模塊被配置成基于所獲得的訓(xùn)練模型，對(duì)當(dāng)前的問(wèn)題進(jìn)行預(yù)估并獲得 預(yù)估后的用戶意圖識(shí)別結(jié)果。
[0014]優(yōu)選地，所述人工標(biāo)注模塊進(jìn)一步被配置成按照會(huì)話對(duì)所獲取的用戶歷史咨詢?nèi)?志進(jìn)行劃分，并逐句對(duì)所述用戶歷史咨詢?nèi)罩具M(jìn)行人工標(biāo)注。
[0015]優(yōu)選地，所述特征提取模塊進(jìn)一步被配置成；對(duì)每一個(gè)問(wèn)題添加上文意圖分類信 息；提取每一個(gè)問(wèn)題的位置信息；W及將每一個(gè)問(wèn)題轉(zhuǎn)化為特征向量作為所述訓(xùn)練語(yǔ)料。
[0016]優(yōu)選地，所述模型訓(xùn)練模塊進(jìn)一步被配置成：對(duì)特征提取后的所有數(shù)據(jù)進(jìn)行分詞， 并根據(jù)增益來(lái)獲取增益最大的預(yù)定數(shù)目個(gè)分詞作為特征詞典；基于所述特征詞典，將每個(gè) 訓(xùn)練數(shù)據(jù)轉(zhuǎn)化為訓(xùn)練向量；W及將所述訓(xùn)練向量作為所述監(jiān)督學(xué)習(xí)算法的輸入，執(zhí)行所述 監(jiān)督學(xué)習(xí)算法W獲得訓(xùn)練模型。
[0017]優(yōu)選地，所述線上預(yù)估模塊進(jìn)一步被配置成；獲取當(dāng)前問(wèn)題和用戶信息；根據(jù)用 戶ID獲取用戶的歷史信息，得到本句問(wèn)題在會(huì)話中的位置信息W及上文意圖分類信息；對(duì) 所述當(dāng)前問(wèn)題執(zhí)行特征提取W獲得特征向量；W及基于訓(xùn)練模型，輸入所述特征向量W獲 得對(duì)當(dāng)前的問(wèn)題的預(yù)估結(jié)果。
[001引根據(jù)本公開(kāi)和附圖的下面的詳細(xì)描述，對(duì)本領(lǐng)域的普通技術(shù)人員來(lái)說(shuō)其它的目 的、特征、W及優(yōu)點(diǎn)將是顯而易見(jiàn)的。
【附圖說(shuō)明】
[0019]附圖圖示了本發(fā)明的實(shí)施例，并與說(shuō)明書一起用于解釋本發(fā)明的原理。在附圖 中：
[0020] 圖1圖示了根據(jù)本發(fā)明實(shí)施例的基于上下文進(jìn)行意圖識(shí)別的系統(tǒng)的示意圖。
[0021] 圖2圖示了根據(jù)本發(fā)明實(shí)施例的人工標(biāo)注模塊的處理流程圖。
[0022] 圖3圖示了根據(jù)本發(fā)明實(shí)施例的特征提取模塊的處理流程圖。
[0023]圖4圖示了根據(jù)本發(fā)明實(shí)施例的模型訓(xùn)練模塊的處理流程圖。
[0024] 圖5圖示了根據(jù)本發(fā)明實(shí)施例的線上預(yù)估模塊的處理流程圖。
【具體實(shí)施方式】
[0025] 根據(jù)本發(fā)明的實(shí)施例公開(kāi)了一種基于上下文進(jìn)行意圖識(shí)別的方法和系統(tǒng)。在W下 描述中，為了說(shuō)明的目的，闡述了多個(gè)具體細(xì)節(jié)W提供對(duì)本發(fā)明的實(shí)施例的全面理解。然 而，對(duì)于本領(lǐng)域技術(shù)人員顯而易見(jiàn)的是，本發(fā)明的實(shí)施例可W在沒(méi)有該些具體細(xì)節(jié)的情況 下實(shí)現(xiàn)。
[0026] 如在此所使用的術(shù)語(yǔ)"機(jī)器學(xué)習(xí)"是一口人工智能的科學(xué)，該領(lǐng)域的主要研究對(duì)象 是人工智能，特別是如何在經(jīng)驗(yàn)學(xué)習(xí)中改善具體算法的性能。常見(jiàn)的機(jī)器學(xué)習(xí)方法可W分 為監(jiān)督學(xué)習(xí)、半監(jiān)督學(xué)習(xí)和無(wú)監(jiān)督學(xué)習(xí)。
[0027] 如在此所使用的術(shù)語(yǔ)"監(jiān)督學(xué)習(xí)"指的是從給定的訓(xùn)練數(shù)據(jù)集中學(xué)習(xí)出一個(gè)函數(shù)， 當(dāng)新的數(shù)據(jù)到來(lái)時(shí)，可W根據(jù)該個(gè)函數(shù)預(yù)測(cè)結(jié)果。監(jiān)督學(xué)習(xí)的訓(xùn)練集要求是包括輸入和輸 出，也可W說(shuō)是特征和目標(biāo)。訓(xùn)練集中的目標(biāo)是人工標(biāo)注的。
[002引如在此所使用的術(shù)語(yǔ)"詞袋"是一種文本表示方法。例如假定存在W下一個(gè)詞 典；（"John":1, "1 ikes":2, "to":3, "watch":4, "movies":5, "also":6, "football":7," games":8, "Mary":9, "too": 10}，并且存在一個(gè)文本；"John l;Lkes to watch movies. Mary 1化es too."。在該種情況下，1根據(jù)W上詞典，可W將該文本轉(zhuǎn)換成如下向量： [1，1，1，1，1，0, 0, 0, 1，1]，其中"1"表示詞典中的詞出現(xiàn)過(guò)，"0"表示沒(méi)有出現(xiàn)。
[0029] 圖1圖示了根據(jù)本發(fā)明實(shí)施例的基于上下文進(jìn)行意圖識(shí)別的系統(tǒng)100的示意圖。 如圖1所示，基于上下文進(jìn)行意圖識(shí)別的系統(tǒng)100包括人工標(biāo)注模塊101、特征提取模塊 103、模型訓(xùn)練模塊105和線上預(yù)估模塊107。根據(jù)本發(fā)明的實(shí)施例，人工標(biāo)注模塊101、特 征提取模塊103和模型訓(xùn)練模塊105屬于線下模塊，用來(lái)生成特征詞典、模型。線上預(yù)估模 塊107屬于線上模塊，通過(guò)所生成的特征詞典、模型對(duì)實(shí)時(shí)問(wèn)題進(jìn)行分類評(píng)估。下面W京東 客服回答用戶咨詢問(wèn)題為場(chǎng)景對(duì)每個(gè)模塊進(jìn)行說(shuō)明。
[0030] 人工梳注橫塊
[0031] 京東客服回答的問(wèn)題可W分為不同的業(yè)務(wù)點(diǎn)，用戶的每個(gè)問(wèn)題可W對(duì)應(yīng)到該些業(yè) 務(wù)點(diǎn)。該里直接將該些業(yè)務(wù)點(diǎn)看作用戶意圖，常見(jiàn)的業(yè)務(wù)點(diǎn)例如有；退貨、換貨、配送、運(yùn)費(fèi) 等。
[003引圖2圖示了根據(jù)本發(fā)明實(shí)施例的人工標(biāo)注模塊101的處理流程圖。如圖2所示，人 工標(biāo)注模塊101首先獲取用戶歷史咨詢?nèi)罩?，并?duì)所獲取的用戶歷史咨詢?nèi)罩景凑諘?huì)話進(jìn) 行劃分，然后逐句地對(duì)包括在所述用戶歷史咨詢?nèi)罩局械挠脩籼岢龅膯?wèn)題進(jìn)行人工標(biāo)注。
[0033] 在本發(fā)明的實(shí)施例中，一個(gè)會(huì)話是由同一個(gè)對(duì)話場(chǎng)景中的連續(xù)的問(wèn)題組成。例如， 會(huì)話劃分方法可W如下；將所獲取的用戶歷史咨詢?nèi)罩景凑沼脩糇稍儠r(shí)間進(jìn)行排序，如果 咨詢的用戶或回答問(wèn)題的客服不同，則將連續(xù)的問(wèn)題劃分到不同的會(huì)話中。而且，如果用戶 和客服一致，但相鄰兩句話的時(shí)間間隔大于預(yù)定時(shí)間（例如，半小時(shí)），則也將該對(duì)話劃分 為不同的會(huì)話。
[0034] 在用戶歷史咨詢?nèi)罩景磿?huì)話劃分完成之后，將數(shù)據(jù)交由人工對(duì)每句話進(jìn)行標(biāo)注。 該樣，人工標(biāo)注過(guò)程不再僅根據(jù)單句，而是根據(jù)該句話在整個(gè)會(huì)話中的意圖進(jìn)行標(biāo)注，更準(zhǔn) 確地說(shuō)，是根據(jù)該句話的上下文進(jìn)行標(biāo)注。因?yàn)樵趯?shí)際對(duì)話時(shí)，我們只能獲取或知道用戶之 前所說(shuō)的話，而無(wú)法獲取他接下來(lái)會(huì)說(shuō)什么。表1示出了在示例場(chǎng)景1的情況下會(huì)話標(biāo)注 完成后的效果。
[0035]
[0036] 表1場(chǎng)景1情況下的標(biāo)注效果
[0037] 可W看出，如果使用單句標(biāo)注的方案，"運(yùn)費(fèi)誰(shuí)出"是無(wú)法區(qū)分出用戶咨詢的是售 前還是售后運(yùn)費(fèi)。同樣，"可W寄郵政嗎"也無(wú)法區(qū)分出是發(fā)貨方式還是退貨方式。然而，例 如W上的該兩句話放在整個(gè)會(huì)話中看是沒(méi)有任何歧義的。
[00%] 特佈搖取橫塊
[0039] 圖3圖示了根據(jù)本發(fā)明實(shí)施例的特征提取模塊103的處理流程圖。如圖3所示， 特征提取模塊103被配置成對(duì)每一個(gè)問(wèn)題執(zhí)行特征提取，W生成訓(xùn)練語(yǔ)料。具體地，特征提 取模塊103首先針對(duì)每句話或每個(gè)問(wèn)題添加上文意圖分類信息，提取每句話或每個(gè)問(wèn)題的 位置信息，并將每一個(gè)問(wèn)題轉(zhuǎn)化為特征向量作為所述訓(xùn)練語(yǔ)料。