本發(fā)明屬于計算機技術(shù)領(lǐng)域，具體涉及一種智能客服機器人滿意度自動評價方法及系統(tǒng)。

背景技術(shù)：

客服是企業(yè)獲得用戶反饋意見、解決用戶產(chǎn)品疑問的一個主要途徑。傳統(tǒng)的客服業(yè)務(wù)主要由專業(yè)的人工客服人員來處理，使得企業(yè)在客服方面的投入會隨著客服業(yè)務(wù)量的增加而高速增長，成為不可忽視的支出。針對這一問題，目前比較先進的方案是引入智能客服機器人。其做法首先是對用戶高頻、意圖明確的熱門問題進行分析，抽象成若干類標準問句(frequentlyaskedquestions，簡稱faq)，對每一個faq由專業(yè)的業(yè)務(wù)人員配置好標準答案，然后針對未來用戶的問題，采用技術(shù)手段分析該問題是否規(guī)約到任何一個已有faq，如果是則將預(yù)先配置好的答案返回給用戶，實現(xiàn)高效地解決用戶疑問的效果?？头C器人的引入可以顯著降低人工客服量，節(jié)約大量客服成本。

客服機器人應(yīng)用在客服工作中確實有著顯而易見的優(yōu)勢：一是能夠提高用戶感知，為企業(yè)在線客服、新媒體客服等提供統(tǒng)一智能的自助服務(wù)支撐，降低用戶消息得到解決的難度和復(fù)雜度；二是能夠提升服務(wù)效率，縮短咨詢處理時限，分流傳統(tǒng)人工客服壓力，節(jié)省服務(wù)成本；三是能夠快速收集用戶訴求和行為數(shù)據(jù)，支撐產(chǎn)品迭代優(yōu)化。雖然客服機器人有著以上種種優(yōu)勢，但是并不是所有的智能機器人都適合做智能客服，而且需要用客觀的、可以量化的指標來衡量智能客服機器人。目前智能客服行業(yè)已有一套評價體系，涉及的關(guān)鍵指標主要有：問題預(yù)判準確率、問題識別率、24h未轉(zhuǎn)人工率、客戶滿意度等。智能客服機器人的主要職責(zé)是為客戶提供專業(yè)的解決問題的服務(wù)，其關(guān)注的焦點是聚焦在業(yè)務(wù)范圍內(nèi)，有多大的解決問題的能力。所以，對智能客服機器人應(yīng)該是評價其處理問題的能力。

對于一個線上的智能客服機器人，現(xiàn)有的技術(shù)指標中只有問題預(yù)判準確率和24小時未轉(zhuǎn)人工率能夠?qū)€上客服機器人進行實時評價，問題識別準確率需要大量人工對其結(jié)果進行評價，不能對其進行自動評價。對于客戶滿意度，在服務(wù)完成后，多數(shù)用戶不樂于進行服務(wù)評分。外呼的調(diào)查方式優(yōu)點固然很好，能夠?qū)χ悄芸头C器人進行一個完整的評價，但是其也存在以下缺點：一是需要很多人力進行調(diào)查，二是這種評價不一定適合客服機器人，這種評價方式略顯主觀，對智能客服機器人來說，應(yīng)以是否專業(yè)地解決客戶問題為評價基準。

技術(shù)實現(xiàn)要素：

為了解決現(xiàn)有技術(shù)存在的上述問題，本發(fā)明提供了一種智能客服機器人滿意度自動評價方法及系統(tǒng)。

為實現(xiàn)上述目的，本發(fā)明采取以下技術(shù)方案：一種智能客服機器人滿意度自動評價方法包括以下步驟：

根據(jù)用戶消息和客服機器人回復(fù)得到相關(guān)度分值；

根據(jù)相關(guān)度分值以及客服機器人回復(fù)是否解決用戶消息，計算得到相關(guān)度修正系數(shù)；

根據(jù)用戶消息和客服機器人回復(fù)得到理論滿意度值；

根據(jù)相關(guān)度修正系數(shù)以及用戶與客服機器人的交互輪數(shù)，計算得到滿意度修正系數(shù)；

根據(jù)理論滿意度值和滿意度修正系數(shù)，計算得到實際滿意度值；

根據(jù)實際滿意度值以及用戶與客服機器人的交互輪數(shù)，計算得到最終滿意度值。

進一步地，所述根據(jù)用戶消息和客服機器人回復(fù)得到相關(guān)度分值的具體過程為：

收集用戶消息、客服機器人回復(fù)以及人工標注的用戶消息與客服機器人回復(fù)的相關(guān)度，并將其作為輸入，將相關(guān)度得分作為輸出，采用機器學(xué)習(xí)算法或搜索算法對相關(guān)度模型進行訓(xùn)練，得到相關(guān)度打分模型；

將新輸入的用戶消息和客服機器人回復(fù)輸入相關(guān)度打分模型中，得到相關(guān)度分值。

進一步地，所述根據(jù)用戶消息和客服機器人回復(fù)得到理論滿意度值的具體過程為：

采用收集的用戶消息、客服機器人回復(fù)以及人工標注的用戶對客服機器人回復(fù)的滿意度數(shù)據(jù)對滿意度模型進行訓(xùn)練，得到理論滿意度打分模型；

將新輸入的用戶消息和客服機器人回復(fù)輸入理論滿意度打分模型中，得到理論滿意度值。

進一步地，所述根據(jù)相關(guān)度修正系數(shù)以及用戶與客服機器人的交互輪數(shù)計算得到滿意度修正系數(shù)的步驟采用指數(shù)遞減算法得到滿意度修正系數(shù)，其具體過程為：

用戶與客服機器人第i次交互的滿意度修正系數(shù)αi：

αi＝βi*e^-(i-1)/t；

式中，t表示一個對話輪數(shù)控制系數(shù)，βi表示用戶與客服機器人第i次交互的相關(guān)度修正系數(shù)。

進一步地，所述根據(jù)相關(guān)度修正系數(shù)以及用戶與客服機器人的交互輪數(shù)計算得到滿意度修正系數(shù)的步驟采用線性算法得到滿意度修正系數(shù)，其具體過程為：

用戶與客服機器人第i次交互的滿意度修正系數(shù)αi：

αi＝1-k(i-1)；

式中，如果αi<0，則取αi＝0；k表示線性系數(shù)，k取小于1的數(shù)。

進一步地，所述根據(jù)理論滿意度值和滿意度修正系數(shù)計算得到實際滿意度值的具體過程為：

用戶與客服機器人第i次交互的實際滿意度si^r為：

si^r＝αi*si；

式中，si為用戶與客服機器人第i次交互的理論滿意度值。

進一步地，所述根據(jù)實際滿意度值以及用戶與客服機器人的交互輪數(shù)計算得到最終滿意度值的步驟采用加權(quán)平均得到最終滿意度值的過程為：

用戶與客服機器人交互n輪后，最終滿意度值為：

其中，

式中，γi為每輪對話對應(yīng)的權(quán)重。

進一步地，所述根據(jù)實際滿意度值以及用戶與客服機器人的交互輪數(shù)計算得到最終滿意度值的步驟采用幾何平均得到最終滿意度值的過程為：

用戶與客服機器人交互n輪后，最終滿意度值為：

一種智能客服機器人滿意度自動評價系統(tǒng)包括相關(guān)度分值獲取模塊、相關(guān)度修正系數(shù)計算模塊、理論滿意度值獲取模塊、滿意度修正系數(shù)計算模塊、實際滿意度值計算模塊、最終滿意度值計算模塊；所述相關(guān)度分值獲取模塊用于獲取用戶消息與客服機器人回復(fù)的相關(guān)度分值，所述相關(guān)度修正系數(shù)計算模塊用于根據(jù)相關(guān)度分值以及客服機器人回復(fù)是否解決用戶問題得到相關(guān)度修正系數(shù)，所述理論滿意度值獲取模塊用于獲取用戶對客服機器人回復(fù)的理論滿意度值，所述滿意度修正系數(shù)計算模塊用于根據(jù)關(guān)度修正系數(shù)以及用戶與客服機器人的交互輪數(shù)得到滿意度修正系數(shù)，所述實際滿意度值計算模塊用于根據(jù)理論滿意度值和滿意度修正系數(shù)得到實際滿意度值，所述最終滿意度值計算模塊用于根據(jù)實際滿意度值以及用戶與客服機器人的交互輪數(shù)得到最終滿意度值。

進一步地，所述理論滿意度值獲取模塊包括問答采集模塊、滿意度標注模塊、滿意度模型和理論滿意度值輸出模塊；所述問答采集模塊用于采集用戶輸入的消息以及客服機器人回復(fù)的消息，所述滿意度標注模塊用于接收人工對用戶消息與客服機器人回復(fù)的滿意度標注的數(shù)據(jù)，所述滿意度模型用于訓(xùn)練得到理論滿意度打分模型，所述理論滿意度值輸出模塊用于輸出理論滿意度值

由于采取以上技術(shù)方案，本發(fā)明具有以下優(yōu)點：本發(fā)明一方面能夠減少滿意度評價對于人工干預(yù)的依賴，實時獲得用戶對于客服機器人的滿意度，降低獲得滿意度調(diào)查需要的人力資源及其帶來的滯后性；另一方面引入客觀評價指標對客服機器人進行客觀公正評價，防止主觀因素對客服機器人的性能產(chǎn)生影響。本發(fā)明還能夠快速迭代客服機器人，提升用戶對于客服機器人的使用體驗。

附圖說明

為了更清楚地說明本發(fā)明實施例或現(xiàn)有技術(shù)中的技術(shù)方案，下面將對實施例或現(xiàn)有技術(shù)描述中所需要使用的附圖作簡單地介紹，顯而易見地，下面描述中的附圖僅僅是本發(fā)明的一些實施例，對于本領(lǐng)域普通技術(shù)人員來講，在不付出創(chuàng)造性勞動的前提下，還可以根據(jù)這些附圖獲得其他的附圖。

圖1是本發(fā)明一實施例中提供的一種智能客服機器人滿意度自動評價方法的流程圖；

圖2是本發(fā)明一實施例中提供的一種智能客服機器人滿意度自動評價系統(tǒng)的結(jié)構(gòu)示意圖。

圖中：1-相關(guān)度分值獲取模塊；11-問答采集模塊；12-相關(guān)度標注模塊；13-相關(guān)度模型；14-相關(guān)度分值輸出模塊；2-相關(guān)度修正系數(shù)計算模塊；3-理論滿意度值獲取模塊；31-滿意度標注模塊；32-滿意度模型；33-理論滿意度值輸出模塊；4-滿意度修正系數(shù)計算模塊；5-實際滿意度值計算模塊；6-最終滿意度值計算模塊；

具體實施方式

為使本發(fā)明的目的、技術(shù)方案和優(yōu)點更加清楚，下面將對本發(fā)明的技術(shù)方案進行詳細的描述。顯然，所描述的實施例僅僅是本發(fā)明一部分實施例，而不是全部的實施例?；诒景l(fā)明中的實施例，本領(lǐng)域普通技術(shù)人員在沒有做出創(chuàng)造性勞動的前提下所得到的所有其它實施方式，都屬于本發(fā)明所保護的范圍。

如圖1所示，本發(fā)明提供了一種智能客服機器人滿意度自動評價方法，其包括以下步驟：

s1、根據(jù)用戶消息和客服機器人回復(fù)得到相關(guān)度分值，其具體包括以下步驟：

1)收集用戶消息、客服機器人回復(fù)以及人工標注的用戶消息與客服機器人回復(fù)的相關(guān)度，并將其作為輸入，將相關(guān)度得分作為輸出，采用機器學(xué)習(xí)算法或搜索算法對相關(guān)度模型進行訓(xùn)練，得到相關(guān)度打分模型。

相關(guān)度模型可以采用循環(huán)神經(jīng)網(wǎng)絡(luò)或卷積神經(jīng)網(wǎng)絡(luò)。相關(guān)度打分模型對用戶消息和客服機器人回復(fù)進行特征提取，再利用提取的特征判斷用戶消息和客服機器人回復(fù)的相關(guān)度。

2)將新輸入的用戶消息和客服機器人回復(fù)輸入相關(guān)度打分模型中，得到相關(guān)度分值。其中，相關(guān)度分值采用0～1的小數(shù)。

s2、根據(jù)相關(guān)度分值以及客服機器人回復(fù)是否解決用戶消息，計算得到相關(guān)度修正系數(shù)。相關(guān)度修正系數(shù)可以采用機器學(xué)習(xí)算法或查表方法得到。

當采用機器學(xué)習(xí)算法時，采用一個線性網(wǎng)絡(luò)y＝wx+b，其中，將相關(guān)度分值和是否解決用戶問題(解決用戶問題為1，未解決用戶問題為0)作為輸入，帶入x中。例如，相關(guān)度分值為0.9，解決用戶問題，則x＝[0.9，1]；相關(guān)度分值為0.9，未解決用戶問題，則x＝[0.9，0]。將參數(shù)對輸入模型中進行訓(xùn)練，最終得到相關(guān)度修正系數(shù)。

當采用查表方法時，首先建立一個相關(guān)度查詢表格，如果相關(guān)度查詢表格中有要查詢的相關(guān)度分值，則查表得到對應(yīng)的相關(guān)度修正系數(shù)；如果相關(guān)度查詢表格中沒有要查詢的相關(guān)度分值，則采用插值方法得到相關(guān)度修正系數(shù)。

s3、根據(jù)用戶消息和客服機器人回復(fù)得到理論滿意度值，其具體包括以下步驟：

1)采用收集的用戶消息、客服機器人回復(fù)以及人工標注的用戶對客服機器人回復(fù)的滿意度數(shù)據(jù)對滿意度模型進行訓(xùn)練，得到理論滿意度打分模型。

滿意度模型可以采用循環(huán)神經(jīng)網(wǎng)絡(luò)或卷積神經(jīng)網(wǎng)絡(luò)。

2)將新輸入的用戶消息和客服機器人回復(fù)輸入理論滿意度打分模型中，得到理論滿意度值。其中，理論滿意度值可以采用1～5的連續(xù)值。

s4、根據(jù)相關(guān)度修正系數(shù)以及用戶與客服機器人的交互輪數(shù)，計算得到滿意度修正系數(shù)。

滿意度修正系數(shù)可以采用指數(shù)遞減算法得到。

用戶與客服機器人第i次交互的滿意度修正系數(shù)αi：

αi＝βi*e^-(i-1)/t。式中，t表示一個對話輪數(shù)控制系數(shù)，βi表示用戶與客服機器人第i次交互的相關(guān)度修正系數(shù)。一般，t取值為5。

滿意度修正系數(shù)也可以采用線性算法得到。

用戶與客服機器人第i次交互的滿意度修正系數(shù)αi：

αi＝1-k(i-1)。

式中，如果αi<0，則取αi＝0；k表示線性系數(shù)，k可以取一個小于1的數(shù)，例如0.2。

s5、根據(jù)理論滿意度值和滿意度修正系數(shù)，計算得到實際滿意度值。

用戶與客服機器人第i次交互的實際滿意度si^r為：

si^r＝αi*si。

式中，si為用戶與客服機器人第i次交互的理論滿意度值。

s6、根據(jù)實際滿意度值以及用戶與客服機器人的交互輪數(shù)，計算得到最終滿意度值。最終滿意度值可以采用加權(quán)平均得到，也可以采用幾何平均得到。

當采用加權(quán)平均計算得到最終滿意度值時，用戶與客服機器人交互n輪后，最終滿意度值為：

其中，

式中，γi為每輪對話對應(yīng)的權(quán)重。

當采用幾何平均計算得到最終滿意度值時，用戶與客服機器人交互n輪后，最終滿意度值為：

上述步驟s3與s4的順序是可以互換的。

上述步驟s1中，人工標注的用戶消息與客服機器人回復(fù)的相關(guān)度可以由單人標注得到，也可以對多人標注的相關(guān)度求平均值得到。上述步驟s3中，人工標注的用戶對客服機器人回復(fù)的滿意度數(shù)據(jù)可以由單人標注得到，也可以對多人標注的相關(guān)度求平均值得到。采用對多人標注的數(shù)據(jù)求平均值的方法能夠獲得更為準確的數(shù)據(jù)，提高模型的效果。

本發(fā)明不限于滿意度的評價廣度及其表現(xiàn)形式，也可以使用滿意度的五種離散狀態(tài)，即“非常滿意”，“比較滿意”，“一般”，“不滿意”，“非常不滿意”，本發(fā)明也不限于滿意度的分級細化程度，可以根據(jù)具體需求設(shè)計更粗粒度或者更細粒度的滿意度劃分方式。

實施例

用戶輸入消息：你好。

客服機器人回復(fù)：hi，請問有什么可以幫到你的嗎？

用戶輸入消息：怎么才能支付？

客戶機器人回復(fù)：微信支付是集成在微信客戶端的支付功能，用戶可以通過手機完成快速的支付流程。錢包操作入口：(輕觸此處)。微信支付向用戶提供安全、快捷、高效的支付服務(wù)，以綁定銀行卡的快捷支付為基礎(chǔ)。支付場景：公眾賬號支付、app支付、線下掃碼支付。

采用本發(fā)明智能客服機器人滿意度自動評價方法對上述用戶與客服機器人的交互過程進行滿意度自動評價，其具體過程為：

(1)采用相關(guān)度打分模型預(yù)測得到用戶與客戶機器人第一輪交互時用戶消息與客服機器人回復(fù)之間的相關(guān)度分值為r1＝0.9。

(2)用戶與客戶機器人的第一輪交互并沒有解決用戶的問題，用戶繼續(xù)輸入。采用查表方法，查詢?nèi)绫?所示的相關(guān)度表格。

表1相關(guān)度表格

相關(guān)度表格中并未查到相關(guān)度分值0.9，則采用插值方法計算得到相關(guān)度分值0.9對應(yīng)的相關(guān)度修正系數(shù)為

(3)采用滿意度打分模型預(yù)測得到用戶與客戶機器人第一輪交互時用戶消息與客服機器人回復(fù)之間的理論滿意度值為s1＝3.5。

(4)用戶與客戶機器人第一輪交互時用戶消息與客服機器人回復(fù)之間的滿意度修正系數(shù)α1＝β1*e^-(1-1)/t＝0.63。

(5)用戶與客服機器人第一次交互的實際滿意度為：

s1^r＝α1*s1＝0.63*3.5＝2.205。

(6)采用相關(guān)度打分模型預(yù)測得到用戶與客戶機器人第二輪交互時用戶消息與客服機器人回復(fù)之間的相關(guān)度分值為r2＝0.95。

(7)用戶與客戶機器人的第二輪交互解決了用戶的問題。采用查表方法，查詢?nèi)绫?所示的相關(guān)度表格。相關(guān)度表格中并未查到相關(guān)度分值0.95，則采用插值方法計算得到相關(guān)度分值0.95對應(yīng)的相關(guān)度修正系數(shù)為β2＝0.95。

(8)采用滿意度打分模型預(yù)測得到用戶與客戶機器人第二輪交互時用戶消息與客服機器人回復(fù)之間的理論滿意度值為s2＝4.5。

(9)用戶與客戶機器人第二輪交互時用戶消息與客服機器人回復(fù)之間的滿意度修正系數(shù)α2＝0.95*e^-(2-1)/5＝0.78。

(10)用戶與客服機器人第二次交互的實際滿意度為：

s2^r＝α2*s2＝0.78*4.5＝3.5。

(11)用戶與客服機器人此次交互的最終滿意度為：

如圖2所示，本發(fā)明提供了一種智能客服機器人滿意度自動評價系統(tǒng)，其包括相關(guān)度分值獲取模塊1、相關(guān)度修正系數(shù)計算模塊2、理論滿意度值獲取模塊3、滿意度修正系數(shù)計算模塊4、實際滿意度值計算模塊5、最終滿意度值計算模塊6。相關(guān)度分值獲取模塊1用于獲取用戶消息與客服機器人回復(fù)的相關(guān)度分值。相關(guān)度修正系數(shù)計算模塊2用于根據(jù)相關(guān)度分值以及客服機器人回復(fù)是否解決用戶問題得到相關(guān)度修正系數(shù)。理論滿意度值獲取模塊3用于獲取用戶對客服機器人回復(fù)的理論滿意度值。滿意度修正系數(shù)計算模塊4用于根據(jù)關(guān)度修正系數(shù)以及用戶與客服機器人的交互輪數(shù)得到滿意度修正系數(shù)。實際滿意度值計算模塊5用于根據(jù)理論滿意度值和滿意度修正系數(shù)得到實際滿意度值。最終滿意度值計算模塊6用于根據(jù)實際滿意度值以及用戶與客服機器人的交互輪數(shù)得到最終滿意度值。

上述實施例中，相關(guān)度分值獲取模塊1包括問答采集模塊11、相關(guān)度標注模塊12、相關(guān)度模型13和相關(guān)度分值輸出模塊14。其中，問答采集模塊11和相關(guān)度標注模塊12均與相關(guān)度模型13的輸入端連接，相關(guān)度分值輸出模塊14與相關(guān)度模型13的輸出端連接。

問答采集模塊11用于采集用戶輸入的消息以及客服機器人回復(fù)的消息。相關(guān)度標注模塊12用于接收人工對用戶消息與客服機器人回復(fù)的相關(guān)度標注的數(shù)據(jù)。用戶輸入的消息、客服機器人回復(fù)的消息以及用戶消息與客服機器人回復(fù)的相關(guān)度的標注數(shù)據(jù)輸入相關(guān)度模型13中用于訓(xùn)練相關(guān)度模型13，得到相關(guān)度打分模型。將當前用戶輸入的消息以及客服機器人回復(fù)的消息輸入相關(guān)度打分模型中，得到當前用戶輸入的消息與客服機器人回復(fù)的消息之間的相關(guān)度分值，相關(guān)度分值輸出模塊14用于輸出相關(guān)度分值。

上述實施例中，理論滿意度值獲取模塊3包括問答采集模塊11、滿意度標注模塊31、滿意度模型32和理論滿意度值輸出模塊33。其中，問答采集模塊11和滿意度標注模塊31均與滿意度模型32的輸入端連接，理論滿意度值輸出模塊33與滿意度模型32的輸出端連接。

問答采集模塊11用于采集用戶輸入的消息以及客服機器人回復(fù)的消息。滿意度標注模塊31用于接收人工對用戶消息與客服機器人回復(fù)的滿意度標注的數(shù)據(jù)。用戶輸入的消息、客服機器人回復(fù)的消息以及用戶消息與客服機器人回復(fù)的滿意度的標注數(shù)據(jù)輸入滿意度模型32中用于訓(xùn)練滿意度模型32，得到理論滿意度打分模型。將當前用戶輸入的消息以及客服機器人回復(fù)的消息輸入理論滿意度打分模型中，得到當前用戶輸入的消息與客服機器人回復(fù)的消息之間的理論滿意度值，理論滿意度值輸出模塊33用于輸出理論滿意度值。

本發(fā)明一方面能夠減少滿意度評價對于人工干預(yù)的依賴，實時獲得用戶對于客服機器人的滿意度，降低獲得滿意度調(diào)查需要的人力資源及其帶來的滯后性；另一方面引入客觀評價指標對客服機器人進行客觀公正評價，防止主觀因素對客服機器人的性能產(chǎn)生影響。本發(fā)明還能夠快速迭代客服機器人，提升用戶對于客服機器人的使用體驗。

以上所述，僅為本發(fā)明的具體實施方式，但本發(fā)明的保護范圍并不局限于此，任何熟悉本技術(shù)領(lǐng)域的技術(shù)人員在本發(fā)明揭露的技術(shù)范圍內(nèi)，可輕易想到變化或替換，都應(yīng)涵蓋在本發(fā)明的保護范圍之內(nèi)。因此，本發(fā)明的保護范圍應(yīng)以所述權(quán)利要求的保護范圍為準。