背景技術：

語言理解應用(例如，數(shù)字助理應用)需要至少一些上下文語言理解用于解釋口語輸入。在這方面，數(shù)字助理應用可能具有解釋具有特定領域和/或任務的口語輸入的經(jīng)驗。例如，當解釋與日歷事件相關的口語輸入時，數(shù)字助理應用可以提供準確的結果。然而，在數(shù)字助理應用不知道如何處理口語輸入的場景中，可以使用后端解決方案(例如，web)來向用戶提供結果?？赡茈y以確定針對給定的口語輸入何時使用數(shù)字助理應用以及何時使用后端解決方案。在一些情況下，可以使用確定性硬編碼的規(guī)則來確定何時使用數(shù)字助理應用以及何時使用后端解決方案來滿足用戶的請求。制定和實現(xiàn)這些規(guī)則以及評估其準確性的成本很高。另外，硬編碼的規(guī)則對于區(qū)域(locale)擴展(例如，解釋新的和/或不同的語言)不能很好地縮放。此外，當確定要使用后端解決方案時，將口語輸入“按原樣”發(fā)送到后端解決方案，并且基于所接收的口語輸入來提供結果。因此，如社區(qū)所公知的，硬編碼的規(guī)則是“粗粒度”的，并且整體用戶體驗次優(yōu)。

已經(jīng)關于這些和其他一般考慮做出了實施例。此外，盡管已經(jīng)討論了相對具體的問題，但是應當理解，實施例不應該限于解決背景技術中標識的具體問題。

技術實現(xiàn)要素：

總之，本公開總體上涉及區(qū)分歧義表達。更具體地，本公開涉及用于區(qū)分歧義表達以增強用戶體驗的方法和系統(tǒng)。例如，可以由語音識別組件接收自然語言表達。自然語言表達可以包括文本的單詞、術語和短語中的至少一項?？梢酝ㄟ^使用上下文信息來創(chuàng)建來自自然語言表達的對話假設集。在一些情況下，對話假設集具有至少兩個對話假設?？梢詾閷υ捈僭O集生成多個對話響應。可以基于對多個對話響應的分析來對對話假設集評級?？梢曰趯υ捈僭O集評級來執(zhí)行動作。

提供本發(fā)明內(nèi)容以便以簡化的形式介紹在下面的具體實施方式中進一步描述的概念的選擇。本發(fā)明內(nèi)容不旨在標識所要求保護的主題的主要特征或基本特征，也不旨在用于限制所要求保護的主題的范圍。

附圖說明

參考以下附圖描述非限制性和非窮盡性示例。

圖1示出了根據(jù)示例實施例的在客戶端計算設備處實現(xiàn)的用于區(qū)分歧義表達的示例性動態(tài)系統(tǒng)。

圖2示出了根據(jù)示例實施例的在服務器計算設備處實現(xiàn)的用于區(qū)分歧義表達的示例性動態(tài)系統(tǒng)。

圖3示出了根據(jù)示例實施例的用于區(qū)分歧義表達的對話組件的示例性框圖。

圖4示出了根據(jù)示例實施例的用于區(qū)分歧義表達的示例性方法。

圖5示出了根據(jù)示例實施例的用于訓練對話組件以區(qū)分歧義表達的示例性方法。

圖6示出了根據(jù)示例實施例的用于區(qū)分歧義表達的示例性方法。

圖7是示出可以實踐本公開的實施例的計算設備的示例物理組件的框圖。

圖8a和8b是可以實踐本公開的實施例的移動計算設備的簡化框圖。

圖9是其中可以實踐本公開的實施例的分布式計算系統(tǒng)的簡化框圖。

圖10示出了用于執(zhí)行本公開的一個或多個實施例的平板計算設備。

具體實施方式

在下面的詳細描述中，參考附圖，附圖形成本公開的一部分并且通過說明示出具體方面或示例。可以組合這些方面，可以使用其他方面，并且可以進行結構改變而不脫離本公開的精神或范圍。各方面可以作為方法、系統(tǒng)或裝置來實踐。因此，各方面可以采取硬件實現(xiàn)、完全軟件實現(xiàn)、或組合軟件和硬件方面的實現(xiàn)的形式。因此，以下詳細描述不應當在限制意義上來理解，并且本公開的范圍由所附權利要求及其等同物限定。

本公開總體上涉及使用受監(jiān)督和無監(jiān)督的機器學習技術用于區(qū)分歧義請求。用于區(qū)分歧義請求的現(xiàn)有技術依賴于確定性的硬編碼的規(guī)則，這些規(guī)則在制作和實現(xiàn)方面是昂貴的。例如，可以基于由系統(tǒng)隨時間接收的數(shù)據(jù)(例如，口語輸入)在當前系統(tǒng)中編寫和實現(xiàn)預定規(guī)則，以確定如何對口語輸入做出響應。然而，由于與多個領域的自然重疊，使用硬編碼的規(guī)則來區(qū)分歧義請求難以良好的信心進行。此外，使用硬編碼的規(guī)則來區(qū)分歧義請求可能提供次優(yōu)的用戶體驗。因此，本文中描述的各方面包括用于動態(tài)地區(qū)分歧義請求的基于機器學習的技術。這種基于機器學習的技術使得能夠確定使用哪個用戶體驗來最好地對特定用戶口語輸入(例如，請求)做出響應。例如，可以使用來自各種來源的信息來將歧義請求動態(tài)地轉換成向用戶提供相關結果的查詢?；趤碜愿鞣N來源的信息來將歧義請求動態(tài)地轉換成向用戶提供相關結果的查詢可以導致與系統(tǒng)和/或與系統(tǒng)相關聯(lián)的應用(例如，數(shù)字助理應用)的更好的用戶體驗。此外，區(qū)分歧義請求可以減少系統(tǒng)和/或應用必須提供的澄清請求和/或響應的數(shù)目。因此，客戶端和/或服務器計算設備可以需要較少的計算。

參考圖1，示出了用于區(qū)分歧義請求的動態(tài)系統(tǒng)100的一個方面。在各方面，動態(tài)系統(tǒng)100可以在客戶端計算設備104上實現(xiàn)。在基本配置中，客戶端計算設備104是具有輸入元件和輸出元件二者的手持式計算機?？蛻舳擞嬎阍O備104可以是用于實現(xiàn)用于上下文語言理解的動態(tài)系統(tǒng)100的任何合適的計算設備。例如，客戶端計算設備104可以是以下中的至少一個：移動電話；智能電話；平板計算機；平板電話；智能手表；可穿戴計算機；個人計算機；臺式計算機；筆記本計算機等。該列表僅是示例性的，而不應被視為限制?？梢允褂糜糜趯崿F(xiàn)用于上下文語言理解的動態(tài)系統(tǒng)100的任何合適的客戶端計算設備。

在各方面，動態(tài)系統(tǒng)100可以包括語音識別組件110、語言理解組件120、對話組件130和后端引擎140。各種組件可以使用硬件、軟件、或硬件和軟件的組合來實現(xiàn)。動態(tài)系統(tǒng)100可以被配置為處理自然語言表達。在這方面，動態(tài)系統(tǒng)100可以支持區(qū)分歧義請求。在一個示例中，自然語言表達可以包括口語輸入(例如，用戶查詢和/或請求)形式的短語、單詞和/或術語。在另一示例中，自然語言表達可以包括文本語言輸入(例如，用戶查詢和/或請求)形式的短語、單詞和/或術語。在這方面，自然語言表達可以是歧義的和/或缺少信息。例如，自然語言表達“howabouttomorrow(明天怎么樣)”在孤立分析時是歧義的。

動態(tài)系統(tǒng)100可以被配置為在不同的場景中處理自然語言表達。例如，動態(tài)系統(tǒng)100可以在單輪(single-turn)場景和/或多輪(multi-turn)場景中處理自然語言表達。單輪場景可以是在用戶和動態(tài)系統(tǒng)100之間的會話期間單獨處理口語輸入/自然語言表達的場景。單輪場景可以指示，僅來自當前被處理的自然語言表達的信息用于區(qū)分歧義請求。多輪場景是在用戶102和動態(tài)系統(tǒng)100之間的會話期間處理多于一個口語輸入/自然語言表達的場景。在一些情況下，每個自然語言表達可以被解釋為在會話期間的一輪。一輪可以包括自然語言表達和動態(tài)系統(tǒng)100的響應/動作。也就是說，第一輪可以包括自然語言表達和動態(tài)系統(tǒng)100的響應/動作。在其他方面，多輪場景指示，可以利用來自會話的多個輪的信息來進行預測和/或區(qū)分歧義請求。會話可以包括用戶和動態(tài)系統(tǒng)100的應用(例如，數(shù)字助理應用)之間的交談。會話可以在應用被激活并且用戶開始說話時開始，并且在應用被去激活時結束。

如上所述，動態(tài)系統(tǒng)100可以包括語音識別組件110、語言理解組件120、對話組件130和后端引擎140。在各方面，語音識別組件110可以包括本領域技術人員已知的標準語音識別技術，諸如“自動語音識別”(asr)、“計算機語音識別”和“語音到文本”(stt)。在一些情況下，語音識別組件110可以包括本領域技術人員已知的標準文本到語音技術，諸如“文本到語音”(tts)。本領域技術人員將認識到，語音識別組件110可以包括一種或多種各種不同類型的語音識別和/或文本識別組件。在一些情況下，語音識別組件110被配置為接收自然語言表達并且輸出所接收的自然語言表達的多個n-best(n-最優(yōu))表示。例如，語音識別組件110可以接收自然語言表達“isthefivetwentyontime(520準時嗎)”，并且輸出包括“isthefivetwentyontime”的第一表示和包括“isbefivetwentyontime(be520準時嗎)”的第二表示。在這方面，關于自然語言表達是指例如公共交通服務還是航班“be520”可能存在歧義。n-best表示可以使用單個asr、sst、或tts，或者使用多個asr、sst或tts來生成?？梢赃M一步處理自然語言表達的n-best表示，以區(qū)分自然語言表達的表示中的歧義，這將在下面詳細討論。

在各方面，語言理解組件120可以包括用于訓練目的的標準口語理解模型，諸如支持向量機、條件隨機場和/或卷積非循環(huán)神經(jīng)網(wǎng)絡。本領域技術人員將認識到，可以通過本文中公開的不同方面來采用各種不同的標準語言理解模型，諸如支持向量機、條件隨機場和卷積神經(jīng)網(wǎng)絡。在這方面，語言理解組件120可以被配置為從語音識別組件110接收n-best表示，并且基于從語音識別組件110接收到的n-best表示來進行預測。例如，語言理解組件120可以執(zhí)行領域和意圖預測(例如，使用支持向量機)和槽標注(例如，使用條件隨機場)。一方面，領域預測可以包括將自然語言表達分類為語言理解組件120的支持領域。領域通常可以指代已知的主題，諸如地點、提醒、日歷、天氣、通信等。例如，在自然語言表達“showmedrivingdirectionstoportland(請向我示出去往波特蘭的駕駛方向)”中，語言理解組件120可以提取特征“portland(波特蘭)”，并且將自然語言表達分類為語言理解組件120支持的領域“places(地點)”。

一方面，意圖預測可以包括經(jīng)由自然語言表達來確定用戶102的意圖。例如，在自然語言表達“showmedrivingdirectionstoportland”中，語言理解組件120可以確定用戶102的意圖是意圖分類，例如“get_route(獲得_路徑)”。一方面，槽標注可以包括對自然語言表達執(zhí)行槽檢測。在一種情況下，槽檢測可以包括使用來自自然語言表達的語義加載的單詞來填充槽類型(例如由語言理解組件120支持的槽類型)。例如，在自然語言表達“from2pmto4pm(從下午2點到下午4點)”中，槽標注可以包括使用“2pm(下午2點)”填充槽類型“start_time(開始_時間)”，并使用“4pm(下午4點)”填充槽類型“end_type(結束_時間)”。

如上所述，動態(tài)系統(tǒng)100可以在包括單輪和多輪場景的各種場景中處理自然語言表達。在這方面，語言理解組件120可以使用來自當前處理的自然語言表達的信息和來自當前處理的自然語言表達的上下文信息來評估自然語言表達。上下文信息可以包括從會話中的每個輪提取的信息。例如，所提取的信息可以包括從先前輪(例如，來自當前會話的先前的自然語言表達/請求)預測的領域預測、意圖預測和槽類型(例如，結果)。在另一種情況下，上下文信息可以包括動態(tài)系統(tǒng)100對先前輪的響應。例如，對先前輪的響應可以包括動態(tài)系統(tǒng)100如何響應于來自用戶的先前請求(例如，動態(tài)系統(tǒng)對用戶輸出/說了什么)、位于客戶端計算設備104的顯示器上的項目、位于客戶端計算設備104的顯示器上的文本等。在另一種情況下，上下文信息可以包括客戶端上下文。例如，客戶端上下文可以包括客戶端計算設備104上的聯(lián)系人列表、客戶端計算設備104上的日歷、gps信息(例如，客戶端計算設備104的位置)、當前時間(例如，早晨、晚上、在會議中、在鍛煉、駕駛等)等。在另一種情況下，上下文信息可以包括知識內(nèi)容。例如，知識內(nèi)容可以包括使用所存儲的數(shù)據(jù)來映射來自自然語言表達的特征的知識數(shù)據(jù)庫。作為示例，作為在貝爾維尤的餐館名稱的“johnhowie”可以被映射到知識數(shù)據(jù)庫中的餐館。在另一種情況下，上下文信息包括上述上下文信息的任何組合。

在各方面，語言理解組件120可以使用上述上下文信息來執(zhí)行領域和意圖預測(例如，使用支持向量機)和槽標注(例如，使用條件隨機場)。例如，會話的第一輪可以包括自然語言表達“howistheweathertomorrow(明天天氣如何)”。在該示例中，語言理解組件120可以將領域分類預測為“weather(天氣)”。同一會話的第二輪可以包括自然語言表達“howaboutthisweekend(這周末怎么樣)”。在該示例中，語言理解組件120可以將領域分類預測為“weather(天氣)”。例如，語言理解組件120可以評估第一輪“howistheweathertomorrow”以及第一輪預測的領域分類“weather”，以預測第二輪“howaboutthisweekend”的領域分類。在這方面，基于同一會話的第一輪是關于天氣的請求并且具有“weather”領域分類，語言理解組件120可以預測表達“howaboutthisweekend”與第一表達“howistheweathertomorrow”相關，并且因此將該領域分類為“weather”。

在另一示例中，會話的第一輪可以包括自然語言表達“showmedrivingdirectionstoportland”。在該示例中，語言理解組件120可以將領域分類預測為“places”，并且將用戶的意圖分類預測為“get_route”。同一會話的第二輪可以包括自然語言表達“howaboutvancouver(溫哥華怎么樣)”。在該示例中，語言理解組件120可以將領域分類預測為“places”，并且將用戶的意圖分類預測為“get_route”。如圖所示，語言理解組件120使用來自第一會話中的第一輪的上下文信息來從第一會話的第二輪“howaboutvancouver”將用戶102的意圖分類預測為“get_route”。

在又一示例中，會話的第一輪可以包括自然語言表達“createameetingwithjason(與jason創(chuàng)建會議)”。在該示例中，語言理解組件120可以將領域分類預測為“calendar(日歷)”，并且將用戶102的意圖分類預測為“create_meeting(創(chuàng)建_會議)”。同一會話的第二輪可以包括自然語言表達“from2pmto4pm”。在該示例中，語言理解組件120可以將領域分類預測為“calendar”，并且將槽類型預測為“start_time＝2pm”和“end_time＝4pm”。如圖所示，語言理解組件120使用來自第一會話中的第一輪的上下文信息來將第一會話中的第二輪“from2pmto4pm”的槽類型預測為“start_time＝2pm”和“end_time＝4pm”。

在各方面，由語言理解組件120確定的預測可以被發(fā)送到對話組件130用于處理。在這方面，對話組件130可以被配置為為每個自然語言表達創(chuàng)建對話假設集，并且確定對于每個自然語言表達要采取的響應/動作，這將在下面相對于圖3來詳細描述。對話組件130可以接收信息的組合用于處理。例如，對話組件130可以接收輸入上下文(例如，上下文信息)、由動態(tài)系統(tǒng)100接收的自然語言表達、以及由語言理解組件120進行的預測。輸入上下文可以包括客戶端信息(例如，客戶端的設備類型)以及上面討論的上下文信息。

當對話組件130接收到信息的組合用于處理時，對話組件130可以創(chuàng)建對話假設集。對話假設集可以包括基于自然語言表達的至少兩個對話假設。在一些情況下，對話假設集可以包括任何數(shù)目的對話假設。在一種情況下，可以基于從語言理解組件120接收到的預測來創(chuàng)建對話假設。例如，語言理解組件120可以預測自然語言表達“createameetingwithjason”是與jason創(chuàng)建會議的請求并且被分類在“calendar”領域中。因此，對話組件130可以創(chuàng)建類似的假設，并且將自然語言表達“createameetingwithjason”發(fā)送到日歷領域組件用于處理。在另一種情況下，可以基于從動態(tài)系統(tǒng)100中的其他組件接收的信息(例如，上下文信息)的組合來創(chuàng)建對話假設。例如，語言理解組件120可以不處理自然語言表達“howdidmyfootballteamdoyesterday(我的足球隊昨天做得如何)”。因此，對話組件130可以創(chuàng)建類似的假設，并且將自然語言表達“howdidmyfootballteamdoyesterday”發(fā)送到web領域組件用于處理。web領域組件可以利用信息的組合來創(chuàng)建web領域假設集。web領域假設集可以包括使用自然語言表達和信息的組合創(chuàng)建的多個查詢，使得多個查詢中的每個查詢都包括不同的表達，這將在以下在圖3中詳細描述。

在各方面，對話組件130可以確定對于每個自然語言表達要采取的響應/動作。在這方面，對話組件130可以通過分析響應于使用假設執(zhí)行查詢而返回的響應來對對話假設集中的假設評級，這將相對于圖3詳細描述。查詢可以通過使用后端引擎140來執(zhí)行。后端引擎140可以包括適合于接收和處理文本和/或關鍵字自然語言表達/查詢的任何后端引擎。在一個示例中，后端引擎140可以包括搜索引擎，諸如bing、google、yahoo等。在另一示例中，后端引擎140可以包括領域特定的搜索引擎，諸如地點、提醒、日歷、天氣、通信等。在一種情況下，后端引擎140可以位于對話組件130處。在其他情況下，后端引擎140可以位于與對話組件130通信的服務器計算設備處。在其他情況下，以任何組合，后端引擎140的部分可以位于對話組件130處，并且后端引擎140的部分可以位于服務器計算設備處。

圖2示出了根據(jù)本文中公開的一個或多個方面的用于區(qū)分歧義請求的動態(tài)系統(tǒng)200。在各方面，動態(tài)系統(tǒng)200可以在服務器計算設備204上實現(xiàn)。服務器計算設備204可以通過網(wǎng)絡205向以及從客戶端計算設備104提供數(shù)據(jù)。一方面，網(wǎng)絡205是分布式計算網(wǎng)絡，諸如因特網(wǎng)。在各方面，該動態(tài)系統(tǒng)200可以在諸如多個服務器計算設備204的多于一個服務器計算設備204上實現(xiàn)。如圖2所示，動態(tài)系統(tǒng)200可以包括語音識別組件210、語言理解組件220、對話組件230和后端引擎240。動態(tài)系統(tǒng)200可以被配置為處理自然語言表達。在這方面，動態(tài)系統(tǒng)200可以區(qū)分歧義請求。語音識別組件210、語言理解組件220、對話組件230和后端引擎240可以被配置為類似于以上相對于圖1描述的語音識別組件110、語言理解組件120、對話組件130和后端引擎140。在這方面，動態(tài)系統(tǒng)200可以包括在以上方面相對于圖1的動態(tài)系統(tǒng)100描述的所有功能。

如上所述，服務器計算設備204可以通過網(wǎng)絡205向以及從客戶端計算設備104提供數(shù)據(jù)?？梢酝ㄟ^適于傳輸數(shù)據(jù)的任何網(wǎng)絡來傳送數(shù)據(jù)。在一些方面，網(wǎng)絡205是諸如因特網(wǎng)的計算機網(wǎng)絡。在這方面，網(wǎng)絡205可以包括局域網(wǎng)(lan)、廣域網(wǎng)(wan)、因特網(wǎng)、無線和有線傳輸介質(zhì)。本領域技術人員將理解，可以與本文中公開的各方面一起使用其他類型的網(wǎng)絡。在這方面，可以在客戶端計算設備104處接收自然語言表達，并且通過網(wǎng)絡205傳輸用于由統(tǒng)計系統(tǒng)200在服務器計算設備204處處理。應當理解，動態(tài)系統(tǒng)(例如，動態(tài)系統(tǒng)100和動態(tài)系統(tǒng)200)組件(例如，語音識別組件110/210、語言理解組件120/220、對話組件130/230和后端引擎140/240)可以以任意組合位于客戶端計算設備104、服務器計算設備204、和/或客戶端計算設備104和服務器計算設備204二者處。例如，一方面，在一個配置中，客戶端計算設備104可以包括語音識別組件110和語言理解組件120，并且服務器計算設備204可以包括對話組件230和后端引擎240。這僅是示例性的，而不應當被視為限制。可以利用在客戶端計算設備104和服務器計算設備204處的動態(tài)系統(tǒng)組件的任何合適的組合用于區(qū)分歧義請求。

圖3示出了根據(jù)本公開的一個或多個方面的用于區(qū)分歧義請求的對話組件130/230的示例性框圖。如上所述，例如，對話組件130可以被配置為為每個自然語言表達創(chuàng)建對話假設集，并且確定針對每個自然語言表達要采取的響應/動作。在這方面，如圖3所示，對話組件130/230可以包括假設準備組件310、淺層(shallow)回答組件320、回退查詢組件330、領域組件340a-340n、假設和評級選擇組件(hrs)350、以及后端引擎360。如上所述，對話組件130可以接收信息的組合用于處理。例如，對話組件130可以接收輸入上下文、由動態(tài)系統(tǒng)100接收的自然語言表達、以及由語言理解組件120進行的預測(例如，如上所述的上下文信息)。輸入上下文可以包括客戶端信息(例如，客戶端的設備類型)以及上面討論的上下文信息。在這方面，假設準備組件310、淺層回答組件320、回退查詢組件330、領域組件340a-340n、以及假設和評級選擇組件(hrs)350可以被配置為接收信息的組合用于處理。

一方面，假設準備組件310被配置為基于所接收的信息來創(chuàng)建假設集。如上所述，對話假設集可以包括基于自然語言表達的至少兩個對話假設。在一些情況下，對話假設集可以包括任何數(shù)目的對話假設。在一種情況下，可以基于從語言理解組件120接收到的預測來創(chuàng)建對話假設。例如，語言理解組件120可以預測自然語言表達“createameetingwithjason”是與jason創(chuàng)建會議的請求并且被分類在“calendar”領域中。因此，假設準備組件310可以創(chuàng)建類似的假設，并且將自然語言表達“createameetingwithjason”發(fā)送到日歷領域組件用于處理。在另一種情況下，可以基于從動態(tài)系統(tǒng)100中的其他組件接收的信息的組合來創(chuàng)建對話假設。例如，語言理解組件120可以不處理自然語言表達“howdidmyfootballteamdoyesterday”。因此，假設準備組件310可以創(chuàng)建類似的假設，并且將自然語言表達“howdidmyfootballteamdoyesterday”發(fā)送到web領域組件用于處理。

在語言理解組件120不處理自然語言表達并且將自然語言表達發(fā)送到web領域組件用于處理的示例中，web領域組件可以創(chuàng)建要發(fā)送到后端引擎360的回退查詢。例如，會話的第一輪可以包括會話可以包括的自然語言表達“findrestaurantsnearme(尋找在我附近的餐館)”。自然語言表達“findrestaurantsnearme”可以由地點領域組件來處理。會話的第二輪可議包括自然語言表達“showtheitalianonesonly(僅示出意大利的那些)”。自然語言表達“showtheitalianonesonly”可以由地點領域組件處理。會話的第三輪可以包括自然語言表達“whichonesarekidsfriendly(哪些是對孩子友好的)”。地點領域組件可能無法處理自然語言表達“whichonesarekidsfriendly”。因此，對話組件130/230可以創(chuàng)建要由后端引擎360處理的回退查詢。對話組件130/230可以創(chuàng)建支持由后端引擎360生成的改進的搜索結果的查詢。例如，對話組件130/230可以通過連結會話的所有先前和當前輪來創(chuàng)建第一查詢。使用上述示例，第一查詢可以是“findrestaurantsnearmeshowtheitalianoneswhichonesarekidsfriendly(尋找在我附近的餐館僅示出意大利的那些哪些是對孩子友好的)”。在另一示例中，對話組件130/230可以通過連結從會話的先前和當前輪執(zhí)行的停止詞刪除分析來創(chuàng)建第二查詢。使用與上述相同的示例，第二查詢可以是“restaurantsnearmeshowitalianonesonlykidsfriendly(在我附近的餐館示出僅對孩子友好的意大利的那些)”。在又一示例中，對話組件130/230可以通過連結從會話的先前和當前輪提取的語義實體來創(chuàng)建第三查詢。在一種情況下，語義實體可以是自然語言表達的任何部分、自然語言表達的分類、和/或來自處理被確定為有意義的自然語言表達的結果。使用與上述相同的示例，第三查詢可以是“restaurantbellevuewaitalianfoodfamily(餐館華盛頓州貝爾維尤意大利食物家庭)”。在這方面，當對話組件130/230使用后端引擎360執(zhí)行搜索時，除了“按原樣的”自然創(chuàng)建語言表達，創(chuàng)建查詢以促進更多相關的結果被返回。

一方面，領域組件340a-340n可以包括由數(shù)字助理應用處理的領域和web領域。由數(shù)字助理應用處理的領域可以包括地點、提醒、日歷、天氣、通信等。例如，領域組件340a可以是日歷領域組件，并且可以處理日歷領域假設。在另一示例中，領域組件340b可以是天氣領域組件，并且可以處理天氣領域假設。在又一示例中，領域組件340n可以是web領域組件，并且可以處理web領域假設。應當理解，領域組件340a-340n可以是任何類型的領域組件，并且對話組件130/230可以包括任何數(shù)目的領域組件340a-340n。在領域組件340a是日歷領域組件的示例中，當領域組件340a從假設準備組件310接收到日歷領域假設時，領域組件340a可以基于該假設安排會議。例如，如果日歷領域假設是“scheduleameetingwithjasonfrom2pmto4pmtomorrow(從明天下午2點到4點安排與jason的會議)”，則領域組件340a可以將該會議添加到從明天下午2點到下午4點的用戶的日歷。

在另一示例中，當假設是web領域假設時，web領域組件340n可以接收web領域假設和來自不同來源的信息的組合。在這方面，web領域組件340n可以使用來自不同來源的信息的組合來區(qū)分web領域假設中的歧義信息。在一個示例中，web領域假設可以是“whodothebroncosplayatthattime(野馬隊那時與誰比賽)”。代替web領域組件340n使用web領域假設/查詢“whodothebroncosplayatthattime”執(zhí)行搜索，web領域組件340n可以使用接收到的信息的組合來創(chuàng)建所創(chuàng)建的web領域假設的web領域假設集。在一個示例中，web領域組件340n可以使用來自當前會話的先前輪來創(chuàng)建web領域假設集。例如，當前會話的第一輪可以是“whatistheweatherliketomorrow(明天天氣如何)”。在這方面，web領域組件340n可以使用第一輪和所確定的槽類型“time(時間)＝tomorrow(明天)”來創(chuàng)建第一創(chuàng)建的web領域假設，諸如“whodothebroncosplaytomorrow(野馬隊明天與誰比賽)”。如圖所示，web領域組件340n用所確定的槽類型“time＝tomorrow”來替換歧義短語“atthattime(那時)”。在另一示例中，web領域組件340n可以將當前會話的第一輪與web領域假設組合以創(chuàng)建第二創(chuàng)建的web領域假設“whatistheweatherliketomorrowwhodothebroncosplaytomorrow(明天天氣如何野馬隊那時與誰比賽)”。在又一示例中，web領域組件340n可以僅將來自第一輪和當前web領域假設的語義實體組合以創(chuàng)建第三創(chuàng)建的web領域假設“weathertomorrowbroncos(天氣明天野馬隊)”。

在一些方面，web領域假設集可以被發(fā)送到淺層回答組件320。淺層回答組件320可以為web領域假設集中的每個web領域假設提供回答。例如，每個web領域假設可以被發(fā)送到淺層回答組件320，以使用web領域假設來執(zhí)行查詢。在一些情況下，針對每個web領域假設的回答可以包括針對頻繁接收的查詢類型的專門結果。例如，頻繁查詢類型可以包括有關天氣的查詢。在該示例中，回答可以包括有關天氣的專門結果。這樣，當淺層回答組件320使用web領域假設執(zhí)行查詢時，由淺層回答組件320返回的回答可以基于專門的結果。例如，如果web領域假設包括頻繁查詢的術語/實體，則返回的回答可以包括專門的結果。在另一示例中，如果web領域假設不包括頻繁查詢的術語/實體，則返回的回答可以不包括專門的結果(例如，返回的結果可能不是有用的)。在這方面，來自淺層回答組件320的回答可以指示web領域假設集中的哪些web領域假設返回最佳/最相關的結果。

在一種情況下，針對每個web領域假設的結果可以由人來審查以確定哪個結果最佳。在這方面，hrs組件350可以學習來自領域假設的哪些特征與最相關的搜索結果相關。例如，為領域假設提取的特征可以包括置信度得分、返回結果(例如，如果有的話)的數(shù)目、是否存在專門的結果等。因此，當人確定針對領域假設集中的領域假設的最相關的結果時，hrs組件350可以學習如何使用與產(chǎn)生最相關的結果的領域假設相關聯(lián)的特征。

在另一種情況下，可以將記錄的查詢及其對應的搜索結果與每個web領域假設的結果相比較。例如，使用上述示例，會話的第一輪可以是“whatistheweatherliketomorrow”。會話的第二輪可以是“whodothebroncosplayagainstatthattime(野馬隊那時與誰比賽)”。對話組件130可能無法處理第二輪“whodothebroncosplayagainstatthattime”，并且可以將該查詢發(fā)送到后端引擎360。后端引擎360可能無法區(qū)分歧義“atthattime”。在這方面，用戶可能不得不重新查詢并且說出如“whodothebroncosplayagainsttomorrow(野馬隊明天與誰比賽)”的內(nèi)容。對話組件130可以將該查詢發(fā)送到后端引擎360并且獲得相關的結果?？梢杂涗涍@些自然語言表達的會話及其對應的查詢結果。因此，hrs組件350可以分析記錄的數(shù)據(jù)，以確定會話的兩個輪何時非常相似以及會話的輪何時是會話的重新查詢。例如，hrs組件350可以標識會話的兩個輪之間的詞匯相似性。在另一示例中，hrs組件350可以標識第二輪的結果的數(shù)目和/或質(zhì)量優(yōu)于第一輪。更相關的結果與詞匯相似性一起可以指示輪是重新查詢。因此，hrs組件350可以確定應該從先前輪延續(xù)什么信息/特征到當前輪以獲得相關的搜索結果。也就是說，hrs組件350可以學習什么特征產(chǎn)生與為會話的重新查詢產(chǎn)生的結果等同的結果。因此，機器學習技術被用于確定從先前輪延續(xù)什么信息到當前輪用于提供相關的搜索結果。在一些情況下，機器學習技術可以包括人工神經(jīng)網(wǎng)絡、貝葉斯分類器和/或遺傳推導算法，其已經(jīng)通過使用注釋的訓練集的訓練來開發(fā)。

在各方面，hrs組件350可以包括評級技術，諸如“n-best”列表、優(yōu)先級隊列、高斯分布、和/或直方圖(例如，標識相應對話假設的假設得分的趨勢的直方圖)。如上所述，hrs組件350可以從對話假設集中的對話假設中提取特征并且對特征進行評分和評級。在一種情況下，從對話假設中提取的特征可以至少包括針對預測的領域分類的置信度得分、針對預測的意圖分類的置信度得分、和針對預測的槽類型的槽計數(shù)。在另一種情況下，從對話假設中提取的特征可以包括與對話假設相關聯(lián)的特征。例如，所提取的特征可以包括返回的web結果的數(shù)目、返回的深度鏈接的數(shù)目、觸發(fā)的回答的數(shù)目、和抑制的回答的數(shù)目。在又一種情況下，從對話假設中提取的特征可以包括來自自然語言表達的單詞計數(shù)、來自自然語言表達的文本、以及來自會話中的多個輪的組合文本。應當理解，可以從對話假設中提取本文中描述的特征的任何組合。

在一種情況下，可以使用基于對話假設之間的條件概率分布的區(qū)分方法來計算得分并且對得分評級。在另一種情況下，可以使用涉及潛在對話假設的聯(lián)合概率分布的生成方法來計算得分并且對得分評級。如上所述，hrs組件350可以接收來自領域組件340a-340n的對話假設、來自淺層回答組件320的淺層回答、來自不同來源的信息的組合、以及來自后端引擎360的結果。在這方面，通過分析針對每個對話假設接收到的結果，對從對話假設中提取的特征進行評分和評級。例如，如果確定第一對話假設返回比第二對話假設更相關的結果，則與來自第二對話假設的特征相比，從第一對話假設中提取的特征將被評分并且評級較高。

在一些情況下，hrs組件350可以計算類似的針對兩個對話假設的得分。因此，關于哪個對話假設應該被評級最高可能存在歧義。在存在歧義的情況下，可以使用回退查詢來區(qū)分歧義。例如，回退查詢組件330可以包括可以用于區(qū)分歧義的一組回退查詢。例如，回退查詢可以包括諸如“sorry,ididn’thearyouwell(抱歉，我沒聽到你的聲音)”、“sorry,idon’tunderstandwhatyoumean(抱歉，我不明白你的意思)”等查詢。在其他情況下，如果關于哪個對話假設應該被評級最高存在歧義，則hrs組件350可以決定選擇具有最高得分的對話假設，即使該差異非常小。在其他情況下，當關于哪個對話假設應該被評級最高存在歧義時，hrs組件350可以向客戶端計算設備104的用戶發(fā)送消歧問題，諸如“i’mnotsurewhatyouwanttodo,doyouwanttolookuptheopeninghoursof5guysburgerrestaurant？(我不確定你想要做什么，你想要查看5guysburger餐館的開放時間？)”。如果用戶回答是，則hrs組件350可以將與回答相關聯(lián)的對話假設評級為最高。在用戶回答否時，hrs組件350可以向后端引擎360發(fā)送通用web搜索查詢。在另一種情況下，當關于哪個對話假設應該被評級最高存在歧義時，hrs組件350可以詢問用戶以消除兩個對話假設之間的歧義。例如，hrs組件350可以向客戶端計算設備104的用戶發(fā)送問題，諸如“pleasetellmewhat’sclosertowhatyoumean:“weatherbroncostomorrow,”or“whodothebroncosplayatthattimetomorrow”(請告訴我什么更接近你的意思：“天氣野馬隊明天”還是“野馬隊明天那時與誰比賽”)”。

圖4示出了根據(jù)本公開的一個或多個實施例的用于區(qū)分歧義請求的方法。方法400開始于操作402，在操作402接收自然語言表達。例如，自然語言表達可以由動態(tài)系統(tǒng)接收用于處理以確定例如數(shù)字助理應用的用戶的意圖和/或最終目標。在一個示例中，自然語言表達可以包括口語輸入(例如，用戶查詢和/或請求)形式的短語、單詞和/或術語。在這方面，自然語言表達可能是歧義的和/或缺少信息。例如，自然語言表達“howabouttomorrow”在孤立分析時是歧義的。

當在動態(tài)系統(tǒng)處接收到自然語言表達之后，流程進行到操作404，在操作404使用上下文信息來創(chuàng)建對話假設集。在一種情況下，上下文信息可以包括從會話中的每個輪提取的信息。例如，所提取的信息可以包括從先前輪(例如，來自當前會話的先前的自然語言表達/請求)預測的領域預測、意圖預測和槽類型(例如，結果)。在另一種情況下，上下文信息可以包括由動態(tài)系統(tǒng)對先前輪的響應。例如，對先前輪的響應可以包括動態(tài)系統(tǒng)如何響應于來自用戶的先前請求(例如，動態(tài)系統(tǒng)對用戶輸出/說了什么)、位于客戶端計算設備的顯示器上的項目、位于客戶端計算設備的顯示器上的文本等。在另一種情況下，上下文信息可以包括客戶端上下文。例如，客戶端上下文可以包括客戶端計算設備上的聯(lián)系人列表、客戶端計算設備上的日歷、gps信息(例如，客戶端計算設備的位置)、當前時間(例如，早晨、晚上、在會議中、在鍛煉、駕駛等)等。在另一種情況下，上下文信息可以包括知識內(nèi)容。例如，知識內(nèi)容可以包括使用所存儲的數(shù)據(jù)來映射來自自然語言表達的特征的知識數(shù)據(jù)庫。作為示例，“johnhowie”可以被映射到知識數(shù)據(jù)庫中的餐館。在這方面，可以為所接收的自然語言表達生成多個對話假設，使得每個對話假設由包括來自上下文信息的各種特征的不同表達組成。

在使用上下文信息創(chuàng)建對話假設集之后，流程進行到操作406，在操作406為對話假設集生成多個對話響應。例如，對話假設集中的每個對話假設可以具有對應的一組查詢結果。在一種情況下，可以通過將對話假設發(fā)送到web后端引擎來生成多個對話響應。在另一種情況下，多個對話響應可以由領域特定的組件生成。例如，對話假設可以包括指示天氣領域的特征。在這種情況下，可以將對話假設發(fā)送到天氣領域后端引擎。在另一種情況下，多個對話響應可以由領域特定的組件和web后端引擎生成。在這方面，多個響應可以包括來自領域特定的組件和web后端引擎的結果。

在為對話假設集生成多個對話響應之后，流程進行到操作408，在操作408對對話假設集評級。例如，可以從對話假設集中的對話假設中提取特征?？梢杂嬎汜槍λ崛〉奶卣鞯牡梅帧Ｔ谶@方面，可以基于計算出的得分對所提取的特征評級。進而，可以確定對話假設集中的哪個對話假設返回最相關的結果。在其他情況下，可以確定用于最高評級的對話假設的哪個后端引擎是用于生成結果的最佳后端引擎。在一種情況下，通過分析針對每個對話假設接收到的結果來對從對話假設中提取的特征進行評分和評級。例如，如果確定第一對話假設返回比第二對話假設更相關的結果，則與來自第二對話假設的特征相比，從第一對話假設中提取的特征將被評分和評級較高。

在對話假設集被評級之后，流程進行到操作410，在操作410執(zhí)行基于評級的動作。在一種情況下，所執(zhí)行的動作可以包括使用評級最高的對話假設來向web后端引擎查詢結果并且將結果發(fā)送給客戶端計算設備的用戶。在一些示例中，客戶端計算設備的用戶可以標識用于獲取搜索結果的查詢。這樣，用戶可以看到用于獲取搜索結果的查詢與用戶的原始自然語言表達/請求不同，并且可以包括從同一會話中的用戶的先前請求中提取的特征。在其他情況下，關于哪個對話假設應該被評級最高可能有歧義。在這種情況下，所執(zhí)行的動作可以包括使用回退查詢。例如，回退查詢可以包括諸如“sorry,ididn’thearyouwell”、“sorry,idon’tunderstandwhatyoumean”等查詢。在其他情況下，所執(zhí)行的動作可以包括向后端引擎發(fā)送通用(generic)web搜索查詢。

圖5示出了根據(jù)本公開的一個或多個實施例的用于訓練對話組件以區(qū)分歧義請求的方法。方法500開始于操作502，在操作502使用上下文信息來創(chuàng)建對話假設集。在一種情況下，上下文信息可以包括從會話中的每個輪提取的信息。例如，所提取的信息可以包括從先前輪(例如，來自當前會話的先前的自然語言表達/請求)預測的領域預測、意圖預測和槽類型(例如，結果)。在另一種情況下，上下文信息可以包括由動態(tài)系統(tǒng)對先前輪的響應。例如，對先前輪的響應可以包括動態(tài)系統(tǒng)如何響應于來自用戶的先前請求(例如，動態(tài)系統(tǒng)對用戶輸出/說了什么)、位于客戶端計算設備的顯示器上的項目、位于客戶端計算設備的顯示器上的文本等。在另一種情況下，上下文信息可以包括客戶端上下文。例如，客戶端上下文可以包括客戶端計算設備上的聯(lián)系人列表、客戶端計算設備上的日歷、gps信息(例如，客戶端計算設備的位置)、當前時間(例如，早晨、晚上、在會議中、在鍛煉、駕駛等)等。在另一種情況下，上下文信息可以包括知識內(nèi)容。例如，知識內(nèi)容可以包括使用所存儲的數(shù)據(jù)來映射來自自然語言表達的特征的知識數(shù)據(jù)庫。作為示例，“johnhowie”可以被映射到知識數(shù)據(jù)庫中的餐館。在這方面，可以為所接收的自然語言表達生成多個對話假設，使得每個對話假設由包括來自上下文信息的各種特征的不同表達組成。

在使用上下文信息創(chuàng)建對話假設集之后，流程進行到操作504，在操作504為對話假設集生成多個對話響應。例如，對話假設集中的每個對話假設可以具有對應的一組查詢結果。在一種情況下，可以通過將對話假設發(fā)送到web后端引擎來生成多個對話響應。在另一種情況下，多個對話響應可以由領域特定的組件生成。例如，對話假設可以包括指示天氣領域的特征。在這種情況下，可以將對話假設發(fā)送到天氣領域后端引擎。在另一種情況下，多個對話響應可以由領域特定的組件和web后端引擎生成。在這方面，多個響應可以包括來自領域特定的組件和web后端引擎的結果。

在生成多個對話響應之后，流程進行到操作506，在操作506將多個對話響應與多個記錄的對話響應相比較。在一種情況下，記錄的響應可以包括從自然語言表達生成的響應(而不是從所創(chuàng)建的對話假設生成的響應)。例如，會話的第一輪可以包括自然語言表達“whatistheweatherlikefortomorrow(明天天氣如何)”，會話的第二輪可以包括自然語言表達“whodothebroncosplayagainstatthattime”。在這種情況下，用戶可能需要重新查詢以獲得相關的結果。這樣，會話的第三輪可以包括自然語言表達“whodothebroncosplayagainsttomorrow”。來自會話的所有數(shù)據(jù)都可以被記錄。例如，可以會記錄第一輪、第二輪和第三輪及其對應的響應。這樣，在一個示例中，可以將來自用戶必須重新查詢的第三輪的結果與對話假設的結果相比較，以確定結果之間的相似性。

在操作508，確定多個對話響應中的哪些與記錄的對話響應相匹配。當確定對話響應與記錄的響應匹配時，流程進行到操作510，在操作510標記與匹配記錄的響應的對話響應相對應的對話假設。例如，標記可以向?qū)υ捊M件指示從先前輪延續(xù)的用以創(chuàng)建對話假設的特征是要延續(xù)的良好特征。也就是說，延續(xù)這些功能可以支持生成相關響應。在一個示例中，標記可以是“真實”標記。在一些情況下，可以標記多個對話假設。例如，可以有多個對話響應與記錄的響應和/或多個記錄的對話響應相匹配。在這種情況下，可以標記與匹配記錄的對話響應和/或多個記錄的對話響應的對話響應相對應的對話假設。在標記與匹配記錄的響應的對話響應相對應的對話假設之后，可以存儲對話假設(例如，操作512)。當確定對話響應與記錄的響應不匹配時，流程進行到操作512，在操作512存儲與不匹配記錄的響應的對話響應相對應的對話假設。

圖6示出了根據(jù)本公開的一個或多個方面的用于區(qū)分歧義請求的示例性方法。方法600開始于操作602，在操作602接收自然語言表達。例如，自然語言表達可以由動態(tài)系統(tǒng)接收用于處理以確定例如數(shù)字助理應用的用戶的意圖和/或最終目標。在一個示例中，自然語言表達可以包括口語輸入(例如，用戶查詢和/或請求)形式的短語、單詞和/或術語。在這方面，自然語言表達可能是歧義的和/或缺少信息。例如，自然語言表達“howabouttomorrow”在孤立分析時是歧義的。

當在動態(tài)系統(tǒng)處接收到自然語言表達之后，流程進行到操作604，在操作604使用上下文信息來創(chuàng)建對話假設集。在一種情況下，上下文信息可以包括從會話中的每個輪提取的信息。例如，所提取的信息可以包括從先前輪(例如，來自當前會話的先前的自然語言表達/請求)預測的領域預測、意圖預測和槽類型(例如，結果)。在另一種情況下，上下文信息可以包括由動態(tài)系統(tǒng)對先前輪的響應。例如，對先前輪的響應可以包括動態(tài)系統(tǒng)如何響應于來自用戶的先前請求(例如，動態(tài)系統(tǒng)對用戶輸出/說了什么)、位于客戶端計算設備的顯示器上的項目、位于客戶端計算設備的顯示器上的文本等。在另一種情況下，上下文信息可以包括客戶端上下文。例如，客戶端上下文可以包括客戶端計算設備上的聯(lián)系人列表、客戶端計算設備上的日歷、gps信息(例如，客戶端計算設備的位置)、當前時間(例如，早晨、晚上、在會議中，在鍛煉、駕駛等)等。在另一種情況下，上下文信息可以包括知識內(nèi)容。例如，知識內(nèi)容可以包括使用所存儲的數(shù)據(jù)來映射來自自然語言表達的特征的知識數(shù)據(jù)庫。作為示例，“johnhowie”可以被映射到知識數(shù)據(jù)庫中的餐館。在這方面，可以為所接收的自然語言表達生成多個對話假設，使得每個對話假設由包括來自上下文信息的各種特征的不同表達組成。

在使用上下文信息創(chuàng)建對話假設集之后，流程進行到操作606，在操作606為對話假設集生成多個對話響應。例如，對話假設集中的每個對話假設可以具有對應的一組查詢結果。在一種情況下，可以通過將對話假設發(fā)送到web后端引擎來生成多個對話響應。在另一種情況下，多個對話響應可以由領域特定的組件生成。例如，對話假設可以包括指示天氣領域的特征。在這種情況下，可以將對話假設發(fā)送到天氣領域后端引擎。在另一種情況下，多個對話響應可以由領域特定的組件和web后端引擎生成。在這方面，多個響應可以包括來自領域特定的組件和web后端引擎的結果。

在為對話假設集生成多個對話響應之后，流程進行到操作608，在操作608對對話假設集評級。例如，可以從對話假設集中的對話假設中提取特征?？梢杂嬎汜槍λ崛〉奶卣鞯牡梅?。在這方面，可以基于計算出的得分對所提取的特征評級。進而，可以確定對話假設集中的哪個對話假設返回最相關的結果。在其他情況下，可以確定用于最高評級的對話假設的哪個后端引擎是用于生成結果的最佳后端引擎。在一種情況下，通過分析針對每個對話假設接收到的結果來對從對話假設中提取的特征進行評分和評級。例如，如果確定第一對話假設返回比第二對話假設更相關的結果，則與來自第二對話假設的特征相比，從第一對話假設中提取的特征將被評分和評級較高。

在操作610，確定對話假設集的評級是否歧義。例如，兩個或更多個對話假設可以具有相似的得分，使得關于具有最高得分的對話假設存在歧義。當確定對話假設集的評級歧義時，流程進行到操作612，在操作612使用回退查詢。例如，回退查詢可以包括諸如“sorry,ididn’thearyouwell”、“sorry,idon’tunderstandwhatyoumean”等查詢。當確定對話假設集的評級不歧義時，流程進行到操作614，在操作614基于評級來執(zhí)行動作。例如，所執(zhí)行的動作可以包括使用評級最高的對話假設來向web后端引擎查詢結果并且將結果發(fā)送給客戶端計算設備的用戶。在另一示例中，所執(zhí)行的動作可以包括向后端引擎發(fā)送通用web搜索查詢。

圖7-10和相關聯(lián)的描述提供了可以在其中實踐本公開的各方面的各種操作環(huán)境的討論。然而，關于圖7-10示出和討論的設備和系統(tǒng)用于示例的目的，而不限制可以用于實踐本文中描述的本公開的實施例的大量計算設備配置。

圖7是示出可以實踐本公開的各方面的計算設備700的物理組件(例如，硬件)的框圖。下面描述的計算設備組件可以具有用于例如客戶端和/或計算機的數(shù)字助理應用713的計算機可執(zhí)行指令、用于例如客戶端的上下文語言理解模塊711的可執(zhí)行指令，其可以被執(zhí)行以使用本文中公開的方法400至600。在基本配置中，計算設備700可以包括至少一個處理單元702和系統(tǒng)存儲器704。取決于計算設備的配置和類型，系統(tǒng)存儲器704可以包括但不限于易失性存儲裝置(例如，隨機存取存儲器)、非易失性存儲裝置(例如，只讀存儲器)、閃速存儲器、或這樣的存儲器的任何組合。系統(tǒng)存儲器704可以包括操作系統(tǒng)705、以及適于運行軟件應用720的一個或多個程序模塊706，諸如關于圖1-3的區(qū)分歧義請求應用以及具體地數(shù)字助理應用713或?qū)υ捘K711。例如，操作系統(tǒng)705可以適用于控制計算設備700的操作。此外，本公開的實施例可以結合圖形庫、其他操作系統(tǒng)、或任何其他應用程序來實踐，并且不限于任何特定的應用或系統(tǒng)。該基本配置在圖7中通過虛線708內(nèi)的這些組件來示出。計算設備700可以具有附加的特征或功能。例如，計算設備700還可以包括附加數(shù)據(jù)存儲設備(可移除和/或不可移除)，例如磁盤、光盤或磁帶。這樣的附加存儲裝置在圖7中通過可移除存儲設備709和不可移除存儲設備710來示出。

如上所述，可以將多個程序模塊和數(shù)據(jù)文件存儲在系統(tǒng)存儲器704中。當在處理單元702上執(zhí)行時，程序模塊706(例如，對話模塊711或數(shù)字助理應用713)可以執(zhí)行各種過程，包括但不限于如本文中描述的各方面?？梢愿鶕?jù)本公開的各方面，并且具體地針對上下文語言理解來使用的其他程序模塊可以包括單輪模型、多輪模型、組合模型、最終模型、和/或計算機輔助應用程序等。

此外，本公開的實施例可以在包括分立電子元件的電路、包含邏輯門的封裝或集成電子芯片、利用微處理器的電路中、或者在包含電子元件或微處理器的單個芯片上實踐。例如，可以經(jīng)由片上系統(tǒng)(soc)來實踐本公開的實施例，其中圖7所示的組件中的每個或多個可以集成為單個集成電路。這樣的soc設備可以包括一個或多個處理單元、圖形單元、通信單元、系統(tǒng)虛擬化單元和各種應用功能，所有這些都作為單個集成電路集成(或“燒錄”)到芯片基板上。當經(jīng)由soc操作時，本文中描述的關于客戶端切換協(xié)議的能力的功能可以經(jīng)由與單個集成電路(芯片)上的計算設備600的其他組件集成的專用邏輯來操作。本公開的實施例也可以使用能夠執(zhí)行諸如and(與)、or(或)和not(非)的邏輯運算的其他技術(包括但不限于機械、光學、流體和量子技術)來實踐。此外，本公開的實施例可以在通用計算機內(nèi)或者在任何其它電路或系統(tǒng)中實踐。

計算設備700還可以具有一個或多個輸入設備712，諸如鍵盤、鼠標、筆、聲音或語音輸入設備、觸摸或滑動輸入設備等。還可以包括一個或多個輸出設備714，諸如顯示器、揚聲器、打印機等。上述設備是示例，并且可以使用其他設備。計算設備700可以包括允許與其他計算設備718的通信的一個或多個通信連接716。合適的通信連接716的示例包括但不限于rf傳送器、接收器和/或收發(fā)器電路；通用串行總線(usb)、并行和/或串行端口。

本文中使用的術語計算機可讀介質(zhì)可以包括計算機存儲介質(zhì)。計算機存儲介質(zhì)可以包括以用于存儲信息(諸如計算機可讀指令、數(shù)據(jù)結構或程序模塊)的任何方法或技術實現(xiàn)的易失性和非易失性、可移除和不可移除介質(zhì)。系統(tǒng)存儲器704、可移除存儲設備709和不可移除存儲設備710都是計算機存儲介質(zhì)示例(例如，存儲器存儲裝置)。計算機存儲介質(zhì)可以包括ram、rom、電可擦除只讀存儲器(eeprom)、閃速存儲器或其他存儲器技術、cd-rom、數(shù)字通用盤(dvd)或其他光存儲裝置、磁帶盒、磁帶、磁盤存儲裝置或其他磁存儲設備、或者可以用于存儲信息并且可以由計算設備700訪問的任何其它制品。任何這樣的計算機存儲介質(zhì)可以是計算設備700的一部分。計算機存儲介質(zhì)不包括載波或其他傳播或調(diào)制數(shù)據(jù)信號。

通信介質(zhì)可以由計算機可讀指令、數(shù)據(jù)結構、程序模塊、或調(diào)制數(shù)據(jù)信號中的其他數(shù)據(jù)(諸如載波或其他傳輸機制)來實現(xiàn)，并且包括任何信息傳遞介質(zhì)。術語“調(diào)制數(shù)據(jù)信號”可以描述其一個或多個特征以使得能夠在信號中對信息進行編碼的方式被設置或改變的信號。作為示例而非限制，通信介質(zhì)可以包括諸如有線網(wǎng)絡或直接有線連接的有線介質(zhì)、以及諸如聲學、射頻(rf)、紅外和其它無線介質(zhì)的無線介質(zhì)。

圖8a和8b示出了可以實踐本公開的實施例的移動計算設備800，例如移動電話、智能電話、可穿戴計算機(諸如智能手表)、平板計算機、膝上型計算機等。在一些方面，客戶端可以是移動計算設備。參考圖8a，示出了用于實現(xiàn)這些方面的移動計算設備800的一個方面。在基本配置中，移動計算設備800是具有輸入元件和輸出元件二者的手持式計算機。移動計算設備800通常包括顯示器805和允許用戶將信息輸入到移動計算設備800中的一個或多個輸入按鈕810。移動計算設備800的顯示器805還可以用作輸入設備(例如，觸摸屏顯示)。如果被包括，則可選的附帶(side)輸入元件815允許進一步的用戶輸入。附帶輸入元件815可以是旋轉開關、按鈕或任何其它類型的手動輸入元件。在備選方面，移動計算設備800可以包含更多或更少的輸入元件。例如，在一些實施例中，顯示器805可以不是觸摸屏。在另一備選實施例中，移動計算設備800是便攜式電話系統(tǒng)，諸如蜂窩電話。移動計算設備800還可以包括可選的小鍵盤835。可選的小鍵盤835可以是理鍵盤或在觸摸屏顯示器上生成的物理小鍵盤或“軟件”小鍵盤。在各種實施例中，輸出元件包括用于示出圖形用戶界面(gui)的顯示器805、視覺指示器820(例如，發(fā)光二極管)、和/或音頻換能器825(例如，揚聲器)。在一些方面，移動計算設備800包括用于向用戶提供觸覺反饋的振動換能器。在另一方面，移動計算設備800包括輸入和/或輸出端口，諸如音頻輸入(例如，麥克風插孔)、音頻輸出(例如，耳機插孔)和視頻輸出(例如，hdmi端口)，用于向外部設備發(fā)送信號或從外部設備接收信號。

圖8b是示出移動計算設備的一個方面的架構的框圖。也就是說，移動計算設備800可以包括用以實現(xiàn)一些方面的系統(tǒng)(例如，架構)802。在一個實施例中，系統(tǒng)802被實現(xiàn)為能夠運行一個或多個應用(例如瀏覽器、電子郵件、日歷、聯(lián)系人管理器、消息客戶端、游戲和媒體客戶端/播放器)的“智能電話”。在一些方面，系統(tǒng)802被集成為計算設備，諸如集成的個人數(shù)字助理(pda)和無線電話。

一個或多個應用程序866可以被加載到存儲器862中并且在操作系統(tǒng)864上或與操作系統(tǒng)864相關聯(lián)地運行。應用程序的示例包括電話撥號程序、電子郵件程序、個人信息管理(pim)程序、文字處理程序、電子表格程序、因特網(wǎng)瀏覽器程序、消息程序等。系統(tǒng)802還包括在存儲器862內(nèi)的非易失性存儲區(qū)域868。非易失性存儲區(qū)域868可以用于存儲在系統(tǒng)802斷電的情況下不應該丟失的持久信息。應用程序866可以在非易失性存儲區(qū)域868中使用和存儲信息，諸如電子郵件或由電子郵件應用使用的其他消息等。同步應用(未示出)也駐留在系統(tǒng)802上，并且被編程為與駐留在主機計算機上的對應的同步應用交互，以保持存儲在非易失性存儲區(qū)域868中的信息與存儲在主計算機中的對應信息同步。應當理解，其他應用可以被加載到存儲器862中并且在移動計算設備800上運行，包括創(chuàng)建如本文中描述的日歷事件的指令(例如和/或可選地日歷事件創(chuàng)建模塊711)。

系統(tǒng)802具有電源870，電源870可以被實現(xiàn)為一個或多個電池。電源870還可以包括外部電源，諸如ac適配器或者對電池進行補充或再充電的電源對接支架。

系統(tǒng)802還可以包括執(zhí)行傳輸和接收射頻通信的功能的無線電裝置872。無線電裝置872經(jīng)由通信運營商或服務提供商來支持系統(tǒng)802和“外部世界”之間的無線連接。去往和來自無線電裝置872的傳輸在操作系統(tǒng)864的控制下進行。換言之，由無線電裝置872接收的通信可以經(jīng)由操作系統(tǒng)864傳播到應用程序866，反之亦然。

視覺指示器820可以用于提供視覺通知，和/或音頻接口874可以用于經(jīng)由音頻換能器825產(chǎn)生可聽通知。在所示實施例中，視覺指示器820是發(fā)光二極管(led)，并且音頻換能器825是揚聲器。這些設備可以直接耦合到電源870，使得在被激活時，它們在由通知機制指示的持續(xù)時間內(nèi)保持打開，即使處理器860和其他組件可能關閉用于節(jié)省電池電力。led可以被編程為無限期地(indefinitely)保持打開，直到用戶采取動作來指示設備的通電狀態(tài)。音頻接口874用于向用戶提供可聽信號以及從其接收可聽信號。例如，除了耦合到音頻換能器825之外，音頻接口874還可以耦合到麥克風以接收可聽輸入，諸如以支持電話交談。根據(jù)本公開的實施例，麥克風還可以用作音頻傳感器以支持對通知的控制，如下所述。系統(tǒng)802還可以包括使得車載攝像機830能夠記錄靜止圖像、視頻流等的視頻接口876。

實現(xiàn)系統(tǒng)802的移動計算設備800可以具有附加的特征或功能。例如，移動計算設備800還可以包括附加數(shù)據(jù)存儲設備(可移除和/或不可移除)，諸如磁盤、光盤或磁帶。這樣的附加存儲裝置在圖8b中通過非易失性存儲區(qū)域868來示出。

如上所述，由移動計算設備800生成或捕獲并且經(jīng)由系統(tǒng)802存儲的數(shù)據(jù)/信息可以本地存儲在移動計算設備800上，或者數(shù)據(jù)可以存儲在由設備經(jīng)由無線電裝置872或者經(jīng)由移動計算設備800與和移動計算設備800相關聯(lián)的單獨的計算設備(例如，分布式計算網(wǎng)絡(例如因特網(wǎng))中的服務器計算機)之間的有線連接來訪問的任何數(shù)目的存儲介質(zhì)上。應當理解，這樣的數(shù)據(jù)/信息可以經(jīng)由無線電裝置872或經(jīng)由分布式計算網(wǎng)絡經(jīng)由移動計算設備800來訪問。類似地，這樣的數(shù)據(jù)/信息可以根據(jù)公知的數(shù)據(jù)/信息傳輸和存儲裝置(包括電子郵件和協(xié)作的數(shù)據(jù)/信息共享系統(tǒng))容易地在計算設備之間傳送用于存儲和使用。

圖9示出了如上所述的用于處理來自遠程源的、在諸如計算設備904、平板計算機906或移動設備908的計算系統(tǒng)處接收的數(shù)據(jù)的系統(tǒng)的架構的一個方面。在服務器設備902處顯示的內(nèi)容可以存儲在不同的通信信道或其他存儲裝置類型中。例如，可以使用目錄服務922、門戶網(wǎng)站924、郵箱服務926、即時消息儲存庫928或社交網(wǎng)絡站點930來存儲各種文檔。數(shù)字助理應用713可以由與服務器902通信的客戶端使用。服務器902可以通過網(wǎng)絡915向以及從客戶端計算設備(諸如個人計算機904、平板計算設備906和/或移動計算設備908(例如，智能電話))提供數(shù)據(jù)。作為示例，上面參照圖1-3描述的計算機系統(tǒng)可以在個人計算機904、平板計算設備906和/或移動計算設備908(例如，智能電話)中實施。除了接收可用于在圖形發(fā)起系統(tǒng)預處理或者在接收計算系統(tǒng)處后處理的圖形數(shù)據(jù)，計算設備的這些實施例中的任一個還可以從儲存庫916獲取內(nèi)容。

圖10示出了可以執(zhí)行本文中公開的一個或多個方面的示例性平板計算設備1000。另外，本文中描述的各方面和功能可以在分布式系統(tǒng)(例如，基于云的計算系統(tǒng))上運行，其中應用功能、存儲器、數(shù)據(jù)存儲和檢索以及各種處理功能可以通過分布式計算網(wǎng)絡(諸如因特網(wǎng)或內(nèi)聯(lián)網(wǎng))彼此遠程地操作?？梢越?jīng)由車載計算設備顯示器或經(jīng)由與一個或多個計算設備相關聯(lián)的遠程顯示單元來顯示各種類型的用戶界面和信息。例如，各種類型的用戶界面和信息可以在壁表面上顯示和交互，各種類型的用戶界面和信息被投影到該壁表面上。與可以實踐本發(fā)明的實施例的多個計算系統(tǒng)的交互包括：擊鍵輸入、觸摸屏輸入、語音或其他音頻輸入、手勢條目，其中相關聯(lián)的計算設備配備有用于捕獲并且解釋用于控制計算設備的功能的用戶手勢的檢測(例如，相機)功能等。

在其他示例中，本公開提供了一種用于區(qū)分歧義請求的系統(tǒng)，包括：接收自然語言表達，其中自然語言表達包括文本的單詞、術語和短語中的至少一項；通過使用上下文信息從自然語言表達來創(chuàng)建對話假設集，其中對話假設集具有至少兩個對話假設；為對話假設集生成多個對話響應；基于對多個對話響應的分析來對對話假設集評級；并且基于對對話假設集評級來執(zhí)行動作。在另外的示例中，自然語言表達是口語輸入和文本輸入中的至少一項。在另外的示例中，上下文信息包括從先前接收的自然語言表達中提取的信息、對于先前接收的自然語言表達的響應、客戶端上下文和知識內(nèi)容中的至少一項。在另外的示例中，從先前接收的自然語言表達中提取的信息至少包括領域預測、意圖預測和槽類型。在另外的示例中，創(chuàng)建對話假設集包括：從自然語言表達中提取至少一個特征；以及生成至少兩個對話假設，其中對話假設集中的每個對話假設包括具有至少一個提取的特征的不同的自然語言表達。在另外的示例中，為對話假設集生成多個對話響應包括為對話假設集中的每個對話假設生成多個響應。在另外的示例中，為對話假設集生成多個對話響應包括以下中的至少一項：向web后端引擎發(fā)送對話假設，以及向領域特定的組件發(fā)送對話假設。在另外的示例中，基于對多個對話響應的分析來對對話假設集評級包括：從對話假設集中的至少兩個對話假設中提取特征；以及計算針對所提取的特征的得分，其中所計算的得分指示對話假設集內(nèi)的對話假設評級。在另外的示例中，基于對多個對話響應的分析來對對話假設評級包括將多個對話響應與多個記錄的對話響應相比較。在另外的示例中，基于對對話假設集評級來執(zhí)行動作包括：使用評級最高的對話假設來向web后端引擎查詢結果；并且將結果發(fā)送給客戶端計算設備的用戶。

本文中公開的其它方面提供了一種示例性系統(tǒng)，包括：用于接收多個自然語言表達的語音識別組件，其中多個自然語言表達包括文本的單詞、術語和短語中的至少一項；以及對話組件，其用于：從多個自然語言表達創(chuàng)建第一回退查詢，其中創(chuàng)建第一回退查詢包括連結多個自然語言表達；以及向后端引擎發(fā)送至少一個回退查詢用于從至少一個回退查詢來生成搜索結果。在另外的示例中，該系統(tǒng)還包括用于從后端引擎接收搜索結果的對話組件。在另外的示例中，該系統(tǒng)還包括用于對多個自然語言表達執(zhí)行停止詞刪除分析的對話組件。在另外的示例中，該系統(tǒng)還包括用于從多個自然語言表達創(chuàng)建第二回退查詢的對話組件，其中創(chuàng)建第二回退查詢包括連結對多個自然語言表達執(zhí)行的停止詞刪除分析。在另外的示例中，該系統(tǒng)還包括用于從多個自然語言表達中提取語義實體的對話組件。在另外的示例中，該系統(tǒng)還包括用于從多個自然語言表達創(chuàng)建第三回退查詢的對話組件，其中創(chuàng)建第三回退查詢包括連結從多個自然語言表達中提取的語義實體。

本文中公開的附加方面提供了用于訓練對話組件以區(qū)分歧義請求的示例性系統(tǒng)和方法，該方法包括：

通過使用上下文信息從自然語言表達來創(chuàng)建對話假設集，其中對話假設集具有至少兩個對話假設；為對話假設集生成多個對話響應；將多個對話響應與多個記錄的對話響應相比較；確定多個對話響應中的至少一個是否匹配記錄的對話響應中的至少一個；并且當確定多個對話響應中的至少一個匹配記錄的對話響應中的至少一個時，標記對話假設集中的兩個對話假設中與匹配至少一個記錄的對話響應的至少一個對話響應相對應的至少一個對話假設。在另外的示例中，多個記錄的對話響應包括從自然語言表達生成的多個響應。在另外的示例中，創(chuàng)建對話假設集包括：從自然語言表達中提取至少一個特征；以及生成至少兩個對話假設，其中對話假設集中的每個對話假設包括具有至少一個提取的特征的不同的自然語言表達。在另外的示例中，標記對話假設集中的兩個對話假設中與匹配至少一個記錄的對話響應的至少一個對話響應相對應的至少一個對話假設指示可以使用具有至少一個提取的特征的自然語言表達來生成相關的響應。

上面參考根據(jù)本公開的各方面的方法、系統(tǒng)和計算機程序產(chǎn)品的框圖和/或操作說明來描述本公開的各方面。框中記載的功能/動作可以不按照任何流程圖所示的順序發(fā)生。例如，取決于所涉及的功能/動作，連續(xù)示出的兩個框?qū)嶋H上可以基本上同時執(zhí)行，或者框有時可以以相反的順序執(zhí)行。

對在本申請中提供的一個或多個方面的描述和說明不旨在以任何方式限制或約束本公開的范圍。在本申請中提供的各方面、示例和細節(jié)被認為足以表達所有權，并且使其他人能夠制作和使用要求保護的公開的最佳模式。要求保護的公開不應被解釋為限于本申請中提供的任何方面、示例或細節(jié)。無論組合還是單獨示出和描述，不同的特征(結構和方法兩者)旨在被選擇性地包括或省略以產(chǎn)生具有特定特征集合的實施例。已經(jīng)提供了本申請的描述和說明，本領域技術人員可以想到落入沒有偏離要求保護的公開的更廣范圍的在本申請中實施的總體發(fā)明概念的更廣泛方面的精神內(nèi)的變化、修改和替代方面。