專利名稱：用于與用戶執(zhí)行對話通信的系統(tǒng)的方法
技術領域：
本發(fā)明涉及一種用于與用戶執(zhí)行對話通信的系統(tǒng)的方法。通過分析用戶的語音信號來產(chǎn)生并向用戶呈現(xiàn)語義項的一個候選列表。根據(jù)預定義的準則來執(zhí)行與候選列表中語義項之一相關聯(lián)的動作，除非用戶從候選列表中選擇一個不同的語義項。本發(fā)明進一步涉及到一種用在與用戶執(zhí)行對話通信的系統(tǒng)中的對話設備。
在本領域內(nèi)已普遍接受語音識別從未達到100％的精度。因此，處理錯誤與不確定性的方法是一個重要的研究領域?？捎玫姆椒ㄓ上嚓P系統(tǒng)的使用場景來決定。
僅語音對話的系統(tǒng)，類似基于電話的系統(tǒng)，主要使用澄清問題以及隱式的或顯式的驗證。主要用來將任意文本口述到字處理器中的系統(tǒng)可以提供從語音識別器遞送的候選列表得到的備選項，其中顯示器顯示該轉(zhuǎn)換后的文本。在此過程中產(chǎn)生了一組備選項，該備選項通常以樹狀圖形式表示，但可以被轉(zhuǎn)換為一個可能的字序列的列表。這就是通常所稱的n-最佳候選列表。一個口述系統(tǒng)可以顯示字的候選列表或者一個字序列的一部分，其中不同備選項之間的相似度足夠高，這樣用戶可以通過鍵盤命令來選擇最佳備選項。然而，這些系統(tǒng)卻不適合與用戶以交互的方式進行通信。
對于多模式口頭對話系統(tǒng)，即通過語音和一種附加模態(tài)控制的系統(tǒng)，執(zhí)行用戶命令的結(jié)果通常以候選列表的形式顯示出來。例如，由話音控制的電子節(jié)目指南顯示了關于查詢的最好結(jié)果。對于具有巨大詞匯和非常簡單的對話結(jié)構(gòu)的特定應用，類似在汽車導航系統(tǒng)中輸入目的地來進行路線規(guī)劃，在顯示器上顯示候選列表。現(xiàn)有技術的多模式口頭對話系統(tǒng)的問題在于候選列表是僅有的可能反應，它不可能基于該候選列表而繼續(xù)通信。由于缺少用戶與系統(tǒng)之間的交互通信，所以通信變得對用戶非常不友好。
本發(fā)明的目的是通過提供交互式的且用戶友好的方法和設備來執(zhí)行與用戶的對話通信，從而解決上述問題。
按照一個方面，本發(fā)明涉及一種與用戶執(zhí)行對話通信的系統(tǒng)的方法，該方法包括以下步驟
-記錄包括動作的請求的語音信號，該動作要由上述系統(tǒng)執(zhí)行，其中上述語音信號由上述用戶產(chǎn)生，-使用語音識別來分析上述記錄的語音信號，并將上述分析結(jié)果與系統(tǒng)中定義的預定義語義項進行比較，其中每個上述語義項都與一個動作相關聯(lián)，-根據(jù)上述比較來產(chǎn)生一個候選列表，其中上述候選列表標識了從上述預定義的語義項中選出的有限數(shù)量的語義項，-向上述用戶呈現(xiàn)上述候選列表，以及-執(zhí)行與上述候選列表中上述語義項之一相關聯(lián)的動作，該動作根據(jù)預定義的準則選出，除非上述用戶從上述候選列表中選擇了一個不同的語義項。
因此，候選列表在用戶與系統(tǒng)間提供了延續(xù)的交互通信，這使得通信對用戶非常友好。此外，由于限制了用戶可選擇的語義項，錯誤糾正的可能性得到了大幅提高。舉例而言，如果用戶請求包括播放一首特定歌曲，但是沒有找到與這首歌曲的精確匹配，那么顯示一個與被請求歌曲相匹配，即發(fā)音相似達到特定的預定義級別的歌曲列表。在這種情況下，用戶可能會根據(jù)被顯示的候選列表做出糾正。因為用戶的選擇僅僅基于候選列表，因此這大大降低了錯誤的風險。在另一個示例中，用戶的請求可能包括播放滾石樂隊(Rolling Stones)的一些東西。在這種情況下，產(chǎn)生的候選列表可能包括了滾石樂隊的所有歌曲。因此用戶可以根據(jù)上述候選列表選擇一首歌曲，即滾石樂隊的歌曲，或者系統(tǒng)在用戶沒有響應所顯示候選列表的情況下隨機地選擇一首歌曲。
在一個實施方案中，上述呈現(xiàn)的候選列表中的語義項包括了基于與用戶請求的不同匹配的各種可信度。
因此，當將該候選列表呈現(xiàn)給用戶的時候，與上述語義項相關聯(lián)的各種動作也可以以分選的形式呈現(xiàn)給用戶。例如第一個候選項是最佳匹配于用戶請求的候選項，第二個候選項是次最佳的候選項，等等。
在一個實施方案中，當將上述候選列表呈現(xiàn)給用戶時，上述候選列表中具有最高可信度的語義項被自動選中。
因此，用戶僅需要在具有最高可信度的候選項非正確候選項的情況下選擇一個語義項。所以上述候選列表的實際使用就被最小化了，因為很可能具有最高可信度的語義項就是正確選項。例如，用戶可能請求一個音樂自動點唱機來播放一首歌曲。在這種情況下，可能的候選列表包括與被請求歌曲具有相似發(fā)音(例如用戶的語音信號)的一首或多首歌曲。與被請求歌曲發(fā)音最接近的歌曲，即最佳匹配的那一首歌曲，因此可能是具有最高可信度的備選項。顯然，如果用戶僅僅需要在例如10％的情況下做出糾正的話，那么通信會被大幅改善。
在一個實施方案中，如果用戶沒有選擇上述候選列表中的任何語義項，那么上述候選列表中具有最高可信度的語義項被自動選中。
因此，沉默與贊成是一樣的。當用戶看到或聽到(這取決于候選列表是如何呈現(xiàn)的)具有最高可信度的備選項是正確的選項時，他/她不必做任何類型的確認。這又再次最小化了上述候選列表的實際使用。
在一個實施方案中，上述可能的候選列表在一個預定義的時間間隔內(nèi)呈現(xiàn)給用戶。
因此，不必為用戶呈現(xiàn)該候選列表達一個長的時間周期，且因此系統(tǒng)與用戶之間的交互也變得更延續(xù)。在前一實施方案中提到如果用戶沒有響應的話，一個語義項就被自動選中，舉例而言包括在例如5秒后自動選中它，即用戶有5秒去選擇另一個語義項。
在一個實施方案中，呈現(xiàn)上述候選列表給用戶包括向用戶顯示上述候選列表。
因此，提供了一種方便的備選方案來將候選列表呈現(xiàn)給用戶。更優(yōu)選地，自動檢查是否有顯示器存在。如果存在顯示器則可能使用該顯示器。
在一個實施方案中，將上述可能的候選列表呈現(xiàn)給用戶包括給用戶播放上述可能的候選列表。
因此，不需要顯示器來給用戶呈現(xiàn)候選列表。如果系統(tǒng)包括一個汽車導航系統(tǒng)，那么這是一個非常大的益處，在這里用戶可以在駕駛過程中與系統(tǒng)進行交互。
在又一方面，本發(fā)明涉及一種計算機可讀介質(zhì)，其中存儲的指令使處理單元執(zhí)行上述方法。
按照另一方面，本發(fā)明涉及一種要用在與用戶執(zhí)行對話通信的系統(tǒng)中的對話設備，該對話設備包括-一個記錄器，用于記錄包括動作的請求的語音信號，該動作要由上述系統(tǒng)執(zhí)行，其中上述語音信號由上述用戶產(chǎn)生，
-一個語音識別器，用于使用語音識別來分析上述記錄的語音信號，并將上述分析結(jié)果與系統(tǒng)中定義的預定義語義項進行比較，其中每個語義項都與一個動作相關聯(lián)，其中根據(jù)上述比較來產(chǎn)生一個候選列表，上述候選列表標識了從上述預定義的語義項中選出的有限數(shù)量的語義項，-用于將上述候選列表呈現(xiàn)給用戶的裝置，以及-用于執(zhí)行與上述候選列表中上述語義項之一相關聯(lián)的動作的裝置，該動作要根據(jù)預定義的準則而選出，除非上述用戶從上述候選列表中選擇了一個不同的語義項。
因此，提供了一個可以與各種系統(tǒng)相集成的對用戶友好的設備，該設備改善了上述用戶與系統(tǒng)間的對話通信。
在一個實施方案中，用于將上述候選列表呈現(xiàn)給上述用戶的裝置包括一個顯示器。
更優(yōu)選地，該設備適合于檢查一個顯示器是否存在，以及基于此而檢查是否應該向用戶顯示它。例如，該顯示器可被配備以一個觸摸屏等等，使得在必要時用戶可以通過點擊來執(zhí)行糾正。
在一個實施方案中，用于將上述候選列表呈現(xiàn)給上述用戶的裝置包括一個聲學設備。
因此，當例如顯示器不存在時，候選列表可以被大聲地播放給用戶。當然，系統(tǒng)可以同時被配備以顯示器和聲學設備，并且用戶可以命令該系統(tǒng)以對話的方式進行通信(例如因為用戶正在駕駛)，或者通過上述顯示器來通信。
下面將結(jié)合附圖，詳細地描述本發(fā)明且尤其是其優(yōu)選實施方案，在附圖中，

圖1以圖形方式例示了根據(jù)本發(fā)明的用戶與系統(tǒng)之間的對話通信，圖2例示了用于與用戶執(zhí)行對話通信的系統(tǒng)的方法的一個實施方案流程圖，圖3顯示了一個系統(tǒng)的示例，該系統(tǒng)包括了一個用于與用戶執(zhí)行對話通信的對話設備，以及圖4顯示了根據(jù)本發(fā)明的一個對話設備，該對話設備被用在與用戶執(zhí)行對話通信的系統(tǒng)中。
圖1以圖形方式例示了根據(jù)本發(fā)明的用戶105與系統(tǒng)101之間的對話通信。包括動作的請求的語音信號107由用戶產(chǎn)生并由系統(tǒng)101記錄，該動作要由上述系統(tǒng)101執(zhí)行。通過使用語音識別而對語音信號進行分析，并將分析結(jié)果與系統(tǒng)101中定義的預定義語義項103進行比較。這些語義項可以是要被系統(tǒng)執(zhí)行的動作，例如在系統(tǒng)101是音樂自動點唱機的情況下要播放不同的歌曲。分析可能包括在用戶請求的發(fā)音與預定義語義項103之間尋找匹配。根據(jù)該分析而產(chǎn)生一個候選列表109，該候選列表包括有限數(shù)量的語義項，例如111、113，它們符合與預定義語義項103的匹配準則。舉例而言，匹配準則可以包括所有的、有超過80％的可能性是正確匹配的匹配，這些匹配被認為是可能的候選項。這個候選列表109被呈現(xiàn)給用戶105，且與候選列表中語義項111、103之一相關聯(lián)的動作根據(jù)預定義準則被執(zhí)行，除非用戶105從上述候選列表中選擇了一個不同的語義項。例如，預定義準則可包括自動選擇與具有最佳匹配的語義項相關聯(lián)的動作，即具有最高可信度的動作。
圖2顯示了用于與用戶執(zhí)行對話通信的系統(tǒng)的方法的一個實施方案流程圖。在這個實施方案中，用戶的語音信號或用戶輸入(U_I)201包括要由上述系統(tǒng)執(zhí)行的動作的請求，該語音信號或者用戶輸入由語音識別器處理，該語音識別器根據(jù)與該系統(tǒng)中預定義語義項的最佳匹配來產(chǎn)生一個或多個備選項或者一個候選列表(C_L)203。例如，用戶的語音信號可以包括讓音樂自動點唱機播放由Pink Floyd演唱的“wish youwere here(希望你在這里)”的請求。根據(jù)用戶的語音信號(U_I)201，系統(tǒng)構(gòu)造一個候選列表，該候選列表按照與系統(tǒng)中預定義的語義項最佳匹配的次序排序，并且自動以最佳候選項(S_O)205開始所期望的操作，即播放與標題“wish you were here”最佳匹配的候選項。如果候選列表僅包括這一個候選項(O_C？)207，那么系統(tǒng)的正常操作將會繼續(xù)，例如，在設備是一個音樂自動點唱機時，正常顯示會繼續(xù)進行(E)217。
如果候選列表包括一個以上的候選項(O_C？)207，則通過例如給識別語法裝載候選條目(L_R_G)209，而將一個候選列表呈現(xiàn)(P_C_L)111給用戶。該候選列表可以例如包括一個具有相似發(fā)音的藝術家列表。候選列表可能被顯示達某一預定義的時間周期，因此用戶有機會選擇另一個候選條目，且由此執(zhí)行糾正。但是，如果在預定義的時間周期(T_O)213內(nèi)用戶沒有響應，則假定具有最佳匹配的候選項是正確的，例如，nr.l.列出的候選項。在兩種情況下，帶有候選條目的識別語法被卸載(U_R_G)215，且正常的顯示會繼續(xù)進行(E)217。
在一個實施方案中，如果在一個要形成的操作，例如播放一首歌曲的操作中，一個候選項具有非常高的可信度，則該請求被立即啟動，即該歌曲被播放，而不再提示具有低得多的可信度的可能候選列表。然而，如果該歌曲不正確，那么用戶可以通過例如再次重復標題來表明此情況。這優(yōu)選地將由該設備通過向用戶再提示可能的候選列表而進行響應。
在一個實施方案中，該候選列表被呈現(xiàn)，盡管候選列表中只含有一個合理的備選項。這是要提供有關設備對用戶輸入的解譯的反饋。舉例而言，如果設備與自動點唱機集成在一起，那么在歌曲被播放的同時，歌曲名也被顯示出來。
在一個實施方案中，該設備適合為該用戶顯示可尋址項。例如，在用戶的輸入是要播放滾石樂隊的一些東西的情況中，候選列表包括滾石樂隊的所有(或者部分)歌曲。
在一個實施方案中，用戶通過說出一個可選的候選項的名字、或者通過直接或由其在列表中的位置(例如“數(shù)字2”)命名想要的可選候選項來選擇一個候選條目。在后一情形中，語音識別器可能對數(shù)字是魯棒的。
在一個實施方案中，用戶通過使用一種指示形式(modality)，例如觸摸屏、遙控等，來選擇一個候選條目。
在一個實施方案中，最佳候選項可能由于用戶將不使用它而被排除在識別詞匯之外以便進行糾正，并且它不能被誤解為其它候選項。例如，用戶說“播放甲殼蟲樂隊(Beatles)的一些東西”，而設備將這個用戶輸入理解成“播放老鷹樂隊(Eagles)的一些東西”。當用戶注意到錯誤并重述“播放甲殼蟲樂隊的一些東西”時，該設備會排除老鷹樂隊，因為它在第一次時不正確。因此，對可能的候選項的選擇就減少了一個候選項，即老鷹樂隊。
在一個實施方案中，設備向用戶傳達哪些可尋址的條目是已知的。例如，在一個音樂自動點唱機的應用中，用戶不知道一首歌曲的正確名字，例如用戶說“Sergeant Peppers”，但是數(shù)據(jù)庫包括“SergeantPepper’s lonely heart”。因此，設備或者將這一個候選項建議給用戶，或者它立刻開始播放此歌曲。
圖3顯示了系統(tǒng)的示例，該系統(tǒng)包括了一個用于與用戶執(zhí)行對話通信的對話設備。用戶301可以與具有對話設備的電視303進行交互。當設備感測到監(jiān)視器存在時，它可能自動地使用該監(jiān)視器與用戶301進行交互，由此可激活且在電視監(jiān)視器上顯示一個候選列表，以及在一段時間后，例如5秒后，撤消(deactivate)該候選列表。當然，也可以通過對話來進行交互。例如，默認地，電視303在用戶301和對話設備之間進行交互期間被關閉。此外，如果用戶301在交互期間遇到問題，例如，因為環(huán)境噪聲級別突然增加，或者系統(tǒng)內(nèi)的一個新應用被首次使用，那么用戶301可以打開電視303并可獲得有關該設備理解什么的反饋以及選擇想要的備選項的可能性。
對話設備也可以與一臺計算機或者一個“家庭對話系統(tǒng)”305或類似的適合與用戶301以類似人類的方式進行交互的系統(tǒng)集成在一起。在這一示例中，進一步使用例如照相機的附加傳感器來作為一個交互代理。此外，對話設備可以集成到任何種類的移動設備307、觸摸墊板等等中。使用該設備的應用的另一個例子是汽車導航系統(tǒng)309。在所有這些情形中，對話設備適合于感測與用戶進行交互的方式，即是通過對話還是獨白。
圖4顯示了根據(jù)本發(fā)明的一個對話設備400，該對話設備要用在與用戶105執(zhí)行對話通信的系統(tǒng)101中，其中對話設備400包括記錄器(Rec)401、語音識別器(S_R)402、顯示設備(Disp)403和/或聲學設備(Ac_D)404以及處理器(P)405。
記錄器(Rec)401記錄來自用戶105的語音信號107，其中該語音信號107可例如包括讓音樂自動點唱機播放一首歌曲的請求。然后，語音識別器(S_R)402使用語音識別來分析記錄的語音信號107，并將上述來自分析的結(jié)果與系統(tǒng)101中定義的以及/或預存儲的預定義語義項103進行比較。如果分析結(jié)果包括多個可能的候選備選項，則基于與系統(tǒng)101中預定義語義項103的最佳匹配來產(chǎn)生一個候選列表。然后，顯示設備(Disp)403和/或聲學設備(Ac_D)404將候選列表109呈現(xiàn)給上述用戶105。這可以通過例如在電視監(jiān)視器上顯示該候選列表、或通過向用戶播放它來完成。這典型地是候選列表包括一個以上候選項的情況。
處理器(P)405可以例如被預先編程，因此在預定義的時間后它自動選擇最佳匹配的候選項，例如，nr.l.列出的候選項要被播放。此外，在候選列表僅包括一個候選項的情況下，系統(tǒng)的正常操作繼續(xù)，例如，在設備是一個音樂自動點唱機的情況下，候選項被自動播放。
值得指出的是，上述實施方案是舉例說明而不是限制本發(fā)明，本領域技術人員在不脫離所附權(quán)利要求范圍的情況下將能夠設計出多種替代實施方案。在權(quán)利要求中，任何置于括號間的參考符號都不應解釋為限制權(quán)利要求。單詞“包括”并不排除權(quán)利要求中記載之外的其它元件和步驟的存在。本發(fā)明可借助包含幾個不同元件的硬件以及借助一個合適編程的計算機來實現(xiàn)。在枚舉了幾個裝置的設備權(quán)利要求中，這些裝置中的幾個裝置可以由同一個硬件項來體現(xiàn)。僅僅是某些措施在一些互不相同的從屬權(quán)利要求中記載的事實并不表示不能使用這些措施的組合來獲益。
權(quán)利要求
1.一種用于與用戶(105)執(zhí)行對話通信的系統(tǒng)(101)的方法，該方法包括如下步驟記錄包括動作的請求的語音信號(107)，該動作要由上述系統(tǒng)執(zhí)行，其中上述語音信號(107)由上述用戶(105)產(chǎn)生，使用語音識別來分析上述記錄的語音信號，并將上述分析結(jié)果與系統(tǒng)(101)中定義的預定義語義項(103)進行比較，其中每個上述語義項(103)都與一個動作相關聯(lián)，根據(jù)上述比較產(chǎn)生一個候選列表(109)，其中上述候選列表(109)標識了從上述預定義的語義項(103)中選出的有限數(shù)量的語義項(111，113)向上述用戶(105)呈現(xiàn)上述候選列表(109)，以及執(zhí)行與上述候選列表(109)中上述語義項(111，113)之一相關聯(lián)的動作，該動作根據(jù)預定義的準則選出，除非上述用戶(105)從上述候選列表(109)中選擇了一個不同的語義項。
2.根據(jù)權(quán)利要求1的方法，其中上述被呈現(xiàn)的候選列表(109)中的上述語義項(111，113)包括基于用戶請求的不同匹配的各種可信度。
3.根據(jù)權(quán)利要求1或2的方法，其中當將上述候選列表(109)呈現(xiàn)給用戶(105)時，來自上述候選列表(109)中的具有最高可信度的語義項(111，113)被自動選中。
4.根據(jù)權(quán)利要求1至3中任何一項的方法，其中如果用戶(105)沒有從上述候選列表(109)中選擇任何語義項，則來自上述候選列表(109)中具有最高可信度的語義項(111，113)被自動選中。
5.根據(jù)權(quán)利要求1至4中任何一項的方法，其中上述候選列表(109)呈現(xiàn)給用戶達一個預定義的時間間隔。
6.根據(jù)權(quán)利要求1至5中任何一項的方法，其中呈現(xiàn)上述候選列表(109)給用戶(105)包括顯示上述候選列表(109)給用戶(105)。
7.根據(jù)權(quán)利要求1至6中任何一項的方法，其中呈現(xiàn)上述候選列表(109)給用戶(105)包括播放上述候選列表(109)給用戶(105)。
8.一種計算機可讀介質(zhì)，其中存儲的指令使處理單元執(zhí)行方法1至7。
9.一種用在與用戶(105)執(zhí)行對話通信的系統(tǒng)(101)中的對話設備(400)，包括-一個記錄器(401)，用于記錄包括動作的請求的語音信號(107)，該動作要由上述系統(tǒng)(101)執(zhí)行，其中上述語音信號(107)由上述用戶(105)產(chǎn)生，-一個語音識別器(402)，用于使用語音識別來分析上述記錄的語音信號(107)，并將上述分析結(jié)果與系統(tǒng)(101)中定義的預定義語義項(103)進行比較，其中上述每個語義項(103)都與一個動作相關聯(lián)，其中根據(jù)上述比較來產(chǎn)生一個候選列表(109)，上述候選列表(109)標識了從上述預定義的語義項(103)中選出的有限數(shù)量的語義項(111，113)，-用于將上述候選列表(109)呈現(xiàn)給上述用戶(105)的裝置(403，404)，以及-用于執(zhí)行與上述候選列表(109)中上述語義項(111，113)之一相關聯(lián)的動作的裝置(405)，該動作要根據(jù)預定義的準則選出，除非上述用戶(105)從上述候選列表(109)中選擇了一個不同的語義項。
10.根據(jù)權(quán)利要求9的對話設備，其中將上述候選列表(109)呈現(xiàn)給上述用戶(105)的上述裝置包括一個顯示器(403)。
11.根據(jù)權(quán)利要求9的對話設備，其中將上述候選列表(109)呈現(xiàn)給上述用戶(105)的上述裝置包括一個聲學設備(404)。
全文摘要
本發(fā)明涉及一種用于與用戶(105)執(zhí)行對話通信的系統(tǒng)(101)的方法。用戶的語音信號(107)被記錄并進行分析，該語音信號包括對要由系統(tǒng)(101)執(zhí)行的動作的請求。分析的結(jié)果與系統(tǒng)(101)中定義的預定義語義項(103)進行比較，其中每個語義項都與一個動作相關聯(lián)。根據(jù)上述比較來產(chǎn)生并向用戶(105)呈現(xiàn)一個候選列表(109)，這個列表標識了從預定義的語義項(103)中選出的有限數(shù)量的語義項(111，113)。與候選列表(109)中語義項之一相關聯(lián)的動作根據(jù)預定義的準則被執(zhí)行，除非用戶(105)從候選列表(109)中選擇一個不同的語義項。
文檔編號G10L15/22GK1993732SQ200580026667
公開日2007年7月4日 申請日期2005年7月27日 優(yōu)先權(quán)日2004年8月6日
發(fā)明者T·波特勒, H·肖爾, F·薩森謝德特, J·F·馬施納 申請人:皇家飛利浦電子股份有限公司