語音控制用戶界面的方法及裝置制造方法
【專利摘要】本發(fā)明公開了語音控制用戶界面的方法及裝置。方法包括：當(dāng)一用戶界面即將載入運(yùn)行時(shí)，遍歷該用戶界面上的元素，分別從每個(gè)元素中抽取該元素的標(biāo)簽，將抽取的所有界面元素標(biāo)簽保存到運(yùn)行時(shí)標(biāo)簽庫；當(dāng)接收到用戶輸入的語音時(shí)，將該語音與運(yùn)行時(shí)標(biāo)簽庫中的各界面元素標(biāo)簽一一匹配，若匹配上，則對匹配的元素標(biāo)簽進(jìn)行語義分析，根據(jù)語義分析結(jié)果對界面元素進(jìn)行預(yù)定義的操作。本發(fā)明提高了語音控制用戶界面的效率。
【專利說明】語音控制用戶界面的方法及裝置
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及用戶界面【技術(shù)領(lǐng)域】，具體涉及語音控制用戶界面的方法及裝置。
【背景技術(shù)】
[0002]當(dāng)前的很多軟件采取圖形用戶界面(⑶I,Graphical User Interface)的形式,允許用戶通過鼠標(biāo)、鍵盤、觸摸屏等與GUI交互。隨著計(jì)算機(jī)技術(shù)的飛速發(fā)展，各種便攜式可視裝備不斷涌現(xiàn)，如智能眼鏡、智能手表等等。其中，很多裝備是不方便用手操作的，語音控制是一種很好的替代方案。
[0003]傳統(tǒng)的軟件用戶界面僅考慮可視表現(xiàn)而開發(fā)，對于有助于語音交互的界面開發(fā)細(xì)節(jié)關(guān)注不夠。目前存在各種技術(shù)以提供更好的語音人機(jī)交互，其中很多注重于創(chuàng)建可結(jié)合的更易于語音輸入交互的新交互風(fēng)格，如CommandTalk、ATIS、ELVIS、SUITEKeys等等。SUITEKeys直接模擬用手移動鼠標(biāo)并且按各個(gè)鍵的交互。這些系統(tǒng)側(cè)重于提供用于口頭人機(jī)交互的改進(jìn)型模型，從而在根本上改變交互風(fēng)格。
[0004]近年來，已有一些影響較大的實(shí)用的語音識別控制系統(tǒng)推出，如GoogleVoice、Apple Siri等等。Google Voice對語音輸入的語法結(jié)構(gòu)和格式要求較高，Apple Siri則更注重結(jié)合上下文的語義智能分析。
[0005]當(dāng)前的語音識別控制系統(tǒng)通過語音識別進(jìn)行語義的智能分析和系統(tǒng)功能的調(diào)用。在語音輸入的結(jié)構(gòu)上，現(xiàn)有的語音控制系統(tǒng)可以分為兩種:
[0006]一、要求語音輸入具備嚴(yán)格的語法結(jié)構(gòu)和格式，否則系統(tǒng)將無法識別。這種方式的控制系統(tǒng)又可分為兩類:
[0007]第一類需要預(yù)先注冊可以處理的一系列語音命令，并指定一個(gè)或多個(gè)語音命令的執(zhí)行可能使用的用戶界面執(zhí)行的一個(gè)或多個(gè)語義操作信號。這一類集中在對設(shè)備常用功能的控制，普適性不佳，不易擴(kuò)展。
[0008]第二類采用預(yù)定義的規(guī)則，解析UI框架(framework)元素，使UIframework支持語音，以便用戶可使用語音命令與一些用戶界面元素交互。這種方法普適性很好，目前基于這種方法的已有系統(tǒng)的主要問題是不夠智能，用戶體驗(yàn)不佳。
[0009]二、對輸入沒有嚴(yán)格要求，針對用戶的語音輸入會結(jié)合上下文進(jìn)行語義的智能分析，根據(jù)分析的結(jié)果進(jìn)行合適的處理。這類系統(tǒng)更加智能，人機(jī)互動方面，表現(xiàn)比較出色；最大的缺點(diǎn)是在實(shí)際的系統(tǒng)表現(xiàn)中，語義的分析目前遠(yuǎn)不夠準(zhǔn)確，經(jīng)常會出現(xiàn)答非所問的情況。

【發(fā)明內(nèi)容】

[0010]本發(fā)明提供語音控制用戶界面的方法及裝置，以提高語音控制用戶界面的效率。
[0011]本發(fā)明的技術(shù)方案是這樣實(shí)現(xiàn)的:
[0012]一種語音控制用戶界面的方法，該方法包括:
[0013]當(dāng)一用戶界面即將載入運(yùn)行時(shí)，遍歷該用戶界面上的元素，分別從每個(gè)元素中抽取該元素的標(biāo)簽，將抽取的所有界面元素標(biāo)簽保存到運(yùn)行時(shí)標(biāo)簽庫；
[0014]當(dāng)接收到用戶輸入的語音時(shí)，將該語音與運(yùn)行時(shí)標(biāo)簽庫中的各界面元素標(biāo)簽一一匹配，若匹配上，則對匹配的元素標(biāo)簽進(jìn)行語義分析，根據(jù)語義分析結(jié)果對界面元素進(jìn)行預(yù)定義的操作。
[0015]所述分別從每個(gè)元素中抽取該元素的標(biāo)簽為:
[0016]當(dāng)界面元素為下拉列表時(shí)，抽取該下拉列表的各列表項(xiàng)文本作為該下拉列表的標(biāo)簽;
[0017]當(dāng)界面元素為文本框時(shí)，抽取該文本框的預(yù)設(shè)的只讀顏色的文本作為該文本框的標(biāo)簽；
[0018]當(dāng)界面元素為文本區(qū)域時(shí)，抽取該文本區(qū)域的預(yù)設(shè)的只讀顏色的文本作為該文本區(qū)域的標(biāo)簽；
[0019]當(dāng)界面元素為列表框時(shí)，抽取該列表框中各個(gè)欄目item對應(yīng)的單item文本或多個(gè)子item文本作為該列表框的標(biāo)簽；
[0020]當(dāng)界面元素為網(wǎng)格視圖時(shí)，抽取該網(wǎng)格視圖中各個(gè)item對應(yīng)的單item文本或多個(gè)子item文本作為該網(wǎng)格視圖的標(biāo)簽；
[0021]當(dāng)界面元素為復(fù)選框時(shí)，抽取該復(fù)選框中各個(gè)item對應(yīng)的單item文本或多個(gè)子item文本作為該復(fù)選框的標(biāo)簽；
[0022]當(dāng)界面元素為單選按鈕時(shí)，抽取該單選按鈕中各個(gè)item對應(yīng)的單item文本或多個(gè)子item文本作為該單選框的標(biāo)簽；
[0023]當(dāng)界面元素為按鈕時(shí)，抽取該按鈕上的文字作為該按鈕的標(biāo)簽；
[0024]當(dāng)界面元素為拖動條時(shí),抽取該拖動條的描述性標(biāo)記label作為該拖動條的標(biāo)簽;
[0025]當(dāng)界面元素為日期和時(shí)間控件時(shí)，抽取該控件的描述性label作為該控件的標(biāo)簽;
[0026]當(dāng)界面元素為圖片切換控件或滾動視圖控件時(shí)，當(dāng)該控件未聚焦時(shí)，若該控件自帶描述性label，則抽取該描述性label作為該控件的標(biāo)簽，若該控件不帶描述性label，則將為該控件預(yù)設(shè)的標(biāo)簽作為該控件的標(biāo)簽；當(dāng)該控件聚焦時(shí)，抽取控件的用戶界面動作作為該控件的標(biāo)簽；
[0027]當(dāng)界面元素為組編輯區(qū)域時(shí)，對于每個(gè)窗口小部件widget的每個(gè)可編輯區(qū)域，若該可編輯區(qū)域自帶描述性label，則抽取該描述性label作為該可編輯區(qū)域的標(biāo)簽，否則，抽取該可編輯區(qū)域所屬的widget的描述性label作為該可編輯區(qū)域的標(biāo)簽。
[0028]所述遍歷該用戶界面上的元素為:
[0029]對于每個(gè)即將載入運(yùn)行的用戶界面，分別遍歷各用戶界面上的元素；
[0030]或者，只遍歷最前端的活動界面上的元素。
[0031]所述匹配上為:完全匹配上；
[0032]且，所述將該語音與運(yùn)行時(shí)標(biāo)簽庫中的各界面元素標(biāo)簽一一匹配之后進(jìn)一步包括:若語音的一部分與一界面元素標(biāo)簽匹配上，則對匹配的元素標(biāo)簽進(jìn)行語義分析，根據(jù)語義分析結(jié)果對界面元素進(jìn)行預(yù)定義的操作，然后將語音的另一部分作為該界面元素的內(nèi)容輸入。[0033]所述將該語音與運(yùn)行時(shí)標(biāo)簽庫中的各界面元素標(biāo)簽一一匹配之后進(jìn)一步包括:若未匹配上，則判斷當(dāng)前可視用戶界面上是否有可輸入的聚焦元素，若是，則將語音作為該元素的內(nèi)容輸入；否則，丟棄該語音。
[0034]所述將該語音與運(yùn)行時(shí)標(biāo)簽庫中的各界面元素標(biāo)簽一一匹配為:
[0035]將該語音與運(yùn)行時(shí)標(biāo)簽庫中屬于當(dāng)前可視范圍內(nèi)的各界面元素的標(biāo)簽一一匹配。
[0036]所述匹配上之后、對匹配的元素標(biāo)簽進(jìn)行語義分析之前進(jìn)一步包括:
[0037]判斷匹配的標(biāo)簽是否可見，若是，執(zhí)行所述對匹配的元素標(biāo)簽進(jìn)行語義分析的動作；否則，不作進(jìn)一步處理。
[0038]一種語音控制用戶界面的裝置，該裝置包括:解析器、運(yùn)行時(shí)標(biāo)簽庫、語音識別引擎、分析引擎和執(zhí)行引擎，其中:
[0039]解析器:當(dāng)一用戶界面即將載入運(yùn)行時(shí)，遍歷該用戶界面上的元素，分別從每個(gè)元素中抽取該元素的標(biāo)簽，將抽取的所有界面元素標(biāo)簽保存到運(yùn)行時(shí)標(biāo)簽庫；
[0040]運(yùn)行時(shí)標(biāo)簽庫:保存解析器抽取的用戶界面元素標(biāo)簽；
[0041]語音識別引擎:當(dāng)接收到用戶輸入的語音時(shí)，將該語音與運(yùn)行時(shí)標(biāo)簽庫中的各界面元素標(biāo)簽一一匹配，若匹配上，則將匹配的界面元素標(biāo)簽發(fā)送給分析引擎；
[0042]分析引擎:對匹配的元素標(biāo)簽進(jìn)行語義分析，根據(jù)語義分析結(jié)果調(diào)用執(zhí)行引擎對界面元素進(jìn)行預(yù)定義的操作；
[0043]執(zhí)行引擎:接受分析引擎的調(diào)用，對界面元素執(zhí)行預(yù)定義的操作。
[0044]所述解析器進(jìn)一步用于，當(dāng)分別從每個(gè)元素中抽取該元素的標(biāo)簽時(shí)，
[0045]若界面元素為下拉列表，抽取該下拉列表的各列表項(xiàng)文本作為該下拉列表的標(biāo)簽;
[0046]若界面元素為文本框，抽取該文本框的預(yù)設(shè)的只讀顏色的文本作為該文本框的標(biāo)簽;
[0047]若界面元素為文本區(qū)域，抽取該文本區(qū)域的預(yù)設(shè)的只讀顏色的文本作為該文本區(qū)域的標(biāo)簽；
[0048]若界面元素為列表框，抽取該列表框中各個(gè)欄目item對應(yīng)的單item文本或多個(gè)子item文本作為該列表框的標(biāo)簽；
[0049]若界面元素為網(wǎng)格視圖，抽取該網(wǎng)格視圖中各個(gè)item對應(yīng)的單item文本或多個(gè)子item文本作為該網(wǎng)格視圖的標(biāo)簽；
[0050]若界面元素為復(fù)選框，抽取該復(fù)選框中各個(gè)item對應(yīng)的單item文本或多個(gè)子item文本作為該復(fù)選框的標(biāo)簽；
[0051]若界面元素為單選按鈕，抽取該單選按鈕中各個(gè)item對應(yīng)的單item文本或多個(gè)子item文本作為該單選框的標(biāo)簽；
[0052]若界面元素為按鈕，抽取該按鈕上的文字作為該按鈕的標(biāo)簽；
[0053]若界面元素為拖動條,抽取該拖動條的描述性標(biāo)記label作為該拖動條的標(biāo)簽；
[0054]若界面元素為日期和時(shí)間控件，抽取該控件的描述性label作為該控件的標(biāo)簽；
[0055]若界面元素為圖片切換控件和滾動視圖控件，當(dāng)該控件未聚焦時(shí)，若該控件自帶描述性label,則抽取該描述性label作為該控件的標(biāo)簽,若該控件不帶描述性label,則將為該控件預(yù)設(shè)的標(biāo)簽作為該控件的標(biāo)簽；當(dāng)該控件聚焦時(shí)，則抽取控件的用戶界面動作作為該控件的標(biāo)簽；
[0056]若界面元素為組編輯區(qū)域，對于每個(gè)widget的每個(gè)可編輯區(qū)域，若該可編輯區(qū)域自帶描述性label，則抽取該描述性label作為該可編輯區(qū)域的標(biāo)簽，否則，抽取該可編輯區(qū)域所屬的widget的描述性label作為該可編輯區(qū)域的標(biāo)簽。
[0057]所述解析器進(jìn)一步用于，當(dāng)遍歷用戶界面上的元素時(shí)，對于每個(gè)即將載入運(yùn)行的用戶界面，分別遍歷各用戶界面上的元素；或者，只遍歷最前端的活動界面上的元素。
[0058]所述語音識別引擎進(jìn)一步用于，若發(fā)現(xiàn)用戶的語音與運(yùn)行時(shí)標(biāo)簽庫中的一界面元素標(biāo)簽完全匹配上，則將“標(biāo)簽+內(nèi)容”發(fā)送給分析引擎，其中，“標(biāo)簽”為匹配上的界面元素標(biāo)簽，“內(nèi)容”為空，若語音的一部分與運(yùn)行時(shí)標(biāo)簽庫中的一界面元素標(biāo)簽匹配上，則將“標(biāo)簽+內(nèi)容”發(fā)送給分析引擎，其中，“標(biāo)簽”為匹配上的界面元素標(biāo)簽，“內(nèi)容”為未匹配的語音部分；若未匹配上，將“標(biāo)簽+內(nèi)容”發(fā)送給分析引擎，其中，“標(biāo)簽”為空，“內(nèi)容”為語音；
[0059]且，所述分析引擎進(jìn)一步用于，當(dāng)發(fā)現(xiàn)語音識別引擎發(fā)來的“標(biāo)簽+內(nèi)容”中的“內(nèi)容”為空時(shí)，對“標(biāo)簽”進(jìn)行語義分析，根據(jù)語義分析結(jié)果對界面元素進(jìn)行預(yù)定義的操作；若發(fā)現(xiàn)“標(biāo)簽”和“內(nèi)容”都不為空，則先對“標(biāo)簽”進(jìn)行語義分析，根據(jù)語義分析結(jié)果對界面元素進(jìn)行預(yù)定義的操作，然后將“內(nèi)容”作為該界面元素的內(nèi)容輸入；若發(fā)現(xiàn)“標(biāo)簽”為空，則將“內(nèi)容”作為當(dāng)前可視范圍內(nèi)可輸入的聚焦元素的內(nèi)容輸入。
[0060]所述分析引擎進(jìn)一步用于，當(dāng)接收到語音識別引擎發(fā)來的標(biāo)簽時(shí)，先判斷標(biāo)簽是否可見，若是，執(zhí)行所述對匹配的元素標(biāo)簽進(jìn)行語義分析的動作；否則，不作進(jìn)一步處理。
[0061]與現(xiàn)有技術(shù)相比，本發(fā)明提高了語音控制用戶界面的效率。
【專利附圖】

【附圖說明】
[0062]圖1為本發(fā)明實(shí)施例提供的語音控制用戶界面的裝置的組成示意圖；
[0063]圖2為本發(fā)明實(shí)施例提供的語音控制用戶界面的方法流程圖；
[0064]圖3為本發(fā)明應(yīng)用示例的示意圖。
【具體實(shí)施方式】
[0065]下面結(jié)合附圖及具體實(shí)施例對本發(fā)明再作進(jìn)一步詳細(xì)的說明。
[0066]圖1為本發(fā)明實(shí)施例提供的語音控制用戶界面的裝置的組成示意圖，如圖1所示，其主要包括:解析器11、運(yùn)行時(shí)標(biāo)簽庫12、語音識別引擎13、分析引擎14、執(zhí)行引擎15。
[0067]通過該語音控制用戶界面的裝置對用戶界面進(jìn)行語音控制的過程如圖2所示:
[0068]圖2為本發(fā)明實(shí)施例提供的語音控制用戶界面的方法流程圖，如圖2所示，其具體步驟如下:
[0069]步驟200:預(yù)先設(shè)定用戶界面元素標(biāo)簽抽取規(guī)則。
[0070]用戶界面元素如:下拉列表、文本框、文本區(qū)域、列表框、網(wǎng)格視圖、復(fù)選框、單選按鈕、按鈕、拖動條、日期和時(shí)間控件、圖片切換控件、滾動視圖、組編輯區(qū)域等。
[0071]為提供更好的用戶體驗(yàn)，用戶界面元素標(biāo)簽應(yīng)該是Π可見的，可以是半透明或不透明的，且在視覺上與對應(yīng)的可操作的用戶界面元素緊密關(guān)聯(lián)，簡稱可關(guān)聯(lián)或可聯(lián)想的，這就要求Π的設(shè)計(jì)必須符合一定的規(guī)范:每一個(gè)可輸入的用戶界面元素，都有一個(gè)或多個(gè)標(biāo)簽與其對應(yīng)。[0072]不同的用戶界面元素其標(biāo)簽是不同的，以下給出不同用戶界面元素的標(biāo)簽抽取規(guī)則:
[0073]I)下拉列表:其標(biāo)簽即為列表項(xiàng)文本。
[0074]2)文本框或文本區(qū)域:其標(biāo)簽即為預(yù)設(shè)的只讀顏色的文本。
[0075]3)列表框或網(wǎng)格視圖:其標(biāo)簽為列表框或網(wǎng)格視圖中的各個(gè)欄目(item)對應(yīng)的一個(gè)單item文本或多個(gè)子item文本。
[0076]一個(gè)列表框或者一個(gè)網(wǎng)格視圖是由多個(gè)item組成的，而每個(gè)item又由簡單文本或者多個(gè)子item組合而成,這樣每個(gè)item對應(yīng)一個(gè)單item文本或者多個(gè)子item文本。
[0077]4)復(fù)選框或單選按鈕:其標(biāo)簽為復(fù)選框或單選按鈕中的各個(gè)item對應(yīng)的一個(gè)文本或多個(gè)子item文本。
[0078]5)按鈕:其標(biāo)簽為按鈕上的文字。
[0079]6)拖動條:其標(biāo)簽為該拖動條的描述性標(biāo)記(label)。
[0080]拖動條即為可以拖動的進(jìn)度條。
[0081]7)日期和時(shí)間控件:其標(biāo)簽為該空間的描述性label。
[0082]8)圖片切換控件和滾動視圖等控件:未聚焦時(shí)，若控件自帶描述性label，則其標(biāo)簽為該描述性label，若控件不帶描述性label，則為該控件預(yù)先設(shè)置標(biāo)簽，如通過setTag方式為該控件設(shè)置標(biāo)簽；聚焦時(shí)，將控件的用戶界面動作如“放大”、“縮小”、“向上滾動”、“向下滾動”等作為其標(biāo)簽。
[0083]9)組編輯區(qū)域(EditField):組編輯區(qū)域的每個(gè)窗口小部件(widget)由描述性label和可編輯區(qū)域組成，可編輯區(qū)域如:文本框、下拉列表等。對于每個(gè)可編輯區(qū)域，若該可編輯區(qū)域自帶描述性label，則該描述性label為該可編輯區(qū)域的標(biāo)簽，否則，該可編輯區(qū)域所屬的widget的描述性label為該可編輯區(qū)域的標(biāo)簽。
[0084]步驟201:定義各用戶界面。
[0085]一個(gè)用戶界面由一種或多種界面元素組成，不同的用戶界面由不同組合的界面元素構(gòu)成。
[0086]步驟202:檢測到一用戶界面即將載入運(yùn)行，將該用戶界面發(fā)送給解析器11。
[0087]本步驟中，可以將即將載入運(yùn)行的用戶界面都發(fā)給解析器11，也可以只將最前端的活動界面發(fā)送給解析器11。
[0088]可由用戶界面控制模塊將用戶界面發(fā)送給解析器11。
[0089]步驟203:解析器11遍歷用戶界面元素，根據(jù)預(yù)先設(shè)定的用戶界面元素標(biāo)簽抽取規(guī)則，得到每個(gè)元素的標(biāo)簽，將所有元素的標(biāo)簽存入運(yùn)行時(shí)標(biāo)簽庫12，并將運(yùn)行時(shí)標(biāo)簽庫12注冊到語音識別引擎13。
[0090]這里，解析器11將運(yùn)行時(shí)標(biāo)簽庫12注冊到語音識別引擎13，其具體實(shí)現(xiàn)例如:解析器11可將運(yùn)行時(shí)標(biāo)簽庫12的位置通知語音識別引擎13。
[0091]步驟204:當(dāng)語音識別引擎13接收到用戶發(fā)出的語音時(shí)，識別該語音，將該語音與運(yùn)行時(shí)標(biāo)簽庫12中的各用戶界面元素標(biāo)簽一一匹配。
[0092]步驟205:語音識別引擎13判斷是否匹配上，若是，執(zhí)行步驟206 ;否則，執(zhí)行步驟208。
[0093]本步驟中，語音識別引擎在進(jìn)行匹配操作時(shí)，可以限定匹配范圍是:當(dāng)前可視范圍內(nèi)的界面元素的標(biāo)簽。
[0094]本步驟中，對于不同的界面元素的標(biāo)簽，其匹配方式有所不同，匹配成功后執(zhí)行的操作也不同，具體如下:
[0095]I)下拉列表
[0096]由于其標(biāo)簽是列表項(xiàng)文本，則對應(yīng)的用戶語音即為列表項(xiàng)文本的內(nèi)容。若用戶的語音與運(yùn)行時(shí)標(biāo)簽庫中一列表項(xiàng)文本匹配上，則匹配成功。
[0097]當(dāng)該下拉列表未展開時(shí)，運(yùn)行時(shí)標(biāo)簽庫12中只有當(dāng)前選中的列表項(xiàng)文本；當(dāng)該下拉列表展開時(shí)，運(yùn)行時(shí)標(biāo)簽庫12中包含了該下拉列表的所有列表項(xiàng)文本。
[0098]若在該下拉列表未聚焦(即未展開)時(shí)匹配成功，控件改為聚焦?fàn)顟B(tài)，觸發(fā)聚焦事件；若在該下拉列表聚焦時(shí)匹配成功，則觸發(fā)匹配列表項(xiàng)的點(diǎn)擊(onclick)事件。
[0099]2)文本框或文本區(qū)域
[0100]由于其標(biāo)簽為預(yù)設(shè)的只讀顏色的文本，則對應(yīng)的用戶語音即為預(yù)設(shè)的只讀顏色的文本的內(nèi)容。若用戶語音與運(yùn)行時(shí)標(biāo)簽庫12中一預(yù)設(shè)的只讀顏色的文本匹配上，則匹配成功。
[0101]當(dāng)該文本框或文本區(qū)域未聚焦時(shí)匹配成功，控件改為聚焦?fàn)顟B(tài)，觸發(fā)聚焦事件。
[0102]當(dāng)該文本框或文本區(qū)域聚焦時(shí)，若用戶發(fā)出了語音，則該語音內(nèi)容將作為文本內(nèi)容輸入。
[0103]3)列表框或網(wǎng)格視圖
[0104]由于其標(biāo)簽為列表框或網(wǎng)格視圖中各item對應(yīng)的單item文本或者多個(gè)子item文本，則對應(yīng)的用戶語音即為單item文本的內(nèi)容或子item文本的內(nèi)容。若用戶語音與運(yùn)行時(shí)標(biāo)簽庫12中的單item文本或子item文本匹配上，則匹配成功。
[0105]當(dāng)匹配成功時(shí),觸發(fā)匹配的item的onclick事件。
[0106]4)復(fù)選框或單選按鈕
[0107]其標(biāo)簽為每個(gè)欄目(item)對應(yīng)的文本，則對應(yīng)的用戶語音為item文本的內(nèi)容，且，不論復(fù)選框或單選按鈕是否聚焦，用戶語音會與所有的item文本匹配。
[0108]若匹配成功，貝U匹配的item會被選中，并觸發(fā)onclick事件。
[0109]需要說明的是，對于有的item，若匹配成功，其對應(yīng)動作是不選中。
[0110]5)按鈕
[0111]由于其標(biāo)簽為按鈕上的文字，則對應(yīng)的用戶語音即按鈕上的文字。
[0112]當(dāng)匹配成功時(shí),觸發(fā)該按鈕的onclick事件。
[0113]6)拖動條
[0114]由于其標(biāo)簽為該拖動條的描述性label，則對應(yīng)的用戶語音為該拖動條的描述性label的內(nèi)容。當(dāng)二者匹配上時(shí)，匹配成功。
[0115]當(dāng)拖動條未聚焦時(shí)匹配成功，則控件改為聚焦?fàn)顟B(tài)，觸發(fā)聚焦事件。
[0116]當(dāng)拖動條聚焦時(shí)，若用戶發(fā)出了語音，則根據(jù)該語音內(nèi)容調(diào)整拖動條的位置，如:若語音為百分比50%，則將拖動條設(shè)置到50%位置。
[0117]7)日期和時(shí)間控件
[0118]由于其標(biāo)簽為該控件的描述性label，則對應(yīng)的用戶語音為該控件的描述性label。當(dāng)二者匹配時(shí),貝U匹配成功。[0119]當(dāng)該日期和時(shí)間控件未聚焦時(shí)匹配成功，則控件改為聚焦?fàn)顟B(tài)，觸發(fā)聚焦事件。
[0120]當(dāng)日期和時(shí)間控件聚焦時(shí)，若用戶發(fā)出了語音，則根據(jù)語音內(nèi)容，設(shè)置該控件的日期或時(shí)間值。
[0121]8)圖片切換控件和滾動視圖等控件
[0122]由于未聚焦時(shí),若控件自帶描述性label,則其標(biāo)簽為該描述性label,若控件不帶描述性label，則為該控件預(yù)先設(shè)置標(biāo)簽，因此未聚焦時(shí)，對應(yīng)的用戶語音為控件的描述性label或預(yù)設(shè)標(biāo)簽，若二者匹配，則匹配成功。
[0123]當(dāng)圖片切換控件和滾動視圖等控件未聚焦時(shí)匹配成功，則將控件改為聚焦?fàn)顟B(tài)，觸發(fā)聚焦事件。
[0124]由于聚焦時(shí)，其標(biāo)簽為控件的用戶界面動作，則對應(yīng)的用戶語音即為控件的用戶界面動作，若二者匹配，則匹配成功。此時(shí)，執(zhí)行對應(yīng)的用戶界面動作，如放大”、“縮小”、“向上滾動”、“向下滾動”等。
[0125]9)組編輯區(qū)域
[0126]由于每個(gè)可編輯區(qū)域的標(biāo)簽為該區(qū)域的描述性label或該區(qū)域所屬widget的描述性label，則對應(yīng)的用戶語音為該區(qū)域的描述性label或該區(qū)域所屬widget的描述性label，若二者匹配，則匹配成功。
[0127]由于可編輯區(qū)域?yàn)槲谋究?、下拉列表等，因此匹配成功后的操作與上述文本框、下拉列表等相同。
[0128]步驟206:語音識別引擎13以“標(biāo)簽+內(nèi)容”的格式，將匹配上的界面元素標(biāo)簽及可輸入的語音內(nèi)容發(fā)送給分析引擎，其中，“標(biāo)簽”即匹配上的界面元素標(biāo)簽。
[0129]本實(shí)施例中，可以預(yù)先定義“標(biāo)簽+內(nèi)容”的標(biāo)準(zhǔn)格式。
[0130]若用戶發(fā)出的語音與運(yùn)行時(shí)標(biāo)簽庫12中的一用戶界面元素標(biāo)簽完全匹配上，則語音識別引擎13向分析引擎14發(fā)出的標(biāo)準(zhǔn)格式的“標(biāo)簽+內(nèi)容”中的“標(biāo)簽”為匹配上的用戶界面元素標(biāo)簽，“內(nèi)容”則為空。
[0131]若用戶發(fā)出的語音的一部分與運(yùn)行時(shí)標(biāo)簽庫12中的一用戶界面元素匹配上，則語音識別引擎13向分析引擎14發(fā)出的標(biāo)準(zhǔn)格式的“標(biāo)簽+內(nèi)容”中的“標(biāo)簽”為匹配上的用戶界面元素標(biāo)簽，“內(nèi)容”則為未匹配的語音部分。
[0132]步驟207:分析引擎14接收“標(biāo)簽+內(nèi)容”，若發(fā)現(xiàn)該標(biāo)簽可見，即在作用域中，則對該標(biāo)簽進(jìn)行語義分析，根據(jù)語義分析結(jié)果，調(diào)用執(zhí)行引擎15對界面元素執(zhí)行預(yù)定義的操作，本流程結(jié)束。
[0133]由于本發(fā)明實(shí)施例中，標(biāo)簽是從用戶界面元素中抽取的，因此，本步驟中，分析引擎14只需對標(biāo)簽進(jìn)行簡單語義分析即可。
[0134]若標(biāo)簽不可見，則分析引擎14不作進(jìn)一步處理。
[0135]為了使用戶界面更加“語音友好”，執(zhí)行引擎15在執(zhí)行預(yù)定義的操作時(shí)，可對界面添加附加顯示。如:類似SUITEKeys直接模擬用手點(diǎn)擊觸控屏，并且按各個(gè)鍵的交互。
[0136]具體地，分析引擎14根據(jù)界面元素的類型，進(jìn)行相應(yīng)處理，如:若界面元素為下拉列表，則調(diào)用執(zhí)行引擎15觸發(fā)匹配列表項(xiàng)的onclick事件；若界面元素為文本框或文本區(qū)域，則調(diào)用執(zhí)行引擎15將控件改為聚焦?fàn)顟B(tài)，觸發(fā)對匹配的文本框或文本區(qū)域的聚焦事件；若界面元素為列表框或網(wǎng)格視圖，則調(diào)用執(zhí)行引擎15觸發(fā)匹配的item的onclick事件；若界面元素為復(fù)選框或單選按鈕，則調(diào)用執(zhí)行引擎15將匹配的item選中或不選中，且若為選中，同時(shí)觸發(fā)匹配的item的onclick事件；若界面元素為按鈕，則調(diào)用執(zhí)行引擎15觸發(fā)該按鈕的onclick事件；若界面元素為拖動條，則調(diào)用執(zhí)行引擎15將控件改為聚焦?fàn)顟B(tài)，觸發(fā)對該拖動條的聚焦事件；若界面元素為日期和時(shí)間控件，則調(diào)用執(zhí)行引擎15將控件改為聚焦?fàn)顟B(tài)，觸發(fā)對該控件的聚焦事件；若界面元素為圖片切換控件和滾動視圖等控件，則在該控件未聚焦時(shí)，調(diào)用執(zhí)行引擎15將該控件改為聚焦?fàn)顟B(tài)，觸發(fā)對該控件的聚焦事件，在該控件聚焦時(shí)，調(diào)用執(zhí)行引擎15執(zhí)行標(biāo)簽對應(yīng)的動作；若界面元素為組編輯區(qū)域，則調(diào)用執(zhí)行引擎15將控件改為聚焦?fàn)顟B(tài)，觸發(fā)對匹配的可編輯區(qū)域的聚焦事件。
[0137]若“標(biāo)簽+內(nèi)容”中的“內(nèi)容”不為空，分析引擎14對標(biāo)簽語義分析完并調(diào)用執(zhí)行引擎15執(zhí)行完預(yù)定義操作后，還需將該內(nèi)容作為該界面元素的內(nèi)容輸入。例如:當(dāng)界面元素為文本框或文本區(qū)域、拖動條、日期和時(shí)間控件、組編輯區(qū)域時(shí)，用戶的語音是可以作為界面元素的內(nèi)容的。
[0138]步驟208:語音識別引擎13以“標(biāo)簽+內(nèi)容”的格式，將用戶發(fā)出的語音作為“內(nèi)容”發(fā)送給分析引擎14，其中“標(biāo)簽”為空。
[0139]步驟209:分析引擎14接收“標(biāo)簽+內(nèi)容”，發(fā)現(xiàn)“標(biāo)簽”為空，判斷當(dāng)前可視用戶界面內(nèi)是否存在可輸入的聚焦元素，若是，執(zhí)行步驟210 ;否則，執(zhí)行步驟211。
[0140]步驟210:分析引擎14調(diào)用執(zhí)行引擎15將該“內(nèi)容”作為該元素的內(nèi)容輸入，本流
程結(jié)束。
[0141]例如:若當(dāng)前可視用戶界面內(nèi)存在了如下元素之一，且該元素被聚焦時(shí)，則認(rèn)為該“內(nèi)容”為該元素的輸入內(nèi)容:
[0142]文本框或文本區(qū)域、拖動條、日期和時(shí)間控件、組編輯區(qū)域。
[0143]步驟211:分析引擎14丟棄該“內(nèi)容”。
[0144]以下以安卓(Android)移動終端為例給出本發(fā)明的應(yīng)用示例:
[0145]在該示例中，用戶界面基于Android應(yīng)用層框架構(gòu)建。圖3給出了該示例的示意圖，如圖3所示,支持語音的Android用戶界面300基于Android應(yīng)用層框架302而創(chuàng)建，語音控制用戶界面的裝置位于302之上。移動終端使用如下設(shè)備與用戶交互:麥克風(fēng)310、觸控屏311、可選鍵盤312。語音控制用戶界面的裝置可從麥克風(fēng)310接收語音輸入。語音控制用戶界面的裝置包括:解析器11、運(yùn)行時(shí)標(biāo)簽庫12、語音識別引擎13、分析引擎14和執(zhí)行引擎15。語音控制過程如下:
[0146]步驟01:在用戶界面300載入前，用戶界面300被發(fā)給解析器11。
[0147]步驟02:解析器11遍歷用戶界面元素，按照預(yù)先設(shè)定的用戶界面元素標(biāo)簽抽取規(guī)貝U，從各用戶界面元素中抽取標(biāo)簽，將所有用戶界面元素標(biāo)簽存入運(yùn)行時(shí)標(biāo)簽庫12，并將運(yùn)行時(shí)標(biāo)簽庫12注冊到語音識別引擎13。
[0148]—個(gè)典型的基于Android應(yīng)用層框架的用戶界面，由很多視圖(View)和組視圖(ViewGroup)對象組成,是一個(gè)分層的樹狀結(jié)構(gòu)。View是所有Widget的基類,代表用戶界面組件的基本單元。ViewGroup是所有布局類的基類,也繼承自View。一個(gè)ViewGroup可包含多個(gè)ViewGroup和View。Widget包括下拉列表、文本框、文本區(qū)域、列表框、網(wǎng)格視圖、復(fù)選框、單選按鈕、按鈕、拖動條、日期和時(shí)間控件、圖片切換控件、滾動視圖等等。
[0149]步驟03:在用戶界面運(yùn)行時(shí)，當(dāng)語音識別引擎13接收到用戶發(fā)出的語音時(shí)，將該語音與運(yùn)行時(shí)標(biāo)簽庫12中的用戶界面元素標(biāo)簽一一匹配，若匹配上，則將“標(biāo)簽+內(nèi)容”發(fā)送給分析引擎14。
[0150]步驟04:分析引擎14接收該“標(biāo)簽+內(nèi)容”，若該“標(biāo)簽”不為空，則首先判斷該標(biāo)簽當(dāng)前是否“可見”，若可見，則對該標(biāo)簽進(jìn)行語義分析，根據(jù)語義分析結(jié)果，調(diào)用執(zhí)行引擎15執(zhí)行該標(biāo)簽對應(yīng)的預(yù)定義操作，同時(shí)，若“內(nèi)容”不為空，則將“內(nèi)容”作為該元素的內(nèi)容輸入；若“標(biāo)簽”為空，且當(dāng)前可視用戶界面存在可輸入的聚焦元素，則將該“內(nèi)容”作為該元素的內(nèi)容輸入。
[0151]例如:分析引擎14接收到的“標(biāo)簽+內(nèi)容”為“收件人+張三”，則先查詢運(yùn)行時(shí)標(biāo)簽庫12，得到“收件人”標(biāo)簽對應(yīng)的文本框，調(diào)用執(zhí)行引擎15將文本框控件改為聚焦?fàn)顟B(tài)，再調(diào)用執(zhí)行引擎15，將“張三”作為內(nèi)容設(shè)置到文本框中。
[0152]在實(shí)際應(yīng)用中，多個(gè)用戶界面元素可能具有相同名稱的標(biāo)簽。針對這種情況，可以采用劃定隱式范圍或可視范圍的方法確定該標(biāo)簽到底屬于哪個(gè)元素。其中，劃定隱式范圍如:當(dāng)前最前端的活動界面優(yōu)先，或者，預(yù)先設(shè)定各個(gè)界面的優(yōu)先級；劃定可視范圍指的是，當(dāng)前可視范圍內(nèi)的用戶界面元素優(yōu)先。如果采用了上述方法仍無法確定標(biāo)簽到底屬于哪個(gè)元素，則將該標(biāo)簽對應(yīng)的用戶界面元素都顯示出來，讓用戶從中選擇。
[0153]另外，本發(fā)明實(shí)施例中，對于如何從命令中區(qū)分?jǐn)?shù)據(jù)輸入以及如何確定數(shù)據(jù)輸入完成，這些已有相應(yīng)現(xiàn)有技術(shù)，在此不再贅述。
[0154]本發(fā)明方法可應(yīng)用于便攜式可視設(shè)備，如:移動終端、智能眼鏡、智能手表等中，本發(fā)明提供的語音控制用戶界面的裝置可位于便攜式可視設(shè)備，如:移動終端、智能眼鏡、智能手表等中。
[0155]以上所述僅為本發(fā)明的較佳實(shí)施例而已，并不用以限制本發(fā)明，凡在本發(fā)明的精神和原則之內(nèi)，所做的任何修改、等同替換、改進(jìn)等，均應(yīng)包含在本發(fā)明保護(hù)的范圍之內(nèi)。
【權(quán)利要求】
1.一種語音控制用戶界面的方法，其特征在于，該方法包括: 當(dāng)一用戶界面即將載入運(yùn)行時(shí)，遍歷該用戶界面上的元素，分別從每個(gè)元素中抽取該元素的標(biāo)簽，將抽取的所有界面元素標(biāo)簽保存到運(yùn)行時(shí)標(biāo)簽庫； 當(dāng)接收到用戶輸入的語音時(shí)，將該語音與運(yùn)行時(shí)標(biāo)簽庫中的各界面元素標(biāo)簽一一匹配，若匹配上，則對匹配的元素標(biāo)簽進(jìn)行語義分析，根據(jù)語義分析結(jié)果對界面元素進(jìn)行預(yù)定義的操作。
2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述分別從每個(gè)元素中抽取該元素的標(biāo)簽為: 當(dāng)界面元素為下拉列表時(shí)，抽取該下拉列表的各列表項(xiàng)文本作為該下拉列表的標(biāo)簽； 當(dāng)界面元素為文本框時(shí)，抽取該文本框的預(yù)設(shè)的只讀顏色的文本作為該文本框的標(biāo)簽; 當(dāng)界面元素為文本區(qū)域時(shí)，抽取該文本區(qū)域的預(yù)設(shè)的只讀顏色的文本作為該文本區(qū)域的標(biāo)簽； 當(dāng)界面元素為列表框時(shí)，抽取該列表框中各個(gè)欄目item對應(yīng)的單item文本或多個(gè)子item文本作為該列表框的標(biāo)簽； 當(dāng)界面元素為網(wǎng)格視圖時(shí)，抽取該網(wǎng)格視圖中各個(gè)item對應(yīng)的單item文本或多個(gè)子item文本作為該網(wǎng)格視圖的標(biāo)簽； 當(dāng)界面元素為復(fù)選框時(shí)，抽取該復(fù)選框中各個(gè)item對應(yīng)的單item文本或多個(gè)子item文本作為該復(fù)選框的標(biāo)簽； 當(dāng)界面元素為單選按鈕時(shí)，抽取該`單`選按鈕中各個(gè)item對應(yīng)的單item文本或多個(gè)子item文本作為該單選框的標(biāo)簽； 當(dāng)界面元素為按鈕時(shí)，抽取該按鈕上的文字作為該按鈕的標(biāo)簽；當(dāng)界面元素為拖動條時(shí)，抽取該拖動條的描述性標(biāo)記label作為該拖動條的標(biāo)簽；當(dāng)界面元素為日期和時(shí)間控件時(shí)，抽取該控件的描述性label作為該控件的標(biāo)簽；當(dāng)界面元素為圖片切換控件或滾動視圖控件時(shí)，當(dāng)該控件未聚焦時(shí)，若該控件自帶描述性label，則抽取該描述性label作為該控件的標(biāo)簽，若該控件不帶描述性label，則將為該控件預(yù)設(shè)的標(biāo)簽作為該控件的標(biāo)簽；當(dāng)該控件聚焦時(shí)，抽取控件的用戶界面動作作為該控件的標(biāo)簽； 當(dāng)界面元素為組編輯區(qū)域時(shí)，對于每個(gè)窗口小部件widget的每個(gè)可編輯區(qū)域，若該可編輯區(qū)域自帶描述性label，則抽取該描述性label作為該可編輯區(qū)域的標(biāo)簽，否則，抽取該可編輯區(qū)域所屬的widget的描述性label作為該可編輯區(qū)域的標(biāo)簽。
3.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述遍歷該用戶界面上的元素為: 對于每個(gè)即將載入運(yùn)行的用戶界面，分別遍歷各用戶界面上的元素； 或者，只遍歷最前端的活動界面上的元素。
4.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述匹配上為:完全匹配上； 且，所述將該語音與運(yùn)行時(shí)標(biāo)簽庫中的各界面元素標(biāo)簽一一匹配之后進(jìn)一步包括:若語音的一部分與一界面元素標(biāo)簽匹配上，則對匹配的元素標(biāo)簽進(jìn)行語義分析，根據(jù)語義分析結(jié)果對界面元素進(jìn)行預(yù)定義的操作，然后將語音的另一部分作為該界面元素的內(nèi)容輸入。
5.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述將該語音與運(yùn)行時(shí)標(biāo)簽庫中的各界面元素標(biāo)簽一一匹配之后進(jìn)一步包括:若未匹配上，則判斷當(dāng)前可視用戶界面上是否有可輸入的聚焦元素，若是，則將語音作為該元素的內(nèi)容輸入；否則，丟棄該語音。
6.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述將該語音與運(yùn)行時(shí)標(biāo)簽庫中的各界面元素標(biāo)簽一一匹配為: 將該語音與運(yùn)行時(shí)標(biāo)簽庫中屬于當(dāng)前可視范圍內(nèi)的各界面元素的標(biāo)簽一一匹配。
7.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述匹配上之后、對匹配的元素標(biāo)簽進(jìn)行語義分析之前進(jìn)一步包括: 判斷匹配的標(biāo)簽是否可見，若是，執(zhí)行所述對匹配的元素標(biāo)簽進(jìn)行語義分析的動作；否貝U，不作進(jìn)一步處理。
8.一種語音控制用戶界面的裝置，其特征在于，該裝置包括:解析器、運(yùn)行時(shí)標(biāo)簽庫、語音識別引擎、分析引擎和執(zhí)行引擎，其中: 解析器:當(dāng)一用戶界面即將載入運(yùn)行時(shí)，遍歷該用戶界面上的元素，分別從每個(gè)元素中抽取該元素的標(biāo)簽，將抽取的所有界面元素標(biāo)簽保存到運(yùn)行時(shí)標(biāo)簽庫； 運(yùn)行時(shí)標(biāo)簽庫:保存解析器抽取的用戶界面元素標(biāo)簽； 語音識別引擎:當(dāng)接收到用戶輸入的語音時(shí)，將該語音與運(yùn)行時(shí)標(biāo)簽庫中的各界面元素標(biāo)簽一一匹配，若匹配上，則將匹配的界面元素標(biāo)簽發(fā)送給分析引擎； 分析引擎:對匹配的元素標(biāo)簽進(jìn)行語義分析，根據(jù)語義分析結(jié)果調(diào)用執(zhí)行引擎對界面元素進(jìn)行預(yù)定義的操作；` 執(zhí)行引擎:接受分析引擎的調(diào)用，對界面元素執(zhí)行預(yù)定義的操作。
9.根據(jù)權(quán)利要求8所述的裝置，其特征在于，所述解析器進(jìn)一步用于，當(dāng)分別從每個(gè)元素中抽取該元素的標(biāo)簽時(shí)， 若界面元素為下拉列表，抽取該下拉列表的各列表項(xiàng)文本作為該下拉列表的標(biāo)簽；若界面元素為文本框，抽取該文本框的預(yù)設(shè)的只讀顏色的文本作為該文本框的標(biāo)簽；若界面元素為文本區(qū)域，抽取該文本區(qū)域的預(yù)設(shè)的只讀顏色的文本作為該文本區(qū)域的標(biāo)簽； 若界面元素為列表框，抽取該列表框中各個(gè)欄目item對應(yīng)的單item文本或多個(gè)子item文本作為該列表框的標(biāo)簽； 若界面元素為網(wǎng)格視圖，抽取該網(wǎng)格視圖中各個(gè)item對應(yīng)的單item文本或多個(gè)子item文本作為該網(wǎng)格視圖的標(biāo)簽； 若界面元素為復(fù)選框，抽取該復(fù)選框中各個(gè)item對應(yīng)的單item文本或多個(gè)子item文本作為該復(fù)選框的標(biāo)簽； 若界面元素為單選按鈕，抽取該單選按鈕中各個(gè)item對應(yīng)的單item文本或多個(gè)子item文本作為該單選框的標(biāo)簽； 若界面元素為按鈕，抽取該按鈕上的文字作為該按鈕的標(biāo)簽； 若界面元素為拖動條，抽取該拖動條的描述性標(biāo)記label作為該拖動條的標(biāo)簽； 若界面元素為日期和時(shí)間控件，抽取該控件的描述性label作為該控件的標(biāo)簽； 若界面元素為圖片切換控件和滾動視圖控件，當(dāng)該控件未聚焦時(shí)，若該控件自帶描述性label，則抽取該描述性label作為該控件的標(biāo)簽，若該控件不帶描述性label，則將為該控件預(yù)設(shè)的標(biāo)簽作為該控件的標(biāo)簽；當(dāng)該控件聚焦時(shí)，則抽取控件的用戶界面動作作為該控件的標(biāo)簽； 若界面元素為組編輯區(qū)域，對于每個(gè)widget的每個(gè)可編輯區(qū)域，若該可編輯區(qū)域自帶描述性label，則抽取該描述性label作為該可編輯區(qū)域的標(biāo)簽，否則，抽取該可編輯區(qū)域所屬的widget的描述性label作為該可編輯區(qū)域的標(biāo)簽。
10.根據(jù)權(quán)利要求8所述的裝置，其特征在于，所述解析器進(jìn)一步用于，當(dāng)遍歷用戶界面上的元素時(shí)，對于每個(gè)即將載入運(yùn)行的用戶界面，分別遍歷各用戶界面上的元素；或者，只遍歷最前端的活動界面上的元素。
11.根據(jù)權(quán)利要求8所述的裝置，其特征在于，所述語音識別引擎進(jìn)一步用于，若發(fā)現(xiàn)用戶的語音與運(yùn)行時(shí)標(biāo)簽庫中的一界面元素標(biāo)簽完全匹配上，則將“標(biāo)簽+內(nèi)容”發(fā)送給分析引擎，其中，“標(biāo)簽”為匹配上的界面元素標(biāo)簽，“內(nèi)容”為空，若語音的一部分與運(yùn)行時(shí)標(biāo)簽庫中的一界面元素標(biāo)簽匹配上，則將“標(biāo)簽+內(nèi)容”發(fā)送給分析引擎，其中，“標(biāo)簽”為匹配上的界面元素標(biāo)簽，“內(nèi)容”為未匹配的語音部分；若未匹配上，將“標(biāo)簽+內(nèi)容”發(fā)送給分析引擎，其中，“標(biāo)簽”為空，“內(nèi)容”為語音； 且，所述分析引擎進(jìn)一步用于，當(dāng)發(fā)現(xiàn)語音識別引擎發(fā)來的“標(biāo)簽+內(nèi)容”中的“內(nèi)容”為空時(shí)，對“標(biāo)簽”進(jìn)行語義分析，根據(jù)語義分析結(jié)果對界面元素進(jìn)行預(yù)定義的操作；若發(fā)現(xiàn)“標(biāo)簽”和“內(nèi)容”都不為空，則先對“標(biāo)簽”進(jìn)行語義分析，根據(jù)語義分析結(jié)果對界面元素進(jìn)行預(yù)定義的操作，然后將“內(nèi)容”作為該界面元素的內(nèi)容輸入；若發(fā)現(xiàn)“標(biāo)簽”為空，則將“內(nèi)容”作為當(dāng)前可視范圍內(nèi)可輸入的聚焦元素的內(nèi)容輸入。
12.根據(jù)權(quán)利要求8所述的裝置，其特征在于，所述分析引擎進(jìn)一步用于，當(dāng)接收到語音識別引擎發(fā)來的標(biāo)簽時(shí)，先判斷標(biāo)簽是否可見，若是，執(zhí)行所述對匹配的元素標(biāo)簽進(jìn)行語義分析的動作；否則，不作進(jìn)一步處`理。
【文檔編號】G06F3/01GK103869931SQ201210527881
【公開日】2014年6月18日 申請日期:2012年12月10日 優(yōu)先權(quán)日:2012年12月10日
【發(fā)明者】王成軍 申請人:三星電子（中國）研發(fā)中心, 三星電子株式會社