本發(fā)明涉及無線通信遠(yuǎn)程協(xié)助領(lǐng)域，具體而言，本發(fā)明涉及一種移動終端和移動終端遠(yuǎn)程協(xié)助與受助方法、裝置。

背景技術(shù)：

遠(yuǎn)程協(xié)助，指作為協(xié)助方的終端和作為受助方的終端建立無線通信，從而使受助方的用戶界面顯示于協(xié)助方的用戶界面上，協(xié)助方用戶針對獲取到的用戶界面，利用聲音解說、畫筆等輔助功能與受助方進(jìn)行交流，可實現(xiàn)協(xié)助方對受助方的操作的遠(yuǎn)程協(xié)助作用。

傳統(tǒng)的遠(yuǎn)程協(xié)助除了可以同步用戶界面，還可以輔以類似網(wǎng)絡(luò)電話的功能，使協(xié)助方和受助方可以進(jìn)行即時的聲音溝通。通過畫面的同步，協(xié)助方可以利用顯示于用戶界面的光標(biāo)描述一些如點擊或拖動的操作。并且，當(dāng)協(xié)助方拖動光標(biāo)時，受助方的用戶界面將出現(xiàn)畫筆線條，此時協(xié)助方可以利用畫筆線條對需要進(jìn)行的操作作加強(qiáng)性的描述。

因此，傳統(tǒng)的這種遠(yuǎn)程協(xié)助方式，當(dāng)協(xié)助方用戶在獲取的受助方用戶界面進(jìn)行操作時，受助方并不會自動執(zhí)行相應(yīng)的操作，而是需要受助方用戶在協(xié)助方用戶的指導(dǎo)下，進(jìn)行相應(yīng)的操作時，受助方才能在真正意義上完成相應(yīng)的操作。而對于某些復(fù)雜的操作，僅僅使用上述的聲音和畫筆輔助功能，執(zhí)行起來將會非常困難。

有鑒于此，增加遠(yuǎn)程協(xié)助過程中的協(xié)助與受助的功能，使得協(xié)助方在遠(yuǎn)程協(xié)助的過程中執(zhí)行任何操作時，受助方可自動地，或只需用戶在受助方的用戶界面進(jìn)行簡單的觸控即可執(zhí)行相應(yīng)的操作，這將有利于改善遠(yuǎn)程協(xié)助的操作體驗，使遠(yuǎn)程協(xié)助操作更加方便快捷。

技術(shù)實現(xiàn)要素：

鑒于上述問題，本發(fā)明提供了一種移動終端遠(yuǎn)程協(xié)助方法及其相應(yīng)的裝置，以便高效實現(xiàn)遠(yuǎn)程協(xié)助過程中協(xié)助方對受助方的協(xié)助。

相應(yīng)的，本發(fā)明提供了一種移動終端遠(yuǎn)程受助方法及其相應(yīng)的裝置，以便配合受助于相應(yīng)的協(xié)助方。

相應(yīng)的，本發(fā)明還提供與前述的方法或裝置相適應(yīng)的移動終端，以用于實施前述的方法或運行所述的裝置。

據(jù)此，本發(fā)明采用了如下技術(shù)方案：

本發(fā)明提供的一種移動終端遠(yuǎn)程協(xié)助方法，包括如下步驟：

通過預(yù)建立的處于遠(yuǎn)程協(xié)助狀態(tài)下的協(xié)助方與受助方之間的界面?zhèn)鬏斖ǖ澜邮帐苤教峤坏木W(wǎng)頁內(nèi)容，該網(wǎng)頁內(nèi)容包含受助方從其內(nèi)存中獲取的當(dāng)前顯示的用戶界面；

顯示該網(wǎng)頁內(nèi)容所包含的所述受助方的用戶界面；

接收語音輸入，將之轉(zhuǎn)換為語音指令，通過預(yù)建立的協(xié)助方與受助方之間的控制傳輸通道將語音指令傳輸?shù)绞苤剑?/p>

更新顯示后續(xù)獲取的受助方提交的網(wǎng)頁內(nèi)容中的受助方用戶界面，使其展示受所述語音指令作用于受助方后形成的畫面活動過程。

一方面，接收語音輸入并將之轉(zhuǎn)換為語音指令的步驟還包括如下具體步驟：

啟動受話器用于接收用戶語音；

將用戶語音提交到云端服務(wù)器進(jìn)行語義識別和指令轉(zhuǎn)換，以形成相應(yīng)的語音指令。

另一方面，進(jìn)一步地，在一種方式中，所述更新顯示后續(xù)獲取的受助方用戶界面展示的畫面活動過程包括如下步驟：

顯示所述受助方接收到所述語音指令后彈出的內(nèi)容信息；

在接收用戶觸發(fā)事件后清除所述內(nèi)容信息。

在另一種方式中，所述更新顯示后續(xù)獲取的受助方用戶界面展示的畫面活動過程包括如下步驟：

顯示所述受助方接收到所述語音指令后彈出的交互控件；

由該交互控件接收受助方用戶的觸發(fā)事件；

執(zhí)行與所述觸發(fā)事件相對應(yīng)的協(xié)助過程。

結(jié)合上述的第二種方式，具體地，所述的受助方用戶界面展示的畫面活動過程在所述受助方接收所述語音指令并解析該語音指令后以與之相應(yīng)的指令集執(zhí)行。

進(jìn)一步，所述指令集以文件形式預(yù)存于所述受助方設(shè)備中。

結(jié)合上述兩種方式，具體地，所述觸發(fā)事件包括按鍵事件、觸控事件、手勢事件、語音輸入事件中的任意一種。

結(jié)合上述的第二種方式，具體地，所述協(xié)助過程包括如下任意一項或任意多項的組合：啟動應(yīng)用程序、刪除應(yīng)用程序、切換用戶界面、輸入內(nèi)容信息、刪除內(nèi)容信息、編輯內(nèi)容信息。

結(jié)合上述的第二種方式，具體地，所述交互控件為消息框，包括有條件判斷選項，當(dāng)所述觸發(fā)事件作用于其中一個判斷選項時，導(dǎo)致執(zhí)行與所述觸發(fā)事件所作用的判斷選項相對應(yīng)的協(xié)助過程。

具體地，所輸入的語音在語義上與所述畫面活動過程相對應(yīng)。

本發(fā)明提供的一種移動終端遠(yuǎn)程協(xié)助裝置，其包括：

接收單元，用于通過預(yù)建立的處于遠(yuǎn)程協(xié)助狀態(tài)下的協(xié)助方與受助方之間的界面?zhèn)鬏斖ǖ澜邮帐苤教峤坏木W(wǎng)頁內(nèi)容，該網(wǎng)頁內(nèi)容包含受助方從其內(nèi)存中獲取的當(dāng)前顯示的用戶界面；

顯示單元，用于顯示所述網(wǎng)頁內(nèi)容所包含的所述受助方的用戶界面；

轉(zhuǎn)換單元，用于接收語音輸入，將之轉(zhuǎn)換為語音指令，通過預(yù)建立的協(xié)助方與受助方之間的控制傳輸通道將語音指令傳輸?shù)绞苤剑?/p>

更新單元，用于更新顯示后續(xù)獲取的受助方提交的網(wǎng)頁內(nèi)容中的受助方用戶界面，使其展示受所述語音指令作用于受助方后形成的畫面活動過程。

進(jìn)一步，要實現(xiàn)接收語音輸入并將之轉(zhuǎn)換為語音指令，本裝置還包括：

啟動單元，用于啟動受話器用于接收用戶語音；

提交單元，用于將用戶語音提交到云端服務(wù)器進(jìn)行語義識別和指令轉(zhuǎn)換，以形成相應(yīng)的語音指令。

進(jìn)一步，在一種方式中，所述的更新單元，其更新顯示后續(xù)獲取的所述受助方用戶界面展示的畫面活動過程包括：

顯示所述受助方接收到所述語音指令后彈出的內(nèi)容信息；

在接收用戶觸發(fā)事件后清除所述內(nèi)容信息。

在另一種方式中，所述的更新單元，其更新顯示后續(xù)獲取的所述受助方用戶界面展示的畫面活動過程包括：

顯示所述受助方接收到所述語音指令后彈出的交互控件；

由該交互控件接收受助方用戶的觸發(fā)事件；

執(zhí)行與所述觸發(fā)事件相對應(yīng)的協(xié)助過程。

結(jié)合上述的第二種方式，所述的受助方用戶界面展示的畫面活動過程在所述受助方接收所述語音指令并解析該語音指令后以與之相應(yīng)的指令集執(zhí)行。

進(jìn)一步，所述指令集以文件形式預(yù)存于所述受助方設(shè)備中。

結(jié)合上述的兩種方式，具體地，所述觸發(fā)事件包括按鍵事件、觸控事件、手勢事件、語音輸入事件中的任意一種。

結(jié)合上述的兩種方式，具體地，所述協(xié)助過程包括如下任意一項或任意多項的組合：啟動應(yīng)用程序、刪除應(yīng)用程序、切換用戶界面、輸入內(nèi)容信息、刪除內(nèi)容信息、編輯內(nèi)容信息。

結(jié)合第二種方式，所述交互控件為消息框，包括有條件判斷選項，當(dāng)所述觸發(fā)事件作用于其中一個判斷選項時，導(dǎo)致執(zhí)行與所述觸發(fā)事件所作用的判斷選項相對應(yīng)的協(xié)助過程。

具體地，所輸入的語音在語義上與所述畫面活動過程相對應(yīng)。

本發(fā)明提供的一種移動終端遠(yuǎn)程協(xié)助受助方法，包括如下步驟：

作為受助方，通過預(yù)建立的處于遠(yuǎn)程協(xié)助狀態(tài)下的協(xié)助方與受助方之間的界面?zhèn)鬏斖ǖ老騾f(xié)助方提交自身的網(wǎng)頁內(nèi)容，該網(wǎng)頁內(nèi)容包含受助方從其內(nèi)存中獲取的當(dāng)前顯示的用戶界面；

通過預(yù)建立的協(xié)助方與受助方之間的控制傳輸通道接收由所述協(xié)助方作用而產(chǎn)生的語音指令并執(zhí)行之，使所述用戶界面產(chǎn)生與該語音指令相對應(yīng)的畫面活動過程；

同步向協(xié)助方傳送包含用于展示所述畫面活動過程的用戶界面的網(wǎng)頁內(nèi)容。

進(jìn)一步，一種方式中，所述用戶界面產(chǎn)生與所述語音指令相對應(yīng)的畫面活動過程，包括如下具體步驟：

顯示接收到所述語音指令后彈出的內(nèi)容信息；

在接收用戶觸發(fā)事件后清除所述內(nèi)容信息。

另一種方式中，所述用戶界面產(chǎn)生與所述語音指令相對應(yīng)的畫面活動過程，包括如下具體步驟：

顯示接收到所述語音指令后彈出的交互控件；

以所述交互控件接收用戶的觸發(fā)事件；

執(zhí)行與所述觸發(fā)事件相對應(yīng)的協(xié)助過程。

結(jié)合第二種方式，進(jìn)一步地，所述顯示接收到所述語音指令后彈出的交互控件的步驟，具體包括如下步驟：

接收到所述語音指令后對其進(jìn)行解析以確定相應(yīng)的指令集；

執(zhí)行所述指令集導(dǎo)致彈出所述交互控件。

更進(jìn)一步，所述指令集以文件形式預(yù)存于所述受助方設(shè)備中。

結(jié)合上述的兩種方式，所述觸發(fā)事件包括按鍵事件、觸控事件、手勢事件、語音輸入事件中的任意一種。

結(jié)合第二種方式，所述協(xié)助過程包括如下任意一項或任意多項的組合：啟動應(yīng)用程序、刪除應(yīng)用程序、切換用戶界面、輸入內(nèi)容信息、刪除內(nèi)容信息、編輯內(nèi)容信息。

結(jié)合第二種方式，所述交互控件為消息框，包括有條件判斷選項，當(dāng)所述觸發(fā)事件作用于其中一個判斷選項時，即顯示與觸發(fā)事件所作用的判斷選項相對應(yīng)的協(xié)助過程。

具體地，所述語音指令在語義上與所述畫面活動過程相對應(yīng)。

本發(fā)明提供的一種移動終端遠(yuǎn)程協(xié)助受助裝置，其包括：

提交單元，被配置為通過預(yù)建立的處于遠(yuǎn)程協(xié)助狀態(tài)下的協(xié)助方與受助方之間的界面?zhèn)鬏斖ǖ老騾f(xié)助方提交自身的網(wǎng)頁內(nèi)容，該網(wǎng)頁內(nèi)容包含受助方從其內(nèi)存中獲取的當(dāng)前顯示的用戶界面；

接收單元，被配置為通過預(yù)建立的協(xié)助方與受助方之間的控制傳輸通道接收由所述協(xié)助方作用而產(chǎn)生的語音指令并執(zhí)行之，使所述用戶界面產(chǎn)生與該語音指令相對應(yīng)的畫面活動過程；

同步單元，用于同步向協(xié)助方傳送包含用于展示所述畫面活動過程的用戶界面的網(wǎng)頁內(nèi)容。

進(jìn)一步，一種方式中，要實現(xiàn)使所述用戶界面產(chǎn)生與所述語音指令相對應(yīng)的畫面活動過程，本裝置還包括：

顯示單元，用于顯示接收到所述語音指令后彈出的內(nèi)容信息；

清除單元，用于在接收用戶觸發(fā)事件后清除所述內(nèi)容信息。

另一種方式中，要實現(xiàn)使所述用戶界面產(chǎn)生與所述語音指令相對應(yīng)的畫面活動過程，本裝置還包括：

顯示單元，用于顯示接收到所述語音指令后彈出的交互控件；

接收單元，用于輔助所述交互控件接收用戶的觸發(fā)事件；

執(zhí)行單元，用于執(zhí)行與所述觸發(fā)事件相對應(yīng)的協(xié)助過程。

結(jié)合第二種方式，進(jìn)一步地，要實現(xiàn)顯示接收到所述語音指令后彈出的交互控件，本裝置還包括：

解析單元，用于接收到所述語音指令后對其進(jìn)行解析以確定相應(yīng)的指令集；

執(zhí)行單元，用于執(zhí)行所述指令集導(dǎo)致彈出所述交互控件。

更進(jìn)一步，所述指令集以文件形式預(yù)存于所述受助方設(shè)備中。

結(jié)合上述的兩種方式，具體地，所述觸發(fā)事件包括按鍵事件、觸控事件、手勢事件、語音輸入事件中的任意一種。

結(jié)合上述的第二種方式，具體地，所述協(xié)助過程包括如下任意一項或任意多項的組合：啟動應(yīng)用程序、刪除應(yīng)用程序、切換用戶界面、輸入內(nèi)容信息、刪除內(nèi)容信息、編輯內(nèi)容信息。

結(jié)合上述的第二種方式，具體地，所述交互控件為消息框，包括有條件判斷選項，當(dāng)所述觸發(fā)事件作用于其中一個判斷選項時，即顯示與觸發(fā)事件所作用的判斷選項相對應(yīng)的協(xié)助過程。

具體地，所述語音指令在語義上與所述畫面活動過程相對應(yīng)。

本發(fā)明提供的一種移動終端，其包括：

無線保真模塊，用于接入通信網(wǎng)絡(luò)；

觸敏顯示器，用于顯示界面，實現(xiàn)人機(jī)交互；

一個或多個處理器；

存儲器；

一個或多個應(yīng)用程序，其中所述一個或多個應(yīng)用程序被存儲在所述存儲器中并被配置為由所述一個或多個處理器執(zhí)行；

所述一個或多個程序用于驅(qū)動所述一個或多個處理器構(gòu)造用于執(zhí)行前述協(xié)助方法中任意一項所述的方法的裝置。

本發(fā)明提供的一種移動終端，其包括：

無線保真模塊，用于接入通信網(wǎng)絡(luò)；

觸敏顯示器，用于顯示界面，實現(xiàn)人機(jī)交互；

一個或多個處理器；

存儲器；

一個或多個應(yīng)用程序，其中所述一個或多個應(yīng)用程序被存儲在所述存儲器中并被配置為由所述一個或多個處理器執(zhí)行；

所述一個或多個程序用于驅(qū)動所述一個或多個處理器構(gòu)造用于執(zhí)行前述受助方法中任意一項所述的方法的裝置。

在一個可能的設(shè)計中，所述移動終端的結(jié)構(gòu)中包括的處理器和存儲器，所述存儲器用于存儲支持收發(fā)裝置執(zhí)行上述方法的程序，所述處理器被配置為用于執(zhí)行所述存儲器中存儲的程序。所述移動終端還可以包括通信接口，用于所述移動終端與其他設(shè)備或通信網(wǎng)絡(luò)通信。

另一方面，本發(fā)明的實施例提供了一種計算機(jī)存儲介質(zhì)，用于儲存為上述移動終端所用的計算機(jī)軟件指令，其包含用于執(zhí)行上述為移動終端所設(shè)計的程序，或者包含用于執(zhí)行上述的方法/裝置所設(shè)計的程序。

相對于現(xiàn)有技術(shù)，本發(fā)明提供的方案具有如下優(yōu)點：

作為協(xié)助方的移動終端與作為受助方的移動終端之間建立無線網(wǎng)絡(luò)通信，進(jìn)入遠(yuǎn)程協(xié)助狀態(tài)后，協(xié)助方接收用戶的語音輸入，并將該語音轉(zhuǎn)換為語音指令傳輸給受助方，所述受助方確定并執(zhí)行所述語音指令對應(yīng)的指令集，完成相應(yīng)的操作，且在協(xié)助方可以更新并顯示受助方的畫面活動過程，即實現(xiàn)了所述協(xié)助方對所述受助方的遠(yuǎn)程控制。在此過程中，所述協(xié)助方在無需獲取所述受助方的系統(tǒng)等級權(quán)限的情況下，即可進(jìn)行控制操作，通過遠(yuǎn)程傳送語音指令給受助方，由受助方解析執(zhí)行，且所述協(xié)助方無需執(zhí)行觸控事件或手勢事件，只需接收語音輸入，這種方式簡化了遠(yuǎn)程協(xié)助的操作，使遠(yuǎn)程協(xié)助的進(jìn)行較為方便快捷。

另外，再現(xiàn)有技術(shù)的基礎(chǔ)上，協(xié)助方與受助方實現(xiàn)遠(yuǎn)程協(xié)助連接的時間通常為8至10秒，而通過利用網(wǎng)頁傳輸?shù)姆绞?，實現(xiàn)連接的時間只需3至5秒，即大幅縮短了協(xié)助方與受助方建立遠(yuǎn)程協(xié)助連接的時間，提高遠(yuǎn)程協(xié)助的效率。建立遠(yuǎn)程無線連接后，受助方通過預(yù)建立的處于遠(yuǎn)程協(xié)助狀態(tài)下的協(xié)助方與受助方之間的界面?zhèn)鬏斖ǖ缹⑵鋸淖陨韮?nèi)存中獲取的包含當(dāng)前顯示的用戶界面的網(wǎng)頁內(nèi)容提交至協(xié)助方，因此，利用這種網(wǎng)頁傳輸?shù)姆绞?，相對于現(xiàn)有技術(shù)而言，加快了所述網(wǎng)頁內(nèi)容的傳輸速度，同時也對所述傳輸?shù)木W(wǎng)頁內(nèi)容起到較大限度的保真作用，使得所述傳輸?shù)挠脩艚缑娓忧逦?/p>

對于協(xié)助方而言，因無需考慮復(fù)雜的遠(yuǎn)程權(quán)限管理的問題，而可簡化程序設(shè)計，最小化程序內(nèi)存和處理器占用，故而提升了系統(tǒng)運行效率；同理，對于受助方而言，協(xié)助方的語音指令由其自身負(fù)責(zé)解析執(zhí)行，故而擁有是否執(zhí)行相應(yīng)的語音指令的絕對權(quán)限，提升了系統(tǒng)安全性。

附圖說明

為了更清楚地說明本發(fā)明實施例中的技術(shù)方案，下面將對實施例描述中所需使用的附圖作簡單地介紹，顯而易見地，下面描述中的附圖僅僅是本發(fā)明的一些實施例，對于本領(lǐng)域技術(shù)人員來說，在不付出創(chuàng)造性勞動的前提下，還可以根據(jù)這些附圖獲得其他的附圖。

圖1示出由安裝有實現(xiàn)本發(fā)明的方法或裝置的應(yīng)用程序的兩個移動終端所構(gòu)造的網(wǎng)絡(luò)系統(tǒng)原理框圖，其中一個移動終端作為遠(yuǎn)程協(xié)助方，另一個移動終端作為遠(yuǎn)程受助方；

圖2是本發(fā)明的所述受助方與協(xié)助方進(jìn)行無線連接并獲取自身用戶界面圖像的方法的流程示意圖；

圖3是以游客模式登錄本發(fā)明的所述應(yīng)用程序的過程示意圖；

圖4是用廠商賬號登錄本發(fā)明的所述應(yīng)用程序的過程示意圖；

圖5是在本發(fā)明的所述應(yīng)用程序中用對方客戶端賬號添加好友的流程示意圖；

圖6是在本發(fā)明的所述應(yīng)用程序中用對方手機(jī)號添加好友的流程示意圖；

圖7是在本發(fā)明的所述應(yīng)用程序中用對方廠商賬號添加好友的流程示意圖；

圖8是本發(fā)明的遠(yuǎn)程協(xié)助方法的流程示意圖；

圖9是本發(fā)明的遠(yuǎn)程協(xié)助方法中的接收語音輸入并將之轉(zhuǎn)換為語音指令的方法的流程示意圖；

圖10是本發(fā)明的遠(yuǎn)程協(xié)助裝置的原理示意圖；

圖11是本發(fā)明的遠(yuǎn)程協(xié)助裝置中的接收語音輸入并將之轉(zhuǎn)換為語音指令的方法的原理示意圖；

圖12是本發(fā)明的遠(yuǎn)程協(xié)助受助方法的流程示意圖；

圖13是本發(fā)明的一種畫面活動過程的流程示意圖；

圖14是本發(fā)明的另一種畫面活動過程的流程示意圖；

圖15是本發(fā)明的另一種畫面活動過程中彈出交互控件的方法的流程示意圖；

圖16是本發(fā)明的遠(yuǎn)程協(xié)助受控裝置的原理示意圖；

圖17是本發(fā)明的一種畫面活動過程的原理示意圖；

圖18是本發(fā)明的另一種畫面活動過程的原理示意圖；

圖19是本發(fā)明的遠(yuǎn)程協(xié)助受控裝置的另一種畫面活動過程中彈出交互控件的原理示意圖；

圖20是本發(fā)明將遠(yuǎn)程協(xié)助方法與受助方法結(jié)合的一種實施例的示意圖；

圖21是本發(fā)明將遠(yuǎn)程協(xié)助方法與受助方法結(jié)合的另一種實施例的示意圖；

圖22是本發(fā)明將遠(yuǎn)程協(xié)助方法與受助方法結(jié)合的又一種實施例的示意圖；

圖23是本發(fā)明的作為協(xié)助方的移動終端和作為受助方的移動終端都能夠適用的結(jié)構(gòu)的示意圖。

具體實施方式

為了使本技術(shù)領(lǐng)域的人員更好地理解本發(fā)明的技術(shù)方案，下面將結(jié)合本發(fā)明實施例中的附圖，對本發(fā)明實施例中的技術(shù)方案進(jìn)行清楚、完整地描述。

在本發(fā)明的說明書和權(quán)利要求書及上述附圖中的描述的一些流程中，包含了按照特定順序出現(xiàn)的多個操作，但是應(yīng)該清楚了解，這些操作可以不按照其在本文中出現(xiàn)的順序來執(zhí)行或并行執(zhí)行，操作的序號如101、102等，僅僅是用于區(qū)分開各個不同的操作，序號本身不代表任何的執(zhí)行順序。另外，這些流程可以包括更多或更少的操作，并且這些操作可以按照順序執(zhí)行或并行執(zhí)行。需要說明的是，本文中的“第一”、“第二”等描述，是用于區(qū)分不同的消息、設(shè)備、模塊、單元等，不代表先后順序，也不限定“第一”和“第二”是不同的類型。

下面將結(jié)合本發(fā)明實施例中的附圖，對本發(fā)明實施例中的技術(shù)方案進(jìn)行清楚、完整地描述，顯然，所描述的實施例僅僅是本發(fā)明的一部分實施例，而不是全部的實施例?；诒景l(fā)明中的實施例，本領(lǐng)域技術(shù)人員在沒有做出創(chuàng)造性勞動的前提下所獲得的所有其他實施例，都屬于本發(fā)明保護(hù)的范圍。

本發(fā)明所稱的遠(yuǎn)程協(xié)助，是指使作為協(xié)助方的移動終端與作為受助方的移動終端之間建立起網(wǎng)絡(luò)通信后，受助方將包含自身用戶界面的網(wǎng)頁內(nèi)容傳送給協(xié)助方，協(xié)助方接收用戶的語音輸入并將之轉(zhuǎn)換為對應(yīng)的語音指令傳輸至受助方并作用于受助方，使之執(zhí)行與所述語音指令對應(yīng)的操作，相應(yīng)地，受助方接收并響應(yīng)所述的語音指令而執(zhí)行與之對應(yīng)的操作。在這個過程中，受助方用戶只需在受助方用戶界面上進(jìn)行簡單的點擊或觸控操作，甚至幾乎無需進(jìn)行任何操作。

本發(fā)明所稱的設(shè)備，具體是指即將揭示的分別作為協(xié)助方和受助方的兩種移動終端，兩種移動終端在設(shè)備上可以是完全同類產(chǎn)品，之所以列為兩種，僅是出于在遠(yuǎn)程協(xié)助過程中其彼此所充當(dāng)?shù)慕巧煌目紤]。故而，此處所稱的移動終端通常均指諸如智能電視、智能手機(jī)、平板手機(jī)、智能腕表之類的可便攜地移動的、配置有智能化操作系統(tǒng)的移動設(shè)備，這些操縱系統(tǒng)可以是Android、iOS、Windows Phone或其他形式的移動端操作系統(tǒng)，當(dāng)然也可以是諸如Windows系統(tǒng)的桌面系列，只要所采用的設(shè)備具備便攜、智能、可進(jìn)行網(wǎng)絡(luò)通信等特點，本領(lǐng)域技術(shù)人員即可將其視為本領(lǐng)域所稱的相應(yīng)的協(xié)助方移動終端或受助方移動終端。

本發(fā)明在作為協(xié)助方的移動終端和作為受助方的移動終端所實現(xiàn)的功能，可以實現(xiàn)于同一應(yīng)用程序中，通過在移動終端運行該應(yīng)用程序，選擇其充任的相應(yīng)角色，即可使本發(fā)明的相應(yīng)的遠(yuǎn)程協(xié)助有關(guān)的方法得以執(zhí)行。

為了便于理解本發(fā)明，以下介紹本發(fā)明的一種運行環(huán)境，其也可視為本發(fā)明的一種應(yīng)用場景。

請結(jié)合圖1，作為協(xié)助方的移動終端與作為受助方的移動終端通過安裝于各自中的運用本發(fā)明的遠(yuǎn)程協(xié)助控制與受助方法的遠(yuǎn)程協(xié)助應(yīng)用程序進(jìn)行無線通信。協(xié)助方移動終端和受助方移動終端可配置不同的智能化操作系統(tǒng)，只要各設(shè)備均安裝有所述的遠(yuǎn)程協(xié)助應(yīng)用程序，且可進(jìn)行無線網(wǎng)絡(luò)通信，便可無障礙地配合構(gòu)建本發(fā)明的運行環(huán)境。

圖1所示的運行構(gòu)造的工作機(jī)理是：協(xié)助方移動終端與受助方移動終端通過所述遠(yuǎn)程協(xié)助應(yīng)用程序建立無線通信后，受助方即向協(xié)助方提交包含即時的自身用戶界面的網(wǎng)頁內(nèi)容，協(xié)助方用戶根據(jù)受助方用戶的需要，進(jìn)行相應(yīng)的語音輸入，協(xié)助方將該輸入放入語音轉(zhuǎn)換為相應(yīng)的語音指令，并將所述語音指令傳輸給所述受助方，所述受助方即可根據(jù)所述語音指令執(zhí)行相應(yīng)的操作。

關(guān)于上述功能的具體實現(xiàn)，將在后續(xù)的本發(fā)明的多個實施例中逐一予以揭示。

請結(jié)合圖2，要實現(xiàn)遠(yuǎn)程協(xié)助過程中的安全控制，就必須使所述協(xié)助方移動終端與所述受助方移動終端建立無線連接，從而使二者處于遠(yuǎn)程協(xié)助狀態(tài)。因此，本發(fā)明的移動終端所采用的遠(yuǎn)程協(xié)助協(xié)助方法和/或遠(yuǎn)程協(xié)助受助方法均包括一系列相同的前置步驟：

步驟S101，進(jìn)行網(wǎng)絡(luò)檢驗；

步驟S102，發(fā)起連接請求以進(jìn)行無線連接。

以客戶端為例，協(xié)助方與受助方建立無線連接是通過安裝于各自中的運用本發(fā)明的遠(yuǎn)程協(xié)助控制與受助方法的遠(yuǎn)程協(xié)助客戶端實現(xiàn)的，當(dāng)協(xié)助方和受助方中任一方要向?qū)Ψ桨l(fā)起連接請求前，需啟動所述遠(yuǎn)程協(xié)助客戶端，然后所述客戶端進(jìn)行一次本機(jī)網(wǎng)絡(luò)檢驗，如果網(wǎng)絡(luò)異常則提示檢測網(wǎng)絡(luò)，并對網(wǎng)絡(luò)進(jìn)行重新校驗。當(dāng)檢驗網(wǎng)絡(luò)正常時，則可選擇兩種方式登錄所述客戶端，即可選擇游客模式登錄或選擇廠商賬號進(jìn)行登錄。

請結(jié)合圖3，當(dāng)選擇游客模式登錄時，所述客戶端查詢本地的UID(User Identification,用戶身份證明)并判斷本地有無UID。若無本地UID，則生成新的UID并由服務(wù)器保存，本地同時保存新的UID數(shù)據(jù)，并進(jìn)入所述客戶端的主頁面；若有本地UID，則檢測UID是否關(guān)聯(lián)移動終端的廠商信息。若沒有關(guān)聯(lián)，則直接進(jìn)入所述客戶端的主頁面；若有關(guān)聯(lián)，則生成新的UID并由服務(wù)器保存，本地同時保存新的UID數(shù)據(jù)，進(jìn)入所述客戶端主頁面。

請結(jié)合圖4，當(dāng)選擇廠商賬號進(jìn)行登錄時，先檢測并判斷有無廠商賬戶信息，若檢測到廠商賬戶信息，則登錄完成，但未進(jìn)入所述客戶端主頁面；若未檢測到廠商賬戶信息，則調(diào)出廠商的登錄注冊頁面進(jìn)行注冊并登錄，登陸完成，但未進(jìn)入所述客戶端主頁面。當(dāng)?shù)卿浲瓿珊螅瑒t檢測本地有無UID信息。若無本地UID數(shù)據(jù)，則校驗服務(wù)器的UID數(shù)據(jù)，如果服務(wù)器有UID數(shù)據(jù)，則本地保存賬戶信息，并進(jìn)入所述客戶端主頁面；如果服務(wù)器無UID數(shù)據(jù)，則服務(wù)器生成新的UID數(shù)據(jù)并保存，本地保存賬戶信息，并進(jìn)入所述客戶端主頁面。若有本地UID數(shù)據(jù)，則驗證離線UID數(shù)據(jù)，如果UID信息一致，則本地保存賬戶信息，并進(jìn)入所述客戶端主頁面；如果UID信息不一致，則判斷本地賬戶是否關(guān)聯(lián)其他UID。若無關(guān)聯(lián)，則使用本地UID合并廠商數(shù)據(jù)，進(jìn)入所述客戶端主頁面；若有關(guān)聯(lián)，則刪除本地數(shù)據(jù)，使用廠商賬號數(shù)據(jù)進(jìn)行登錄，進(jìn)入所述客戶端主頁面。

登錄完成進(jìn)入所述客戶端主頁后，需添加對方為好友才可發(fā)起連接請求。以智能手機(jī)為例，一般而言，至少存在三種方式可用于添加好友：以客戶端對應(yīng)的賬號添加、以手機(jī)號添加、以廠商賬號添加。

請結(jié)合圖5，以客戶端對應(yīng)的賬號進(jìn)行添加操作時，先輸入對方的客戶端對應(yīng)的賬號，服務(wù)器對該賬號進(jìn)行檢測并判斷其是否有效。若無效，則提示賬號輸入錯誤，需要重新輸入對方賬號；若有效，則服務(wù)器進(jìn)一步判斷是否已添加該賬號。若已添加，則提示已添加該賬號；若未添加，則將該賬號保存到本地，并且服務(wù)器存儲好友關(guān)系庫，向?qū)Ψ桨l(fā)起添加請求后服務(wù)器識別對方UID并向?qū)Ψ桨l(fā)送添加請求通知，然后服務(wù)器判斷對方是否有service響應(yīng)。若有service響應(yīng)，則添加請求發(fā)送成功；若無service響應(yīng)，則添加請求發(fā)送失敗，當(dāng)下一次有service響應(yīng)時再進(jìn)行發(fā)送。發(fā)送成功后，對方接受請求，即添加好友成功。

請結(jié)合圖6，以手機(jī)號進(jìn)行添加操作時，先輸入對方手機(jī)號碼，服務(wù)器判斷本地是否存在此手機(jī)號用戶。若本地不存在此手機(jī)號用戶，則將該手機(jī)號保存到本地并且服務(wù)器存儲好友關(guān)系庫，然后服務(wù)器進(jìn)一步判斷本地是否存在此手機(jī)號用戶，若判斷不存在則頁面跳轉(zhuǎn)到非用戶聯(lián)系人界面，若判斷存在后則頁面跳轉(zhuǎn)到用戶聯(lián)系人界面，向?qū)Ψ桨l(fā)起添加請求后服務(wù)器識別對方UID并向?qū)Ψ桨l(fā)送添加請求通知，然后服務(wù)器判斷對方是否有service響應(yīng)。若有service響應(yīng)，則添加請求發(fā)送成功；若無service響應(yīng)，則添加請求發(fā)送失敗，當(dāng)下一次有service響應(yīng)時再進(jìn)行發(fā)送。推送成功后，對方接受請求，即添加好友成功。若本地存在此手機(jī)號用戶，則服務(wù)器判斷該手機(jī)號是否已被添加。如果已添加，則提示已添加；如果未添加，則將該手機(jī)號保存到本地，并且服務(wù)器存儲好友關(guān)系庫，向?qū)Ψ桨l(fā)起添加請求后服務(wù)器識別對方UID并向?qū)Ψ桨l(fā)送添加請求通知，然后服務(wù)器判斷對方是否有service響應(yīng)。若有service響應(yīng)，則添加請求發(fā)送成功；若無service響應(yīng)，則添加請求發(fā)送失敗，當(dāng)下一次有service響應(yīng)時再進(jìn)行發(fā)送。發(fā)送成功后，對方接受請求，即添加好友成功。

請結(jié)合圖7，以廠商賬號進(jìn)行添加操作時，先輸入對方的廠商賬號，然后服務(wù)器判斷是否存在此賬號。若不存在此賬號，則提示賬號輸入錯誤，需重新輸入對方賬號；若存在此賬號，則服務(wù)器進(jìn)一步判斷該賬號是否已被添加。若已添加，則提示已經(jīng)添加該賬號；若未添加，則將該賬號保存到本地，并且服務(wù)器存儲好友關(guān)系庫，向?qū)Ψ桨l(fā)起添加請求后服務(wù)器識別對方UID并向?qū)Ψ桨l(fā)送添加請求通知，然后服務(wù)器判斷對方是否有service響應(yīng)。若有service響應(yīng)，則添加請求發(fā)送成功；若無service響應(yīng)，則添加請求發(fā)送失敗，當(dāng)下一次有service響應(yīng)時再進(jìn)行發(fā)送。發(fā)送成功后，對方接受請求，即添加好友成功。

通過上述方法，添加好友成功后，一方即可根據(jù)需要發(fā)起連接請求，對方接受請求后，即可進(jìn)入遠(yuǎn)程協(xié)助狀態(tài)。

當(dāng)所述協(xié)助方移動終端與所述受助方移動終端建立無線連接，進(jìn)入遠(yuǎn)程協(xié)助狀態(tài)后，協(xié)助方即可實施對受助方的控制，本發(fā)明的實施例均建立在所述協(xié)助方與所述受助方處于遠(yuǎn)程協(xié)助狀態(tài)的基礎(chǔ)上，以下將詳細(xì)說明本發(fā)明的實施例的有關(guān)內(nèi)容。

請結(jié)合圖8，本發(fā)明的移動終端遠(yuǎn)程協(xié)助方法，包括如下四個步驟：

步驟S11，通過預(yù)建立的處于遠(yuǎn)程協(xié)助狀態(tài)下的協(xié)助方與受助方之間的界面?zhèn)鬏斖ǖ澜邮帐苤教峤坏木W(wǎng)頁內(nèi)容，該網(wǎng)頁內(nèi)容包含受助方從其內(nèi)存中獲取的當(dāng)前顯示的用戶界面。

由于協(xié)助方接收到的是受助方提交的網(wǎng)頁內(nèi)容，且該網(wǎng)頁內(nèi)容包含受助方從其內(nèi)存中獲取的當(dāng)前顯示的用戶界面，顯然，該網(wǎng)頁內(nèi)容是通過網(wǎng)頁進(jìn)行傳輸?shù)?，利用這種傳輸方式，相比于利用一般的傳輸方式，可以使得傳輸速度得到很大程度的提高，且傳輸?shù)挠脩艚缑嬉哺鼮榍逦?/p>

步驟S12，顯示所述網(wǎng)頁內(nèi)容所包含的所述受助方的用戶界面。

所述協(xié)助方接收所述協(xié)助方提交的網(wǎng)頁內(nèi)容后，將其包含的受助方當(dāng)前顯示的用戶界面顯示在自身用戶界面，其顯示方式不唯一，至少存在兩種顯示方式。一種方式是，通過窗口顯示所述受助方用戶界面，該窗口只占據(jù)協(xié)助方用戶界面的一部分；另一種方式是，全屏顯示所述受助方用戶界面。對于上述兩種方式，協(xié)助方用戶可根據(jù)自己的喜好或?qū)嶋H需要進(jìn)行選擇。

步驟S13，接收語音輸入，將之轉(zhuǎn)換為語音指令，通過預(yù)建立的協(xié)助方與受助方之間的控制傳輸通道將語音指令傳輸?shù)绞苤健?/p>

根據(jù)受助方用戶的操作需求，協(xié)助方用戶對所述協(xié)助方進(jìn)行語音輸入，協(xié)助方接收語音輸入并將之轉(zhuǎn)換為語音指令，此過程的具體實現(xiàn)方法，請參閱圖9，因此步驟S13又包含如下具體步驟：

步驟S21,啟動受話器用于接收用戶語音。所述受話器是指可以接收語音的裝置，通常情況下，所述受話器一般指設(shè)置在所述協(xié)助方內(nèi)部的麥克風(fēng)。一種實施例中，可通過協(xié)助方用戶界面提供的虛擬按鍵接收用戶的觸控操作啟動所述受話器。以客戶端為例，在客戶端的頁面中，設(shè)置有麥克風(fēng)標(biāo)志或直接以文字注明如“輸入語音”的虛擬按鍵，當(dāng)協(xié)助方用戶對所述虛擬按鍵實行諸如點擊、觸屏等觸控操作時，所述受話器被啟動，開始接收語音輸入，再進(jìn)行相同的操作時，所述受話器被關(guān)閉，停止接收語音輸入；或者，通過長按所述虛擬按鍵，所述受話器即可持續(xù)接收語音輸入，該長按操作停止時，所述受話器停止接受語音輸入。存在另一種情況，客戶端在被啟動之后，可以一直檢測是否有聲音輸入，如果有則進(jìn)行偵聽記錄，在此期間，如果發(fā)現(xiàn)用戶一直在不間斷地說話，則證明用戶還沒有完成此次描述，直到用戶停止說話達(dá)到一定的時間長度(例如2秒或者其他值)，則可以認(rèn)為用戶已經(jīng)完成了此次描述。即，所述受話器始終處于工作狀態(tài)，即在遠(yuǎn)程操作過程中可隨時接受協(xié)助方用戶的語音輸入，而不需要用戶執(zhí)行前述的觸控操作。但通常來說，為了避免接收與指定操作無關(guān)的語音輸入，不會優(yōu)先選取此方案。

步驟S22，將用戶語音提交到云端服務(wù)器進(jìn)行語義識別和指令轉(zhuǎn)換，以形成相應(yīng)的語音指令。所述受話器在接收用戶語音之后，將語音提交到云端服務(wù)器，云端服務(wù)器即對語音進(jìn)行語義識別和指令轉(zhuǎn)換。云端服務(wù)器先將輸入的語音進(jìn)行識別，并將語音轉(zhuǎn)換為文字信息，然后識別文字信息中的關(guān)鍵詞，根據(jù)這些關(guān)鍵詞，直接生成語音指令，或必要時聯(lián)網(wǎng)搜索對應(yīng)的信息以形成語音指令。

相應(yīng)地，云端服務(wù)器中以預(yù)先保存有與所述文本信息對應(yīng)的文本樣本。首先，在預(yù)先保存文本樣本時，針對同一終端設(shè)備故障，可以根據(jù)用戶的語言習(xí)慣，或者不同用戶可能會用到的表達(dá)方式，保存多個文本樣本，也就是說，文本樣本與指令之間可以是多對一(這里將針對同一故障可能執(zhí)行的一系列指令看作的是一個指令)的關(guān)系。例如，“手機(jī)界面出現(xiàn)陌生圖標(biāo)，且無法刪除”、“手機(jī)界面上有不認(rèn)識的圖標(biāo)，還刪不掉”等文本樣本，對應(yīng)的指令是相同的。這樣，將用戶輸入的語音信號轉(zhuǎn)換為文本信息之后，就可以將轉(zhuǎn)換得到的文本信息與各文本樣本進(jìn)行比對，如果能夠直接命中某一文本樣本，則可以為其選擇執(zhí)行該文本樣本對應(yīng)的指令。

當(dāng)然，通過以上這種多對一的方式可能仍然不能完全將用戶可能說的話完全涵蓋進(jìn)來，因此，在本發(fā)明實施例中，如果轉(zhuǎn)換得到的文本信息不能直接命中任何預(yù)置的文本樣本，則還可以通過語義分析方式進(jìn)行匹配。也即，對轉(zhuǎn)換得到的文本進(jìn)行語義分析，分析出用戶的真實意思，比如是想殺毒還是想查殺木馬，并導(dǎo)向到預(yù)置的命令；或者，對于同一個意思，比如殺毒，用戶可以說，“我想殺個毒”，或者用戶說，“我的手機(jī)有毒”，因此，把“我的手機(jī)有毒”也可以分析成殺毒指令，等等。進(jìn)而，可以判斷是否存在語義上與所述轉(zhuǎn)換得到的文本信息相匹配的預(yù)置的文本樣本，如果存在，就可以為轉(zhuǎn)換得到的文本信息選擇執(zhí)行該文本樣本對應(yīng)的指令。

一種實施例中，協(xié)助方用戶輸入提問式的語音，如“明天想去長城玩，會不會冷，需不需要帶外套”，云端服務(wù)器將其轉(zhuǎn)換對應(yīng)的文字信息，并識別關(guān)鍵詞如“明天”(時間)、“長城”(地點)、“會不會冷”(天氣)、“外套”(生活資訊)等，從而確定與之對應(yīng)的文本樣本，然后依據(jù)該文本樣本搜索得到明天長城的天氣情況及相關(guān)的穿衣指數(shù)內(nèi)容等，并根據(jù)搜索結(jié)果得到答案如“明天長城有點涼，還是穿件外套吧”，即將之轉(zhuǎn)換成了相應(yīng)的語音指令。另一種實施例中，協(xié)助方用戶輸入陳述式的語音如“提醒老爸晚上八點鐘參加同事聚餐”，云端服務(wù)器將其轉(zhuǎn)換為對應(yīng)的文字信息，并識別關(guān)鍵詞如“提醒”、“老爸”(受助方用戶)、“晚上八點鐘”(時間)、“同事聚餐”(事件)，從而確定與之對應(yīng)的文本樣本，并生成相應(yīng)的語音指令如“晚上八點鐘參加同事聚餐”。

如果經(jīng)過語義分析仍然未發(fā)現(xiàn)匹配的文本樣本，則證明有可能是在語音識別的過程中出現(xiàn)了錯誤，例如，在存在同音字的情況下，可能錯誤地轉(zhuǎn)換成了另一個字，以至于無法正確分析出其語義。因此，在本發(fā)明實施例中，還可以將所轉(zhuǎn)換得到的文本信息中的文字進(jìn)行同音字的替換，替換之后，再進(jìn)行語義分析，并與文本樣本進(jìn)行比對。具體實現(xiàn)時，可以預(yù)置一同音字庫，根據(jù)同音字庫，將一個文本信息中可能包含的同音字逐個進(jìn)行替換。

最后，如果進(jìn)行同音字的替換之后，仍未發(fā)現(xiàn)匹配的文本樣本，則證明可能是由于用戶的發(fā)音存在錯誤，此時，可以根據(jù)方言可能產(chǎn)生的發(fā)音錯誤對照表(可以是預(yù)置的，例如有些南方人可能不能區(qū)分平舌音與翹舌音，將“zh”、“ch”、“sh”讀成“z”、“c”、“s”，有人則恰恰相反，或者還有人不能區(qū)分前鼻音與后鼻音，將“ang”、“eng”、“ing”讀成“an”、“en”、“in”，等等)，將可能包含的發(fā)音錯誤文字進(jìn)行糾正，之后再進(jìn)行語義分析，并與文本樣本進(jìn)行匹配。當(dāng)然，在一段文本中可能會包含多個疑似由于口音問題識別錯誤的文字，因此，可以一個一個地排查，例如，首先找出聲母中帶有需要區(qū)分平舌和翹舌的，以及韻母中有需要區(qū)分前鼻音后鼻音的，然后分別進(jìn)行替換。例如，如果當(dāng)前文本中包含聲母是“s”的文字，則將其聲母替換為“sh”，再重新拼出新的文字，用于替換文本信息中對應(yīng)的文字，然后再與文本樣本進(jìn)行匹配，以此類推。當(dāng)然，在實際應(yīng)用中，在不同的語境或上下文中，由于方言導(dǎo)致的識別錯誤可能有一定規(guī)律。因此，可以預(yù)先對這種規(guī)律進(jìn)行統(tǒng)計，這樣，在需要進(jìn)行口音糾正時，就可以結(jié)合具體的語境及上下文，根據(jù)之前統(tǒng)計的信息找出最有可能是由于用戶方言導(dǎo)致的識別錯誤，并進(jìn)行替換后再與文本樣本進(jìn)行匹配，這樣可以提高效率。

需要說明的是，在執(zhí)行上述匹配的過程中，根據(jù)同一轉(zhuǎn)換得到的文本信息，可能會得到多個匹配的文本樣本，進(jìn)而對應(yīng)多個指令。此時，還可以根據(jù)匹配過程所依據(jù)的信息，對匹配出的各個文本樣本進(jìn)行計算權(quán)值，最終所得權(quán)值最高的文本樣本作為最匹配的文本樣本，并為轉(zhuǎn)換得到的文本信息選擇該文本樣本對應(yīng)的指令。其中，具體在計算權(quán)值時，可以將文本直接命中的情況設(shè)定為最高的權(quán)重，同音字替換后命中的次之，口音糾正后命中的最低，當(dāng)然，也可以按照其他的方式設(shè)置權(quán)重。

另外需要說明的是，在實際應(yīng)用中，不一定嚴(yán)格按照上述順序進(jìn)行匹配，例如，如果轉(zhuǎn)換后的文本信息沒有直接命中文本樣本，則也可以直接進(jìn)行口音糾正，或者將同音字替換與口音糾正的步驟互換，或者也可以只執(zhí)行其中的一些操作，等等，這里不進(jìn)行限定?？傊?，通過前述操作，可以將語音識別與語義、模糊音匹配等技術(shù)結(jié)合起來，經(jīng)過從語音到文字、從文字到指令的過程，得到用戶想要執(zhí)行的指令，從而幫助用戶診斷受助方可能存在的問題。

再者，在實際應(yīng)用中，在為轉(zhuǎn)換得到的文本信息選擇出對應(yīng)的指令之后，可以立即執(zhí)行該指令，以便使受助方消除故障?；蛘?，為了避免產(chǎn)生誤判等，也可以在選擇出對應(yīng)的指令之后，向用戶發(fā)出提示信息，如果用戶接受，則執(zhí)行相應(yīng)的指令。

如果系統(tǒng)經(jīng)過一系列的查詢，分析之后，還是無法找到命令的匹配項或是有多個匹配項被同時命中，系統(tǒng)可以讓用戶選擇可能的操作，這時，可以加入語音提示，提示后，再次接收用戶的語音輸入，判斷用戶是不是確認(rèn)這一操作，通過這一方式，可以做到用戶不用任何觸控或點擊操作即可在打開相關(guān)程序，以便修復(fù)受助方存在的問題。

一種實施例中，協(xié)助方用戶輸入命令式的語音如“幫老媽尋找在她附近的餐廳”，云端服務(wù)器將其轉(zhuǎn)換為對應(yīng)的文字信息，并提取出關(guān)鍵詞如“老媽”(受助方用戶)、“尋找”、“餐廳”等，并形成相應(yīng)的語音指令，使得受助方立即執(zhí)行該指令，開始進(jìn)行導(dǎo)航。又一種實施例中，協(xié)助方用戶輸入命令式的語音如“打開微信”，云端服務(wù)器將其轉(zhuǎn)換為對應(yīng)的文字信息，并提取出關(guān)鍵詞“打開”、“微信”，并形成相應(yīng)的語音指令，得受助方立即執(zhí)行該指令，即打開微信，或向受助方發(fā)出提示信息，彈出如包含“是”和“否”選項的條件選項框，用戶選擇“是”后，則執(zhí)行相應(yīng)的指令，即打開微信。

對于非精準(zhǔn)的匹配，如果得到用戶的肯定的回答，則可以直接將這一模糊詞組入庫，下次如果再遇到這一詞組，則可以認(rèn)為是一個精準(zhǔn)的匹配，而不用再次與用戶進(jìn)行語音確認(rèn)。從而，系統(tǒng)可以不斷的自我學(xué)習(xí)。因為這一個自我學(xué)習(xí)的過程是發(fā)生在用戶的本地，所以這是一個完全以用戶的口音，說話方式為訓(xùn)練源的自我學(xué)習(xí)過程。在用戶的使用過程中，整個系統(tǒng)會越來越能明用戶的意思。

所述協(xié)助方將所述語音指令傳輸給所述受助方后，在協(xié)助方的協(xié)助下，所述受助方根據(jù)所述語音指令確定相應(yīng)的指令集并將之以文件形式預(yù)存于受助方移動終端。為了能夠根據(jù)用戶輸入的故障描述信息，為用戶找到為消除該故障所需執(zhí)行的操作，本發(fā)明實施例可以預(yù)先收集一些用戶的終端設(shè)備中可能出現(xiàn)的各種故障，通過人工分析等方式，找出這些故障的原因，并給出具體的解決方法，例如，關(guān)于“手機(jī)界面出現(xiàn)陌生圖標(biāo)，且無法刪除”這一故障，分析出是由于手機(jī)中了病毒木馬所致，對應(yīng)的解決方法就可以是查殺木馬，甚至可以是查殺某一特定木馬等等?？梢酝ㄟ^一系列指令的方式來表達(dá)出這種解決方法，然后就可以將用于描述故障的文本與解決該故障的指令對應(yīng)保存起來；保存的對應(yīng)關(guān)系中的文本相當(dāng)于是對故障進(jìn)行描述的文本樣本，這樣，將用戶輸入的語音信號轉(zhuǎn)換為文本信息之后，就可以將轉(zhuǎn)換得到的文本信息，與預(yù)先保存的各條記錄中的文本進(jìn)行匹配，該文本的確定方式已在上文中作了具體說明，故不再贅述，如果與某條記錄匹配成功，則可以執(zhí)行該條記錄中的指令，這樣，就可以將該用戶終端設(shè)備中存在的故障消除。

另外，由于協(xié)助方的語音指令可能不止對應(yīng)一個操作，所以可將其分解為多條單一的指令，每條指令即對應(yīng)一個操作。如一種實施例中，所述語音指令為“打開微信和QQ”，其對應(yīng)的指令集就對應(yīng)了打開微信的操作和打開QQ的操作。

完成步驟S13及其包含的步驟S21、S22后，協(xié)助方立即執(zhí)行步驟S14，即更新顯示后續(xù)獲取的受助方提交的網(wǎng)頁內(nèi)容中的受助方用戶界面，使其展示受所述語音指令作用于受助方后形成的畫面活動過程。

為了保證遠(yuǎn)程協(xié)助的有效性，就必須使得協(xié)助方可即時獲取受助方的用戶界面，因此協(xié)助方在遠(yuǎn)程協(xié)助的過程中能持續(xù)更新受助方的用戶界面，并使受助方用戶界面展示受所述語音指令作用于受助方后形成的畫面活動過程，請結(jié)合圖13，一種方式中，在所述協(xié)助方的協(xié)助下，受助方用戶界面形成的畫面活動過程包括如下步驟：

步驟S41，顯示收到所述語音指令后彈出的內(nèi)容信息；步驟S42，在接收用戶觸發(fā)事件后清除所述內(nèi)容信息。與前述的實施例相對應(yīng)地，一種實施例中，當(dāng)受助方接收到“明天長城有點涼，還是穿件外套吧”的語音指令后，即在受助方用戶界面顯示相同或語義一致的文字內(nèi)容，換言之，該文字內(nèi)容不是固定的，只要其語義與所述語音指令對應(yīng)即可，在接收用戶觸發(fā)事件后，所述文字內(nèi)容即被清除。所述觸發(fā)事件可以是按下移動終端上的某個實體按鍵，也可以是在用戶界面進(jìn)行觸屏、點擊等操作，當(dāng)然也包括用戶在用戶界面上執(zhí)行的手勢事件，或用戶作用于對移動終端做語音輸入，該語音對應(yīng)于清除所述文字內(nèi)容的命令。

請結(jié)合圖14，在另一種方式中，在所述協(xié)助方的控制下，使受助方用戶界面形成的畫面活動過程包括如下步驟：步驟S51，顯示接收到所述語音指令后彈出的交互控件；步驟S52，以所述交互控件接收用戶觸發(fā)事件；步驟S53，執(zhí)行與所述觸發(fā)事件所對應(yīng)的協(xié)助過程。與前述的實施例相對應(yīng)地，一種實施例中，在接收到與“尋找附近餐廳”相應(yīng)的語音指令后，受助方用戶界面顯示如帶有文字內(nèi)容“是否要打開地圖進(jìn)行導(dǎo)航”和“是”、“否”選項的交互控件，在接收用戶的選擇，比如選擇“是”后，即打開受助方中的地圖應(yīng)用程序，開始進(jìn)行導(dǎo)航。一種實施例中，在接收到與“打開微信”相應(yīng)的語音指令后，受助方用戶界面顯示如帶有文字內(nèi)容“是否要打開微信”和“是”、“否”選項的交互控件，在接收用戶的選擇，比如選擇“是”后，即可打開受助方的微信，并進(jìn)入微信客戶端主頁面。

所述實施例不應(yīng)形成對所述交互控件、觸發(fā)事件和協(xié)助過程的內(nèi)容和形式的限制。所述交互控件也可以是彈窗，并包含三個或三個以上的選項；也可以是其他形式的虛擬鍵盤，只要通過其能完成相應(yīng)的操作，則可視為本發(fā)明所述的交互控件。所述的協(xié)助過程除了打開應(yīng)用程序以外，還可以包括刪除應(yīng)用程序、切換用戶界面、輸入內(nèi)容信息、刪除內(nèi)容信息、編輯內(nèi)容信息等，且協(xié)助過程可同時包含上述多個過程，例如一種實施例中，受助方用戶欲將受助方中的微信中的某些文字內(nèi)容復(fù)制到word文檔中并做適當(dāng)修改，在協(xié)助方的協(xié)助下，受助方完成該操作的過程即包括了打開應(yīng)用程序(打開微信和word文檔)、切換用戶界面(從微信界面切換到word文檔界面)、輸入內(nèi)容信息(將微信中的文字內(nèi)容復(fù)制到word文檔中并修改文字內(nèi)容)、刪除內(nèi)容信息和編輯內(nèi)容信息(在word文檔中修改文字內(nèi)容)等。

根據(jù)模塊化程序設(shè)計理念，本發(fā)明還為上述遠(yuǎn)程協(xié)助方法提供相應(yīng)的裝置，以下將進(jìn)行詳細(xì)介紹。

本發(fā)明適用于所述的協(xié)助方移動終端而提供的一種遠(yuǎn)程協(xié)助控制裝置具有多種實施例，以下將以與所述的遠(yuǎn)程協(xié)助協(xié)助方法相適應(yīng)的方式，詳細(xì)說明本發(fā)明的遠(yuǎn)程協(xié)助控制裝置所實現(xiàn)的實施例的有關(guān)內(nèi)容。

請結(jié)合圖10，本發(fā)明的移動終端遠(yuǎn)程協(xié)助控制裝置，包括接收單元11、顯示單元12、轉(zhuǎn)換單元13和更新單元14，在默認(rèn)協(xié)助方與受助方建立無線連接的情況下，所述遠(yuǎn)程協(xié)助控制裝置通常按照顯接收單元11、顯示單元12、轉(zhuǎn)換單元13、更新單元14的順序運行來執(zhí)行。其具體實施方式將在以下內(nèi)容中說明。

所述的接收單元11，通過預(yù)建立的處于遠(yuǎn)程協(xié)助狀態(tài)下的協(xié)助方與受助方之間的界面?zhèn)鬏斖ǖ澜邮帐苤教峤坏木W(wǎng)頁內(nèi)容，該網(wǎng)頁內(nèi)容包含受助方從其內(nèi)存中獲取的當(dāng)前顯示的用戶界面。

由于協(xié)助方接收到的是受助方提交的網(wǎng)頁內(nèi)容，且該網(wǎng)頁內(nèi)容包含受助方從其內(nèi)存中獲取的當(dāng)前顯示的用戶界面，顯然，該網(wǎng)頁內(nèi)容是通過網(wǎng)頁進(jìn)行傳輸?shù)模眠@種傳輸方式，相比于利用一般的傳輸方式，可以使得傳輸速度得到很大程度的提高，且傳輸?shù)挠脩艚缑嬉哺鼮榍逦?/p>

所述的顯示單元12，用于顯示所述網(wǎng)頁內(nèi)容所包含的所述受助方的用戶界面。

所述協(xié)助方接收所述協(xié)助方提交的網(wǎng)頁內(nèi)容后，將其包含的受助方當(dāng)前顯示的用戶界面顯示在自身用戶界面，其顯示方式不唯一，至少存在兩種顯示方式。一種方式是，通過窗口顯示所述受助方用戶界面，該窗口只占據(jù)協(xié)助方用戶界面的一部分；另一種方式是，全屏顯示所述受助方用戶界面。對于上述兩種方式，協(xié)助方用戶可根據(jù)自己的喜好或?qū)嶋H需要進(jìn)行選擇。

所述的轉(zhuǎn)換單元13，用于接收語音輸入，將之轉(zhuǎn)換為語音指令，通過預(yù)建立的協(xié)助方與受助方之間的控制傳輸通道將語音指令傳輸?shù)绞苤健?/p>

根據(jù)受助方用戶的操作需求，協(xié)助方用戶對所述協(xié)助方進(jìn)行語音輸入，協(xié)助方接收語音輸入并將之轉(zhuǎn)換為語音指令，要實現(xiàn)此過程，請參閱圖11，本裝置還包括：

啟動單元21,用于啟動受話器用于接收用戶語音。所述受話器是指可以接收語音的裝置，通常情況下，所述受話器一般指設(shè)置在所述協(xié)助方內(nèi)部的麥克風(fēng)。一種實施例中，可通過協(xié)助方用戶界面提供的虛擬按鍵接收用戶的觸控操作啟動所述受話器。以客戶端為例，在客戶端的頁面中，設(shè)置有麥克風(fēng)標(biāo)志或直接以文字注明如“輸入語音”的虛擬按鍵，當(dāng)協(xié)助方用戶對所述虛擬按鍵實行諸如點擊、觸屏等觸控操作時，所述受話器被啟動，開始接收語音輸入，再進(jìn)行相同的操作時，所述受話器被關(guān)閉，停止接收語音輸入；或者，通過長按所述虛擬按鍵，所述受話器即可持續(xù)接收語音輸入，該長按操作停止時，所述受話器停止接受語音輸入。存在另一種情況，客戶端在被啟動之后，可以一直檢測是否有聲音輸入，如果有則進(jìn)行偵聽記錄，在此期間，如果發(fā)現(xiàn)用戶一直在不間斷地說話，則證明用戶還沒有完成此次描述，直到用戶停止說話達(dá)到一定的時間長度(例如2秒或者其他值)，則可以認(rèn)為用戶已經(jīng)完成了此次描述。即，所述受話器始終處于工作狀態(tài)，即在遠(yuǎn)程操作過程中可隨時接受協(xié)助方用戶的語音輸入，而不需要用戶執(zhí)行前述的觸控操作。但通常來說，為了避免接收與指定操作無關(guān)的語音輸入，不會優(yōu)先選取此方案。

提交單元22，用于將用戶語音提交到云端服務(wù)器進(jìn)行語義識別和指令轉(zhuǎn)換，以形成相應(yīng)的語音指令。所述受話器在接收用戶語音之后，將語音提交到云端服務(wù)器，云端服務(wù)器即對語音進(jìn)行語義識別和指令轉(zhuǎn)換。云端服務(wù)器先將輸入的語音進(jìn)行識別，并將語音轉(zhuǎn)換為文字信息，然后識別文字信息中的關(guān)鍵詞，根據(jù)這些關(guān)鍵詞，直接生成語音指令，或必要時聯(lián)網(wǎng)搜索對應(yīng)的信息以形成語音指令。

相應(yīng)地，云端服務(wù)器中以預(yù)先保存有與所述文本信息對應(yīng)的文本樣本。首先，在預(yù)先保存文本樣本時，針對同一終端設(shè)備故障，可以根據(jù)用戶的語言習(xí)慣，或者不同用戶可能會用到的表達(dá)方式，保存多個文本樣本，也就是說，文本樣本與指令之間可以是多對一(這里將針對同一故障可能執(zhí)行的一系列指令看作的是一個指令)的關(guān)系。例如，“手機(jī)界面出現(xiàn)陌生圖標(biāo)，且無法刪除”、“手機(jī)界面上有不認(rèn)識的圖標(biāo)，還刪不掉”等文本樣本，對應(yīng)的指令是相同的。這樣，將用戶輸入的語音信號轉(zhuǎn)換為文本信息之后，就可以將轉(zhuǎn)換得到的文本信息與各文本樣本進(jìn)行比對，如果能夠直接命中某一文本樣本，則可以為其選擇執(zhí)行該文本樣本對應(yīng)的指令。

當(dāng)然，通過以上這種多對一的方式可能仍然不能完全將用戶可能說的話完全涵蓋進(jìn)來，因此，在本發(fā)明實施例中，如果轉(zhuǎn)換得到的文本信息不能直接命中任何預(yù)置的文本樣本，則還可以通過語義分析方式進(jìn)行匹配。也即，對轉(zhuǎn)換得到的文本進(jìn)行語義分析，分析出用戶的真實意思，比如是想殺毒還是想查殺木馬，并導(dǎo)向到預(yù)置的命令；或者，對于同一個意思，比如殺毒，用戶可以說，“我想殺個毒”，或者用戶說，“我的手機(jī)有毒”，因此，把“我的手機(jī)有毒”也可以分析成殺毒指令，等等。進(jìn)而，可以判斷是否存在語義上與所述轉(zhuǎn)換得到的文本信息相匹配的預(yù)置的文本樣本，如果存在，就可以為轉(zhuǎn)換得到的文本信息選擇執(zhí)行該文本樣本對應(yīng)的指令。

一種實施例中，協(xié)助方用戶輸入提問式的語音，如“明天想去長城玩，會不會冷，需不需要帶外套”，云端服務(wù)器將其轉(zhuǎn)換對應(yīng)的文字信息，并識別關(guān)鍵詞如“明天”(時間)、“長城”(地點)、“會不會冷”(天氣)、“外套”(生活資訊)等，從而確定與之對應(yīng)的文本樣本，然后依據(jù)該文本樣本搜索得到明天長城的天氣情況及相關(guān)的穿衣指數(shù)內(nèi)容等，并根據(jù)搜索結(jié)果得到答案如“明天長城有點涼，還是穿件外套吧”，即將之轉(zhuǎn)換成了相應(yīng)的語音指令。另一種實施例中，協(xié)助方用戶輸入陳述式的語音如“提醒老爸晚上八點鐘參加同事聚餐”，云端服務(wù)器將其轉(zhuǎn)換為對應(yīng)的文字信息，并識別關(guān)鍵詞如“提醒”、“老爸”(受助方用戶)、“晚上八點鐘”(時間)、“同事聚餐”(事件)，從而確定與之對應(yīng)的文本樣本，并生成相應(yīng)的語音指令如“晚上八點鐘參加同事聚餐”。

如果經(jīng)過語義分析仍然未發(fā)現(xiàn)匹配的文本樣本，則證明有可能是在語音識別的過程中出現(xiàn)了錯誤，例如，在存在同音字的情況下，可能錯誤地轉(zhuǎn)換成了另一個字，以至于無法正確分析出其語義。因此，在本發(fā)明實施例中，還可以將所轉(zhuǎn)換得到的文本信息中的文字進(jìn)行同音字的替換，替換之后，再進(jìn)行語義分析，并與文本樣本進(jìn)行比對。具體實現(xiàn)時，可以預(yù)置一同音字庫，根據(jù)同音字庫，將一個文本信息中可能包含的同音字逐個進(jìn)行替換。

最后，如果進(jìn)行同音字的替換之后，仍未發(fā)現(xiàn)匹配的文本樣本，則證明可能是由于用戶的發(fā)音存在錯誤，此時，可以根據(jù)方言可能產(chǎn)生的發(fā)音錯誤對照表(可以是預(yù)置的，例如有些南方人可能不能區(qū)分平舌音與翹舌音，將“zh”、“ch”、“sh”讀成“z”、“c”、“s”，有人則恰恰相反，或者還有人不能區(qū)分前鼻音與后鼻音，將“ang”、“eng”、“ing”讀成“an”、“en”、“in”，等等)，將可能包含的發(fā)音錯誤文字進(jìn)行糾正，之后再進(jìn)行語義分析，并與文本樣本進(jìn)行匹配。當(dāng)然，在一段文本中可能會包含多個疑似由于口音問題識別錯誤的文字，因此，可以一個一個地排查，例如，首先找出聲母中帶有需要區(qū)分平舌和翹舌的，以及韻母中有需要區(qū)分前鼻音后鼻音的，然后分別進(jìn)行替換。例如，如果當(dāng)前文本中包含聲母是“s”的文字，則將其聲母替換為“sh”，再重新拼出新的文字，用于替換文本信息中對應(yīng)的文字，然后再與文本樣本進(jìn)行匹配，以此類推。當(dāng)然，在實際應(yīng)用中，在不同的語境或上下文中，由于方言導(dǎo)致的識別錯誤可能有一定規(guī)律。因此，可以預(yù)先對這種規(guī)律進(jìn)行統(tǒng)計，這樣，在需要進(jìn)行口音糾正時，就可以結(jié)合具體的語境及上下文，根據(jù)之前統(tǒng)計的信息找出最有可能是由于用戶方言導(dǎo)致的識別錯誤，并進(jìn)行替換后再與文本樣本進(jìn)行匹配，這樣可以提高效率。

需要說明的是，在執(zhí)行上述匹配的過程中，根據(jù)同一轉(zhuǎn)換得到的文本信息，可能會得到多個匹配的文本樣本，進(jìn)而對應(yīng)多個指令。此時，還可以根據(jù)匹配過程所依據(jù)的信息，對匹配出的各個文本樣本進(jìn)行計算權(quán)值，最終所得權(quán)值最高的文本樣本作為最匹配的文本樣本，并為轉(zhuǎn)換得到的文本信息選擇該文本樣本對應(yīng)的指令。其中，具體在計算權(quán)值時，可以將文本直接命中的情況設(shè)定為最高的權(quán)重，同音字替換后命中的次之，口音糾正后命中的最低，當(dāng)然，也可以按照其他的方式設(shè)置權(quán)重。

另外需要說明的是，在實際應(yīng)用中，不一定嚴(yán)格按照上述順序進(jìn)行匹配，例如，如果轉(zhuǎn)換后的文本信息沒有直接命中文本樣本，則也可以直接進(jìn)行口音糾正，或者將同音字替換與口音糾正的步驟互換，或者也可以只執(zhí)行其中的一些操作，等等，這里不進(jìn)行限定?？傊?，通過前述操作，可以將語音識別與語義、模糊音匹配等技術(shù)結(jié)合起來，經(jīng)過從語音到文字、從文字到指令的過程，得到用戶想要執(zhí)行的指令，從而幫助用戶診斷受助方可能存在的問題。

再者，在實際應(yīng)用中，在為轉(zhuǎn)換得到的文本信息選擇出對應(yīng)的指令之后，可以立即執(zhí)行該指令，以便使受助方消除故障?；蛘?，為了避免產(chǎn)生誤判等，也可以在選擇出對應(yīng)的指令之后，向用戶發(fā)出提示信息，如果用戶接受，則執(zhí)行相應(yīng)的指令。

如果系統(tǒng)經(jīng)過一系列的查詢，分析之后，還是無法找到命令的匹配項或是有多個匹配項被同時命中，系統(tǒng)可以讓用戶選擇可能的操作，這時，可以加入語音提示，提示后，再次接收用戶的語音輸入，判斷用戶是不是確認(rèn)這一操作，通過這一方式，可以做到用戶不用任何觸控或點擊操作即可在打開相關(guān)程序，以便修復(fù)受助方存在的問題。

一種實施例中，協(xié)助方用戶輸入命令式的語音如“幫老媽尋找在她附近的餐廳”，云端服務(wù)器將其轉(zhuǎn)換為對應(yīng)的文字信息，并提取出關(guān)鍵詞如“老媽”(受助方用戶)、“尋找”、“餐廳”等，并形成相應(yīng)的語音指令，使得受助方立即執(zhí)行該指令，開始進(jìn)行導(dǎo)航。又一種實施例中，協(xié)助方用戶輸入命令式的語音如“打開微信”，云端服務(wù)器將其轉(zhuǎn)換為對應(yīng)的文字信息，并提取出關(guān)鍵詞“打開”、“微信”，并形成相應(yīng)的語音指令，得受助方立即執(zhí)行該指令，即打開微信，或向受助方發(fā)出提示信息，彈出如包含“是”和“否”選項的條件選項框，用戶選擇“是”后，則執(zhí)行相應(yīng)的指令，即打開微信。

對于非精準(zhǔn)的匹配，如果得到用戶的肯定的回答，則可以直接將這一模糊詞組入庫，下次如果再遇到這一詞組，則可以認(rèn)為是一個精準(zhǔn)的匹配，而不用再次與用戶進(jìn)行語音確認(rèn)。從而，系統(tǒng)可以不斷的自我學(xué)習(xí)。因為這一個自我學(xué)習(xí)的過程是發(fā)生在用戶的本地，所以這是一個完全以用戶的口音，說話方式為訓(xùn)練源的自我學(xué)習(xí)過程。在用戶的使用過程中，整個系統(tǒng)會越來越能明用戶的意思。

所述協(xié)助方將所述語音指令傳輸給所述受助方后，在協(xié)助方的協(xié)助下，所述受助方根據(jù)所述語音指令確定相應(yīng)的指令集并將之以文件形式預(yù)存于受助方移動終端。為了能夠根據(jù)用戶輸入的故障描述信息，為用戶找到為消除該故障所需執(zhí)行的操作，本發(fā)明實施例可以預(yù)先收集一些用戶的終端設(shè)備中可能出現(xiàn)的各種故障，通過人工分析等方式，找出這些故障的原因，并給出具體的解決方法，例如，關(guān)于“手機(jī)界面出現(xiàn)陌生圖標(biāo)，且無法刪除”這一故障，分析出是由于手機(jī)中了病毒木馬所致，對應(yīng)的解決方法就可以是查殺木馬，甚至可以是查殺某一特定木馬等等?？梢酝ㄟ^一系列指令的方式來表達(dá)出這種解決方法，然后就可以將用于描述故障的文本與解決該故障的指令對應(yīng)保存起來；保存的對應(yīng)關(guān)系中的文本相當(dāng)于是對故障進(jìn)行描述的文本樣本，這樣，將用戶輸入的語音信號轉(zhuǎn)換為文本信息之后，就可以將轉(zhuǎn)換得到的文本信息，與預(yù)先保存的各條記錄中的文本進(jìn)行匹配，該文本的確定方式已在上文中作了具體說明，故不再贅述，如果與某條記錄匹配成功，則可以執(zhí)行該條記錄中的指令，這樣，就可以將該用戶終端設(shè)備中存在的故障消除。

另外，由于協(xié)助方的語音指令可能不止對應(yīng)一個操作，所以可將其分解為多條單一的指令，每條指令即對應(yīng)一個操作。如一種實施例中，所述語音指令為“打開微信和QQ”，其對應(yīng)的指令集就對應(yīng)了打開微信的操作和打開QQ的操作。

所述的更新單元14，用于更新顯示后續(xù)獲取的受助方提交的網(wǎng)頁內(nèi)容中的受助方用戶界面，使其展示受所述語音指令作用于受助方后形成的畫面活動過程。

為了保證遠(yuǎn)程協(xié)助的有效性，就必須使得協(xié)助方可即時獲取受助方的用戶界面，因此協(xié)助方在遠(yuǎn)程協(xié)助的過程中能持續(xù)更新受助方的用戶界面，并使受助方用戶界面展示受所述語音指令作用于受助方后形成的畫面活動過程，一種方式中，在所述協(xié)助方的協(xié)助下，受助方用戶界面形成的畫面活動過程包括：顯示收到所述語音指令后彈出的內(nèi)容信息；在接收用戶觸發(fā)事件后清除所述內(nèi)容信息。

與前述的實施例相對應(yīng)地，一種實施例中，當(dāng)受助方接收到“明天長城有點涼，還是穿件外套吧”的語音指令后，即在受助方用戶界面顯示相同或語義一致的文字內(nèi)容，換言之，該文字內(nèi)容不是固定的，只要其語義與所述語音指令對應(yīng)即可，在接收用戶觸發(fā)事件后，所述文字內(nèi)容即被清除。所述觸發(fā)事件可以是按下移動終端上的某個實體按鍵，也可以是在用戶界面進(jìn)行觸屏、點擊等操作，當(dāng)然也包括用戶在用戶界面上執(zhí)行的手勢事件，或用戶作用于對移動終端做語音輸入，該語音對應(yīng)于清除所述文字內(nèi)容的命令。

在另一種方式中，在所述協(xié)助方的控制下，使受助方用戶界面形成的畫面活動過程包括：顯示接收到所述語音指令后彈出的交互控件；以所述交互控件接收用戶觸發(fā)事件；執(zhí)行與所述觸發(fā)事件所對應(yīng)的協(xié)助過程。

與前述的實施例相對應(yīng)地，一種實施例中，在接收到與“尋找附近餐廳”相應(yīng)的語音指令后，受助方用戶界面顯示如帶有文字內(nèi)容“是否要打開地圖進(jìn)行導(dǎo)航”和“是”、“否”選項的交互控件，在接收用戶的選擇，比如選擇“是”后，即打開受助方中的地圖應(yīng)用程序，開始進(jìn)行導(dǎo)航。一種實施例中，在接收到與“打開微信”相應(yīng)的語音指令后，受助方用戶界面顯示如帶有文字內(nèi)容“是否要打開微信”和“是”、“否”選項的交互控件，在接收用戶的選擇，比如選擇“是”后，即可打開受助方的微信，并進(jìn)入微信客戶端主頁面。

所述實施例不應(yīng)形成對所述交互控件、觸發(fā)事件和協(xié)助過程的內(nèi)容和形式的限制。所述交互控件也可以是彈窗，并包含三個或三個以上的選項；也可以是其他形式的虛擬鍵盤，只要通過其能完成相應(yīng)的操作，則可視為本發(fā)明所述的交互控件。所述的協(xié)助過程除了打開應(yīng)用程序以外，還可以包括刪除應(yīng)用程序、切換用戶界面、輸入內(nèi)容信息、刪除內(nèi)容信息、編輯內(nèi)容信息等，且協(xié)助過程可同時包含上述多個過程，例如一種實施例中，受助方用戶欲將受助方中的微信中的某些文字內(nèi)容復(fù)制到word文檔中并做適當(dāng)修改，在協(xié)助方的協(xié)助下，受助方完成該操作的過程即包括了打開應(yīng)用程序(打開微信和word文檔)、切換用戶界面(從微信界面切換到word文檔界面)、輸入內(nèi)容信息(將微信中的文字內(nèi)容復(fù)制到word文檔中并修改文字內(nèi)容)、刪除內(nèi)容信息和編輯內(nèi)容信息(在word文檔中修改文字內(nèi)容)等。

請結(jié)合圖12，本發(fā)明的移動終端遠(yuǎn)程受助方法，包括如下步驟：

步驟S31，通過預(yù)建立的處于遠(yuǎn)程協(xié)助狀態(tài)下的協(xié)助方與受助方之間的界面?zhèn)鬏斖ǖ老騾f(xié)助方提交自身的網(wǎng)頁內(nèi)容，該網(wǎng)頁內(nèi)容包含受助方從其內(nèi)存中獲取的當(dāng)前顯示的用戶界面。

受助方將包含自身當(dāng)前顯示的用戶界面的網(wǎng)頁內(nèi)容提交至協(xié)助方，由于受助方向協(xié)助方提交的是網(wǎng)頁內(nèi)容，顯然，該網(wǎng)頁內(nèi)容是通過網(wǎng)頁進(jìn)行傳輸?shù)?，利用這種傳輸方式，相比于利用一般的傳輸方式，可以使得傳輸速度得到很大程度的提高，且傳輸?shù)挠脩艚缑嬉哺鼮榍逦?/p>

步驟S32，通過預(yù)建立的協(xié)助方與受助方之間的控制傳輸通道接收由所述協(xié)助方作用而產(chǎn)生的語音指令并執(zhí)行之，使所述用戶界面產(chǎn)生與該語音指令相對應(yīng)的畫面活動過程。

相應(yīng)地，云端服務(wù)器中預(yù)先保存有與所述文本信息對應(yīng)的文本樣本。首先，在預(yù)先保存文本樣本時，針對同一終端設(shè)備故障，可以根據(jù)用戶的語言習(xí)慣，或者不同用戶可能會用到的表達(dá)方式，保存多個文本樣本，也就是說，文本樣本與指令之間可以是多對一(這里將針對同一故障可能執(zhí)行的一系列指令看作的是一個指令)的關(guān)系。例如，“手機(jī)界面出現(xiàn)陌生圖標(biāo)，且無法刪除”、“手機(jī)界面上有不認(rèn)識的圖標(biāo)，還刪不掉”等文本樣本，對應(yīng)的指令是相同的。這樣，將用戶輸入的語音信號轉(zhuǎn)換為文本信息之后，就可以將轉(zhuǎn)換得到的文本信息與各文本樣本進(jìn)行比對，如果能夠直接命中某一文本樣本，則可以為其選擇執(zhí)行該文本樣本對應(yīng)的指令。

當(dāng)然，通過以上這種多對一的方式可能仍然不能完全將用戶可能說的話完全涵蓋進(jìn)來，因此，在本發(fā)明實施例中，如果轉(zhuǎn)換得到的文本信息不能直接命中任何預(yù)置的文本樣本，則還可以通過語義分析方式進(jìn)行匹配。也即，對轉(zhuǎn)換得到的文本進(jìn)行語義分析，分析出用戶的真實意思，比如是想殺毒還是想查殺木馬，并導(dǎo)向到預(yù)置的命令；或者，對于同一個意思，比如殺毒，用戶可以說，“我想殺個毒”，或者用戶說，“我的手機(jī)有毒”，因此，把“我的手機(jī)有毒”也可以分析成殺毒指令，等等。進(jìn)而，可以判斷是否存在語義上與所述轉(zhuǎn)換得到的文本信息相匹配的預(yù)置的文本樣本，如果存在，就可以為轉(zhuǎn)換得到的文本信息選擇執(zhí)行該文本樣本對應(yīng)的指令。

如果經(jīng)過語義分析仍然未發(fā)現(xiàn)匹配的文本樣本，則證明有可能是在語音識別的過程中出現(xiàn)了錯誤，例如，在存在同音字的情況下，可能錯誤地轉(zhuǎn)換成了另一個字，以至于無法正確分析出其語義。因此，在本發(fā)明實施例中，還可以將所轉(zhuǎn)換得到的文本信息中的文字進(jìn)行同音字的替換，替換之后，再進(jìn)行語義分析，并與文本樣本進(jìn)行比對。具體實現(xiàn)時，可以預(yù)置一同音字庫，根據(jù)同音字庫，將一個文本信息中可能包含的同音字逐個進(jìn)行替換。

最后，如果進(jìn)行同音字的替換之后，仍未發(fā)現(xiàn)匹配的文本樣本，則證明可能是由于用戶的發(fā)音存在錯誤，此時，可以根據(jù)方言可能產(chǎn)生的發(fā)音錯誤對照表(可以是預(yù)置的，例如有些南方人可能不能區(qū)分平舌音與翹舌音，將“zh”、“ch”、“sh”讀成“z”、“c”、“s”，有人則恰恰相反，或者還有人不能區(qū)分前鼻音與后鼻音，將“ang”、“eng”、“ing”讀成“an”、“en”、“in”，等等)，將可能包含的發(fā)音錯誤文字進(jìn)行糾正，之后再進(jìn)行語義分析，并與文本樣本進(jìn)行匹配。當(dāng)然，在一段文本中可能會包含多個疑似由于口音問題識別錯誤的文字，因此，可以一個一個地排查，例如，首先找出聲母中帶有需要區(qū)分平舌翹舌的，以及韻母中有需要區(qū)分前鼻音后鼻音的，然后分別進(jìn)行替換。例如，如果當(dāng)前文本中包含聲母是“s”的文字，則將其聲母替換為“sh”，再重新拼出新的文字，用于替換文本信息中對應(yīng)的文字，然后再與文本樣本進(jìn)行匹配，以此類推。當(dāng)然，在實際應(yīng)用中，在不同的語境或上下文中，由于方言導(dǎo)致的識別錯誤可能有有一定規(guī)律的。因此，可以預(yù)先對這種規(guī)律進(jìn)行統(tǒng)計，這樣，在需要進(jìn)行口音糾正時，就可以結(jié)合具體的語境及上下文，根據(jù)之前統(tǒng)計的信息找出最有可能是由于用戶方言導(dǎo)致的識別錯誤，并進(jìn)行替換后再與文本樣本進(jìn)行匹配，這樣可以提高效率。

需要說明的是，在執(zhí)行上述匹配的過程中，根據(jù)同一轉(zhuǎn)換得到的文本信息，可能會得到多個匹配的文本樣本，進(jìn)而對應(yīng)多個指令。此時，還可以根據(jù)匹配過程所依據(jù)的信息，對匹配出的各個文本樣本進(jìn)行計算權(quán)值，最終所得權(quán)值最高的文本樣本作為最匹配的文本樣本，并為轉(zhuǎn)換得到的文本信息選擇該文本樣本對應(yīng)的指令。其中，具體在計算權(quán)值時，可以將文本直接命中的情況設(shè)定為最高的權(quán)重，同音字替換后命中的次之，口音糾正后命中的最低，當(dāng)然，也可以按照其他的方式設(shè)置權(quán)重。

另外需要說明的是，在實際應(yīng)用中，不一定嚴(yán)格按照上述順序進(jìn)行匹配，例如，如果轉(zhuǎn)換后的文本信息沒有直接命中文本樣本，則也可以直接進(jìn)行口音糾正，或者將同音字替換與口音糾正的步驟互換，或者也可以只執(zhí)行其中的一些操作，等等，這里不進(jìn)行限定?？傊ㄟ^前述操作，可以將語音識別與語義、模糊音匹配等技術(shù)結(jié)合起來，經(jīng)過從語音到文字、從文字到指令的過程，得到用戶想要執(zhí)行的指令，從而幫助用戶診斷計算機(jī)中可能存在的問題。再者，在實際應(yīng)用中，在為轉(zhuǎn)換得到的文本信息選擇出對應(yīng)的指令之后，可以立即執(zhí)行該指令，以便幫用戶消除故障?；蛘撸瑸榱吮苊猱a(chǎn)生誤判等，也可以在選擇出對應(yīng)的指令之后，向用戶發(fā)出提示信息，如果用戶接受，則執(zhí)行相應(yīng)的指令。

如果系統(tǒng)經(jīng)過一系列的查詢，分析之后，還是無法找到命令的匹配項或是有多個匹配項被同時命中，系統(tǒng)可以讓用戶選擇可能的操作，這時，可以加入語音提示，提示后，再次接收用戶的語音輸入，判斷用戶是不是確認(rèn)這一操作，通過這一方式，可以做到用戶不用任何鼠標(biāo)操作即可在打開相關(guān)程序，以便修復(fù)手機(jī)中的問題。

對于這類非精準(zhǔn)的匹配后，如果得到用戶的肯定的回答，則可以直接將這一模糊詞組入庫，下次如果再遇到這一詞組，則可以認(rèn)為是一個精準(zhǔn)的匹配，而不用再次與用戶進(jìn)行語音確認(rèn)。從而，系統(tǒng)可以不斷的自我學(xué)習(xí)。因為這一個自我學(xué)習(xí)的過程是發(fā)生在用戶的本地，所以這是一個完全以用戶的口音，說話方式為訓(xùn)練源的自我學(xué)習(xí)過程。在用戶的使用過程中，整個系統(tǒng)會越來越能明用戶的意思。

步驟S33，同步向協(xié)助方傳送包含用于展示所述畫面活動過程的用戶界面的網(wǎng)頁內(nèi)容。

接收所述語音指令后，所述受助方可直接執(zhí)行所述語音指令以完成相應(yīng)的操作，或?qū)λ稣Z音指令進(jìn)行解析以確定相應(yīng)的指令集，再根據(jù)解析的結(jié)果執(zhí)行相應(yīng)的操作。執(zhí)行相應(yīng)的操作后，所述用戶界面即產(chǎn)生與所述語音指令相對應(yīng)的畫面活動過程。

請結(jié)合圖13，一種實施例中，所述的畫面活動過程包括如下步驟：

步驟S41，顯示收到所述語音指令后彈出的內(nèi)容信息；步驟S42，在接收用戶觸發(fā)事件后清除所述內(nèi)容信息。

一種實施例中，當(dāng)受助方接收到“明天長城有點涼，還是穿件外套吧”的語音指令后，即在受助方用戶界面顯示相同的或語義相近的文字內(nèi)容，在接收用戶觸發(fā)事件后，所述文字內(nèi)容信息即被清除。另一種實施例中，當(dāng)受助方接收到“提醒我晚上八點鐘參加同事聚餐”的語音指令后，即在受助方用戶界面顯示相同的或語義相近的文字內(nèi)容信息，在接收用戶觸發(fā)事件后，所述文字內(nèi)容即被清除。所述觸發(fā)事件可以是按下移動終端上的某個實體按鍵，也可以是在用戶界面進(jìn)行觸屏、點擊等操作，當(dāng)然也包括用戶在用戶界面上執(zhí)行的手勢事件，或用戶作用于對移動終端做語音輸入，該語音對應(yīng)于清除所述文字內(nèi)容的命令。

請結(jié)合圖14，存在另一種情況，受助方用戶界面形成的畫面活動過程包括如下步驟：步驟S51，顯示接收到所述語音指令后彈出的交互控件；步驟S52，以所述交互控件接收用戶觸發(fā)事件；步驟S53，執(zhí)行與所述觸發(fā)事件所對應(yīng)的協(xié)助過程。

一種實施例中，在接收到與“尋找附近餐廳”相應(yīng)的語音指令后，受助方用戶界面顯示如帶有文字內(nèi)容“是否要打開地圖進(jìn)行導(dǎo)航”和“是”、“否”選項的交互控件，在接收用戶的選擇，比如選擇“是”后，即打開受助方中的地圖應(yīng)用程序，開始進(jìn)行搜素并導(dǎo)航。一種實施例中，在接收到與“打開微信”相應(yīng)的語音指令后，受助方用戶界面顯示如帶有文字內(nèi)容“是否要打開微信”和“是”、“否”選項的交互控件，在接收用戶的選擇，比如選擇“是”后，即可打開受助方的微信，并進(jìn)入微信客戶端主頁面。

其中，請結(jié)合圖15，彈出所述交互控件的步驟還包括如下具體步驟：步驟S61，接收到所述語音指令后對其進(jìn)行解析以確定相應(yīng)的指令集；步驟S62，執(zhí)行所述指令集導(dǎo)致彈出所述交互控件。

所述受助方根據(jù)所述語音指令確定相應(yīng)的指令集并將之以文件形式預(yù)存于受助方移動終端。由于協(xié)助方的語音指令可能不止對應(yīng)一個操作，所以將其分解為多條指令，每條指令即對應(yīng)一個操作。一種實施例中，所述語音指令為“打開微信和QQ”，其對應(yīng)的指令集就對應(yīng)了打開微信的操作和打開QQ這兩個操作。

所述實施例不應(yīng)形成對所述交互控件、觸發(fā)事件和協(xié)助過程的內(nèi)容和形式的限制。所述交互控件也可以是彈窗，并包含三個或三個以上的選項；也可以是其他形式的虛擬鍵盤，只要通過其能完成相應(yīng)的操作，則可構(gòu)成本發(fā)明所述的交互控件。所述的協(xié)助過程除了打開應(yīng)用程序以外，還可以包括刪除應(yīng)用程序、切換用戶界面、輸入內(nèi)容信息、刪除內(nèi)容信息、編輯內(nèi)容信息等，且協(xié)助過程可同時包含上述多個過程，一種實施例中，受助方用戶欲將受助方中的微信中的某些文字內(nèi)容復(fù)制到word文檔中并做適當(dāng)修改，在協(xié)助方的控制下，受助方完成該操作的過程即包括了打開應(yīng)用程序(打開微信和word文檔)、切換用戶界面(切換微信界面到word文檔界面)、輸入內(nèi)容信息(將微信中的文字內(nèi)容復(fù)制到word文檔中并修改文字內(nèi)容)、刪除內(nèi)容信息和編輯內(nèi)容信息(在word文檔中修改文字內(nèi)容)等。

根據(jù)模塊化程序設(shè)計理念，本發(fā)明還為上述遠(yuǎn)程協(xié)助受助方法提供相應(yīng)的裝置，以下將進(jìn)行詳細(xì)介紹。

本發(fā)明適用于所述的受助方移動終端而提供的一種移動終端遠(yuǎn)程協(xié)助受控裝置具有多種實施例，以下將以與所述的遠(yuǎn)程協(xié)助受助方法相適應(yīng)的方式，詳細(xì)說明本發(fā)明的遠(yuǎn)程協(xié)助受控裝置所實現(xiàn)的實施例的有關(guān)內(nèi)容。

請結(jié)合圖16，本發(fā)明提供的一種遠(yuǎn)程協(xié)助受控裝置，包括提交單元31、執(zhí)行單元32和同步單元33，在默認(rèn)協(xié)助方與受助方建立無線連接的情況下，所述遠(yuǎn)程協(xié)助控制裝置通常按照提交單元31、執(zhí)行單元32、同步單元33的順序運行來執(zhí)行。其具體實施方式將在以下內(nèi)容中說明。

所述的提交單元31，通過預(yù)建立的處于遠(yuǎn)程協(xié)助狀態(tài)下的協(xié)助方與受助方之間的界面?zhèn)鬏斖ǖ老騾f(xié)助方提交自身的網(wǎng)頁內(nèi)容，該網(wǎng)頁內(nèi)容包含受助方從其內(nèi)存中獲取的當(dāng)前顯示的用戶界面。

受助方將包含自身當(dāng)前顯示的用戶界面的網(wǎng)頁內(nèi)容提交至協(xié)助方，由于受助方向協(xié)助方提交的是網(wǎng)頁內(nèi)容，顯然，該網(wǎng)頁內(nèi)容是通過網(wǎng)頁進(jìn)行傳輸?shù)?，利用這種傳輸方式，相比于利用一般的傳輸方式，可以使得傳輸速度得到很大程度的提高，且傳輸?shù)挠脩艚缑嬉哺鼮榍逦?/p>

所述的執(zhí)行單元32，通過預(yù)建立的協(xié)助方與受助方之間的控制傳輸通道接收由所述協(xié)助方作用而產(chǎn)生的語音指令并執(zhí)行之，使所述用戶界面產(chǎn)生與該語音指令相對應(yīng)的畫面活動過程。

相應(yīng)地，云端服務(wù)器中預(yù)先保存有與所述文本信息對應(yīng)的文本樣本。首先，在預(yù)先保存文本樣本時，針對同一終端設(shè)備故障，可以根據(jù)用戶的語言習(xí)慣，或者不同用戶可能會用到的表達(dá)方式，保存多個文本樣本，也就是說，文本樣本與指令之間可以是多對一(這里將針對同一故障可能執(zhí)行的一系列指令看作的是一個指令)的關(guān)系。例如，“手機(jī)界面出現(xiàn)陌生圖標(biāo)，且無法刪除”、“手機(jī)界面上有不認(rèn)識的圖標(biāo)，還刪不掉”等文本樣本，對應(yīng)的指令是相同的。這樣，將用戶輸入的語音信號轉(zhuǎn)換為文本信息之后，就可以將轉(zhuǎn)換得到的文本信息與各文本樣本進(jìn)行比對，如果能夠直接命中某一文本樣本，則可以為其選擇執(zhí)行該文本樣本對應(yīng)的指令。

當(dāng)然，通過以上這種多對一的方式可能仍然不能完全將用戶可能說的話完全涵蓋進(jìn)來，因此，在本發(fā)明實施例中，如果轉(zhuǎn)換得到的文本信息不能直接命中任何預(yù)置的文本樣本，則還可以通過語義分析方式進(jìn)行匹配。也即，對轉(zhuǎn)換得到的文本進(jìn)行語義分析，分析出用戶的真實意思，比如是想殺毒還是想查殺木馬，并導(dǎo)向到預(yù)置的命令；或者，對于同一個意思，比如殺毒，用戶可以說，“我想殺個毒”，或者用戶說，“我的手機(jī)有毒”，因此，把“我的手機(jī)有毒”也可以分析成殺毒指令，等等。進(jìn)而，可以判斷是否存在語義上與所述轉(zhuǎn)換得到的文本信息相匹配的預(yù)置的文本樣本，如果存在，就可以為轉(zhuǎn)換得到的文本信息選擇執(zhí)行該文本樣本對應(yīng)的指令。

如果經(jīng)過語義分析仍然未發(fā)現(xiàn)匹配的文本樣本，則證明有可能是在語音識別的過程中出現(xiàn)了錯誤，例如，在存在同音字的情況下，可能錯誤地轉(zhuǎn)換成了另一個字，以至于無法正確分析出其語義。因此，在本發(fā)明實施例中，還可以將所轉(zhuǎn)換得到的文本信息中的文字進(jìn)行同音字的替換，替換之后，再進(jìn)行語義分析，并與文本樣本進(jìn)行比對。具體實現(xiàn)時，可以預(yù)置一同音字庫，根據(jù)同音字庫，將一個文本信息中可能包含的同音字逐個進(jìn)行替換。

最后，如果進(jìn)行同音字的替換之后，仍未發(fā)現(xiàn)匹配的文本樣本，則證明可能是由于用戶的發(fā)音存在錯誤，此時，可以根據(jù)方言可能產(chǎn)生的發(fā)音錯誤對照表(可以是預(yù)置的，例如有些南方人可能不能區(qū)分平舌音與翹舌音，將“zh”、“ch”、“sh”讀成“z”、“c”、“s”，有人則恰恰相反，或者還有人不能區(qū)分前鼻音與后鼻音，將“ang”、“eng”、“ing”讀成“an”、“en”、“in”，等等)，將可能包含的發(fā)音錯誤文字進(jìn)行糾正，之后再進(jìn)行語義分析，并與文本樣本進(jìn)行匹配。當(dāng)然，在一段文本中可能會包含多個疑似由于口音問題識別錯誤的文字，因此，可以一個一個地排查，例如，首先找出聲母中帶有需要區(qū)分平舌翹舌的，以及韻母中有需要區(qū)分前鼻音后鼻音的，然后分別進(jìn)行替換。例如，如果當(dāng)前文本中包含聲母是“s”的文字，則將其聲母替換為“sh”，再重新拼出新的文字，用于替換文本信息中對應(yīng)的文字，然后再與文本樣本進(jìn)行匹配，以此類推。當(dāng)然，在實際應(yīng)用中，在不同的語境或上下文中，由于方言導(dǎo)致的識別錯誤可能有有一定規(guī)律的。因此，可以預(yù)先對這種規(guī)律進(jìn)行統(tǒng)計，這樣，在需要進(jìn)行口音糾正時，就可以結(jié)合具體的語境及上下文，根據(jù)之前統(tǒng)計的信息找出最有可能是由于用戶方言導(dǎo)致的識別錯誤，并進(jìn)行替換后再與文本樣本進(jìn)行匹配，這樣可以提高效率。

需要說明的是，在執(zhí)行上述匹配的過程中，根據(jù)同一轉(zhuǎn)換得到的文本信息，可能會得到多個匹配的文本樣本，進(jìn)而對應(yīng)多個指令。此時，還可以根據(jù)匹配過程所依據(jù)的信息，對匹配出的各個文本樣本進(jìn)行計算權(quán)值，最終所得權(quán)值最高的文本樣本作為最匹配的文本樣本，并為轉(zhuǎn)換得到的文本信息選擇該文本樣本對應(yīng)的指令。其中，具體在計算權(quán)值時，可以將文本直接命中的情況設(shè)定為最高的權(quán)重，同音字替換后命中的次之，口音糾正后命中的最低，當(dāng)然，也可以按照其他的方式設(shè)置權(quán)重。

另外需要說明的是，在實際應(yīng)用中，不一定嚴(yán)格按照上述順序進(jìn)行匹配，例如，如果轉(zhuǎn)換后的文本信息沒有直接命中文本樣本，則也可以直接進(jìn)行口音糾正，或者將同音字替換與口音糾正的步驟互換，或者也可以只執(zhí)行其中的一些操作，等等，這里不進(jìn)行限定?？傊?，通過前述操作，可以將語音識別與語義、模糊音匹配等技術(shù)結(jié)合起來，經(jīng)過從語音到文字、從文字到指令的過程，得到用戶想要執(zhí)行的指令，從而幫助用戶診斷計算機(jī)中可能存在的問題。再者，在實際應(yīng)用中，在為轉(zhuǎn)換得到的文本信息選擇出對應(yīng)的指令之后，可以立即執(zhí)行該指令，以便幫用戶消除故障?；蛘?，為了避免產(chǎn)生誤判等，也可以在選擇出對應(yīng)的指令之后，向用戶發(fā)出提示信息，如果用戶接受，則執(zhí)行相應(yīng)的指令。

如果系統(tǒng)經(jīng)過一系列的查詢，分析之后，還是無法找到命令的匹配項或是有多個匹配項被同時命中，系統(tǒng)可以讓用戶選擇可能的操作，這時，可以加入語音提示，提示后，再次接收用戶的語音輸入，判斷用戶是不是確認(rèn)這一操作，通過這一方式，可以做到用戶不用任何鼠標(biāo)操作即可在打開相關(guān)程序，以便修復(fù)手機(jī)中的問題。

對于這類非精準(zhǔn)的匹配后，如果得到用戶的肯定的回答，則可以直接將這一模糊詞組入庫，下次如果再遇到這一詞組，則可以認(rèn)為是一個精準(zhǔn)的匹配，而不用再次與用戶進(jìn)行語音確認(rèn)。從而，系統(tǒng)可以不斷的自我學(xué)習(xí)。因為這一個自我學(xué)習(xí)的過程是發(fā)生在用戶的本地，所以這是一個完全以用戶的口音，說話方式為訓(xùn)練源的自我學(xué)習(xí)過程。在用戶的使用過程中，整個系統(tǒng)會越來越能明用戶的意思。

所述的同步單元33，用于同步向協(xié)助方傳送包含用于展示所述畫面活動過程的用戶界面的網(wǎng)頁內(nèi)容。

接收所述語音指令后，所述受助方可直接執(zhí)行所述語音指令以完成相應(yīng)的操作，或?qū)λ稣Z音指令進(jìn)行解析以確定相應(yīng)的指令集，再根據(jù)解析的結(jié)果執(zhí)行相應(yīng)的操作。執(zhí)行相應(yīng)的操作后，所述用戶界面即產(chǎn)生與所述語音指令相對應(yīng)的畫面活動過程。

請結(jié)合圖17，一種實施例中，要實現(xiàn)所述的畫面活動過程，本裝置還包括：顯示單元41，用于顯示收到所述語音指令后彈出的內(nèi)容信息；清除單元42，用于在接收用戶觸發(fā)事件后清除所述內(nèi)容信息。

一種實施例中，當(dāng)受助方接收到“明天長城有點涼，還是穿件外套吧”的語音指令后，即在受助方用戶界面顯示相同的或語義相近的文字內(nèi)容，在接收用戶觸發(fā)事件后，所述文字內(nèi)容信息即被清除。另一種實施例中，當(dāng)受助方接收到“提醒我晚上八點鐘參加同事聚餐”的語音指令后，即在受助方用戶界面顯示相同的或語義相近的文字內(nèi)容信息，在接收用戶觸發(fā)事件后，所述文字內(nèi)容即被清除。所述觸發(fā)事件可以是按下移動終端上的某個實體按鍵，也可以是在用戶界面進(jìn)行觸屏、點擊等操作，當(dāng)然也包括用戶在用戶界面上執(zhí)行的手勢事件，或用戶作用于對移動終端做語音輸入，該語音對應(yīng)于清除所述文字內(nèi)容的命令。

請結(jié)合圖18，存在另一種情況，要形成所述的畫面活動過程本裝置還包括：顯示單元51，用于顯示接收到所述語音指令后彈出的交互控件；接收單元52，被配置為輔助所述交互控件接收用戶觸發(fā)事件；執(zhí)行單元53，執(zhí)行與所述觸發(fā)事件所對應(yīng)的協(xié)助過程。

一種實施例中，在接收到與“尋找附近餐廳”相應(yīng)的語音指令后，受助方用戶界面顯示如帶有文字內(nèi)容“是否要打開地圖進(jìn)行導(dǎo)航”和“是”、“否”選項的交互控件，在接收用戶的選擇，比如選擇“是”后，即打開受助方中的地圖應(yīng)用程序，開始進(jìn)行搜素并導(dǎo)航。一種實施例中，在接收到與“打開微信”相應(yīng)的語音指令后，受助方用戶界面顯示如帶有文字內(nèi)容“是否要打開微信”和“是”、“否”選項的交互控件，在接收用戶的選擇，比如選擇“是”后，即可打開受助方的微信，并進(jìn)入微信客戶端主頁面。

其中，請結(jié)合圖19，要彈出所述交互控件，本裝置還包括：解析單元61，用于接收到所述語音指令后對其進(jìn)行解析以確定相應(yīng)的指令集；執(zhí)行單元62，用于執(zhí)行所述指令集導(dǎo)致彈出所述交互控件。

所述受助方根據(jù)所述語音指令確定相應(yīng)的指令集并將之以文件形式預(yù)存于受助方移動終端。由于協(xié)助方的語音指令可能不止對應(yīng)一個操作，所以將其分解為多條指令，每條指令即對應(yīng)一個操作。一種實施例中，所述語音指令為“打開微信和QQ”，其對應(yīng)的指令集就對應(yīng)了打開微信的操作和打開QQ這兩個操作。

所述實施例不應(yīng)形成對所述交互控件、觸發(fā)事件和協(xié)助過程的內(nèi)容和形式的限制。所述交互控件也可以是彈窗，并包含三個或三個以上的選項；也可以是其他形式的虛擬鍵盤，只要通過其能完成相應(yīng)的操作，則可構(gòu)成本發(fā)明所述的交互控件。所述的協(xié)助過程除了打開應(yīng)用程序以外，還可以包括刪除應(yīng)用程序、切換用戶界面、輸入內(nèi)容信息、刪除內(nèi)容信息、編輯內(nèi)容信息等，且協(xié)助過程可同時包含上述多個過程，一種實施例中，受助方用戶欲將受助方中的微信中的某些文字內(nèi)容復(fù)制到word文檔中并做適當(dāng)修改，在協(xié)助方的控制下，受助方完成該操作的過程即包括了打開應(yīng)用程序(打開微信和word文檔)、切換用戶界面(切換微信界面到word文檔界面)、輸入內(nèi)容信息(將微信中的文字內(nèi)容復(fù)制到word文檔中并修改文字內(nèi)容)、刪除內(nèi)容信息和編輯內(nèi)容信息(在word文檔中修改文字內(nèi)容)等。

以上分別詳細(xì)說明了本發(fā)明的遠(yuǎn)程協(xié)助方法和遠(yuǎn)程受助方法所實現(xiàn)的實施例，在此基礎(chǔ)上，以下所述的實施例將所述遠(yuǎn)程協(xié)助方法與受助方法綜合運用，方便加強(qiáng)對本發(fā)明所述的遠(yuǎn)程協(xié)助與受助方法的理解。

在默認(rèn)所述協(xié)助方與所述受助方已經(jīng)建立無線通信且處于遠(yuǎn)程協(xié)助狀態(tài)中的情況下，所述受助方向所述協(xié)助方傳送包含自身當(dāng)前顯示的用戶界面的網(wǎng)頁內(nèi)容，所述協(xié)助方可即時獲取該網(wǎng)頁內(nèi)容中的所述用戶界面。所述協(xié)助方用戶通過獲取到的用戶界面，結(jié)合所述受助方用戶的需求，對所述協(xié)助方進(jìn)行語音輸入，所述協(xié)助方即對所述語音進(jìn)行解析并形成在語義上與所述語音對應(yīng)的語音指令。

所述協(xié)助方將所述語音指令傳輸給所述協(xié)助方，所述受助方對所述語音指令進(jìn)行解析以確定相應(yīng)的指令集。與所述語音指令相對應(yīng)地，所述受助方至少有2種方式可執(zhí)行所述的控制操作：彈出與協(xié)助方輸入的語音相應(yīng)的文字內(nèi)容信息；受助方彈出交互控件，并由受助方用戶選擇是否執(zhí)行與協(xié)助方輸入的語音相應(yīng)的協(xié)助過程。

在受助方執(zhí)行相應(yīng)的控制操作的同時，所述協(xié)助方即時更新獲取到的受助方用戶界面，使其展示受所述語音指令作用于受助方后形成的畫面活動過程。

為了便于理解，請結(jié)合圖20，綜合運用本發(fā)明的遠(yuǎn)程協(xié)助協(xié)助方法與受助方法的一種實施例中，協(xié)助方啟動受話器后，協(xié)助方用戶對協(xié)助方作提問式的語音輸入，如輸入語音“明天老媽去長城玩，會不會冷，需不需要帶外套”，云端服務(wù)器將其轉(zhuǎn)換對應(yīng)的文字信息，并提取出關(guān)鍵詞如“明天”(時間)、“長城”(地點)、“會不會冷”(天氣)、“外套”(生活資訊)等，然后搜索得到明天長城的天氣情況及相關(guān)的穿衣指數(shù)內(nèi)容等，并根據(jù)搜索結(jié)果得到答案如“明天長城有點涼，還是穿件外套吧”，即將之轉(zhuǎn)換成了相應(yīng)的語音指令。隨后云端服務(wù)器確定與該語音指令對應(yīng)的文本樣本，并將之傳輸給所述受助方，受助方執(zhí)行所述語音指令，在其用戶界面顯示如“明天延慶溫度-4到0攝氏度，天氣很冷，穿個外套吧”的文字內(nèi)容信息。受助方用戶看到所述文字內(nèi)容信息后，可通過觸碰屏幕，使得所述文字內(nèi)容信息被清除。

請結(jié)合圖21，另一種實施例中，協(xié)助方啟動受話器后，協(xié)助方用戶對協(xié)助方作陳述式的語音輸入，如輸入語音“提醒老爸晚上八點同事聚餐”，云端服務(wù)器將其轉(zhuǎn)換對應(yīng)的文字信息，并提取出關(guān)鍵詞如“晚上八點”(時間)、“同事聚餐”(事件)等，將之轉(zhuǎn)換成了相應(yīng)的語音指令“提醒晚上八點同事聚餐”。隨后云端服務(wù)器確定與該語音指令對應(yīng)的文本樣本并將所述語音指令傳輸給所述受助方，受助方執(zhí)行所述語音指令，在其用戶界面顯示如“提醒我晚上八點同事聚餐”的文字內(nèi)容信息。受助方用戶看到所述文字內(nèi)容信息后，可通過觸碰屏幕，使得所述文字內(nèi)容信息被清除。

請結(jié)合圖22，又一種實施例中，協(xié)助方啟動受話器后，協(xié)助方用戶對協(xié)助方作命令式的語音輸入，如輸入語音“幫老媽尋找她附近的餐廳”，云端服務(wù)器將其轉(zhuǎn)換對應(yīng)的文字信息，并提取出關(guān)鍵詞如“尋找”、“附近”、“餐廳”等，將之轉(zhuǎn)換成了相應(yīng)的語音指令“尋找附近的餐廳”。隨后云端服務(wù)器將所述語音指令傳輸給所述受助方，受助方執(zhí)行所述語音指令，在其用戶界面顯示如“親，十秒鐘后我會自動導(dǎo)航”的文字內(nèi)容信息，并在十秒鐘后進(jìn)行導(dǎo)航。

可見，通過本發(fā)明實施例，協(xié)助方用戶只需要將自己直觀看到的受助方移動終端的故障用說話的方式描述出來，客戶端軟件就可以將與之對應(yīng)的文字內(nèi)容在受助方用戶界面顯示出來，或為其選擇出相應(yīng)的指令，并通過執(zhí)行這些指令來消除用戶終端設(shè)備存在的該故障。在此過程中，用戶可以不必具有計算機(jī)基礎(chǔ)知識，也不需要知曉產(chǎn)生終端設(shè)備故障的原因，更不需要知曉怎樣的操作能夠消除該故障，因此，可以便于用戶消除自己終端設(shè)備上的故障。

以上詳盡而充分地揭示了本發(fā)明的移動終端遠(yuǎn)程協(xié)助過協(xié)助方法/裝置及受助方法/裝置的多種實施例，從中可以知曉，所述移動終端遠(yuǎn)程協(xié)助方法/裝置與移動終端遠(yuǎn)程受助方法/裝置使得遠(yuǎn)程協(xié)助過程中的控制操作得到簡化，從而使得遠(yuǎn)程協(xié)助操作更加方便快捷。

本發(fā)明實施例還提供了一種移動終端，其允許具有諸如參照本發(fā)明后續(xù)的介紹的結(jié)構(gòu)。如圖23所示，為了便于說明，僅示出了與本發(fā)明實施例相關(guān)的部分，具體技術(shù)細(xì)節(jié)未揭示的，請參照本發(fā)明實施例方法部分。該終端可以為包括手機(jī)、平板手機(jī)、PDA(Personal Digital Assistant，個人數(shù)字助理)、POS(Point of Sales，銷售終端)、車載手機(jī)等任意終端設(shè)備，以終端為手機(jī)為例：

圖23示出的是與本發(fā)明實施例提供的終端相關(guān)的手機(jī)的部分結(jié)構(gòu)的框圖。參考圖23，手機(jī)包括：射頻(Radio Frequency，RF)電路1510、存儲器1520、輸入單元1530、顯示單元1540、傳感器1550、音頻電路1560、無線保真(wireless fidelity，WiFi)模塊1570、處理器1580、以及電源1590等部件。本領(lǐng)域技術(shù)人員可以理解，圖21中示出的手機(jī)結(jié)構(gòu)并不構(gòu)成對手機(jī)的限定，可以包括比圖示更多或更少的部件，或者組合某些部件，或者不同的部件布置。

下面結(jié)合圖23對手機(jī)的各個構(gòu)成部件進(jìn)行具體的介紹：

RF電路1510可用于收發(fā)信息或通話過程中，信號的接收和發(fā)送，特別地，將基站的下行信息接收后，給處理器1580處理；另外，將設(shè)計上行的數(shù)據(jù)發(fā)送給基站。通常，RF電路1510包括但不限于天線、至少一個放大器、收發(fā)信機(jī)、耦合器、低噪聲放大器(Low Noise Amplifier，LNA)、雙工器等。此外，RF電路1510還可以通過無線通信與網(wǎng)絡(luò)和其他設(shè)備通信。上述無線通信可以使用任一通信標(biāo)準(zhǔn)或協(xié)議，包括但不限于全球移動通訊系統(tǒng)(Global System of Mobile communication，GSM)、通用分組無線服務(wù)(General Packet Radio Service，GPRS)、碼分多址(Code Division Multiple Access，CDMA)、寬帶碼分多址(Wideband Code Division Multiple Access,WCDMA)、長期演進(jìn)(Long Term Evolution，LTE)、電子郵件、短消息服務(wù)(Short Messaging Service，SMS)等。

存儲器1520可用于存儲軟件程序以及模塊，處理器1580通過運行存儲在存儲器1520的軟件程序以及模塊，從而執(zhí)行手機(jī)的各種功能應(yīng)用以及數(shù)據(jù)處理。存儲器1520可主要包括存儲程序區(qū)和存儲數(shù)據(jù)區(qū)，其中，存儲程序區(qū)可存儲操作系統(tǒng)、至少一個功能所需的應(yīng)用程序(比如聲音播放功能、圖像播放功能等)等；存儲數(shù)據(jù)區(qū)可存儲根據(jù)手機(jī)的使用所創(chuàng)建的數(shù)據(jù)(比如音頻數(shù)據(jù)、電話本等)等。此外，存儲器1520可以包括高速隨機(jī)存取存儲器，還可以包括非易失性存儲器，例如至少一個磁盤存儲器件、閃存器件、或其他易失性固態(tài)存儲器件。

輸入單元1530可用于接收輸入的數(shù)字或字符信息，以及產(chǎn)生與手機(jī)的用戶設(shè)置以及功能控制有關(guān)的鍵信號輸入。具體地，輸入單元1530可包括觸控面板1531以及其他輸入設(shè)備1532。觸控面板1531，也稱為觸摸屏，可收集用戶在其上或附近的觸摸操作(比如用戶使用手指、觸筆等任何適合的物體或附件在觸控面板1531上或在觸控面板1531附近的操作)，并根據(jù)預(yù)先設(shè)定的程式驅(qū)動相應(yīng)的連接裝置?？蛇x的，觸控面板1531可包括觸摸檢測裝置和觸摸控制器兩個部分。其中，觸摸檢測裝置檢測用戶的觸摸方位，并檢測觸摸操作帶來的信號，將信號傳送給觸摸控制器；觸摸控制器從觸摸檢測裝置上接收觸摸信息，并將它轉(zhuǎn)換成觸點坐標(biāo)，再送給處理器1580，并能接收處理器1580發(fā)來的命令并加以執(zhí)行。此外，可以采用電阻式、電容式、紅外線以及表面聲波等多種類型實現(xiàn)觸控面板1531。除了觸控面板1531，輸入單元1530還可以包括其他輸入設(shè)備1532。具體地，其他輸入設(shè)備1532可以包括但不限于物理鍵盤、功能鍵(比如音量控制按鍵、開關(guān)按鍵等)、軌跡球、鼠標(biāo)、操作桿等中的一種或多種。

顯示單元1540可用于顯示由用戶輸入的信息或提供給用戶的信息以及手機(jī)的各種菜單。顯示單元1540可包括顯示面板1541，可選的，可以采用液晶顯示器(Liquid Crystal Display，LCD)、有機(jī)發(fā)光二極管(Organic Light-Emitting Diode,OLED)等形式來配置顯示面板1541。進(jìn)一步的，觸控面板1531可覆蓋顯示面板1541，當(dāng)觸控面板1531檢測到在其上或附近的觸摸操作后，傳送給處理器1580以確定觸摸事件的類型，隨后處理器1580根據(jù)觸摸事件的類型在顯示面板1541上提供相應(yīng)的視覺輸出。雖然在圖23中，觸控面板1531與顯示面板1541是作為兩個獨立的部件來實現(xiàn)手機(jī)的輸入和輸入功能，但是在某些實施例中，可以將觸控面板1531與顯示面板1541集成而實現(xiàn)手機(jī)的輸入和輸出功能。

手機(jī)還可包括至少一種傳感器1550，比如光傳感器、運動傳感器以及其他傳感器。具體地，光傳感器可包括環(huán)境光傳感器及接近傳感器，其中，環(huán)境光傳感器可根據(jù)環(huán)境光線的明暗來調(diào)節(jié)顯示面板1541的亮度，接近傳感器可在手機(jī)移動到耳邊時，關(guān)閉顯示面板1541和/或背光。作為運動傳感器的一種，加速計傳感器可檢測各個方向上(一般為三軸)加速度的大小，靜止時可檢測出重力的大小及方向，可用于識別手機(jī)姿態(tài)的應(yīng)用(比如橫豎屏切換、相關(guān)游戲、磁力計姿態(tài)校準(zhǔn))、振動識別相關(guān)功能(比如計步器、敲擊)等；至于手機(jī)還可配置的陀螺儀、氣壓計、濕度計、溫度計、紅外線傳感器等其他傳感器，在此不再贅述。

音頻電路1560、揚聲器1561，傳聲器1562可提供用戶與手機(jī)之間的音頻接口。音頻電路1560可將接收到的音頻數(shù)據(jù)轉(zhuǎn)換后的電信號，傳輸?shù)綋P聲器1561，由揚聲器1561轉(zhuǎn)換為聲音信號輸出；另一方面，傳聲器1562將收集的聲音信號轉(zhuǎn)換為電信號，由音頻電路1560接收后轉(zhuǎn)換為音頻數(shù)據(jù)，再將音頻數(shù)據(jù)輸出處理器1580處理后，經(jīng)RF電路1510以發(fā)送給比如另一手機(jī)，或者將音頻數(shù)據(jù)輸出至存儲器1520以便進(jìn)一步處理。

WiFi屬于短距離無線傳輸技術(shù)，手機(jī)通過WiFi模塊1570可以協(xié)助用戶收發(fā)電子郵件、瀏覽網(wǎng)頁和訪問流式媒體等，它為用戶提供了無線的寬帶互聯(lián)網(wǎng)訪問。雖然圖23示出了WiFi模塊1570，但是可以理解的是，其并不屬于手機(jī)的必須構(gòu)成，完全可以根據(jù)需要在不改變發(fā)明的本質(zhì)的范圍內(nèi)而省略。

處理器1580是手機(jī)的控制中心，利用各種接口和線路連接整個手機(jī)的各個部分，通過運行或執(zhí)行存儲在存儲器1520內(nèi)的軟件程序和/或模塊，以及調(diào)用存儲在存儲器1520內(nèi)的數(shù)據(jù)，執(zhí)行手機(jī)的各種功能和處理數(shù)據(jù)，從而對手機(jī)進(jìn)行整體監(jiān)控?？蛇x的，處理器1580可包括一個或多個處理單元；優(yōu)選的，處理器1580可集成應(yīng)用處理器和調(diào)制解調(diào)處理器，其中，應(yīng)用處理器主要處理操作系統(tǒng)、用戶界面和應(yīng)用程序等，調(diào)制解調(diào)處理器主要處理無線通信?？梢岳斫獾氖牵鲜稣{(diào)制解調(diào)處理器也可以不集成到處理器1580中。

手機(jī)還包括給各個部件供電的電源1590(比如電池)，優(yōu)選的，電源可以通過電源管理系統(tǒng)與處理器1580邏輯相連，從而通過電源管理系統(tǒng)實現(xiàn)管理充電、放電、以及功耗管理等功能。

盡管未示出，手機(jī)還可以包括攝像頭、藍(lán)牙模塊等，在此不再贅述。

適用于所述的移動終端，在本發(fā)明實施例中，該終端所包括的處理器1580還具有如前所述的遠(yuǎn)程協(xié)助方法/裝置及遠(yuǎn)程受助方法/裝置的多種不同實施例所實現(xiàn)的功能。

所屬領(lǐng)域的技術(shù)人員可以清楚地了解到，為描述的方便和簡潔，上述描述的系統(tǒng)，裝置和單元的具體工作過程，可以參考前述方法實施例中的對應(yīng)過程，在此不再贅述。

在本申請所提供的幾個實施例中，應(yīng)該理解到，所揭露的系統(tǒng)，裝置和方法，可以通過其它的方式實現(xiàn)。例如，以上所描述的裝置實施例僅僅是示意性的，例如，所述單元的劃分，僅僅為一種邏輯功能劃分，實際實現(xiàn)時可以有另外的劃分方式，例如多個單元或組件可以結(jié)合或者可以集成到另一個系統(tǒng)，或一些特征可以忽略，或不執(zhí)行。另一點，所顯示或討論的相互之間的耦合或直接耦合或通信連接可以是通過一些接口，裝置或單元的間接耦合或通信連接，可以是電性，機(jī)械或其它的形式。

所述作為分離部件說明的單元可以是或者也可以不是物理上分開的，作為單元顯示的部件可以是或者也可以不是物理單元，即可以位于一個地方，或者也可以分布到多個網(wǎng)絡(luò)單元上。可以根據(jù)實際的需要選擇其中的部分或者全部單元來實現(xiàn)本實施例方案的目的。

另外，在本發(fā)明各個實施例中的各功能單元可以集成在一個處理單元中，也可以是各個單元單獨物理存在，也可以兩個或兩個以上單元集成在一個單元中。上述集成的單元既可以采用硬件的形式實現(xiàn)，也可以采用軟件功能單元的形式實現(xiàn)。

本領(lǐng)域普通技術(shù)人員可以理解上述實施例的各種方法中的全部或部分步驟是可以通過程序來指令相關(guān)的硬件來完成，該程序可以存儲于一計算機(jī)可讀存儲介質(zhì)中，存儲介質(zhì)可以包括：只讀存儲器(ROM，Read Only Memory)、隨機(jī)存取存儲器(RAM，Random Access Memory)、磁盤或光盤等。

本領(lǐng)域普通技術(shù)人員可以理解實現(xiàn)上述實施例方法中的全部或部分步驟是可以通過程序來指令相關(guān)的硬件完成，所述的程序可以存儲于一種計算機(jī)可讀存儲介質(zhì)中，上述提到的存儲介質(zhì)可以是只讀存儲器，磁盤或光盤等。

以上對本發(fā)明所提供的系列方案進(jìn)行了詳細(xì)介紹，對于本領(lǐng)域的一般技術(shù)人員，依據(jù)本發(fā)明實施例的思想，在具體實施方式及應(yīng)用范圍上均會有改變之處，綜上所述，本說明書內(nèi)容不應(yīng)理解為對本發(fā)明的限制。