本申請涉及計算機，尤其涉及一種控制方法及裝置。

背景技術(shù)：

1、隨著人工智能技術(shù)的快速發(fā)展和普及，特別是深度學(xué)習(xí)、計算機視覺和自然語言處理等領(lǐng)域的突破，越來越多的應(yīng)用場景開始融合多種技術(shù)以實現(xiàn)更高級別的智能化。目前的自動化系統(tǒng)依賴于預(yù)設(shè)的腳本或規(guī)則控制執(zhí)行任務(wù)，任務(wù)執(zhí)行的成功率較低，且在執(zhí)行任務(wù)的過程中進行其他操作會中斷任務(wù)的執(zhí)行，任務(wù)執(zhí)行的靈活性較低。

技術(shù)實現(xiàn)思路

1、本申請?zhí)峁┝艘环N控制方法及裝置，以解決相關(guān)技術(shù)中存在的一個或多個問題。

2、根據(jù)本申請的第一方面，提供了一種控制方法，所述方法包括：接收第一系統(tǒng)發(fā)送的目標(biāo)任務(wù)；基于所述目標(biāo)任務(wù)，獲得第二系統(tǒng)的桌面圖像數(shù)據(jù)；生成目標(biāo)任務(wù)對應(yīng)的提示信息，并將所述提示信息和所述桌面圖像數(shù)據(jù)輸入至目標(biāo)模型，得到目標(biāo)任務(wù)對應(yīng)的目標(biāo)指令；在所述第二系統(tǒng)中執(zhí)行所述目標(biāo)指令，得到所述目標(biāo)任務(wù)的執(zhí)行結(jié)果；基于所述執(zhí)行結(jié)果確定對應(yīng)的結(jié)果反饋信息，并將所述結(jié)果反饋信息傳輸至所述第一系統(tǒng)。

3、根據(jù)本申請一實施方式，所述在所述第二系統(tǒng)中執(zhí)行所述目標(biāo)指令，得到所述目標(biāo)任務(wù)的執(zhí)行結(jié)果，包括：在所述第二系統(tǒng)中確定與所述目標(biāo)指令相關(guān)的目標(biāo)控件；基于所述目標(biāo)控件，確定所述目標(biāo)指令的目標(biāo)執(zhí)行位置；在所述目標(biāo)執(zhí)行位置執(zhí)行所述目標(biāo)指令，得到所述目標(biāo)指令的執(zhí)行結(jié)果；基于所述目標(biāo)指令的執(zhí)行結(jié)果，確定所述目標(biāo)任務(wù)的執(zhí)行結(jié)果。

4、根據(jù)本申請一實施方式，所述在所述第二系統(tǒng)中確定與所述目標(biāo)指令相關(guān)的目標(biāo)控件，包括：獲得所述第二系統(tǒng)中的多個控件分別對應(yīng)的屬性信息，所述屬性信息包括控件位置、控件類型以及文本標(biāo)簽；基于所述屬性信息和所述目標(biāo)指令確定目標(biāo)控件。

5、根據(jù)本申請一實施方式，所述方法還包括：獲得所述目標(biāo)模型的歷史輸入信息；所述歷史輸入信息包括歷史提示信息和歷史桌面圖像數(shù)據(jù)中的一種或多種；獲得執(zhí)行完成目標(biāo)指令后的當(dāng)前桌面圖像數(shù)據(jù)；基于所述歷史輸入信息、所述當(dāng)前桌面圖像數(shù)據(jù)和所述目標(biāo)任務(wù)對應(yīng)的提示信息，通過所述目標(biāo)模型預(yù)測所述目標(biāo)指令對應(yīng)的后續(xù)指令。

6、根據(jù)本申請一實施方式，所述方法還包括：在執(zhí)行所述目標(biāo)指令過程中，確定所述目標(biāo)指令對應(yīng)的過程反饋信息；將所述過程反饋信息和目標(biāo)任務(wù)傳輸至所述第一系統(tǒng)，以在所述第一系統(tǒng)的顯示區(qū)域中顯示所述目標(biāo)任務(wù)的控制界面；接收所述第一系統(tǒng)發(fā)送的針對所述目標(biāo)任務(wù)的控制指令，所述控制指令是基于所述控制界面接收的輸入數(shù)據(jù)生成的指令。

7、根據(jù)本申請一實施方式，所述方法還包括：在執(zhí)行所述目標(biāo)指令過程中，獲得第二系統(tǒng)的桌面圖像數(shù)據(jù)；將所述桌面圖像數(shù)據(jù)傳輸至所述第一系統(tǒng)，以在所述第一系統(tǒng)的顯示區(qū)域中顯示所述桌面圖像數(shù)據(jù)。

8、根據(jù)本申請一實施方式，所述方法還包括：獲得所述目標(biāo)指令的過程反饋信息，所述過程反饋信息包括執(zhí)行進度、執(zhí)行結(jié)果、決策信息中的一種或多種；將執(zhí)行所述目標(biāo)指令過程中的過程反饋信息傳輸至所述第一系統(tǒng)，以在所述第一系統(tǒng)的顯示區(qū)域中顯示所述過程反饋信息。

9、根據(jù)本申請的第二方面，提供了一種控制方法，所述方法包括：獲得目標(biāo)任務(wù)；將所述目標(biāo)任務(wù)發(fā)送至第二系統(tǒng)，其中，所述第二系統(tǒng)通過所述目標(biāo)任務(wù)對應(yīng)的提示信息和所述第二系統(tǒng)的桌面圖像數(shù)據(jù)輸入目標(biāo)模型，得到用于執(zhí)行所述目標(biāo)任務(wù)的目標(biāo)指令接收所述第二系統(tǒng)發(fā)送的所述目標(biāo)任務(wù)的執(zhí)行結(jié)果對應(yīng)的結(jié)果反饋信息；在第一系統(tǒng)的顯示區(qū)域中顯示所述結(jié)果反饋信息。

10、根據(jù)本申請一實施方式，所述方法還包括：接收所述第二系統(tǒng)發(fā)送的過程反饋信息和目標(biāo)任務(wù)；基于所述過程反饋信息和目標(biāo)任務(wù)，確定所述反饋信息對應(yīng)的顯示控制指令；基于所述顯示控制指令，在所述第一系統(tǒng)的顯示區(qū)域中顯示所述目標(biāo)任務(wù)的控制界面；從所述控制界面接收針對所述目標(biāo)任務(wù)的輸入數(shù)據(jù)；基于所述輸入數(shù)據(jù)生成針對所述目標(biāo)任務(wù)的控制指令，并將所述控制指令發(fā)送至所述第二系統(tǒng)。

11、根據(jù)本申請一實施方式，所述方法還包括：接收所述第二系統(tǒng)發(fā)送的桌面圖像數(shù)據(jù)；在所述第一系統(tǒng)的顯示區(qū)域中顯示所述桌面圖像數(shù)據(jù)。

12、根據(jù)本申請一實施方式，所述方法還包括：接收所述第二系統(tǒng)發(fā)送的過程反饋信息；所述過程反饋信息包括執(zhí)行進度、執(zhí)行結(jié)果、決策信息中的一種或多種；在所述第一系統(tǒng)的顯示區(qū)域中顯示所述過程反饋信息。

13、根據(jù)本申請的第三方面，提供了一種控制裝置，應(yīng)用于第二系統(tǒng)，所述裝置包括：接收模塊，用于接收第一系統(tǒng)發(fā)送的目標(biāo)任務(wù)；獲得模塊，用于基于所述目標(biāo)任務(wù)，獲得第二系統(tǒng)的桌面圖像數(shù)據(jù)；生成模塊，用于生成目標(biāo)任務(wù)對應(yīng)的提示信息，并將所述提示信息和所述桌面圖像數(shù)據(jù)輸入至目標(biāo)模型，得到目標(biāo)任務(wù)對應(yīng)的目標(biāo)指令；執(zhí)行模塊，用于在所述第二系統(tǒng)中執(zhí)行所述目標(biāo)指令，得到所述目標(biāo)任務(wù)的執(zhí)行結(jié)果；反饋模塊，用于基于所述執(zhí)行結(jié)果確定對應(yīng)的結(jié)果反饋信息，并將所述結(jié)果反饋信息傳輸至所述第一系統(tǒng)。

14、根據(jù)本申請的第四方面，提供了一種控制裝置，應(yīng)用于第一系統(tǒng)，所述裝置包括：任務(wù)獲得模塊，用于獲得目標(biāo)任務(wù)；發(fā)送模塊，用于將所述目標(biāo)任務(wù)發(fā)送至第二系統(tǒng)，其中，所述第二系統(tǒng)通過所述目標(biāo)任務(wù)對應(yīng)的提示信息和所述第二系統(tǒng)的桌面圖像數(shù)據(jù)輸入目標(biāo)模型，得到用于執(zhí)行所述目標(biāo)任務(wù)的目標(biāo)指令；接收反饋模塊，用于接收所述第二系統(tǒng)發(fā)送的所述目標(biāo)任務(wù)的執(zhí)行結(jié)果對應(yīng)的結(jié)果反饋信息；顯示模塊，用于在第一系統(tǒng)的顯示區(qū)域中顯示所述結(jié)果反饋信息。

15、應(yīng)當(dāng)理解，本部分所描述的內(nèi)容并非旨在標(biāo)識本申請的實施例的關(guān)鍵或重要特征，也不用于限制本申請的范圍。本申請的其它特征將通過以下的說明書而變得容易理解。

技術(shù)特征：

1.一種控制方法，所述方法包括：

2.根據(jù)權(quán)利要求1所述的方法，所述在所述第二系統(tǒng)中執(zhí)行所述目標(biāo)指令，得到所述目標(biāo)任務(wù)的執(zhí)行結(jié)果，包括：

3.根據(jù)權(quán)利要求2所述的方法，所述在所述第二系統(tǒng)中確定與所述目標(biāo)指令相關(guān)的目標(biāo)控件，包括：

4.根據(jù)權(quán)利要求1所述的方法，所述方法還包括：

5.根據(jù)權(quán)利要求1所述的方法，所述方法還包括：

6.根據(jù)權(quán)利要求1所述的方法，所述方法還包括：

7.根據(jù)權(quán)利要求1所述的方法，所述方法還包括：

8.一種控制方法，所述方法包括：

9.根據(jù)權(quán)利要求8所述的方法，所述方法還包括：

10.根據(jù)權(quán)利要求8所述的方法，所述方法還包括：

11.根據(jù)權(quán)利要求8所述的方法，所述方法還包括：

12.一種控制裝置，應(yīng)用于第二系統(tǒng)，所述裝置包括：

13.一種控制裝置，應(yīng)用于第一系統(tǒng)，所述裝置包括：

技術(shù)總結(jié)
本申請?zhí)峁┝艘环N控制方法及裝置，所述方法包括：接收第一系統(tǒng)發(fā)送的目標(biāo)任務(wù)；基于所述目標(biāo)任務(wù)，獲得第二系統(tǒng)的桌面圖像數(shù)據(jù)；生成目標(biāo)任務(wù)對應(yīng)的提示信息，并將所述提示信息和所述桌面圖像數(shù)據(jù)輸入至目標(biāo)模型，得到目標(biāo)任務(wù)對應(yīng)的目標(biāo)指令；在所述第二系統(tǒng)中執(zhí)行所述目標(biāo)指令，得到所述目標(biāo)任務(wù)的執(zhí)行結(jié)果；基于所述執(zhí)行結(jié)果確定對應(yīng)的結(jié)果反饋信息，并將所述結(jié)果反饋信息傳輸至所述第一系統(tǒng)。

技術(shù)研發(fā)人員：項章楠,周曉煜,顏毅強
受保護的技術(shù)使用者：聯(lián)想（北京）有限公司
技術(shù)研發(fā)日：
技術(shù)公布日：2025/1/6