本申請涉及工業(yè)自動化，尤其涉及一種hmi的顯示測試方法、裝置、電子設(shè)備和存儲介質(zhì)。

背景技術(shù)：

1、人機(jī)界面(human?machine?interface，hmi)產(chǎn)品是一種包含硬件和軟件的人機(jī)交互設(shè)備，實現(xiàn)人和機(jī)器之間的信息交互，比如，文字或圖形顯示以及輸入等功能。通常，硬件部分包括處理器、顯示器、存儲器、輸入單元、通信接口等，軟件部分包括運行于hmi硬件中的系統(tǒng)軟件和應(yīng)用軟件，比如，畫面組態(tài)軟件。hmi產(chǎn)品由于提供了豐富的設(shè)備信息和實時的數(shù)據(jù)顯示，廣泛應(yīng)用于工業(yè)領(lǐng)域中。

2、在hmi產(chǎn)品的開發(fā)和生產(chǎn)過程中，需要對hmi產(chǎn)品的顯示進(jìn)行測試，以保證顯示正確率。目前，hmi顯示測試采用人工方式，測試人員對hmi產(chǎn)品顯示的內(nèi)容通過眼睛觀看進(jìn)行人工驗證，導(dǎo)致顯示測試的效率很低。

技術(shù)實現(xiàn)思路

1、有鑒于此，本申請?zhí)峁┑膆mi的顯示測試方法、裝置、電子設(shè)備和存儲介質(zhì)，能夠完成hmi設(shè)備顯示的全程自動化測試，避免了人工參與測試，提高了hmi顯示測試的效率和準(zhǔn)確性。

2、根據(jù)本申請實施例的第一方面，提供了一種hmi的顯示測試方法，應(yīng)用于第一電子設(shè)備，所述方法包括：啟動自動化測試，控制hmi設(shè)備顯示預(yù)設(shè)元素；獲取由相機(jī)對所述hmi設(shè)備進(jìn)行拍攝得到的待處理圖像；獲取所述待處理圖像的識別數(shù)據(jù)；其中，所述識別數(shù)據(jù)為根據(jù)所述待處理圖像利用預(yù)訓(xùn)練的元素識別模型得到的，所述識別數(shù)據(jù)包括所述待處理圖像中目標(biāo)元素的信息；根據(jù)所述目標(biāo)元素的信息和所述預(yù)設(shè)元素的信息進(jìn)行比對驗證，獲得所述hmi設(shè)備的顯示測試結(jié)果。

3、根據(jù)本申請實施例的第二方面，提供了一種hmi的顯示測試方法，應(yīng)用于第二電子設(shè)備，所述方法包括：接收第一電子設(shè)備發(fā)送的待處理圖像；所述待處理圖像為所述第一電子設(shè)備控制hmi設(shè)備顯示預(yù)設(shè)元素時由相機(jī)對所述hmi設(shè)備進(jìn)行拍攝得到的圖像；根據(jù)所述待處理圖像利用預(yù)訓(xùn)練的元素識別模型得到所述待處理圖像的識別數(shù)據(jù)；所述識別數(shù)據(jù)包括所述待處理圖像中目標(biāo)元素的信息；將所述識別數(shù)據(jù)發(fā)送至所述第一電子設(shè)備。

4、根據(jù)本申請實施例的第三方面，提供了一種hmi的顯示測試裝置，包括：控制模塊，用于啟動自動化測試，控制hmi設(shè)備顯示預(yù)設(shè)元素；第一獲取模塊，用于獲取由相機(jī)對所述hmi設(shè)備進(jìn)行拍攝得到的待處理圖像；第二獲取模塊，用于獲取所述待處理圖像的識別數(shù)據(jù)；其中，所述識別數(shù)據(jù)為根據(jù)所述待處理圖像利用預(yù)訓(xùn)練的元素識別模型得到的，所述識別數(shù)據(jù)包括所述待處理圖像中目標(biāo)元素的信息；驗證模塊，用于根據(jù)所述目標(biāo)元素的信息和所述預(yù)設(shè)元素的信息進(jìn)行比對驗證，獲得所述hmi設(shè)備的顯示測試結(jié)果。

5、根據(jù)本申請實施例的第四方面，提供了一種hmi的顯示測試裝置，包括：接收模塊，用于接收第一電子設(shè)備發(fā)送的待處理圖像；所述待處理圖像為所述第一電子設(shè)備控制hmi設(shè)備顯示預(yù)設(shè)元素時由相機(jī)對所述hmi設(shè)備進(jìn)行拍攝得到的圖像；識別模塊，用于根據(jù)所述待處理圖像利用預(yù)訓(xùn)練的元素識別模型得到所述待處理圖像的識別數(shù)據(jù)；所述識別數(shù)據(jù)包括所述待處理圖像中目標(biāo)元素的信息；發(fā)送模塊，用于將所述識別數(shù)據(jù)發(fā)送至所述第一電子設(shè)備。

6、根據(jù)本申請實施例的第五方面，提供了一種電子設(shè)備，包括：處理器、存儲器、通信接口和總線，所述處理器、所述存儲器和所述通信接口通過所述總線完成相互間的通信；所述存儲器用于存儲至少一可執(zhí)行指令，所述可執(zhí)行指令使所述處理器執(zhí)行如上述第一方面或第二方面所述的方法。

7、根據(jù)本申請實施例的第六方面，提供了一種算機(jī)可讀存儲介質(zhì)，所述計算機(jī)可讀存儲介質(zhì)上存儲有計算機(jī)指令，所述計算機(jī)指令在被處理器執(zhí)行時，使所述處理器執(zhí)行如第一方面或第二方面所述的方法。

8、根據(jù)本申請實施例的第七方面，提供了一種計算機(jī)程序產(chǎn)品，所述計算機(jī)程序產(chǎn)品被有形地存儲在計算機(jī)可讀介質(zhì)上并且包括計算機(jī)可執(zhí)行指令，所述計算機(jī)可執(zhí)行指令在被執(zhí)行時使至少一個處理器執(zhí)行如上述第一方面或第二方面所述的方法。

9、由上述技術(shù)方案可知，第一電子設(shè)備可以與相機(jī)、hmi設(shè)備和第二電子設(shè)備進(jìn)行通信。第一電子設(shè)備啟動自動化測試，控制hmi設(shè)備顯示預(yù)設(shè)元素。第一電子設(shè)備獲取由相機(jī)拍攝的包括hmi設(shè)備顯示界面的待處理圖像并發(fā)送給第二電子設(shè)備。第二電子設(shè)備利用預(yù)訓(xùn)練的元素識別模型對待處理圖像進(jìn)行處理得到識別數(shù)據(jù)，將識別數(shù)據(jù)發(fā)送給第一電子設(shè)備，從而，第一電子設(shè)備將識別數(shù)據(jù)和預(yù)設(shè)元素的信息進(jìn)行比對驗證，獲得hmi設(shè)備的顯示測試結(jié)果正確與否。通過自動化控制hmi設(shè)備顯示預(yù)設(shè)元素，通過相機(jī)捕獲hmi設(shè)備顯示的圖像，通過預(yù)訓(xùn)練的元素識別模型智能識別圖像中的目標(biāo)元素，完成了hmi設(shè)備顯示的全程自動化測試，避免了人工參與測試過程，提高了hmi顯示測試的效率和準(zhǔn)確性。

技術(shù)特征：

1.一種hmi的顯示測試方法(200)，其特征在于，應(yīng)用于第一電子設(shè)備(101)，所述方法包括：

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述目標(biāo)元素的信息為json數(shù)據(jù)格式，所述目標(biāo)元素的信息包括所述目標(biāo)元素的值、位置和置信度。

3.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述待處理圖像中包括基準(zhǔn)邊框，所述目標(biāo)元素的位置為根據(jù)所述基準(zhǔn)邊框確定的位置。

4.根據(jù)權(quán)利要求2或3所述的方法，其特征在于，所述預(yù)設(shè)元素的信息包括所述預(yù)設(shè)元素的值和位置；所述根據(jù)所述目標(biāo)元素的信息和所述預(yù)設(shè)元素的信息進(jìn)行比對驗證，獲得所述hmi設(shè)備的顯示測試結(jié)果，包括：

5.根據(jù)權(quán)利要求1-3中任一項所述的方法，其特征在于，所述獲取所述待處理圖像的識別數(shù)據(jù)，包括：

6.根據(jù)權(quán)利要求5所述的方法，其特征在于，所述將所述待處理圖像發(fā)送至第二電子設(shè)備，包括：

7.一種hmi的顯示測試方法(400)，其特征在于，應(yīng)用于第二電子設(shè)備(102)，所述方法包括：

8.根據(jù)權(quán)利要求7所述的方法，其特征在于，所述根據(jù)所述待處理圖像利用預(yù)訓(xùn)練的元素識別模型得到所述待處理圖像的識別數(shù)據(jù)，包括：

9.根據(jù)權(quán)利要求8所述的方法，其特征在于，所述元素識別模型包括文本識別模型和圖像識別模型；

10.根據(jù)權(quán)利要求7-9中任一項所述的方法，其特征在于，所述接收第一電子設(shè)備發(fā)送的待處理圖像，包括：

11.一種hmi的顯示測試裝置(500)，其特征在于，包括：

12.一種hmi的顯示測試裝置(600)，其特征在于，包括：

13.一種電子設(shè)備(700)，包括：處理器(702)、通信接口(704)、存儲器(706)和總線(708)，所述處理器(702)、所述通信接口(704)和所述存儲器(706)通過所述總線(708)完成相互間的通信；

14.一種計算機(jī)可讀存儲介質(zhì)，所述計算機(jī)可讀存儲介質(zhì)上存儲有計算機(jī)指令，所述計算機(jī)指令在被處理器執(zhí)行時，使所述處理器執(zhí)行權(quán)利要求1-6中任一所述的方法，或者，執(zhí)行如權(quán)利要求7-10中任一所述的方法。

15.一種計算機(jī)程序產(chǎn)品，所述計算機(jī)程序產(chǎn)品被有形地存儲在計算機(jī)可讀介質(zhì)上并且包括計算機(jī)可執(zhí)行指令，所述計算機(jī)可執(zhí)行指令在被執(zhí)行時使至少一個處理器執(zhí)行根據(jù)權(quán)利要求1-6中任一所述的方法，或者，執(zhí)行如權(quán)利要求7-10中任一所述的方法。

技術(shù)總結(jié)
本申請?zhí)峁┝薍MI的顯示測試方法、裝置、電子設(shè)備和存儲介質(zhì)，該HMI的顯示測試方法包括：啟動自動化測試，控制HMI設(shè)備顯示預(yù)設(shè)元素；獲取由相機(jī)對HMI設(shè)備進(jìn)行拍攝得到的待處理圖像；獲取待處理圖像的識別數(shù)據(jù)；其中，識別數(shù)據(jù)為根據(jù)待處理圖像利用預(yù)訓(xùn)練的元素識別模型得到的，識別數(shù)據(jù)包括待處理圖像中目標(biāo)元素的信息；根據(jù)目標(biāo)元素的信息和預(yù)設(shè)元素的信息進(jìn)行比對驗證，獲得HMI設(shè)備的顯示測試結(jié)果。本方案通過自動化控制HMI設(shè)備顯示預(yù)設(shè)元素，通過相機(jī)捕獲HMI設(shè)備顯示的圖像，通過預(yù)訓(xùn)練的元素識別模型智能識別圖像中的目標(biāo)元素，完成了HMI設(shè)備顯示的全程自動化測試，提高了HMI顯示測試的效率和準(zhǔn)確性。

技術(shù)研發(fā)人員：姚芳,趙高燕
受保護(hù)的技術(shù)使用者：西門子（中國）有限公司
技術(shù)研發(fā)日：
技術(shù)公布日：2025/1/6