本發(fā)明涉及軟件測(cè)試，具體而言，涉及一種自動(dòng)化測(cè)試方法及裝置。

背景技術(shù)：

1、ui自動(dòng)化測(cè)試通過代碼或工具模擬人的行為來對(duì)用戶界面進(jìn)行操作，實(shí)現(xiàn)對(duì)程序ui層自動(dòng)化的測(cè)試，可以節(jié)省人工測(cè)試成本，提高測(cè)試效率，廣泛應(yīng)用于回歸測(cè)試、兼容性測(cè)試等。

2、當(dāng)前主流的ui自動(dòng)化測(cè)試框架或工具，結(jié)果判斷依賴于人工編寫斷言，但斷言編寫工作量大，且可能會(huì)遺留校驗(yàn)點(diǎn)，導(dǎo)致漏測(cè)?，F(xiàn)有技術(shù)中還存在一種采用圖片對(duì)比的方式進(jìn)行結(jié)果判斷的方案，但該方案的誤報(bào)率較高，且通用性不夠，不能適用于多種測(cè)試場(chǎng)景。

3、針對(duì)上述的問題，目前尚未提出有效的解決方案。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明實(shí)施例提供了一種自動(dòng)化測(cè)試方法及裝置，以至少解決現(xiàn)有技術(shù)中ui自動(dòng)化測(cè)試的編寫工作量大，可能會(huì)遺留校驗(yàn)點(diǎn)，導(dǎo)致漏測(cè)，且誤報(bào)率較高，通用性不夠，不能適用于多種測(cè)試場(chǎng)景的技術(shù)問題。

2、根據(jù)本發(fā)明實(shí)施例的一個(gè)方面，提供了一種自動(dòng)化測(cè)試方法，包括：在歷史時(shí)間段下采用正確版本代碼執(zhí)行測(cè)試用例并穩(wěn)定運(yùn)行后得到基準(zhǔn)結(jié)果，所述基準(zhǔn)結(jié)果包括所述測(cè)試用例的各步驟對(duì)應(yīng)的基準(zhǔn)測(cè)試結(jié)果；采用測(cè)試版本代碼執(zhí)行所述測(cè)試用例，得到所述測(cè)試用例的各步驟的實(shí)際測(cè)試結(jié)果；將對(duì)應(yīng)的所述實(shí)際測(cè)試結(jié)果和所述基準(zhǔn)測(cè)試結(jié)果進(jìn)行對(duì)比，得到對(duì)比結(jié)果，并根據(jù)所述測(cè)試用例的各所述步驟的對(duì)比結(jié)果，確定所述測(cè)試用例是否能在執(zhí)行所述測(cè)試版本代碼的過程中穩(wěn)定運(yùn)行。

3、可選地，在歷史時(shí)間段下采用正確版本代碼執(zhí)行測(cè)試用例并穩(wěn)定運(yùn)行后得到基準(zhǔn)結(jié)果，包括：在歷史時(shí)間段下采用所述正確版本代碼執(zhí)行所述測(cè)試用例，且在執(zhí)行所述測(cè)試用例的過程中，獲取所述測(cè)試用例的每一步驟的執(zhí)行截圖，所述執(zhí)行截圖為所述測(cè)試用例在目標(biāo)界面上穩(wěn)定運(yùn)行當(dāng)前步驟后得到的對(duì)應(yīng)的直接結(jié)果的截圖；確定所述執(zhí)行截圖中的執(zhí)行結(jié)果是否正確；在所述執(zhí)行截圖中的所述執(zhí)行結(jié)果正確的情況下，將所述執(zhí)行截圖確定為所述當(dāng)前步驟的基準(zhǔn)測(cè)試結(jié)果，并將所有所述步驟的所述基準(zhǔn)測(cè)試結(jié)果確定為所述基準(zhǔn)結(jié)果。

4、可選地，將對(duì)應(yīng)的所述實(shí)際測(cè)試結(jié)果和所述基準(zhǔn)測(cè)試結(jié)果進(jìn)行對(duì)比，得到對(duì)比結(jié)果，包括：將顯示所述測(cè)試用例的執(zhí)行結(jié)果的界面確定為目標(biāo)界面；采用自動(dòng)配置和/或人工配置，并根據(jù)所述目標(biāo)界面中的各區(qū)域的顯示內(nèi)容，確定所述目標(biāo)界面中的對(duì)比區(qū)域和非對(duì)比區(qū)域，所述對(duì)比區(qū)域?yàn)樗鰧?shí)際測(cè)試結(jié)果和所述基準(zhǔn)測(cè)試結(jié)果進(jìn)行對(duì)比的區(qū)域，所述非對(duì)比區(qū)域?yàn)闊o需進(jìn)行對(duì)比的區(qū)域；根據(jù)所述測(cè)試用例的測(cè)試場(chǎng)景，確定對(duì)比精度，并根據(jù)所述對(duì)比精度和所述對(duì)比區(qū)域，將對(duì)應(yīng)的所述實(shí)際測(cè)試結(jié)果和所述基準(zhǔn)測(cè)試結(jié)果進(jìn)行對(duì)比，得到所述對(duì)比結(jié)果。

5、可選地，采用自動(dòng)配置并根據(jù)所述目標(biāo)界面中的各區(qū)域的顯示內(nèi)容，確定所述目標(biāo)界面中的對(duì)比區(qū)域和非對(duì)比區(qū)域，包括：采用所述正確版本代碼執(zhí)行所述測(cè)試用例預(yù)設(shè)次數(shù)，得到截圖集合，所述截圖集合中包括每一次執(zhí)行時(shí)所述測(cè)試用例的各步驟的執(zhí)行截圖，一個(gè)所述步驟對(duì)應(yīng)的所述執(zhí)行截圖的數(shù)量與所述預(yù)設(shè)次數(shù)相同；將所述步驟的預(yù)設(shè)個(gè)所述執(zhí)行截圖進(jìn)行對(duì)比，得到相似度小于第一預(yù)設(shè)相似度的區(qū)域?yàn)殡S機(jī)區(qū)域；將所述隨機(jī)區(qū)域確定為所述非對(duì)比區(qū)域，并將除所述隨機(jī)區(qū)域以外的所有所述執(zhí)行截圖中的區(qū)域確定為所述對(duì)比區(qū)域。

6、可選地，根據(jù)所述測(cè)試用例的測(cè)試場(chǎng)景，確定對(duì)比精度，包括：確定所述測(cè)試用例的測(cè)試場(chǎng)景的精確度要求；在所述精確度要求為大于或者等于第一預(yù)設(shè)精度的情況下，確定所述對(duì)比精度為絕對(duì)對(duì)比，所述絕對(duì)對(duì)比為逐個(gè)像素進(jìn)行對(duì)比的方式；在所述精確度要求為大于或者等于第二預(yù)設(shè)精度且小于所述第一預(yù)設(shè)精度的情況下，確定所述對(duì)比精度為嚴(yán)格對(duì)比，所述嚴(yán)格對(duì)比為嚴(yán)格對(duì)比采用ssim算法對(duì)運(yùn)行參數(shù)進(jìn)行對(duì)比的方式，所述運(yùn)行參數(shù)至少包括所述目標(biāo)界面的亮度和對(duì)比度；在所述精確度要求為小于所述第二預(yù)設(shè)精度的情況下，確定所述對(duì)比精度為內(nèi)容對(duì)比，所述內(nèi)容對(duì)比為只進(jìn)行文本對(duì)比的方式。

7、可選地，根據(jù)所述對(duì)比精度和所述對(duì)比區(qū)域，將對(duì)應(yīng)的所述實(shí)際測(cè)試結(jié)果和所述基準(zhǔn)測(cè)試結(jié)果進(jìn)行對(duì)比，得到對(duì)比結(jié)果，包括：獲取所述實(shí)際測(cè)試結(jié)果中當(dāng)前步驟的實(shí)際執(zhí)行截圖以及所述基準(zhǔn)測(cè)試結(jié)果中所述當(dāng)前步驟的基準(zhǔn)執(zhí)行截圖；根據(jù)所述對(duì)比區(qū)域，對(duì)所述實(shí)際執(zhí)行截圖和所述基準(zhǔn)執(zhí)行截圖進(jìn)行裁剪，僅保留所述實(shí)際執(zhí)行截圖中的對(duì)比區(qū)域和所述基準(zhǔn)執(zhí)行截圖中的對(duì)比區(qū)域，分別為第一區(qū)域和第二區(qū)域；根據(jù)所述對(duì)比精度對(duì)所述第一區(qū)域和所述第二區(qū)域進(jìn)行對(duì)比，得到所述對(duì)比結(jié)果。

8、可選地，根據(jù)所述測(cè)試用例的各所述步驟的對(duì)比結(jié)果，確定所述測(cè)試用例是否能在執(zhí)行所述測(cè)試版本代碼的過程中穩(wěn)定運(yùn)行，包括：對(duì)所述測(cè)試用例的所有所述步驟的對(duì)比結(jié)果進(jìn)行加權(quán)平均處理，得到總相似度，所述對(duì)比結(jié)果為對(duì)應(yīng)的步驟的所述實(shí)際測(cè)試結(jié)果和所述基準(zhǔn)測(cè)試結(jié)果之間的相似度；在所述總相似度大于或者等于第二預(yù)設(shè)相似度的情況下，確定所述測(cè)試用例能在執(zhí)行所述測(cè)試版本代碼的過程中穩(wěn)定運(yùn)行；在所述總相似度小于所述第二預(yù)設(shè)相似度的情況下，確定所述測(cè)試用例能在執(zhí)行所述測(cè)試版本代碼的過程中穩(wěn)定運(yùn)行。

9、根據(jù)本發(fā)明實(shí)施例的另一方面，還提供了一種自動(dòng)化測(cè)試裝置，包括：第一執(zhí)行模塊，用于在歷史時(shí)間段下采用正確版本代碼執(zhí)行測(cè)試用例并穩(wěn)定運(yùn)行后得到基準(zhǔn)結(jié)果，所述基準(zhǔn)結(jié)果包括所述測(cè)試用例的各步驟對(duì)應(yīng)的基準(zhǔn)測(cè)試結(jié)果；第二執(zhí)行模塊，用于采用測(cè)試版本代碼執(zhí)行所述測(cè)試用例，得到所述測(cè)試用例的各步驟的實(shí)際測(cè)試結(jié)果；確定模塊，用于將對(duì)應(yīng)的所述實(shí)際測(cè)試結(jié)果和所述基準(zhǔn)測(cè)試結(jié)果進(jìn)行對(duì)比，得到對(duì)比結(jié)果，并根據(jù)所述測(cè)試用例的各所述步驟的對(duì)比結(jié)果，確定所述測(cè)試用例是否能在執(zhí)行所述測(cè)試版本代碼的過程中穩(wěn)定運(yùn)行。

10、可選地，所述第一執(zhí)行模塊，包括：執(zhí)行單元，用于在歷史時(shí)間段下采用所述正確版本代碼執(zhí)行所述測(cè)試用例，且在執(zhí)行所述測(cè)試用例的過程中，獲取所述測(cè)試用例的每一步驟的執(zhí)行截圖，所述執(zhí)行截圖為所述測(cè)試用例在目標(biāo)界面上穩(wěn)定運(yùn)行當(dāng)前步驟后得到的對(duì)應(yīng)的直接結(jié)果的截圖；第一確定單元，用于確定所述執(zhí)行截圖中的執(zhí)行結(jié)果是否正確；第二確定單元，用于在所述執(zhí)行截圖中的所述執(zhí)行結(jié)果正確的情況下，將所述執(zhí)行截圖確定為所述當(dāng)前步驟的基準(zhǔn)測(cè)試結(jié)果，并將所有所述步驟的所述基準(zhǔn)測(cè)試結(jié)果確定為所述基準(zhǔn)結(jié)果。

11、可選地，所述確定模塊，包括：第三確定單元，用于將顯示所述測(cè)試用例的執(zhí)行結(jié)果的界面確定為目標(biāo)界面；第四確定單元，用于采用自動(dòng)配置和/或人工配置，并根據(jù)所述目標(biāo)界面中的各區(qū)域的顯示內(nèi)容，確定所述目標(biāo)界面中的對(duì)比區(qū)域和非對(duì)比區(qū)域，所述對(duì)比區(qū)域?yàn)樗鰧?shí)際測(cè)試結(jié)果和所述基準(zhǔn)測(cè)試結(jié)果進(jìn)行對(duì)比的區(qū)域，所述非對(duì)比區(qū)域?yàn)闊o需進(jìn)行對(duì)比的區(qū)域；對(duì)比單元，用于根據(jù)所述測(cè)試用例的測(cè)試場(chǎng)景，確定對(duì)比精度，并根據(jù)所述對(duì)比精度和所述對(duì)比區(qū)域，將對(duì)應(yīng)的所述實(shí)際測(cè)試結(jié)果和所述基準(zhǔn)測(cè)試結(jié)果進(jìn)行對(duì)比，得到所述對(duì)比結(jié)果。

12、可選地，所述第四確定單元，包括：執(zhí)行子單元，用于采用所述正確版本代碼執(zhí)行所述測(cè)試用例預(yù)設(shè)次數(shù)，得到截圖集合，所述截圖集合中包括每一次執(zhí)行時(shí)所述測(cè)試用例的各步驟的執(zhí)行截圖，一個(gè)所述步驟對(duì)應(yīng)的所述執(zhí)行截圖的數(shù)量與所述預(yù)設(shè)次數(shù)相同；第一對(duì)比子單元，用于將所述步驟的預(yù)設(shè)個(gè)所述執(zhí)行截圖進(jìn)行對(duì)比，得到相似度小于第一預(yù)設(shè)相似度的區(qū)域?yàn)殡S機(jī)區(qū)域；第一確定子單元，用于將所述隨機(jī)區(qū)域確定為所述非對(duì)比區(qū)域，并將除所述隨機(jī)區(qū)域以外的所有所述執(zhí)行截圖中的區(qū)域確定為所述對(duì)比區(qū)域。

13、可選地，所述對(duì)比單元，包括：第二確定子單元，用于確定所述測(cè)試用例的測(cè)試場(chǎng)景的精確度要求；第三確定子單元，用于在所述精確度要求為大于或者等于第一預(yù)設(shè)精度的情況下，確定所述對(duì)比精度為絕對(duì)對(duì)比，所述絕對(duì)對(duì)比為逐個(gè)像素進(jìn)行對(duì)比的方式；第四確定子單元，用于在所述精確度要求為大于或者等于第二預(yù)設(shè)精度且小于所述第一預(yù)設(shè)精度的情況下，確定所述對(duì)比精度為嚴(yán)格對(duì)比，所述嚴(yán)格對(duì)比為嚴(yán)格對(duì)比采用ssim算法對(duì)運(yùn)行參數(shù)進(jìn)行對(duì)比的方式，所述運(yùn)行參數(shù)至少包括所述目標(biāo)界面的亮度和對(duì)比度；第五確定子單元，用于在所述精確度要求為小于所述第二預(yù)設(shè)精度的情況下，確定所述對(duì)比精度為內(nèi)容對(duì)比，所述內(nèi)容對(duì)比為只進(jìn)行文本對(duì)比的方式。

14、可選地，所述對(duì)比單元，包括：獲取子單元，用于獲取所述實(shí)際測(cè)試結(jié)果中當(dāng)前步驟的實(shí)際執(zhí)行截圖以及所述基準(zhǔn)測(cè)試結(jié)果中所述當(dāng)前步驟的基準(zhǔn)執(zhí)行截圖；裁剪子單元，用于根據(jù)所述對(duì)比區(qū)域，對(duì)所述實(shí)際執(zhí)行截圖和所述基準(zhǔn)執(zhí)行截圖進(jìn)行裁剪，僅保留所述實(shí)際執(zhí)行截圖中的對(duì)比區(qū)域和所述基準(zhǔn)執(zhí)行截圖中的對(duì)比區(qū)域，分別為第一區(qū)域和第二區(qū)域；第二對(duì)比子單元，用于根據(jù)所述對(duì)比精度對(duì)所述第一區(qū)域和所述第二區(qū)域進(jìn)行對(duì)比，得到所述對(duì)比結(jié)果。

15、可選地，所述確定模塊，包括：加權(quán)平均處理單元，用于對(duì)所述測(cè)試用例的所有所述步驟的對(duì)比結(jié)果進(jìn)行加權(quán)平均處理，得到總相似度，所述對(duì)比結(jié)果為對(duì)應(yīng)的步驟的所述實(shí)際測(cè)試結(jié)果和所述基準(zhǔn)測(cè)試結(jié)果之間的相似度；第五確定單元，用于在所述總相似度大于或者等于第二預(yù)設(shè)相似度的情況下，確定所述測(cè)試用例能在執(zhí)行所述測(cè)試版本代碼的過程中穩(wěn)定運(yùn)行；第六確定單元，用于在所述總相似度小于所述第二預(yù)設(shè)相似度的情況下，確定所述測(cè)試用例能在執(zhí)行所述測(cè)試版本代碼的過程中穩(wěn)定運(yùn)行。

16、根據(jù)本發(fā)明實(shí)施例的另一方面，還提供了一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，所述計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)包括存儲(chǔ)的程序，其中，在所述程序運(yùn)行時(shí)控制所述計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)所在設(shè)備執(zhí)行上述中任意一項(xiàng)所述的自動(dòng)化測(cè)試方法。

17、根據(jù)本發(fā)明實(shí)施例的另一方面，還提供了一種電子設(shè)備，包括：一個(gè)或多個(gè)處理器，存儲(chǔ)器，以及一個(gè)或多個(gè)程序，其中，所述一個(gè)或多個(gè)程序被存儲(chǔ)在所述存儲(chǔ)器中，并且被配置為由所述一個(gè)或多個(gè)處理器執(zhí)行，所述一個(gè)或多個(gè)程序包括用于執(zhí)行上述中任意一項(xiàng)所述的自動(dòng)化測(cè)試方法。

18、根據(jù)本發(fā)明實(shí)施例的另一方面，還提供了一種計(jì)算機(jī)程序產(chǎn)品，包括計(jì)算機(jī)指令，所述計(jì)算機(jī)指令被處理器執(zhí)行時(shí)執(zhí)行上述中任意一項(xiàng)所述的自動(dòng)化測(cè)試方法。

19、在本發(fā)明實(shí)施例中，在歷史時(shí)間段下采用正確版本代碼執(zhí)行測(cè)試用例并穩(wěn)定運(yùn)行后得到基準(zhǔn)結(jié)果，基準(zhǔn)結(jié)果包括測(cè)試用例的各步驟對(duì)應(yīng)的基準(zhǔn)測(cè)試結(jié)果；采用測(cè)試版本代碼執(zhí)行測(cè)試用例，得到測(cè)試用例的各步驟的實(shí)際測(cè)試結(jié)果；將對(duì)應(yīng)的實(shí)際測(cè)試結(jié)果和基準(zhǔn)測(cè)試結(jié)果進(jìn)行對(duì)比，得到對(duì)比結(jié)果，并根據(jù)測(cè)試用例的各步驟的對(duì)比結(jié)果，確定測(cè)試用例是否能在執(zhí)行測(cè)試版本代碼的過程中穩(wěn)定運(yùn)行。通過本發(fā)明提供的技術(shù)方案，達(dá)到了通過采用圖片對(duì)比的方式對(duì)ui自動(dòng)化測(cè)試結(jié)果進(jìn)行分析，支持圖片自動(dòng)計(jì)算和人工配置對(duì)比區(qū)域，并根據(jù)測(cè)試場(chǎng)景選擇相應(yīng)的對(duì)比精度的目的，從而實(shí)現(xiàn)了無需人工編寫和維護(hù)斷言、降低誤報(bào)的技術(shù)效果，提高了配置效率與測(cè)試的通用性，進(jìn)而解決了現(xiàn)有技術(shù)中ui自動(dòng)化測(cè)試的編寫工作量大，可能會(huì)遺留校驗(yàn)點(diǎn)，導(dǎo)致漏測(cè)，且誤報(bào)率較高，通用性不夠，不能適用于多種測(cè)試場(chǎng)景的技術(shù)問題。