本技術(shù)涉及代碼測(cè)試，具體而言，涉及一種代碼測(cè)試方法、裝置、電子設(shè)備以及計(jì)算機(jī)程序產(chǎn)品。

背景技術(shù)：

1、為了提高生成代碼的效率，相關(guān)技術(shù)中出現(xiàn)了一些將自然語言文本轉(zhuǎn)換為代碼的代碼生成服務(wù)，對(duì)于代碼生成服務(wù)，需要測(cè)試其生成的代碼的準(zhǔn)確性，以保障代碼生成服務(wù)的可用性。

2、在測(cè)試代碼生成服務(wù)生成的代碼的準(zhǔn)確性時(shí)，以sql代碼的測(cè)試為例，相關(guān)技術(shù)中通過比對(duì)待測(cè)sql（structured?query?language，結(jié)構(gòu)化查詢語言）代碼和題庫中的參考sql代碼的查詢結(jié)果來判斷待測(cè)sql代碼的準(zhǔn)確性，如果兩段sql代碼查詢結(jié)果一樣，則認(rèn)為兩段代碼是一致的，在數(shù)據(jù)充足的情況下，這種方法是準(zhǔn)確的，但是，來自外部的題庫存在參考sql代碼數(shù)據(jù)量小的問題，會(huì)出現(xiàn)錯(cuò)誤的sql代碼被判斷為正確代碼的情況。

3、此外，相關(guān)技術(shù)中還通過比對(duì)待測(cè)sql代碼和題庫中的參考sql代碼的文本來判斷待測(cè)sql代碼的準(zhǔn)確性，如果待測(cè)sql代碼的查詢結(jié)果為空，但測(cè)試sql代碼和參考sql代碼的文本一樣，則認(rèn)為兩段代碼是一致的，但是，同一個(gè)問題可能有多種sql實(shí)現(xiàn)方式，比對(duì)sql的文本會(huì)出現(xiàn)將正確的sql代碼判斷為錯(cuò)誤代碼的情況。

4、針對(duì)上述的問題，目前尚未提出有效的解決方案。

技術(shù)實(shí)現(xiàn)思路

1、本技術(shù)實(shí)施例提供了一種代碼測(cè)試方法、裝置、電子設(shè)備以及計(jì)算機(jī)程序產(chǎn)品，以至少解決相關(guān)技術(shù)中通過比對(duì)測(cè)試代碼和參考代碼的執(zhí)行結(jié)果或代碼文本來判斷代碼生成服務(wù)生成的待測(cè)試代碼是否準(zhǔn)確，判斷結(jié)果不準(zhǔn)確的技術(shù)問題。

2、根據(jù)本技術(shù)實(shí)施例的一個(gè)方面，提供了一種代碼測(cè)試方法，包括：獲取代碼生成服務(wù)生成的用于實(shí)現(xiàn)目標(biāo)功能的代碼，得到待測(cè)代碼；根據(jù)判斷條件信息、待測(cè)代碼以及參考代碼生成指令信息，其中，參考代碼是指實(shí)現(xiàn)目標(biāo)功能的代碼，指令信息指示根據(jù)判斷條件信息判斷待測(cè)代碼與參考代碼的處理邏輯是否相同；將指令信息輸入大語言模型，并基于大語言模型的返回結(jié)果判斷待測(cè)代碼是否準(zhǔn)確。

3、可選地，根據(jù)判斷條件信息、待測(cè)代碼以及參考代碼生成指令信息包括：獲取代碼生成服務(wù)生成待測(cè)代碼使用的目標(biāo)問題信息和目標(biāo)提示信息，其中，目標(biāo)問題信息用于請(qǐng)求生成實(shí)現(xiàn)目標(biāo)功能的代碼，目標(biāo)提示信息描述生成實(shí)現(xiàn)目標(biāo)功能的代碼所需的信息；根據(jù)判斷條件信息、待測(cè)代碼、參考代碼、目標(biāo)問題信息和目標(biāo)提示信息生成指令信息。

4、可選地，將指令信息輸入大語言模型，并基于大語言模型的返回結(jié)果判斷待測(cè)代碼是否準(zhǔn)確包括：將指令信息輸入n個(gè)大語言模型，得到n個(gè)返回結(jié)果，其中，n為大于2的正整數(shù)；在大于等于第一預(yù)設(shè)比例的返回結(jié)果指示待測(cè)代碼與參考代碼的處理邏輯相同的情況下，確定待測(cè)代碼準(zhǔn)確；在小于第一預(yù)設(shè)比例的返回結(jié)果指示待測(cè)代碼與參考代碼的處理邏輯相同的情況下，確定待測(cè)代碼不準(zhǔn)確。

5、可選地，將指令信息輸入大語言模型，并基于大語言模型的返回結(jié)果判斷待測(cè)代碼是否準(zhǔn)確包括：將指令信息輸入大語言模型，得到一個(gè)返回結(jié)果；在返回結(jié)果指示待測(cè)代碼與參考代碼的處理邏輯相同的情況下，確定待測(cè)代碼準(zhǔn)確；在返回結(jié)果指示待測(cè)代碼與參考代碼的處理邏輯不同的情況下，通過增加提示信息的方式更新指令信息，將更新后的指令信息輸入大語言模型，直至指令信息的更新次數(shù)未達(dá)到預(yù)設(shè)更新次數(shù)且更新后的返回結(jié)果指示待測(cè)代碼與參考代碼的處理邏輯相同，確定待測(cè)代碼準(zhǔn)確，或者直至指令信息的更新次數(shù)達(dá)到預(yù)設(shè)更新次數(shù)且更新后的返回結(jié)果指示待測(cè)代碼與參考代碼的處理邏輯不同，確定待測(cè)代碼不準(zhǔn)確。

6、可選地，在根據(jù)判斷條件信息、待測(cè)代碼以及參考代碼生成指令信息之前，該方法還包括：分別執(zhí)行待測(cè)代碼和參考代碼，得到第一執(zhí)行結(jié)果和第二執(zhí)行結(jié)果；在第一執(zhí)行結(jié)果和第二執(zhí)行結(jié)果均為空的情況下，執(zhí)行根據(jù)判斷條件信息、待測(cè)代碼以及參考代碼生成指令信息的步驟。

7、可選地，在根據(jù)判斷條件信息、待測(cè)代碼以及參考代碼生成指令信息之前，該方法還包括：分別執(zhí)行待測(cè)代碼和參考代碼，得到第一執(zhí)行結(jié)果和第二執(zhí)行結(jié)果；在第一執(zhí)行結(jié)果和第二執(zhí)行結(jié)果相同的情況下，若第一執(zhí)行結(jié)果和第二執(zhí)行結(jié)果的代碼行數(shù)均小于預(yù)設(shè)行數(shù)的情況下，則執(zhí)行根據(jù)判斷條件信息、待測(cè)代碼以及參考代碼生成指令信息的步驟。

8、可選地，在根據(jù)判斷條件信息、待測(cè)代碼以及參考代碼生成指令信息之前，該方法還包括：分別執(zhí)行待測(cè)代碼和參考代碼，得到第一執(zhí)行結(jié)果和第二執(zhí)行結(jié)果；在第一執(zhí)行結(jié)果和第二執(zhí)行結(jié)果不同的情況下，若接收到代碼準(zhǔn)確度驗(yàn)證指令，則執(zhí)行根據(jù)判斷條件信息、待測(cè)代碼以及參考代碼生成指令信息的步驟；在第一執(zhí)行結(jié)果和第二執(zhí)行結(jié)果相同，且第一執(zhí)行結(jié)果和第二執(zhí)行結(jié)果的代碼行數(shù)均大于等于預(yù)設(shè)行數(shù)的情況下，若接收到代碼準(zhǔn)確度驗(yàn)證指令，則執(zhí)行根據(jù)判斷條件信息、待測(cè)代碼以及參考代碼生成指令信息的步驟。

9、可選地，在判斷條件信息至少包括兩個(gè)判斷條件的情況下，指令信息還用于指示在待測(cè)代碼與參考代碼的處理邏輯不相同的情況下，提示待測(cè)代碼不滿足的判斷條件。

10、根據(jù)本技術(shù)實(shí)施例的另一方面，還提供了一種代碼測(cè)試方法，包括：云服務(wù)器接收代碼生成服務(wù)生成的用于實(shí)現(xiàn)目標(biāo)功能的代碼，得到待測(cè)代碼；云服務(wù)器接收客戶端根據(jù)判斷條件信息、待測(cè)代碼以及參考代碼生成的指令信息，其中，參考代碼是指實(shí)現(xiàn)目標(biāo)功能的代碼，指令信息指示根據(jù)判斷條件信息判斷待測(cè)代碼與參考代碼的處理邏輯是否相同；云服務(wù)器通過大語言模型對(duì)指令信息進(jìn)行處理，并基于大語言模型的返回結(jié)果判斷待測(cè)代碼是否準(zhǔn)確；云服務(wù)器將待測(cè)代碼的準(zhǔn)確度發(fā)送至客戶端。

11、根據(jù)本技術(shù)實(shí)施例的另一方面，還提供了一種代碼測(cè)試裝置，包括：獲取單元，用于獲取代碼生成服務(wù)生成的用于實(shí)現(xiàn)目標(biāo)功能的代碼，得到待測(cè)代碼，其中，目標(biāo)問題信息用于請(qǐng)求生成實(shí)現(xiàn)目標(biāo)功能的代碼，目標(biāo)提示信息描述生成實(shí)現(xiàn)目標(biāo)功能的代碼所需的信息；生成單元，用于根據(jù)判斷條件信息、待測(cè)代碼以及參考代碼生成指令信息，其中，參考代碼是指實(shí)現(xiàn)目標(biāo)功能的代碼，指令信息指示根據(jù)判斷條件信息判斷待測(cè)代碼與參考代碼的處理邏輯是否相同；確定單元，用于將指令信息輸入大語言模型，并基于大語言模型的返回結(jié)果判斷待測(cè)代碼是否準(zhǔn)確。

12、根據(jù)本技術(shù)實(shí)施例的另一方面，還提供了一種電子設(shè)備，包括：存儲(chǔ)器，存儲(chǔ)有可執(zhí)行程序；處理器，用于運(yùn)行程序，其中，程序運(yùn)行時(shí)執(zhí)行本技術(shù)各個(gè)實(shí)施例中的方法。

13、根據(jù)本技術(shù)實(shí)施例的另一方面，還提供了一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)包括存儲(chǔ)的可執(zhí)行程序，其中，在可執(zhí)行程序運(yùn)行時(shí)控制計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)所在設(shè)備執(zhí)行本技術(shù)各個(gè)實(shí)施例中的方法。

14、根據(jù)本技術(shù)實(shí)施例的另一方面，還提供了一種計(jì)算機(jī)程序產(chǎn)品，包括非易失性計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，所述非易失性計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)存儲(chǔ)計(jì)算機(jī)程序，所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)本技術(shù)各個(gè)實(shí)施例中的方法。

15、在本技術(shù)實(shí)施例中，通過大語言模型判斷待測(cè)代碼和參考代碼的處理邏輯是否相同，然后根據(jù)大語言模型的輸出結(jié)果確定待測(cè)代碼實(shí)現(xiàn)目標(biāo)功能的準(zhǔn)確度。在構(gòu)造輸入大語言模型的指令時(shí)，不僅考慮了待測(cè)代碼和參考代碼本身，還考慮了判斷條件信息。通過結(jié)合判斷條件信息、待測(cè)代碼以及參考代碼生成指令信息，并將生成的指令輸入大語言模型，使得大語言模型可以根據(jù)輸入的指令準(zhǔn)確判斷待測(cè)代碼與參考代碼的處理邏輯是否相同，從而實(shí)現(xiàn)了基于大語言模型的輸出結(jié)果準(zhǔn)確確定待測(cè)代碼實(shí)現(xiàn)目標(biāo)功能的準(zhǔn)確性的技術(shù)效果，進(jìn)而解決了相關(guān)技術(shù)中通過比對(duì)測(cè)試代碼和參考代碼的執(zhí)行結(jié)果或代碼文本來判斷代碼生成服務(wù)生成的待測(cè)試代碼是否準(zhǔn)確，判斷結(jié)果不準(zhǔn)確的技術(shù)問題。

16、容易注意到的是，上面的通用描述和后面的詳細(xì)描述僅僅是為了對(duì)本技術(shù)進(jìn)行舉例和解釋，并不構(gòu)成對(duì)本技術(shù)的限定。