本公開(kāi)涉及計(jì)算機(jī)，尤其涉及一種提示語(yǔ)優(yōu)化方法及相關(guān)設(shè)備。

背景技術(shù)：

1、隨著對(duì)內(nèi)容理解需求的不斷提升，基于通用知識(shí)的識(shí)別需求日益普遍，而大模型正好在這方面表現(xiàn)出色。因此，如何基于大模型快速生成內(nèi)容理解模型成為一個(gè)重要的研究課題。提示語(yǔ)(prompt)是人類(lèi)與大模型之間的溝通橋梁，不同的prompt對(duì)最終結(jié)果影響巨大。因此，如何對(duì)提示語(yǔ)進(jìn)行優(yōu)化已經(jīng)成為大模型應(yīng)用中的一個(gè)熱點(diǎn)問(wèn)題。

技術(shù)實(shí)現(xiàn)思路

1、有鑒于此，本公開(kāi)的實(shí)施例提供一種提示語(yǔ)優(yōu)化方法以及相關(guān)設(shè)備，可以對(duì)提示語(yǔ)中的策略進(jìn)行優(yōu)化，從而達(dá)到優(yōu)化提示語(yǔ)的目的，進(jìn)而大幅提升大模型在各種內(nèi)容理解應(yīng)用中的性能。

2、本公開(kāi)實(shí)施例所述的提示語(yǔ)優(yōu)化方法可以包括：利用第一大模型基于策略庫(kù)中的策略對(duì)標(biāo)記數(shù)據(jù)集中的樣本數(shù)據(jù)分別進(jìn)行預(yù)測(cè)；從所述標(biāo)記數(shù)據(jù)集中提取預(yù)測(cè)結(jié)果與相應(yīng)的標(biāo)記結(jié)果不一致的錯(cuò)誤樣本數(shù)據(jù)；對(duì)所述錯(cuò)誤樣本數(shù)據(jù)進(jìn)行分組，得到多個(gè)錯(cuò)誤樣本數(shù)據(jù)分組；針對(duì)每個(gè)錯(cuò)誤樣本數(shù)據(jù)分組，基于所述錯(cuò)誤樣本數(shù)據(jù)分組中的錯(cuò)誤樣本數(shù)據(jù)生成所述錯(cuò)誤樣本數(shù)據(jù)分組對(duì)應(yīng)的候選策略；對(duì)各個(gè)錯(cuò)誤樣本數(shù)據(jù)分組對(duì)應(yīng)的候選策略進(jìn)行評(píng)估，從所述候選策略中確定至少一個(gè)目標(biāo)策略；基于所述至少一個(gè)目標(biāo)策略對(duì)所述策略庫(kù)進(jìn)行優(yōu)化；以及基于優(yōu)化后的策略庫(kù)生成所述提示語(yǔ)。

3、在本公開(kāi)的實(shí)施例中，對(duì)所述錯(cuò)誤樣本數(shù)據(jù)進(jìn)行分組，得到多個(gè)錯(cuò)誤樣本數(shù)據(jù)分組包括：對(duì)所述錯(cuò)誤樣本數(shù)據(jù)進(jìn)行聚類(lèi)，得到所述多個(gè)錯(cuò)誤樣本數(shù)據(jù)分組。

4、在本公開(kāi)的實(shí)施例中，對(duì)所述錯(cuò)誤樣本數(shù)據(jù)進(jìn)行分組，得到多個(gè)錯(cuò)誤樣本數(shù)據(jù)分組包括：基于所述錯(cuò)誤樣本數(shù)據(jù)的累計(jì)錯(cuò)誤率，對(duì)所述錯(cuò)誤樣本數(shù)據(jù)進(jìn)行分組，得到所述多個(gè)錯(cuò)誤樣本數(shù)據(jù)分組。

5、在本公開(kāi)的實(shí)施例中，基于所述錯(cuò)誤樣本數(shù)據(jù)分組中的錯(cuò)誤樣本數(shù)據(jù)生成新的候選策略包括：將所述錯(cuò)誤樣本數(shù)據(jù)分組中的錯(cuò)誤樣本數(shù)據(jù)輸入第二大模型，由所述第二大模型生成所述候選策略。

6、在本公開(kāi)的實(shí)施例中，基于所述錯(cuò)誤樣本數(shù)據(jù)分組中的錯(cuò)誤樣本數(shù)據(jù)生成新的候選策略包括：將所述錯(cuò)誤樣本數(shù)據(jù)分組中的錯(cuò)誤樣本數(shù)據(jù)輸入第三大模型，由所述第三大模型輸出與所述錯(cuò)誤樣本數(shù)據(jù)分組對(duì)應(yīng)的至少一條預(yù)測(cè)錯(cuò)誤原因；以及將所述錯(cuò)誤樣本數(shù)據(jù)分組中的錯(cuò)誤樣本數(shù)據(jù)以及與所述錯(cuò)誤樣本數(shù)據(jù)分組對(duì)應(yīng)的至少一條預(yù)測(cè)錯(cuò)誤原因輸入第四大模型，由所述第四大模型生成所述候選策略。

7、在本公開(kāi)的實(shí)施例中，基于所述錯(cuò)誤樣本數(shù)據(jù)分組中的錯(cuò)誤樣本數(shù)據(jù)生成新的候選策略包括：將所述錯(cuò)誤樣本數(shù)據(jù)分組中的錯(cuò)誤樣本數(shù)據(jù)輸入第二大模型，由所述第二大模型生成第一部分候選策略；將所述錯(cuò)誤樣本數(shù)據(jù)分組中的錯(cuò)誤樣本數(shù)據(jù)輸入第三大模型，由所述第三大模型輸出與所述錯(cuò)誤樣本數(shù)據(jù)分組對(duì)應(yīng)的至少一條預(yù)測(cè)錯(cuò)誤原因；以及將所述錯(cuò)誤樣本數(shù)據(jù)分組中的錯(cuò)誤樣本數(shù)據(jù)以及與所述錯(cuò)誤樣本數(shù)據(jù)分組對(duì)應(yīng)的至少一條預(yù)測(cè)錯(cuò)誤原因輸入第四大模型，由所述第四大模型生成第二部分候選策略。

8、在本公開(kāi)的實(shí)施例中，上述提示語(yǔ)優(yōu)化方法可以進(jìn)一步包括：基于預(yù)先設(shè)置的進(jìn)化算法對(duì)所述各個(gè)錯(cuò)誤樣本數(shù)據(jù)分組對(duì)應(yīng)的候選策略進(jìn)行進(jìn)化，得到進(jìn)化后的所述各個(gè)錯(cuò)誤樣本數(shù)據(jù)分組對(duì)應(yīng)的候選策略。

9、在本公開(kāi)的實(shí)施例中，對(duì)所述候選策略進(jìn)行評(píng)估包括：基于所述標(biāo)記數(shù)據(jù)集中樣本數(shù)據(jù)的累計(jì)錯(cuò)誤率生成測(cè)試數(shù)據(jù)集；基于所述測(cè)試數(shù)據(jù)集分別對(duì)所述候選策略以及所述策略庫(kù)中的策略進(jìn)行測(cè)試，得到各個(gè)策略對(duì)應(yīng)的測(cè)試準(zhǔn)確率；以及基于所述各個(gè)策略對(duì)應(yīng)的測(cè)試準(zhǔn)確率從所述候選策略中確定所述目標(biāo)策略。

10、在本公開(kāi)的實(shí)施例中，在基于優(yōu)化后的策略庫(kù)生成提示語(yǔ)之前，所述方法進(jìn)一步包括：響應(yīng)于確定優(yōu)化后的策略庫(kù)不滿(mǎn)足預(yù)先設(shè)置的優(yōu)化結(jié)束條件，返回所述利用大模型基于策略庫(kù)中的策略對(duì)標(biāo)記數(shù)據(jù)集進(jìn)行預(yù)測(cè)的步驟；以及響應(yīng)于確定優(yōu)化后的策略庫(kù)滿(mǎn)足預(yù)先設(shè)置的優(yōu)化結(jié)束條件，執(zhí)行所述基于優(yōu)化后的策略庫(kù)生成提示語(yǔ)的步驟。

11、在本公開(kāi)的實(shí)施例中，上述提示語(yǔ)優(yōu)化方法可以進(jìn)一步包括：從所述策略庫(kù)中選擇與輸入樣本相似度最高的至少一個(gè)相關(guān)策略；以及基于所述至少一個(gè)相關(guān)策略生成所述提示語(yǔ)中的提示模塊。

12、在本公開(kāi)的實(shí)施例中，基于優(yōu)化后的策略庫(kù)生成所述提示語(yǔ)包括：基于所述優(yōu)化后的策略庫(kù)、所述提示模塊以及所述輸入樣本生成所述提示語(yǔ)。

13、基于上述提示語(yǔ)優(yōu)化方法，本公開(kāi)的實(shí)施例還提供了一種提示語(yǔ)優(yōu)化裝置，包括：

14、預(yù)測(cè)模塊，用于利用第一大模型基于策略庫(kù)中的策略對(duì)標(biāo)記數(shù)據(jù)集中的樣本數(shù)據(jù)分別進(jìn)行預(yù)測(cè)，從所述標(biāo)記數(shù)據(jù)集中提取預(yù)測(cè)結(jié)果與標(biāo)記結(jié)果不一致的錯(cuò)誤樣本數(shù)據(jù)；

15、選擇模塊，用于對(duì)所述錯(cuò)誤樣本數(shù)據(jù)進(jìn)行分組，得到多個(gè)錯(cuò)誤樣本數(shù)據(jù)分組；

16、候選策略生成模塊，用于針對(duì)每個(gè)錯(cuò)誤樣本數(shù)據(jù)分組，基于所述錯(cuò)誤樣本數(shù)據(jù)分組中的錯(cuò)誤樣本數(shù)據(jù)生成所述錯(cuò)誤樣本數(shù)據(jù)分組對(duì)應(yīng)的候選策略；

17、評(píng)估模塊，用于對(duì)各個(gè)錯(cuò)誤樣本數(shù)據(jù)分組對(duì)應(yīng)的候選策略進(jìn)行評(píng)估，從所述候選策略中確定至少一個(gè)目標(biāo)策略；

18、優(yōu)化模塊，用于基于所述至少一個(gè)目標(biāo)策略對(duì)所述策略庫(kù)進(jìn)行優(yōu)化；

19、提示語(yǔ)生成模塊，用于基于優(yōu)化后的策略庫(kù)生成所述提示語(yǔ)。

20、在本公開(kāi)的實(shí)施例中，上述候選策略生成模塊包括：第一候選策略生成單元，用于將所述錯(cuò)誤樣本數(shù)據(jù)分組中的錯(cuò)誤樣本數(shù)據(jù)輸入第二大模型，由所述大模型生成所述候選策略。

21、在本公開(kāi)的實(shí)施例中，上述候選策略生成模塊包括：

22、錯(cuò)誤原因分析單元，用于將所述錯(cuò)誤樣本數(shù)據(jù)分組中的錯(cuò)誤樣本數(shù)據(jù)輸入第三大模型，由所述第三大模型輸出與所述錯(cuò)誤樣本數(shù)據(jù)分組對(duì)應(yīng)的至少一條預(yù)測(cè)錯(cuò)誤原因；

23、第二候選策略生成單元，用于將所述錯(cuò)誤樣本數(shù)據(jù)分組中的錯(cuò)誤樣本數(shù)據(jù)以及與所述錯(cuò)誤樣本數(shù)據(jù)分組對(duì)應(yīng)的至少一條預(yù)測(cè)錯(cuò)誤原因輸入第四大模型，由所述第四大模型生成所述候選策略。

24、此外，本公開(kāi)的實(shí)施例還提供了一種電子設(shè)備，包括：存儲(chǔ)器、處理器及存儲(chǔ)在存儲(chǔ)器上并可在處理器上運(yùn)行的計(jì)算機(jī)程序，所述處理器執(zhí)行所述程序時(shí)實(shí)現(xiàn)上述提示語(yǔ)優(yōu)化方法。

25、本公開(kāi)的實(shí)施例還提供了一種非暫態(tài)計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，所述非暫態(tài)計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)存儲(chǔ)計(jì)算機(jī)指令，所述計(jì)算機(jī)指令用于使計(jì)算機(jī)執(zhí)行上述提示語(yǔ)優(yōu)化方法。

26、本公開(kāi)的實(shí)施例還提供了一種計(jì)算機(jī)程序產(chǎn)品，包括計(jì)算機(jī)程序指令，當(dāng)所述計(jì)算機(jī)程序指令在計(jì)算機(jī)上運(yùn)行時(shí)，使得計(jì)算機(jī)執(zhí)行上述提示語(yǔ)優(yōu)化方法。

27、在上述提示語(yǔ)優(yōu)化方法及相關(guān)設(shè)備中，在利用大模型基于策略庫(kù)中的策略對(duì)標(biāo)記數(shù)據(jù)集進(jìn)行預(yù)測(cè)并提取到錯(cuò)誤樣本數(shù)據(jù)后，首先對(duì)錯(cuò)誤樣本數(shù)據(jù)進(jìn)行分組，得到多個(gè)錯(cuò)誤樣本數(shù)據(jù)分組。然后，針對(duì)每個(gè)錯(cuò)誤樣本數(shù)據(jù)分組分別生成候選策略。最后，在對(duì)候選策略進(jìn)行評(píng)估后對(duì)策略庫(kù)進(jìn)行優(yōu)化，從而達(dá)到對(duì)提示語(yǔ)進(jìn)行優(yōu)化的目的?？梢?jiàn)，通過(guò)基于預(yù)設(shè)的分組策略對(duì)錯(cuò)誤樣本數(shù)據(jù)進(jìn)行分組，將具有基本相同特性的錯(cuò)誤樣本分成一組，并針對(duì)每個(gè)錯(cuò)誤樣本數(shù)據(jù)分組分別生成候選策略，可以生成更為準(zhǔn)確的候選策略，從而可以?xún)?yōu)化策略庫(kù)中的策略，達(dá)到優(yōu)化提示語(yǔ)的目的，進(jìn)而大幅提升大模型在各種內(nèi)容理解應(yīng)用中的性能。