本技術(shù)涉及提示詞生成，特別涉及一種提示詞生成方法及相關(guān)設(shè)備。

背景技術(shù)：

1、在人工智能(ai)領(lǐng)域中，提示詞"prompt"是指向模型提供輸入以引導(dǎo)其生成特定輸出的文本或指令。它是與模型進(jìn)行交互時(shí)用戶提供的文本段落，用于描述用戶想要從模型獲取的信息、回答、文本等內(nèi)容。prompt的目的是引導(dǎo)模型產(chǎn)生所需的回應(yīng)，以便更好地控制生成的輸出。

2、對(duì)于語(yǔ)言模型，prompt可以是一個(gè)簡(jiǎn)短的問(wèn)題、一個(gè)完整的段落，或者是一組指令，這取決于用戶的需求和場(chǎng)景。

3、生成式語(yǔ)言大模型是一種基于大規(guī)模預(yù)訓(xùn)練的生成式神經(jīng)網(wǎng)絡(luò)，基于transformer模型構(gòu)建，使用注意力機(jī)制，這種機(jī)制來(lái)源于人類視覺(jué)的靈感，能夠快速掃描全局并聚焦重點(diǎn)區(qū)域，從而更好地捕捉語(yǔ)言長(zhǎng)距離依賴的信息。該技術(shù)目前應(yīng)用于文本生成領(lǐng)域中生成prompt，并以prompt向其他模型、系統(tǒng)提供輸入以引導(dǎo)其生成特定輸出的文本或指令，并應(yīng)用于多個(gè)領(lǐng)域當(dāng)中，如智能客服、聊天機(jī)器人、虛擬助手等。但現(xiàn)有的提示詞生成方法存在提示詞生成的準(zhǔn)確性低的問(wèn)題。

技術(shù)實(shí)現(xiàn)思路

1、本技術(shù)提供了一種提示詞生成方法及相關(guān)設(shè)備，可以解決提示詞生成的準(zhǔn)確性低的問(wèn)題。

2、第一方面，本技術(shù)實(shí)施例提供了一種提示詞生成方法，該提示詞生成方法包括：

3、獲取多個(gè)目標(biāo)文本和每個(gè)目標(biāo)文本對(duì)應(yīng)的真實(shí)提示詞；

4、利用改進(jìn)的llama模型，基于每個(gè)目標(biāo)文本生成每個(gè)目標(biāo)文本的多個(gè)預(yù)測(cè)提示詞；改進(jìn)的llama模型是將llama模型的前多個(gè)變換器均替換為改進(jìn)的輕量化變換器得到的，改進(jìn)的輕量化變換器為引入奇異值分解算法的輕量化變換器；

5、分別針對(duì)每個(gè)目標(biāo)文本，根據(jù)目標(biāo)文本對(duì)應(yīng)的真實(shí)提示詞，從目標(biāo)文本的多個(gè)預(yù)測(cè)提示詞中確定出與真實(shí)提示詞相似的正樣本和與真實(shí)提示詞不相似的負(fù)樣本；

6、根據(jù)所有正樣本和所有負(fù)樣本構(gòu)建對(duì)比損失函數(shù)，并利用對(duì)比損失函數(shù)對(duì)改進(jìn)的llama模型進(jìn)行優(yōu)化，得到優(yōu)化后的llama模型；對(duì)比損失函數(shù)用于描述所有預(yù)測(cè)提示詞的準(zhǔn)確性；

7、利用優(yōu)化后的llama模型，基于待生成文本生成待生成文本的最終提示詞。

8、可選的，根據(jù)目標(biāo)文本對(duì)應(yīng)的真實(shí)提示詞，從目標(biāo)文本的多個(gè)預(yù)測(cè)提示詞中確定出與真實(shí)提示詞相似的正樣本和與真實(shí)提示詞不相似的負(fù)樣本，包括：

9、分別針對(duì)目標(biāo)文本的每個(gè)預(yù)測(cè)提示詞，計(jì)算預(yù)測(cè)提示詞與目標(biāo)文本對(duì)應(yīng)的真實(shí)提示詞之間的距離；

10、基于所有距離，從目標(biāo)文本的多個(gè)預(yù)測(cè)提示詞中確定出與真實(shí)提示詞相似的正樣本和與真實(shí)提示詞不相似的負(fù)樣本。

11、可選的，基于所有距離，從目標(biāo)文本的多個(gè)預(yù)測(cè)提示詞中確定出與真實(shí)提示詞相似的正樣本和與真實(shí)提示詞不相似的負(fù)樣本，包括：

12、將值最小的距離作為第一距離，將第一距離對(duì)應(yīng)的預(yù)測(cè)提示詞作為正樣本；

13、將值最大的距離作為第二距離，將第二距離對(duì)應(yīng)的預(yù)測(cè)提示詞作為負(fù)樣本。

14、可選的，根據(jù)所有正樣本和所有負(fù)樣本構(gòu)建對(duì)比損失函數(shù)，包括：

15、將對(duì)應(yīng)同一目標(biāo)文本的正樣本和負(fù)樣本作為一正負(fù)樣本對(duì)；

16、分別針對(duì)每個(gè)正負(fù)樣本對(duì)，計(jì)算正負(fù)樣本對(duì)的調(diào)整參數(shù)；

17、根據(jù)所有正負(fù)樣本對(duì)和所有調(diào)整參數(shù)構(gòu)建對(duì)比損失函數(shù)。

18、可選的，計(jì)算正負(fù)樣本對(duì)的調(diào)整參數(shù)，包括：

19、通過(guò)公式：

20、

21、計(jì)算調(diào)整參數(shù)ξ；

22、其中，γ(t)表示超參數(shù)，y-表示正負(fù)樣本對(duì)中的負(fù)樣本，y+表示正負(fù)樣本對(duì)中的正樣本，rank()表示排序函數(shù)，var()表示方差計(jì)算。

23、可選的，對(duì)比損失函數(shù)為：

24、

25、其中，ln-pairs表示對(duì)比損失函數(shù)的值，p表示所有正負(fù)樣本對(duì)的集合，d()表示馬氏距離，zx表示正負(fù)樣本對(duì)(y+,y-)對(duì)應(yīng)的真實(shí)提示詞，表示y-對(duì)應(yīng)的測(cè)試提示詞，表示y+對(duì)應(yīng)的測(cè)試提示詞。

26、可選的，利用對(duì)比損失函數(shù)對(duì)改進(jìn)的llama模型進(jìn)行優(yōu)化，得到優(yōu)化后的llama模型，包括：

27、判斷對(duì)比損失函數(shù)的值是否小于預(yù)設(shè)損失值；

28、若是，則將改進(jìn)的llama模型作為優(yōu)化后的llama模型；

29、否則，調(diào)整改進(jìn)的llama模型的參數(shù)，并返回利用改進(jìn)的llama模型，基于每個(gè)目標(biāo)文本生成每個(gè)目標(biāo)文本的多個(gè)預(yù)測(cè)提示詞的步驟。

30、可選的，提示詞生成方法還包括：

31、利用改進(jìn)的輕量化變換器將輸入改進(jìn)的輕量化變換器的輸入數(shù)據(jù)分解為多個(gè)非重疊組，并利用奇異值分解算法將每個(gè)非重疊組對(duì)應(yīng)的權(quán)重矩陣分解為低秩矩陣，利用所有低秩矩陣對(duì)所有非重疊組進(jìn)行線性變化，得到改進(jìn)的輕量化變換器的輸出。

32、可選的，利用所有權(quán)重矩陣對(duì)所有非重疊組進(jìn)行線性變化，得到改進(jìn)的輕量化變換器的輸出，包括：

33、通過(guò)公式：

34、y＝(x1w1?x2w2?…?xgwg)

35、計(jì)算改進(jìn)的輕量化變換器的輸出y；

36、其中，x1表示第1個(gè)非重疊組，w1表示第1個(gè)低秩矩陣，x2表示第2個(gè)非重疊組，w2表示第2個(gè)低秩矩陣，xg表示第g個(gè)非重疊組，wg表示第g個(gè)低秩矩陣。

37、第二方面，本技術(shù)實(shí)施例提供了一種提示詞生成裝置，包括：

38、獲取模塊，獲取多個(gè)目標(biāo)文本和每個(gè)目標(biāo)文本對(duì)應(yīng)的真實(shí)提示詞；

39、第一生成模塊，利用改進(jìn)的llama模型，基于每個(gè)目標(biāo)文本生成每個(gè)目標(biāo)文本的多個(gè)預(yù)測(cè)提示詞；改進(jìn)的llama模型是將llama模型的前多個(gè)變換器均替換為改進(jìn)的輕量化變換器得到的，改進(jìn)的輕量化變換器為引入奇異值分解算法的輕量化變換器；

40、確定模塊，分別針對(duì)每個(gè)目標(biāo)文本，根據(jù)目標(biāo)文本對(duì)應(yīng)的真實(shí)提示詞，從目標(biāo)文本的多個(gè)預(yù)測(cè)提示詞中確定出與真實(shí)提示詞相似的正樣本和與真實(shí)提示詞不相似的負(fù)樣本；

41、優(yōu)化模塊，根據(jù)所有正樣本和所有負(fù)樣本構(gòu)建對(duì)比損失函數(shù)，并利用對(duì)比損失函數(shù)對(duì)改進(jìn)的llama模型進(jìn)行優(yōu)化，得到優(yōu)化后的llama模型；對(duì)比損失函數(shù)用于描述所有預(yù)測(cè)提示詞的準(zhǔn)確性；

42、第二生成模塊，利用優(yōu)化后的llama模型，基于待生成文本生成待生成文本的最終提示詞。

43、第三方面，本技術(shù)實(shí)施例提供了一種終端設(shè)備，包括存儲(chǔ)器、處理器以及存儲(chǔ)在存儲(chǔ)器中并可在處理器上運(yùn)行的計(jì)算機(jī)程序，該處理器執(zhí)行上述計(jì)算機(jī)程序時(shí)實(shí)現(xiàn)上述的提示詞生成方法。

44、第四方面，本技術(shù)實(shí)施例提供了一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，該計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)存儲(chǔ)有計(jì)算機(jī)程序，該計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)上述的提示詞生成方法。

45、本技術(shù)的上述方案有如下的有益效果：

46、在本技術(shù)的實(shí)施例中，通過(guò)獲取多個(gè)目標(biāo)文本和每個(gè)目標(biāo)文本對(duì)應(yīng)的真實(shí)提示詞，然后利用改進(jìn)的llama模型，基于每個(gè)目標(biāo)文本生成每個(gè)目標(biāo)文本的多個(gè)預(yù)測(cè)提示詞，再分別針對(duì)每個(gè)目標(biāo)文本，根據(jù)目標(biāo)文本對(duì)應(yīng)的真實(shí)提示詞，從目標(biāo)文本的多個(gè)預(yù)測(cè)提示詞中確定出與真實(shí)提示詞相似的正樣本和與真實(shí)提示詞不相似的負(fù)樣本，然后根據(jù)所有正樣本和所有負(fù)樣本構(gòu)建對(duì)比損失函數(shù)，并利用對(duì)比損失函數(shù)對(duì)改進(jìn)的llama模型進(jìn)行優(yōu)化，得到優(yōu)化后的llama模型，最后利用優(yōu)化后的llama模型，基于待生成文本生成待生成文本的最終提示詞。其中，對(duì)llama模型進(jìn)行改進(jìn)，能夠有效提高llama模型的性能，利用性能提高的llama模型生成目標(biāo)文本的預(yù)測(cè)提示詞，能夠提高預(yù)測(cè)提示詞的精確度，通過(guò)構(gòu)建對(duì)比損失函數(shù)對(duì)改進(jìn)的llama模型進(jìn)行優(yōu)化，能進(jìn)一步提高llama模型的性能，使得利用llama模型生成的最終提示詞的準(zhǔn)確性進(jìn)一步提高。

47、本技術(shù)的其它有益效果將在隨后的具體實(shí)施方式部分予以詳細(xì)說(shuō)明。