本技術(shù)涉及金融大模型領(lǐng)域,具體而言,涉及一種指令數(shù)據(jù)集的自動構(gòu)建方法、指令數(shù)據(jù)集的自動構(gòu)建裝置、計算機可讀存儲介質(zhì)和電子設(shè)備。
背景技術(shù):
1、人工智能模型產(chǎn)品chatgpt可以理解和生成自然語言,處理復(fù)雜的對話任務(wù),甚至進行創(chuàng)作和編程。大模型有一項非常重要的能力:指令遵循能力,即大模型能夠理解人給其輸出的指令,并按照指令的要求,回應(yīng)符合要求的內(nèi)容。
2、雖然商業(yè)大模型能力強,但直接使用商業(yè)模型存在數(shù)據(jù)不安全,導(dǎo)致內(nèi)部數(shù)據(jù)泄露的風(fēng)險;直接從0到1自研大模型成本較高,業(yè)界主流方法是利用開源大模型的基礎(chǔ)上自建企業(yè)模型。但現(xiàn)有開源大模型能力偏弱,對垂直領(lǐng)域場景的指令理解不到位,不適合處理專業(yè)場景,無法生成高質(zhì)量的輸出,因此對金融大模型的落地,需要使用金融相關(guān)的指令數(shù)據(jù)微調(diào)模型后,才能夠?qū)嶋H應(yīng)用于業(yè)務(wù)。但這需要收集大量的金融任務(wù)指令數(shù)據(jù),收集成本很高。
技術(shù)實現(xiàn)思路
1、本技術(shù)的主要目的在于提供一種指令數(shù)據(jù)集的自動構(gòu)建方法、指令數(shù)據(jù)集的自動構(gòu)建裝置、計算機可讀存儲介質(zhì)和電子設(shè)備,以至少解決現(xiàn)有技術(shù)中開源大模型的開源指令較差與業(yè)務(wù)領(lǐng)域相關(guān)度不高,且極大依賴于業(yè)務(wù)人員的反饋,收集成本高,無法及時覆蓋業(yè)務(wù)需求的問題。
2、為了實現(xiàn)上述目的,根據(jù)本技術(shù)的一個方面,提供了一種指令數(shù)據(jù)集的自動構(gòu)建方,包括:對指令池進行初始化,得到初始化指令池,所述初始化指令池中包括多個初始化種子指令;將所述初始化種子指令輸入至初始開源模型中進行少樣本學(xué)習(xí)訓(xùn)練,得到多個候選指令,并將所述候選指令、各所述初始化種子指令以及與所述初始化種子的指令類型輸入至所述初始開源模型中進行所述少樣本學(xué)習(xí)訓(xùn)練,得到各所述候選指令的指令類型;根據(jù)所述候選指令與所述初始化種子指令之間的相似度,對所述候選指令進行過濾,得到目標(biāo)新指令,并生成所述目標(biāo)新指令的指令回應(yīng);將所述目標(biāo)新指令、所述目標(biāo)新指令的指令類型以及所述目標(biāo)新指令的指令回應(yīng)添加至所述初始化指令池中,得到目標(biāo)指令池,并根據(jù)所述目標(biāo)指令池中的指令數(shù)據(jù)對所述初始開源模型進行優(yōu)化,得到目標(biāo)人工智能模型。
3、可選地,所述初始化種子指令包括第一初始化指令和第二初始化指令,對指令池進行初始化,得到初始化指令池,包括:基于指令描述、指令回應(yīng)和指令類型三個部分構(gòu)建所述初始化種子指令,所述指令描述為所述初始化種子指令的中文描述,所述指令回應(yīng)為所述初始化種子指令對應(yīng)的至少一個回應(yīng),所述指令類型為所述初始化種子指令的類型;根據(jù)業(yè)務(wù)數(shù)據(jù)確定第一數(shù)量個所述第一初始化指令和第二數(shù)量個所述第二初始化指令,所述第一初始化指令為所述指令類型為目標(biāo)類型的所述初始化種子指令,所述第二初始化指令為所述指令類型為非目標(biāo)類型的所述初始化種子指令;基于所有的所述第一初始化指令和所有的所述第二初始化指令對所述指令池進行初始化,得到所述初始化指令池。
4、可選地,所述初始化種子指令包括第一初始化指令和第二初始化指令,將所述初始化種子指令輸入至初始開源模型中進行少樣本學(xué)習(xí)訓(xùn)練,得到多個候選指令,包括:步驟s2021,從所述初始化指令池中隨機選取第三數(shù)量個所述第一初始化指令和第四數(shù)量個所述第二初始化指令,并對所述第一初始化指令和所述第二初始化指令進行隨機排列輸入至所述初始開源模型中進行所述少樣本學(xué)習(xí)訓(xùn)練,得到一個所述候選指令,所述第一初始化指令為所述指令類型為目標(biāo)類型的所述初始化種子指令,所述第二初始化指令為所述指令類型為非目標(biāo)類型的所述初始化種子指令;步驟s2022,重復(fù)執(zhí)行所述步驟s2021預(yù)設(shè)次數(shù),得到多個所述候選指令,所述預(yù)設(shè)次數(shù)與所述初始化指令池中的所述第一初始化指令的個數(shù)和所述第二初始化指令的個數(shù)有關(guān)。
5、可選地,根據(jù)所述候選指令與所述初始化種子指令之間的相似度,對所述候選指令進行過濾,得到目標(biāo)新指令,包括:通過分詞工具將各所述候選指令和所述初始化種子指令進行分詞,構(gòu)建對應(yīng)的分詞序列;根據(jù)所述候選指令的分詞序列和所述初始化種子指令的分詞序列,確定所述候選指令與所述初始化種子指令的相似度;在所述相似度大于預(yù)設(shè)相似度的情況下,將所述候選指令去除,在所述相似度小于或者等于所述預(yù)設(shè)相似度的情況下,將所述候選指令確定為所述目標(biāo)新指令,所述預(yù)設(shè)相似度與所述初始化指令池中所述初始化種子指令的數(shù)量有關(guān)。
6、可選地,根據(jù)所述候選指令的分詞序列和所述初始化種子指令的分詞序列,確定所述候選指令與所述初始化種子指令的相似度,包括:根據(jù)所述候選指令的分詞序列和所述初始化種子指令的分詞序列,計算所述候選指令和所述初始化種子指令的重復(fù)詞個數(shù)和不同詞個數(shù);根據(jù)相似度計算公式sim(i,j)=a/(a+b),確定所述候選指令與所述初始化種子指令的相似度,其中,sim(i,j)為第i個所述候選指令和第j個所述初始化種子指令之間的相似度,a為第i個所述候選指令和第j個所述初始化種子指令之間的重復(fù)詞個數(shù),b為第i個所述候選指令和第j個所述初始化種子指令之間的不同詞個數(shù)。
7、可選地,在將所述候選指令去除之前,所述方法還包括:在所述初始化指令池中的所述初始化種子指令的數(shù)量小于最小數(shù)量的情況下,將所述預(yù)設(shè)相似度設(shè)置為最大預(yù)設(shè)值;在所述初始化指令池中的所述初始化種子指令的數(shù)量大于最大數(shù)量的情況下,將所述預(yù)設(shè)相似度設(shè)置為最小預(yù)設(shè)值;在所述初始化指令池中的所述初始化種子指令的數(shù)量大于或者等于所述最小數(shù)量且小于或者等于所述最大數(shù)量的情況下,采用相似度計算公式f=m×g+b,確定所述預(yù)設(shè)相似度,其中,f為所述預(yù)設(shè)相似度,m為第一系數(shù),b為第二系數(shù),g為所述初始化指令池中所述初始化種子指令的數(shù)量。
8、可選地,所述目標(biāo)新指令對應(yīng)至少一個所述指令回應(yīng),將所述目標(biāo)新指令、所述目標(biāo)新指令的指令類型以及所述目標(biāo)新指令的指令回應(yīng)添加至所述初始化指令池中,得到目標(biāo)指令池,包括:計算所述目標(biāo)指令池中的指令數(shù)量,在所述指令數(shù)量大于或者等于預(yù)設(shè)數(shù)量的情況下,停止生成新指令,在所述指令數(shù)量小于所述預(yù)設(shè)數(shù)量的情況下,繼續(xù)生成所述目標(biāo)新指令。
9、根據(jù)本技術(shù)的另一方面,提供了一種指令數(shù)據(jù)集的自動構(gòu)建裝置,包括:第一處理單元,用于對指令池進行初始化,得到初始化指令池,所述初始化指令池中包括多個初始化種子指令;第二處理單元,用于將所述初始化種子指令輸入至初始開源模型中進行少樣本學(xué)習(xí)訓(xùn)練,得到多個候選指令,并將所述候選指令、各所述初始化種子指令以及與所述初始化種子的指令類型輸入至所述初始開源模型中進行所述少樣本學(xué)習(xí)訓(xùn)練,得到各所述候選指令的指令類型;第三處理單元,用于根據(jù)所述候選指令與所述初始化種子指令之間的相似度,對所述候選指令進行過濾,得到目標(biāo)新指令,并生成所述目標(biāo)新指令的指令回應(yīng);第四處理單元,用于將所述目標(biāo)新指令、所述目標(biāo)新指令的指令類型以及所述目標(biāo)新指令的指令回應(yīng)添加至所述初始化指令池中,得到目標(biāo)指令池,并根據(jù)所述目標(biāo)指令池中的指令數(shù)據(jù)對所述初始開源模型進行優(yōu)化,得到目標(biāo)人工智能模型。
10、根據(jù)本技術(shù)的另一方面,提供了一種計算機可讀存儲介質(zhì),所述計算機可讀存儲介質(zhì)包括存儲的程序,其中,在所述程序運行時控制所述計算機可讀存儲介質(zhì)所在設(shè)備執(zhí)行任意一種所述的指令數(shù)據(jù)集的自動構(gòu)建方法。
11、根據(jù)本技術(shù)的另一方面,提供了一種電子設(shè)備,包括:一個或多個處理器,存儲器,以及一個或多個程序,其中,所述一個或多個程序被存儲在所述存儲器中,并且被配置為由所述一個或多個處理器執(zhí)行,上述一個或多個程序包括用于執(zhí)行任意一種上述的指令數(shù)據(jù)集的自動構(gòu)建方法。
12、應(yīng)用本技術(shù)的技術(shù)方案,上述指令數(shù)據(jù)集的自動構(gòu)建方法,首先對指令池進行初始化,得到初始化指令池,初始化指令池中包括多個初始化種子指令;之后將初始化種子指令輸入至初始開源模型中進行少樣本學(xué)習(xí)訓(xùn)練,得到多個候選指令,并將候選指令、各初始化種子指令以及與初始化種子的指令類型輸入至初始開源模型中進行少樣本學(xué)習(xí)訓(xùn)練,得到各候選指令的指令類型;然后根據(jù)候選指令與初始化種子指令之間的相似度,對候選指令進行過濾,得到目標(biāo)新指令,并生成目標(biāo)新指令的指令回應(yīng);最后將目標(biāo)新指令、目標(biāo)新指令的指令類型以及目標(biāo)新指令的指令回應(yīng)添加至初始化指令池中,得到目標(biāo)指令池,并根據(jù)目標(biāo)指令池中的指令數(shù)據(jù)對初始開源模型進行優(yōu)化,得到目標(biāo)人工智能模型。該方法能夠全流程自動化產(chǎn)生適用于金融領(lǐng)域的指令數(shù)據(jù),成本低、效率高,且能夠保證指令多樣性,指令包含金融和非金融指令,提高了生成指令的多樣,解決了現(xiàn)有技術(shù)中開源大模型的開源指令較差與業(yè)務(wù)領(lǐng)域相關(guān)度不高,且極大依賴于業(yè)務(wù)人員的反饋,收集成本高,無法及時覆蓋業(yè)務(wù)需求的問題。