本技術(shù)涉及人工智能，具體地涉及一種訓(xùn)練垂域大模型的方法、裝置及存儲介質(zhì)。

背景技術(shù)：

1、rag（retrieval-augmented?generation，檢索增強(qiáng)生成）廣泛應(yīng)用于智能問答系統(tǒng)。現(xiàn)有的rag都是基于稀疏或密集檢索獲取與用戶查詢問題相關(guān)的參考上下文。其中，稀疏檢索通常是通過關(guān)鍵詞或短語來進(jìn)行索引和檢索數(shù)據(jù)的。密集檢索是將每個文檔和查詢嵌入到一個密集的向量中，以通過向量的維度捕捉文檔的語義特征。上述的兩種方式均需要基于一個固定的、可見的數(shù)據(jù)庫來執(zhí)行。這使得當(dāng)數(shù)據(jù)庫中的數(shù)據(jù)存在誤差時，檢索處理時也是錯誤的，導(dǎo)致后續(xù)無法給予用戶查詢正確的答案。并且為了數(shù)據(jù)隱私和數(shù)據(jù)安全，不同的本地?cái)?shù)據(jù)庫之間的數(shù)據(jù)一般無法進(jìn)行數(shù)據(jù)共享，導(dǎo)致現(xiàn)有的檢索或數(shù)據(jù)獲取只能在單一數(shù)據(jù)庫中，一些復(fù)雜的查詢往往同時需要多個本地?cái)?shù)據(jù)庫中的數(shù)據(jù)，致使檢索到的數(shù)據(jù)都很片面、單一，使得用戶查詢的檢索結(jié)果不夠準(zhǔn)確、全面。

技術(shù)實(shí)現(xiàn)思路

1、本技術(shù)實(shí)施例的目的是提供一種訓(xùn)練垂域大模型的方法、裝置及存儲介質(zhì)，用以解決現(xiàn)有技術(shù)中由于數(shù)據(jù)隱私和數(shù)據(jù)安全導(dǎo)致的檢索片面、問答不夠準(zhǔn)確的問題。

2、為了實(shí)現(xiàn)上述目的，本技術(shù)第一方面提供一種訓(xùn)練垂域大模型的方法，方法包括：

3、確定目標(biāo)垂域?qū)?yīng)的多個參與方，多個參與方擁有目標(biāo)垂域的本地文本數(shù)據(jù)；

4、將目標(biāo)垂域的初始大模型分發(fā)至多個參與方，以使多個參與方基于各自所擁有的目標(biāo)垂域的本地文本數(shù)據(jù)迭代訓(xùn)練初始大模型；

5、獲取多個參與方各自返回的迭代訓(xùn)練得到的臨時大模型，并將其中校驗(yàn)合規(guī)的臨時大模型進(jìn)行聚合得到當(dāng)前最新的聚合大模型；

6、在滿足迭代訓(xùn)練的終止條件的情況下，將當(dāng)前最新的聚合大模型確定為目標(biāo)垂域?qū)?yīng)的垂域大模型。

7、在本技術(shù)實(shí)施例中，確定目標(biāo)垂域?qū)?yīng)的多個參與方包括：獲取多個注冊方發(fā)送的驗(yàn)證文本數(shù)據(jù)；針對任一注冊方發(fā)送的驗(yàn)證文本數(shù)據(jù)，獲取該驗(yàn)證文本數(shù)據(jù)對應(yīng)的語義嵌入向量；在該語義嵌入向量處于目標(biāo)垂域?qū)?yīng)的垂域文本數(shù)據(jù)空間的情況下，將任一注冊方確定為目標(biāo)垂域的參與方。

8、在本技術(shù)實(shí)施例中，方法還包括：針對任一參與方返回的臨時大模型，基于該臨時大模型生成測試文本數(shù)據(jù)；在測試文本數(shù)據(jù)對應(yīng)的語義嵌入向量處于目標(biāo)垂域?qū)?yīng)的垂域文本數(shù)據(jù)空間的情況下，確定該臨時大模型校驗(yàn)合規(guī)。

9、在本技術(shù)實(shí)施例中，方法還包括：分別獲取每個注冊方擁有的樣例文本數(shù)據(jù)對應(yīng)的語義嵌入向量；對獲取到的所有語義嵌入向量進(jìn)行聚類處理，以得到n個垂域聚類中心，n為正整數(shù)；基于n個垂域聚類中心將全域語義空間劃分為對應(yīng)的n個垂域文本數(shù)據(jù)空間，其中，每個垂域文本數(shù)據(jù)空間分別包含對應(yīng)的唯一垂域聚類中心，任一垂域文本數(shù)據(jù)空間中的任意語義嵌入向量與該任一垂域文本數(shù)據(jù)空間中的垂域聚類中心的距離均不大于該任意語義嵌入向量與其他垂域聚類中心的距離。

10、在本技術(shù)實(shí)施例中，方法還包括：對獲取到的所有樣例文本數(shù)據(jù)對應(yīng)的語義嵌入向量進(jìn)行均值化處理，以得到所有樣例文本數(shù)據(jù)對應(yīng)的全局語義嵌入中心；從所有樣例文本數(shù)據(jù)對應(yīng)的語義嵌入向量中確定出與全局語義嵌入中心距離最遠(yuǎn)的邊緣語義嵌入向量；基于全局語義嵌入中心與邊緣語義嵌入向量確定所有樣例文本數(shù)據(jù)所處的標(biāo)準(zhǔn)化高維球形空間，其中標(biāo)準(zhǔn)化高維球形空間的球心為全局語義嵌入中心，半徑為全局語義嵌入中心與邊緣語義嵌入向量之間距離的預(yù)設(shè)倍數(shù)，預(yù)設(shè)倍數(shù)不小于1；將標(biāo)準(zhǔn)化高維球形空間確定為全域語義空間。

11、在本技術(shù)實(shí)施例中，將其中校驗(yàn)合規(guī)的臨時大模型進(jìn)行聚合得到當(dāng)前最新的聚合大模型包括：按照預(yù)設(shè)權(quán)重對所有校驗(yàn)合規(guī)的臨時大模型分別對應(yīng)的模型參數(shù)進(jìn)行加權(quán)求和得到聚合模型參數(shù)，并基于聚合模型參數(shù)構(gòu)建得到當(dāng)前最新的聚合大模型，其中，任一臨時大模型的預(yù)設(shè)權(quán)重由提供該任一臨時大模型的參與方在至少一個屬性的評級所確定。

12、在本技術(shù)實(shí)施例中，方法還包括：在未滿足迭代訓(xùn)練的終止條件的情況下，將初始大模型更新為當(dāng)前最新的聚合大模型并再次分發(fā)至多個參與方，以使多個參與方基于各自所擁有的目標(biāo)垂域的本地文本數(shù)據(jù)迭代訓(xùn)練初始大模型，并將迭代訓(xùn)練得到的臨時大模型返回。

13、在本技術(shù)實(shí)施例中，終止條件包括：多個參與方針對初始大模型的迭代訓(xùn)練次數(shù)達(dá)到預(yù)設(shè)次數(shù)，或者，當(dāng)前最新的聚合大模型的模型性能達(dá)到預(yù)期指標(biāo)。

14、在本技術(shù)實(shí)施例中，方法還包括：獲取用戶的查詢問題；在查詢問題屬于目標(biāo)垂域的情況下，將查詢問題輸入垂域大模型以得到查詢問題對應(yīng)的參考上下文；將查詢問題與參考上下文輸入通用大模型以得到查詢問題的回復(fù)。

15、在本技術(shù)實(shí)施例中，方法還包括：在滿足迭代訓(xùn)練的終止條件的情況下，保存多個參與方各自返回的最后一輪迭代訓(xùn)練得到的臨時大模型；獲取用戶的查詢問題；在查詢問題屬于目標(biāo)垂域的情況下，基于查詢問題確定多個參與方的參與權(quán)重；基于多個參與方的參與權(quán)重將多個參與方各自返回的最后一輪迭代訓(xùn)練得到的臨時大模型進(jìn)行聚合得到針對查詢問題的細(xì)分垂域大模型；將查詢問題輸入細(xì)分垂域大模型以得到查詢問題對應(yīng)的參考上下文；將查詢問題與參考上下文輸入通用大模型以得到查詢問題的回復(fù)。

16、在本技術(shù)實(shí)施例中，確定多個參與方的參與權(quán)重包括：獲取多個參與方針對各自所擁有的目標(biāo)垂域的本地文本數(shù)據(jù)的數(shù)據(jù)描述，將查詢問題和多個參與方各自提供的數(shù)據(jù)描述輸入至關(guān)聯(lián)識別大模型，以得到多個參與方的參與權(quán)重，關(guān)聯(lián)識別大模型用于識別查詢問題和每個參與方提供的數(shù)據(jù)描述之間的關(guān)聯(lián)度，并將其作為多個參與方的參與權(quán)重輸出；或者，獲取多個參與方各自擁有的目標(biāo)垂域的本地文本數(shù)據(jù)對應(yīng)的局域語義嵌入中心，基于查詢問題對應(yīng)的語義嵌入向量與每個參與方提供的局域語義嵌入中心的相似度確定出多個參與方的參與權(quán)重，其中，任一參與方的參與權(quán)重正相關(guān)于查詢問題對應(yīng)的語義嵌入向量與該參與方提供的局域語義嵌入中心的相似度。

17、在本技術(shù)實(shí)施例中，方法還包括：獲取用戶的查詢問題；將查詢問題輸入至嵌入模型，以通過嵌入模型輸出查詢問題的嵌入向量；將嵌入向量輸入至垂域選取模型，以得到垂域選取模型輸出的選取概率向量；根據(jù)選取概率向量確定表征各個目標(biāo)垂域是否為查詢問題所屬的最終垂域的當(dāng)前選擇向量；根據(jù)所有的當(dāng)前選擇向量從各個目標(biāo)垂域中確定出查詢問題的所屬的最終垂域；根據(jù)查詢問題和最終垂域?qū)?yīng)的垂域大模型確定查詢問題的回復(fù)。

18、在本技術(shù)實(shí)施例中，方法還包括：獲取用戶的當(dāng)前查詢意圖，當(dāng)前查詢意圖由用戶輸入的查詢問題及其歷史上下文解析得到；獲取用戶的當(dāng)前用戶畫像，當(dāng)前用戶畫像是根據(jù)用戶的個人信息和歷史行為數(shù)據(jù)構(gòu)建的指標(biāo)參數(shù)集合；獲取樣例數(shù)據(jù)集中的正樣例數(shù)據(jù)集，其中，樣例數(shù)據(jù)集是基于每個用戶的歷史查詢意圖和歷史用戶畫像及其對應(yīng)的輸出構(gòu)建的；基于針對垂域選取大模型的正樣例數(shù)據(jù)集生成任務(wù)情景提示詞，正樣例數(shù)據(jù)集中的任一正樣例數(shù)據(jù)為歷史調(diào)用垂域選取大模型的一組輸入結(jié)構(gòu)的歷史數(shù)據(jù)到輸出結(jié)構(gòu)的歷史數(shù)據(jù)的映射，其中，輸入結(jié)構(gòu)包括查詢意圖與用戶畫像，輸出結(jié)構(gòu)包括多個目標(biāo)垂域的垂域選取得分；基于任務(wù)情景提示詞構(gòu)建垂域選取大模型，任務(wù)情景提示詞用于使垂域選取大模型基于輸入結(jié)構(gòu)的輸入數(shù)據(jù)得到輸出結(jié)構(gòu)的輸出數(shù)據(jù)；將當(dāng)前查詢意圖與當(dāng)前用戶畫像輸入垂域選取大模型，得到當(dāng)前可用的每個目標(biāo)垂域的垂域選取得分；根據(jù)預(yù)設(shè)選取規(guī)則以及當(dāng)前可用的每個目標(biāo)垂域的垂域選取得分，從當(dāng)前可用的每個目標(biāo)垂域中選取得到針對用戶的當(dāng)前查詢意圖的最終垂域；根據(jù)當(dāng)前查詢意圖和最終垂域?qū)?yīng)的垂域大模型確定查詢問題的回復(fù)。

19、本技術(shù)第二方面提供一種訓(xùn)練垂域大模型的方法，方法包括：

20、獲取中央服務(wù)器分發(fā)的目標(biāo)垂域的初始大模型；

21、基于目標(biāo)垂域的本地文本數(shù)據(jù)迭代訓(xùn)練初始大模型，并將迭代訓(xùn)練得到的臨時大模型返回至中央服務(wù)器，以使中央服務(wù)器將校驗(yàn)合規(guī)的臨時大模型進(jìn)行聚合得到當(dāng)前最新的聚合大模型，并在滿足迭代訓(xùn)練的終止條件的情況下將當(dāng)前最新的聚合大模型確定為目標(biāo)垂域?qū)?yīng)的垂域大模型。

22、在本技術(shù)實(shí)施例中，方法還包括：獲取用戶的查詢問題；將查詢問題輸入至嵌入模型，以通過嵌入模型輸出查詢問題的嵌入向量；將嵌入向量輸入至垂域選取模型，以得到垂域選取模型輸出的選取概率向量；根據(jù)選取概率向量確定表征各個目標(biāo)垂域是否為查詢問題所屬的最終垂域的當(dāng)前選擇向量；根據(jù)所有的當(dāng)前選擇向量從各個目標(biāo)垂域中確定出用戶的查詢問題的所屬的最終垂域；根據(jù)查詢問題和最終垂域?qū)?yīng)的垂域大模型確定查詢問題的回復(fù)。

23、在本技術(shù)實(shí)施例中，方法還包括：獲取用戶的當(dāng)前查詢意圖，當(dāng)前查詢意圖由用戶輸入的查詢問題及其歷史上下文解析得到；獲取用戶的當(dāng)前用戶畫像，當(dāng)前用戶畫像是根據(jù)用戶的個人信息和歷史行為數(shù)據(jù)構(gòu)建的指標(biāo)參數(shù)集合；獲取樣例數(shù)據(jù)集中的正樣例數(shù)據(jù)集，其中，樣例數(shù)據(jù)集是基于每個用戶的歷史查詢意圖和歷史用戶畫像及其對應(yīng)的輸出構(gòu)建的；基于針對垂域選取大模型的正樣例數(shù)據(jù)集生成任務(wù)情景提示詞，正樣例數(shù)據(jù)集中的任一正樣例數(shù)據(jù)為歷史調(diào)用垂域選取大模型的一組輸入結(jié)構(gòu)的歷史數(shù)據(jù)到輸出結(jié)構(gòu)的歷史數(shù)據(jù)的映射，其中，輸入結(jié)構(gòu)包括查詢意圖與用戶畫像，輸出結(jié)構(gòu)包括多個目標(biāo)垂域的垂域選取得分；基于任務(wù)情景提示詞構(gòu)建垂域選取大模型，任務(wù)情景提示詞用于使垂域選取大模型基于輸入結(jié)構(gòu)的輸入數(shù)據(jù)得到輸出結(jié)構(gòu)的輸出數(shù)據(jù)；將當(dāng)前查詢意圖與當(dāng)前用戶畫像輸入垂域選取大模型，得到當(dāng)前可用的每個目標(biāo)垂域的垂域選取得分；根據(jù)預(yù)設(shè)選取規(guī)則以及當(dāng)前可用的每個目標(biāo)垂域的垂域選取得分，從當(dāng)前可用的每個目標(biāo)垂域中選取得到針對用戶的當(dāng)前查詢意圖的最終垂域；根據(jù)當(dāng)前查詢意圖和最終垂域?qū)?yīng)的垂域大模型確定查詢問題的回復(fù)。

24、本技術(shù)第三方面提供一種訓(xùn)練垂域大模型的裝置，包括：

25、存儲器，被配置成存儲指令；

26、處理器，被配置成從存儲器調(diào)用指令以及在執(zhí)行指令時能夠?qū)崿F(xiàn)上述的訓(xùn)練垂域大模型的方法。

27、本技術(shù)第四方面提供一種機(jī)器可讀存儲介質(zhì)，該機(jī)器可讀存儲介質(zhì)上存儲有指令，該指令用于使得機(jī)器執(zhí)行上述的訓(xùn)練垂域大模型的方法。

28、通過上述技術(shù)方案，將目標(biāo)垂域的初始大模型分發(fā)至多個參與方，以使多個參與方基于各自所擁有的目標(biāo)垂域的本地文本數(shù)據(jù)迭代訓(xùn)練初始大模型，并獲取多個參與方各自返回的迭代訓(xùn)練得到的臨時大模型，并將其中校驗(yàn)合規(guī)的臨時大模型進(jìn)行聚合得到當(dāng)前最新的聚合大模型，且在滿足迭代訓(xùn)練的終止條件的情況下，將當(dāng)前最新的聚合大模型確定為目標(biāo)垂域?qū)?yīng)的垂域大模型，以使得垂域大模型的數(shù)據(jù)覆蓋范圍更廣泛，提高數(shù)據(jù)的多樣性，使得后續(xù)的用戶查詢檢索更為準(zhǔn)確、全面，且同時為各個參與方的數(shù)據(jù)保密。

29、本技術(shù)實(shí)施例的其它特征和優(yōu)點(diǎn)將在隨后的具體實(shí)施方式部分予以詳細(xì)說明。