本申請(qǐng)屬于大語言模型調(diào)試領(lǐng)域，具體涉及一種基于烏鴉搜索算法的大語言模型微調(diào)參數(shù)優(yōu)化方法、存儲(chǔ)介質(zhì)、設(shè)備和計(jì)算機(jī)程序產(chǎn)品。

背景技術(shù)：

1、大語言模型（large?language?model，llm）在自然語言處理、醫(yī)療健康、金融科技、教育娛樂等多個(gè)領(lǐng)域展現(xiàn)出了強(qiáng)大的數(shù)據(jù)處理與分析能力。通過預(yù)訓(xùn)練和微調(diào)，llm能夠適應(yīng)不同的垂直領(lǐng)域任務(wù)，如情感分析、機(jī)器翻譯、問答系統(tǒng)、文本分類和命名實(shí)體識(shí)別等。

2、在現(xiàn)有技術(shù)中，llm的微調(diào)通常依賴于專家經(jīng)驗(yàn)或通過不斷試錯(cuò)來調(diào)整超參數(shù)，如學(xué)習(xí)率、批量大小、訓(xùn)練輪數(shù)、權(quán)重衰減和溫度參數(shù)等。這些參數(shù)對(duì)模型的學(xué)習(xí)行為和最終性能有著關(guān)鍵影響。

3、盡管現(xiàn)有技術(shù)提供了多種優(yōu)化策略，但這些方法主要依賴于專家經(jīng)驗(yàn)或試錯(cuò)調(diào)整，靈活性不足且成本較高。

技術(shù)實(shí)現(xiàn)思路

1、本申請(qǐng)旨在提供一種基于烏鴉搜索算法的大語言模型微調(diào)參數(shù)優(yōu)化方法、存儲(chǔ)介質(zhì)、設(shè)備和計(jì)算機(jī)程序產(chǎn)品，至少解決了由于大語言模型調(diào)試過程依賴于專家經(jīng)驗(yàn)或試錯(cuò)調(diào)整，靈活性不足且成本較高的問題。

2、第一方面，本申請(qǐng)實(shí)施例公開了一種基于烏鴉搜索算法的大語言模型微調(diào)參數(shù)優(yōu)化方法，包括：

3、對(duì)大語言模型的超參數(shù)集中的每一個(gè)目標(biāo)超參數(shù)，確定一個(gè)第一目標(biāo)超參數(shù)；每個(gè)所述目標(biāo)超參數(shù)在所述大語言模型中具有一個(gè)對(duì)應(yīng)的記憶超參數(shù)；所述超參數(shù)集具有對(duì)應(yīng)的適應(yīng)評(píng)估值；

4、根據(jù)所述超參數(shù)集中，每個(gè)所述目標(biāo)超參數(shù)的位置參數(shù)，以及與所述目標(biāo)超參數(shù)對(duì)應(yīng)的所述第一目標(biāo)超參數(shù)所對(duì)應(yīng)的記憶超參數(shù)的位置參數(shù)，將所述超參數(shù)集中的每個(gè)所述目標(biāo)超參數(shù)更新，并確定更新了全部的所述目標(biāo)超參數(shù)后，所述超參數(shù)集的適應(yīng)評(píng)估值；

5、在更新后的所述超參數(shù)集的適應(yīng)評(píng)估值相對(duì)于更新前的所述超參數(shù)集的適應(yīng)評(píng)估值滿足預(yù)設(shè)的數(shù)量關(guān)系的情況下，將更新后的所述超參數(shù)集中，目標(biāo)超參數(shù)的位置參數(shù)更新為更新后的所述超參數(shù)集中，目標(biāo)超參數(shù)的新的記憶超參數(shù)，并回到所述對(duì)大語言模型的超參數(shù)集中的每一個(gè)目標(biāo)超參數(shù)，確定一個(gè)第一目標(biāo)超參數(shù)的步驟；

6、響應(yīng)于循環(huán)中止命令，用所述超參數(shù)集中每個(gè)目標(biāo)超參數(shù)的記憶超參數(shù)的值，更新所述大語言模型中，與所述目標(biāo)超參數(shù)所對(duì)應(yīng)的超參數(shù)的值，并訓(xùn)練更新后的所述大語言模型，以獲得訓(xùn)練后的所述大語言模型。

7、第二方面，本申請(qǐng)實(shí)施例還公開了一種基于烏鴉搜索算法的大語言模型微調(diào)參數(shù)優(yōu)化裝置，其特征在于，包括：

8、選擇模塊，用于對(duì)大語言模型的超參數(shù)集中的每一個(gè)目標(biāo)超參數(shù)，確定一個(gè)第一目標(biāo)超參數(shù)；每個(gè)所述目標(biāo)超參數(shù)在所述大語言模型中具有一個(gè)對(duì)應(yīng)的記憶超參數(shù)；所述超參數(shù)集具有對(duì)應(yīng)的適應(yīng)評(píng)估值；

9、位置更新模塊，用于根據(jù)所述超參數(shù)集中，每個(gè)所述目標(biāo)超參數(shù)的位置參數(shù)，以及與所述目標(biāo)超參數(shù)對(duì)應(yīng)的所述第一目標(biāo)超參數(shù)所對(duì)應(yīng)的記憶超參數(shù)的位置參數(shù)，將所述超參數(shù)集中的每個(gè)所述目標(biāo)超參數(shù)更新，并確定更新了全部的所述目標(biāo)超參數(shù)后，所述超參數(shù)集的適應(yīng)評(píng)估值；

10、記憶更新模塊，用于在更新后的所述超參數(shù)集的適應(yīng)評(píng)估值相對(duì)于更新前的所述超參數(shù)集的適應(yīng)評(píng)估值滿足預(yù)設(shè)的數(shù)量關(guān)系的情況下，將更新后的所述超參數(shù)集中，目標(biāo)超參數(shù)的位置參數(shù)更新為更新后的所述超參數(shù)集中，目標(biāo)超參數(shù)的新的記憶超參數(shù)，并回到所述對(duì)大語言模型的超參數(shù)集中的每一個(gè)目標(biāo)超參數(shù)，確定一個(gè)第一目標(biāo)超參數(shù)的步驟；

11、調(diào)優(yōu)訓(xùn)練模塊，用于響應(yīng)于循環(huán)中止命令，用所述超參數(shù)集中每個(gè)目標(biāo)超參數(shù)的記憶超參數(shù)的值，更新所述大語言模型中，與所述目標(biāo)超參數(shù)所對(duì)應(yīng)的超參數(shù)的值，并訓(xùn)練更新后的所述大語言模型，以獲得訓(xùn)練后的所述大語言模型。

12、第三方面，本申請(qǐng)實(shí)施例還公開了一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，所述計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)上存儲(chǔ)計(jì)算機(jī)程序，所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)如第一方面所述的步驟。

13、第四方面，本申請(qǐng)實(shí)施例還公開了一種電子設(shè)備，包括處理器、存儲(chǔ)器及存儲(chǔ)在所述存儲(chǔ)器上并可在所述處理器上運(yùn)行的計(jì)算機(jī)程序，所述計(jì)算機(jī)程序被所述處理器執(zhí)行時(shí)實(shí)現(xiàn)如第一方面所述的步驟。

14、第五方面，本申請(qǐng)實(shí)施例還公開了一種計(jì)算機(jī)程序產(chǎn)品，所述計(jì)算機(jī)程序產(chǎn)品上存儲(chǔ)有計(jì)算機(jī)程序，所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)如第一方面所述的步驟。

15、綜上，在本申請(qǐng)實(shí)施例中，通過將對(duì)超參數(shù)集中的每個(gè)目標(biāo)超參數(shù)分別確定第一目標(biāo)超參數(shù)作為參照點(diǎn)，為每個(gè)目標(biāo)超參數(shù)分配一個(gè)對(duì)應(yīng)的記憶超參數(shù)，并為超參數(shù)集確定對(duì)應(yīng)的適應(yīng)評(píng)估值，可以在優(yōu)化過程中保留歷史信息，以在后續(xù)步驟中進(jìn)行更為精準(zhǔn)的參數(shù)調(diào)整，避免重復(fù)計(jì)算，提高了優(yōu)化過程的效率和準(zhǔn)確性，進(jìn)而根據(jù)每個(gè)目標(biāo)超參數(shù)的位置參數(shù)及其對(duì)應(yīng)的記憶超參數(shù)的位置參數(shù)，更新超參數(shù)集中的每個(gè)目標(biāo)超參數(shù)，并確定其更新后的適應(yīng)評(píng)估值，以通過結(jié)合超參數(shù)和記憶超參數(shù)的位置參數(shù)進(jìn)行更新，動(dòng)態(tài)調(diào)整每個(gè)超參數(shù)，使其更接近最優(yōu)解，也即利用到了烏鴉搜索算法的全局搜索能力，確保了參數(shù)優(yōu)化的全面性和高效性，然后在更新后的超參數(shù)集的適應(yīng)評(píng)估值相對(duì)于更新前的適應(yīng)評(píng)估值滿足預(yù)設(shè)的數(shù)量關(guān)系的情況下，將更新記憶超參數(shù)，從而逐步逼近最優(yōu)解，最終通過優(yōu)化后的超參數(shù)集對(duì)大語言模型的超參數(shù)進(jìn)行替換，進(jìn)而訓(xùn)練大語言模型，顯著提升了模型的性能。由此，基于本申請(qǐng)實(shí)施例的方法，克服了現(xiàn)有技術(shù)中依賴專家經(jīng)驗(yàn)和試錯(cuò)調(diào)整的局限性，顯著提高了參數(shù)優(yōu)化的靈活性和效率，降低了成本，解決了背景技術(shù)中所提到的技術(shù)問題。

技術(shù)特征：

1.一種基于烏鴉搜索算法的大語言模型微調(diào)參數(shù)優(yōu)化方法，其特征在于，包括：

2.如權(quán)利要求1所述的方法，其特征在于，所述根據(jù)所述超參數(shù)集中，每個(gè)所述目標(biāo)超參數(shù)的位置參數(shù)，以及與所述目標(biāo)超參數(shù)對(duì)應(yīng)的所述第一目標(biāo)超參數(shù)所對(duì)應(yīng)的記憶超參數(shù)的位置參數(shù)，將所述超參數(shù)集中的每個(gè)所述目標(biāo)超參數(shù)更新，包括：

3.如權(quán)利要求1所述的方法，其特征在于，所述方法還包括：

4.如權(quán)利要求3所述的方法，其特征在于，所述根據(jù)更新了記憶超參數(shù)的所述超參數(shù)集，確定所述大語言模型的代理模型評(píng)估值，包括：

5.如權(quán)利要求1所述的方法，其特征在于，所述方法還包括：

6.如權(quán)利要求1所述的方法，其特征在于，所述方法還包括：

7.一種基于烏鴉搜索算法的大語言模型微調(diào)參數(shù)優(yōu)化裝置，其特征在于，包括：

8.一種電子設(shè)備，其特征在于，包括：處理器、用于存儲(chǔ)所述處理器可執(zhí)行指令的存儲(chǔ)器；

9.一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其特征在于，當(dāng)所述計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)中的指令由電子設(shè)備的處理器執(zhí)行時(shí)，使得所述電子設(shè)備能夠執(zhí)行如權(quán)利要求1至6中任一項(xiàng)所述的方法。

10.一種計(jì)算機(jī)程序產(chǎn)品，其特征在于，所述計(jì)算機(jī)程序產(chǎn)品上存儲(chǔ)有計(jì)算機(jī)程序，所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)如權(quán)利要求1至6中任一項(xiàng)所述的方法的步驟。

技術(shù)總結(jié)
本申請(qǐng)公開了一種基于烏鴉搜索算法的大語言模型微調(diào)參數(shù)優(yōu)化方法、存儲(chǔ)介質(zhì)、設(shè)備和計(jì)算機(jī)程序產(chǎn)品，屬于大語言模型調(diào)試領(lǐng)域，包括：對(duì)超參數(shù)集中的每個(gè)目標(biāo)超參數(shù)確定一個(gè)第一目標(biāo)超參數(shù)；根據(jù)每個(gè)目標(biāo)超參數(shù)和對(duì)應(yīng)的第一目標(biāo)超參數(shù)的位置參數(shù)，更新超參數(shù)集，并確定更新后超參數(shù)集的適應(yīng)評(píng)估值；在更新前后的適應(yīng)評(píng)估值滿足預(yù)設(shè)關(guān)系的情況下，更新目標(biāo)超參數(shù)的記憶超參數(shù)，并循環(huán)迭代步驟；響應(yīng)于循環(huán)中止命令，用超參數(shù)集中目標(biāo)超參數(shù)的記憶超參數(shù)更新大語言模型，并訓(xùn)練更新后的大語言模型。解決了現(xiàn)有技術(shù)中依賴專家經(jīng)驗(yàn)和試錯(cuò)調(diào)整的局限性，顯著提高了參數(shù)優(yōu)化的靈活性和效率，降低了成本，解決了背景技術(shù)中所提到的技術(shù)問題。

技術(shù)研發(fā)人員：劉藝,鄭奇斌,李庚松,楊國利,劉坤,李晴,刁興春
受保護(hù)的技術(shù)使用者：北京大數(shù)據(jù)先進(jìn)技術(shù)研究院
技術(shù)研發(fā)日：
技術(shù)公布日：2024/12/26