1.一種自適應(yīng)參數(shù)高效微調(diào)方法,特征在于,包括:
2.根據(jù)權(quán)利要求1所述的自適應(yīng)參數(shù)高效微調(diào)方法,其特征在于,所述獲取參數(shù)高效微調(diào)超網(wǎng)絡(luò),包括:
3.根據(jù)權(quán)利要求2所述的自適應(yīng)參數(shù)高效微調(diào)方法,其特征在于,所述獲取訓(xùn)練參數(shù),將所述訓(xùn)練參數(shù)參與所述多個(gè)參數(shù)微調(diào)模塊的參數(shù)訓(xùn)練,獲取各參數(shù)微調(diào)模塊的權(quán)重值,并根據(jù)所述權(quán)重值獲取選擇因子,利用所述選擇因子對(duì)所述參數(shù)高效微調(diào)超網(wǎng)絡(luò)中的多個(gè)參數(shù)微調(diào)模塊進(jìn)行篩選,得到目標(biāo)參數(shù)微調(diào)模塊,包括:
4.根據(jù)權(quán)利要求2所述的自適應(yīng)參數(shù)高效微調(diào)方法,其特征在于,所述獲取訓(xùn)練參數(shù),將所述訓(xùn)練參數(shù)參與所述多個(gè)參數(shù)微調(diào)模塊的參數(shù)訓(xùn)練,獲取各參數(shù)微調(diào)模塊的權(quán)重值,并根據(jù)所述權(quán)重值獲取選擇因子,利用所述選擇因子對(duì)所述參數(shù)高效微調(diào)超網(wǎng)絡(luò)中的多個(gè)參數(shù)微調(diào)模塊進(jìn)行篩選,得到目標(biāo)參數(shù)微調(diào)模塊,包括:
5.根據(jù)權(quán)利要求4所述的自適應(yīng)參數(shù)高效微調(diào)方法,其特征在于,所述利用伯努利隨機(jī)數(shù)對(duì)所述訓(xùn)練參數(shù)進(jìn)行加權(quán),將加權(quán)后的訓(xùn)練參數(shù)作為第二選擇因子,包括:
6.根據(jù)權(quán)利要求5所述的自適應(yīng)參數(shù)高效微調(diào)方法,其特征在于,所述利用所述目標(biāo)參數(shù)微調(diào)模塊參與預(yù)訓(xùn)練模型t?r?ansformer層的前向傳播,對(duì)輸入樣本在t?ransformer層輸出的隱狀態(tài)進(jìn)行修改,包括:
7.根據(jù)權(quán)利要求6所述的自適應(yīng)參數(shù)高效微調(diào)方法,其特征在于,在所述利用預(yù)訓(xùn)練模型t?ransformer層的第二層函數(shù)對(duì)所述第二隱狀態(tài)進(jìn)行第二操作,獲取第三隱狀態(tài),之后,所述方法還包括:
8.一種自適應(yīng)參數(shù)高效微調(diào)裝置,采用權(quán)利要求1-6任一項(xiàng)所述的自適應(yīng)參數(shù)高效微調(diào)方法,其特征在于,包括:
9.一種計(jì)算機(jī)設(shè)備,其特征在于,包括存儲(chǔ)器和處理器,所述存儲(chǔ)器中存儲(chǔ)有計(jì)算機(jī)可讀指令,所述處理器執(zhí)行所述計(jì)算機(jī)可讀指令時(shí)實(shí)現(xiàn)如權(quán)利要求1至7中任一項(xiàng)所述的自適應(yīng)參數(shù)高效微調(diào)方法的步驟。
10.一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì),其特征在于,所述計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)上存儲(chǔ)有計(jì)算機(jī)可讀指令,所述計(jì)算機(jī)可讀指令被處理器執(zhí)行時(shí)實(shí)現(xiàn)如權(quán)利要求1至7中任一項(xiàng)所述的自適應(yīng)參數(shù)高效微調(diào)方法的步驟。