欧美在线观看视频网站,亚洲熟妇色自偷自拍另类,啪啪伊人网,中文字幕第13亚洲另类,中文成人久久久久影院免费观看 ,精品人妻人人做人人爽,亚洲a视频

自適應(yīng)參數(shù)高效微調(diào)方法、裝置、設(shè)備及存儲(chǔ)介質(zhì)與流程

文檔序號(hào):40518236發(fā)布日期:2024-12-31 13:27閱讀:來(lái)源:國(guó)知局

技術(shù)特征:

1.一種自適應(yīng)參數(shù)高效微調(diào)方法,特征在于,包括:

2.根據(jù)權(quán)利要求1所述的自適應(yīng)參數(shù)高效微調(diào)方法,其特征在于,所述獲取參數(shù)高效微調(diào)超網(wǎng)絡(luò),包括:

3.根據(jù)權(quán)利要求2所述的自適應(yīng)參數(shù)高效微調(diào)方法,其特征在于,所述獲取訓(xùn)練參數(shù),將所述訓(xùn)練參數(shù)參與所述多個(gè)參數(shù)微調(diào)模塊的參數(shù)訓(xùn)練,獲取各參數(shù)微調(diào)模塊的權(quán)重值,并根據(jù)所述權(quán)重值獲取選擇因子,利用所述選擇因子對(duì)所述參數(shù)高效微調(diào)超網(wǎng)絡(luò)中的多個(gè)參數(shù)微調(diào)模塊進(jìn)行篩選,得到目標(biāo)參數(shù)微調(diào)模塊,包括:

4.根據(jù)權(quán)利要求2所述的自適應(yīng)參數(shù)高效微調(diào)方法,其特征在于,所述獲取訓(xùn)練參數(shù),將所述訓(xùn)練參數(shù)參與所述多個(gè)參數(shù)微調(diào)模塊的參數(shù)訓(xùn)練,獲取各參數(shù)微調(diào)模塊的權(quán)重值,并根據(jù)所述權(quán)重值獲取選擇因子,利用所述選擇因子對(duì)所述參數(shù)高效微調(diào)超網(wǎng)絡(luò)中的多個(gè)參數(shù)微調(diào)模塊進(jìn)行篩選,得到目標(biāo)參數(shù)微調(diào)模塊,包括:

5.根據(jù)權(quán)利要求4所述的自適應(yīng)參數(shù)高效微調(diào)方法,其特征在于,所述利用伯努利隨機(jī)數(shù)對(duì)所述訓(xùn)練參數(shù)進(jìn)行加權(quán),將加權(quán)后的訓(xùn)練參數(shù)作為第二選擇因子,包括:

6.根據(jù)權(quán)利要求5所述的自適應(yīng)參數(shù)高效微調(diào)方法,其特征在于,所述利用所述目標(biāo)參數(shù)微調(diào)模塊參與預(yù)訓(xùn)練模型t?r?ansformer層的前向傳播,對(duì)輸入樣本在t?ransformer層輸出的隱狀態(tài)進(jìn)行修改,包括:

7.根據(jù)權(quán)利要求6所述的自適應(yīng)參數(shù)高效微調(diào)方法,其特征在于,在所述利用預(yù)訓(xùn)練模型t?ransformer層的第二層函數(shù)對(duì)所述第二隱狀態(tài)進(jìn)行第二操作,獲取第三隱狀態(tài),之后,所述方法還包括:

8.一種自適應(yīng)參數(shù)高效微調(diào)裝置,采用權(quán)利要求1-6任一項(xiàng)所述的自適應(yīng)參數(shù)高效微調(diào)方法,其特征在于,包括:

9.一種計(jì)算機(jī)設(shè)備,其特征在于,包括存儲(chǔ)器和處理器,所述存儲(chǔ)器中存儲(chǔ)有計(jì)算機(jī)可讀指令,所述處理器執(zhí)行所述計(jì)算機(jī)可讀指令時(shí)實(shí)現(xiàn)如權(quán)利要求1至7中任一項(xiàng)所述的自適應(yīng)參數(shù)高效微調(diào)方法的步驟。

10.一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì),其特征在于,所述計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)上存儲(chǔ)有計(jì)算機(jī)可讀指令,所述計(jì)算機(jī)可讀指令被處理器執(zhí)行時(shí)實(shí)現(xiàn)如權(quán)利要求1至7中任一項(xiàng)所述的自適應(yīng)參數(shù)高效微調(diào)方法的步驟。


技術(shù)總結(jié)
本申請(qǐng)公開(kāi)了一種自適應(yīng)參數(shù)高效微調(diào)方法、裝置、設(shè)備及存儲(chǔ)介質(zhì),方法包括步驟:獲取參數(shù)高效微調(diào)超網(wǎng)絡(luò),參數(shù)高效微調(diào)超網(wǎng)絡(luò)包括多個(gè)參數(shù)微調(diào)模塊;獲取訓(xùn)練參數(shù),將訓(xùn)練參數(shù)參與多個(gè)參數(shù)微調(diào)模塊的參數(shù)訓(xùn)練,獲取各參數(shù)微調(diào)模塊的權(quán)重值,并根據(jù)權(quán)重值獲取選擇因子,利用選擇因子對(duì)參數(shù)高效微調(diào)超網(wǎng)絡(luò)中的多個(gè)參數(shù)微調(diào)模塊進(jìn)行篩選,得到目標(biāo)參數(shù)微調(diào)模塊;利用選中的參數(shù)微調(diào)模塊參與預(yù)訓(xùn)練模型t?ransformer層的前向傳播,對(duì)輸入樣本在t?ransformer層輸出的隱狀態(tài)進(jìn)行修改。通過(guò)構(gòu)建參數(shù)高效微調(diào)超網(wǎng)絡(luò),使得預(yù)訓(xùn)練模型根據(jù)任務(wù)自適應(yīng)選擇最佳的參數(shù)高效微調(diào)模塊,最大程度解鎖了大模型的能力,提升了部署后的模型在各種醫(yī)療任務(wù)上的平均表現(xiàn)。

技術(shù)研發(fā)人員:朱威
受保護(hù)的技術(shù)使用者:平安科技(深圳)有限公司
技術(shù)研發(fā)日:
技術(shù)公布日:2024/12/30
當(dāng)前第2頁(yè)1 2 
網(wǎng)友詢(xún)問(wèn)留言 已有0條留言
  • 還沒(méi)有人留言評(píng)論。精彩留言會(huì)獲得點(diǎn)贊!
1
资兴市| 贵州省| 色达县| 内丘县| 广德县| 文安县| 教育| 边坝县| 福州市| 钟山县| 泊头市| 莱州市| 左权县| 疏勒县| 宜阳县| 普兰店市| 砀山县| 远安县| 民和| 高碑店市| 文成县| 湘潭县| 汶川县| 呈贡县| 和平区| 宜兴市| 淮北市| 石首市| 巴东县| 衡水市| 临洮县| 商城县| 突泉县| 礼泉县| 淮北市| 荆州市| 巢湖市| 阿克陶县| 玉田县| 桃源县| 黔南|