欧美在线观看视频网站,亚洲熟妇色自偷自拍另类,啪啪伊人网,中文字幕第13亚洲另类,中文成人久久久久影院免费观看 ,精品人妻人人做人人爽,亚洲a视频

推理優(yōu)化方法、優(yōu)化裝置、設備、存儲介質和程序產(chǎn)品與流程

文檔序號:40577698發(fā)布日期:2025-01-07 20:17閱讀:來源:國知局

技術特征:

1.一種模型即服務的推理優(yōu)化方法,其特征在于,應用于服務端,包括:

2.根據(jù)權利要求1所述的模型即服務的推理優(yōu)化方法,其特征在于,在響應于接收到的多個用戶調用多個微調大模型推理的調用請求,對所述調用請求進行預處理之前,還包括:

3.根據(jù)權利要求2所述的模型即服務的推理優(yōu)化方法,其特征在于,還包括:

4.根據(jù)權利要求2所述的模型即服務的推理優(yōu)化方法,其特征在于,響應于接收到的多個用戶調用多個微調大模型推理的調用請求,對所述調用請求進行預處理,生成第一請求集合和第二請求集合,包括:

5.根據(jù)權利要求4所述的模型即服務的推理優(yōu)化方法,其特征在于,所述調用請求還包括用戶輸入的文本數(shù)據(jù),基于所述基礎大模型標識相同的所述調用請求生成共享參數(shù)批,基于所述微調大模型標識相同的所述調用請求生成非共享參數(shù)批,包括:

6.根據(jù)權利要求1所述的模型即服務的推理優(yōu)化方法,其特征在于,在基于所述基礎大模型的共享凍結參數(shù)對所述第一請求集合進行推理得到第一批處理結果,基于所述微調大模型的非共享參數(shù)對所述第二請求集合進行推理得到第二批處理結果之前,還包括:

7.根據(jù)權利要求3所述的模型即服務的推理優(yōu)化方法,其特征在于,基于所述基礎大模型的共享凍結參數(shù)對所述第一請求集合進行推理得到第一批處理結果,基于所述微調大模型的非共享參數(shù)對所述第二請求集合進行推理得到第二批處理結果,包括:

8.根據(jù)權利要求1所述的模型即服務的推理優(yōu)化方法,其特征在于,合并所述第一批處理結果和所述第二批處理結果得到目標結果,包括:

9.一種模型即服務的推理優(yōu)化方法,其特征在于,應用于租戶端,包括:

10.根據(jù)權利要求9所述的模型即服務的推理優(yōu)化方法,其特征在于,在向服務端發(fā)送調用微調大模型推理的調用請求之前,還包括:

11.一種模型即服務的推理優(yōu)化裝置,其特征在于,應用于服務端,包括:

12.一種模型即服務的推理優(yōu)化裝置,其特征在于,應用于租戶端,包括:

13.一種電子設備,其特征在于,包括:

14.一種計算機可讀存儲介質,其上存儲有計算機程序,其特征在于,所述計算機程序被處理器執(zhí)行時實現(xiàn)權利要求1~10中任意一項所述的模型即服務的推理優(yōu)化方法。

15.一種計算機程序產(chǎn)品,其上存儲有計算機程序,其特征在于,所述計算機程序被處理器執(zhí)行時實現(xiàn)權利要求1~10中任意一項所述的模型即服務的推理優(yōu)化方法。


技術總結
本公開提供了一種推理優(yōu)化方法、優(yōu)化裝置、設備、存儲介質和程序產(chǎn)品,涉及機器學習技術領域。其中,模型即服務的推理優(yōu)化方法包括:響應于接收到的多個用戶調用多個微調大模型推理的調用請求,生成第一請求集合和第二請求集合,第一請求集合對應于基礎大模型的推理,第二請求集合對應于微調大模型的推理;基于共享凍結參數(shù)對第一請求集合進行推理得到第一批處理結果,基于非共享參數(shù)對第二請求集合進行推理得到第二批處理結果;合并第一批處理結果和第二批處理結果得到目標結果,將目標結果反饋至多個用戶。通過本公開的技術方案,通過使不同租戶共享凍結的參數(shù)進行推理任務的批處理,減少多租戶大模型的GPU內存資源使用量,降低推理成本。

技術研發(fā)人員:崔恩放,韋茜,高玥
受保護的技術使用者:中國電信股份有限公司技術創(chuàng)新中心
技術研發(fā)日:
技術公布日:2025/1/6
當前第2頁1 2 
網(wǎng)友詢問留言 已有0條留言
  • 還沒有人留言評論。精彩留言會獲得點贊!
1
宁乡县| 富宁县| 东乌珠穆沁旗| 金塔县| 永善县| 保亭| 商水县| 沾化县| 咸宁市| 墨玉县| 富阳市| 洪雅县| 台湾省| 兴和县| 任丘市| 泽库县| 永胜县| 会东县| 井陉县| 广西| 榆社县| 临高县| 漠河县| 玛曲县| 山西省| 镇雄县| 陆良县| 宜宾县| 滕州市| 姜堰市| 甘南县| 墨江| 东至县| 西昌市| 大名县| 滨州市| 台中县| 德令哈市| 洛宁县| 敖汉旗| 通江县|