欧美在线观看视频网站,亚洲熟妇色自偷自拍另类,啪啪伊人网,中文字幕第13亚洲另类,中文成人久久久久影院免费观看 ,精品人妻人人做人人爽,亚洲a视频

一種基于分布式邊緣云的高效大語言模型推理方法與流程

文檔序號:40591528發(fā)布日期:2025-01-07 20:31閱讀:來源:國知局

技術(shù)特征:

1.一種基于分布式邊緣云的高效大語言模型推理方法,其特征在于,包括以下步驟:

2.根據(jù)權(quán)利要求1所述的基于分布式邊緣云的高效大語言模型推理方法,其特征在于,在步驟s1中,所述將用戶設(shè)備ue和邊緣節(jié)點en根據(jù)深度優(yōu)先搜索樹分配到包括gpu優(yōu)先組、內(nèi)存優(yōu)先組和混合組的分類群組,包括以下步驟:

3.根據(jù)權(quán)利要求2所述的基于分布式邊緣云的高效大語言模型推理方法,其特征在于,在步驟s2中,所述馬爾可夫決策過程根據(jù)訓(xùn)練集得到分裂點,根據(jù)所述分裂點將推理模型進行劃分得到劃分模型,進一步包括:

4.根據(jù)權(quán)利要求3所述的基于分布式邊緣云的高效大語言模型推理方法,其特征在于,所述策略梯度強化ppo獲得所述訓(xùn)練集,根據(jù)策略網(wǎng)絡(luò)和價值函數(shù)網(wǎng)絡(luò)獲得預(yù)期貼現(xiàn)回報,進一步包括:

5.根據(jù)4所述的基于分布式邊緣云的高效大語言模型推理方法,其特征在于,所述根據(jù)所述參數(shù)通過廣義估計優(yōu)勢計算優(yōu)勢估計,根據(jù)所述優(yōu)勢估計來限制策略更新幅度,進一步包括:

6.根據(jù)權(quán)利要求5所述的基于分布式邊緣云的高效大語言模型推理方法,其特征在于,截斷代理目標(biāo)函數(shù)根據(jù)所述優(yōu)勢估計和所述策略估計得到預(yù)期貼現(xiàn)回報,進一步包括:

7.根據(jù)權(quán)利要求6所述的基于分布式邊緣云的高效大語言模型推理方法,其特征在于,所述馬爾可夫決策過程根據(jù)所述預(yù)期貼現(xiàn)回報獲得分裂點,進一步包括:

8.根據(jù)權(quán)利要求7所述的基于分布式邊緣云的高效大語言模型推理方法,其特征在于,所述解碼層網(wǎng)絡(luò)根據(jù)所述工作負(fù)載序列、所述最有效靜態(tài)特征編碼器層輸出的編碼參數(shù)得到預(yù)測工作負(fù)載,進一步包括:

9.一種計算機設(shè)備,其特征在于,包括存儲器和處理器,所述存儲器中存儲有計算機可讀指令,所述計算機可讀指令被所述處理器執(zhí)行時,使得所述處理器執(zhí)行如權(quán)利要求1至8中任一項所述的基于分布式邊緣云的高效大語言模型推理方法的步驟。

10.一種存儲有計算機可讀指令的存儲介質(zhì),其特征在于,所述計算機可讀指令被一個或多個處理器執(zhí)行時,使得一個或多個處理器執(zhí)行如權(quán)利要求1至8中任一項所述的基于分布式邊緣云的高效大語言模型推理方法的步驟。


技術(shù)總結(jié)
本發(fā)明涉及物聯(lián)網(wǎng)技術(shù)領(lǐng)域,尤其涉及一種基于分布式邊緣云的高效大語言模型推理方法,包括以下步驟:S1:將用戶設(shè)備UE和邊緣節(jié)點EN根據(jù)深度優(yōu)先搜索樹分配到包括GPU優(yōu)先組、內(nèi)存優(yōu)先組和混合組的分類群組;S2:馬爾可夫決策過程根據(jù)訓(xùn)練集得到分裂點,根據(jù)分裂點將推理模型進行劃分得到劃分模型,并將劃分模型部署到在分類群組的每一個組中,得到優(yōu)化模型;S3:將測試集輸入到優(yōu)化模型進行推理得到推理結(jié)果。本發(fā)明通過將設(shè)備進行劃分,加快了推理速度;將推理模型進行劃分,并部署到在分類群組的每一個組中,降低用戶設(shè)備的負(fù)載。通過將預(yù)期貼現(xiàn)回報近似于長期總體目標(biāo),實現(xiàn)計算效率的大幅提高,使RL代理能夠靈活地適應(yīng)不斷變化的部署環(huán)境。

技術(shù)研發(fā)人員:王聞宇,張青青,王曉飛
受保護的技術(shù)使用者:派歐云計算(上海)有限公司
技術(shù)研發(fā)日:
技術(shù)公布日:2025/1/6
當(dāng)前第2頁1 2 
網(wǎng)友詢問留言 已有0條留言
  • 還沒有人留言評論。精彩留言會獲得點贊!
1
宜良县| 衡水市| 五家渠市| 简阳市| 晋城| 筠连县| 武山县| 金秀| 荔波县| 肥城市| 漳浦县| 天峻县| 赤城县| 克什克腾旗| 临沂市| 台中县| 武强县| 商河县| 沅江市| 紫云| 枣强县| 额敏县| 木里| 怀柔区| 阿拉尔市| 吴旗县| 内黄县| 大竹县| 寿宁县| 盐池县| 修文县| 和龙市| 中超| 湖州市| 长武县| 平原县| 郓城县| 茶陵县| 新巴尔虎左旗| 泽库县| 阳原县|