1.一種基于分布式邊緣云的高效大語言模型推理方法,其特征在于,包括以下步驟:
2.根據(jù)權(quán)利要求1所述的基于分布式邊緣云的高效大語言模型推理方法,其特征在于,在步驟s1中,所述將用戶設(shè)備ue和邊緣節(jié)點en根據(jù)深度優(yōu)先搜索樹分配到包括gpu優(yōu)先組、內(nèi)存優(yōu)先組和混合組的分類群組,包括以下步驟:
3.根據(jù)權(quán)利要求2所述的基于分布式邊緣云的高效大語言模型推理方法,其特征在于,在步驟s2中,所述馬爾可夫決策過程根據(jù)訓(xùn)練集得到分裂點,根據(jù)所述分裂點將推理模型進行劃分得到劃分模型,進一步包括:
4.根據(jù)權(quán)利要求3所述的基于分布式邊緣云的高效大語言模型推理方法,其特征在于,所述策略梯度強化ppo獲得所述訓(xùn)練集,根據(jù)策略網(wǎng)絡(luò)和價值函數(shù)網(wǎng)絡(luò)獲得預(yù)期貼現(xiàn)回報,進一步包括:
5.根據(jù)4所述的基于分布式邊緣云的高效大語言模型推理方法,其特征在于,所述根據(jù)所述參數(shù)通過廣義估計優(yōu)勢計算優(yōu)勢估計,根據(jù)所述優(yōu)勢估計來限制策略更新幅度,進一步包括:
6.根據(jù)權(quán)利要求5所述的基于分布式邊緣云的高效大語言模型推理方法,其特征在于,截斷代理目標(biāo)函數(shù)根據(jù)所述優(yōu)勢估計和所述策略估計得到預(yù)期貼現(xiàn)回報,進一步包括:
7.根據(jù)權(quán)利要求6所述的基于分布式邊緣云的高效大語言模型推理方法,其特征在于,所述馬爾可夫決策過程根據(jù)所述預(yù)期貼現(xiàn)回報獲得分裂點,進一步包括:
8.根據(jù)權(quán)利要求7所述的基于分布式邊緣云的高效大語言模型推理方法,其特征在于,所述解碼層網(wǎng)絡(luò)根據(jù)所述工作負(fù)載序列、所述最有效靜態(tài)特征編碼器層輸出的編碼參數(shù)得到預(yù)測工作負(fù)載,進一步包括:
9.一種計算機設(shè)備,其特征在于,包括存儲器和處理器,所述存儲器中存儲有計算機可讀指令,所述計算機可讀指令被所述處理器執(zhí)行時,使得所述處理器執(zhí)行如權(quán)利要求1至8中任一項所述的基于分布式邊緣云的高效大語言模型推理方法的步驟。
10.一種存儲有計算機可讀指令的存儲介質(zhì),其特征在于,所述計算機可讀指令被一個或多個處理器執(zhí)行時,使得一個或多個處理器執(zhí)行如權(quán)利要求1至8中任一項所述的基于分布式邊緣云的高效大語言模型推理方法的步驟。