本發(fā)明涉及物聯(lián)網(wǎng)，尤其涉及一種基于分布式邊緣云的高效大語言模型推理方法、設(shè)備和存儲介質(zhì)。

背景技術(shù)：

1、隨著萬物互聯(lián)時代到來以及5g通信網(wǎng)絡(luò)普及，互聯(lián)網(wǎng)數(shù)據(jù)規(guī)模呈現(xiàn)指數(shù)級增長。邊緣云的超低時延、海量數(shù)據(jù)、邊緣智能等特性促使更多的企業(yè)選擇邊緣云技術(shù)方案的原因，也使得邊緣云計(jì)算在市場中成為構(gòu)筑在中心云與終端之間的重要組成。大型語言模型（llm）的出現(xiàn)引起了公眾、工業(yè)界和學(xué)術(shù)界的廣泛關(guān)注，代表了人工智能（ai）的重大突破。llm的出色能力使其在廣泛的應(yīng)用中具有價值和良好的性能，從聊天機(jī)器人和內(nèi)容生成（例如，文本匯總和代碼生成），以輔助教育和研究的工具。在此背景下，傳統(tǒng)的云計(jì)算的中心化架構(gòu)已經(jīng)無法滿足終端用戶對于時效、容量、算力的需求。

2、隨著人工智能技術(shù)的飛速發(fā)展，越來越多的應(yīng)用場景需要在邊緣側(cè)進(jìn)行實(shí)時、高效的數(shù)據(jù)處理與決策，這推動了大模型邊緣部署的需求快速增長。目前市場規(guī)模尚未達(dá)到巨大，但隨著邊緣計(jì)算設(shè)備的性能持續(xù)提升和算法優(yōu)化技術(shù)的突破。llm如此令人印象深刻的生成潛力源于其具有數(shù)十億神經(jīng)元的復(fù)雜結(jié)構(gòu)，這導(dǎo)致了資源密集型的訓(xùn)練和推理。因此，llm主要托管在云中。然而，這種集中化的方法帶來了隱私問題、使用限制和延遲等挑戰(zhàn)，阻礙了gai的更廣泛接受。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明的目的是為了解決現(xiàn)有技術(shù)中存在的缺點(diǎn)，而提供了一種基于分布式邊緣云的高效大語言模型推理方法，包括以下步驟：

2、s1：將用戶設(shè)備ue和邊緣節(jié)點(diǎn)en根據(jù)深度優(yōu)先搜索樹分配到包括gpu優(yōu)先組、內(nèi)存優(yōu)先組和混合組的分類群組；

3、s2：馬爾可夫決策過程根據(jù)訓(xùn)練集得到分裂點(diǎn)，根據(jù)所述分裂點(diǎn)將推理模型進(jìn)行劃分得到劃分模型，并將所述劃分模型部署到在所述分類群組的每一個組中，得到優(yōu)化模型；

4、s3：將測試集輸入到所述優(yōu)化模型進(jìn)行推理得到推理結(jié)果。

5、優(yōu)選地，在步驟s1中，所述將用戶設(shè)備ue和邊緣節(jié)點(diǎn)en根據(jù)深度優(yōu)先搜索樹分配到包括gpu優(yōu)先組、內(nèi)存優(yōu)先組和混合組的分類群組，包括以下步驟：

6、s11：所述用戶設(shè)備和所述邊緣節(jié)點(diǎn)根據(jù)gpu性能和/或內(nèi)存容量構(gòu)建所述深度優(yōu)先搜索樹；

7、s12：在所述深度優(yōu)先搜索樹中選取若干gpu性能好的所述用戶設(shè)備和/或所述邊緣節(jié)點(diǎn)加入gpu優(yōu)先組，并選取若干內(nèi)存容量大的所述用戶設(shè)備和/或所述邊緣節(jié)點(diǎn)加入內(nèi)存優(yōu)先組；

8、s13:從所述gpu優(yōu)先組和所述內(nèi)存優(yōu)先組中選擇所述用戶設(shè)備和/或所述邊緣節(jié)點(diǎn)加入所述混合組。

9、優(yōu)選地，在步驟s2中，所述馬爾可夫決策過程根據(jù)訓(xùn)練集得到分裂點(diǎn)，根據(jù)所述分裂點(diǎn)將推理模型進(jìn)行劃分得到劃分模型，進(jìn)一步包括：

10、所述策略梯度強(qiáng)化ppo獲得所述訓(xùn)練集，根據(jù)策略網(wǎng)絡(luò)和價值函數(shù)網(wǎng)絡(luò)獲得預(yù)期貼現(xiàn)回報；

11、所述馬爾可夫決策過程根據(jù)所述預(yù)期貼現(xiàn)回報獲得分裂點(diǎn)。

12、優(yōu)選地，所述策略梯度強(qiáng)化ppo獲得所述訓(xùn)練集，根據(jù)策略網(wǎng)絡(luò)和價值函數(shù)網(wǎng)絡(luò)獲得預(yù)期貼現(xiàn)回報，進(jìn)一步包括：

13、所述策略梯度強(qiáng)化ppo獲得所述訓(xùn)練集，所述策略網(wǎng)絡(luò)根據(jù)所述訓(xùn)練集計(jì)算當(dāng)前策略參數(shù)和上次策略參數(shù)，根據(jù)所述當(dāng)前策略參數(shù)和所述上次策略參數(shù)計(jì)算策略比率；

14、根據(jù)所述價值函數(shù)網(wǎng)絡(luò)計(jì)算參數(shù)，根據(jù)所述參數(shù)通過廣義估計(jì)優(yōu)勢計(jì)算優(yōu)勢估計(jì)，根據(jù)所述優(yōu)勢估計(jì)來限制策略更新幅度；

15、截?cái)啻砟繕?biāo)函數(shù)根據(jù)所述策略比率和所述優(yōu)勢估計(jì)得到預(yù)期貼現(xiàn)回報。

16、優(yōu)選地，所述根據(jù)所述參數(shù)通過廣義估計(jì)優(yōu)勢計(jì)算優(yōu)勢估計(jì)，根據(jù)所述優(yōu)勢估計(jì)來限制策略更新幅度，進(jìn)一步包括：

17、通過廣義估計(jì)優(yōu)勢計(jì)算優(yōu)勢估計(jì)，所述優(yōu)勢估計(jì)的計(jì)算公式如下：

18、其中，表示時間差異誤差，是折扣因子，是控制偏差-方差權(quán)衡的gae參數(shù)，是當(dāng)前時刻的狀態(tài)，是時間步長的索引。

19、優(yōu)選地，截?cái)啻砟繕?biāo)函數(shù)根據(jù)所述優(yōu)勢估計(jì)和所述策略估計(jì)得到預(yù)期貼現(xiàn)回報，進(jìn)一步包括：

20、根據(jù)所述截?cái)啻砟繕?biāo)函數(shù)獲得代理目標(biāo)，根據(jù)所述代理目標(biāo)得到所述預(yù)期貼現(xiàn)回報，所述截?cái)啻砟繕?biāo)函數(shù)的計(jì)算公式如下：

21、

22、其中，表示所述訓(xùn)練集的策略參數(shù)，為當(dāng)前時刻的動作，為當(dāng)前時刻的狀態(tài)，為超參數(shù)，為策略比率，通過確保策略比率不會顯著偏離1，以防止大的、不穩(wěn)定的更新；

23、其中，截?cái)啻砟繕?biāo)根據(jù)所述階段代理目標(biāo)函數(shù)更新策略參數(shù)，根據(jù)所述更新策略參數(shù)計(jì)算預(yù)期貼現(xiàn)回報，所述更新策略參數(shù)的計(jì)算公式如下：

24、

25、其中，為學(xué)習(xí)率。

26、優(yōu)選地，所述馬爾可夫決策過程根據(jù)所述預(yù)期貼現(xiàn)回報獲得分裂點(diǎn)，進(jìn)一步包括：

27、所述預(yù)期貼現(xiàn)回報近似于長期總體目標(biāo)，根據(jù)所述長期總體目標(biāo)計(jì)算未來狀態(tài)；

28、根據(jù)所述未來狀態(tài)計(jì)算在ue網(wǎng)絡(luò)的獎勵，根據(jù)所述獎勵獲得分裂點(diǎn)，其中所述獎勵的計(jì)算公式為：

29、?所述馬爾可夫決策過程是由一個元組組成，其中，狀態(tài)空間包含噪聲強(qiáng)度、瑞利衰落尺度和當(dāng)前分裂點(diǎn)在內(nèi)的關(guān)鍵因素，即，動作空間包含將所述分裂點(diǎn)向上移動或向下移動三種可能的動作，或者保持當(dāng)前的分裂點(diǎn)0，數(shù)學(xué)上，,對于時間步長，給定狀態(tài)下的動作，環(huán)境狀態(tài)將根據(jù)轉(zhuǎn)移概率p，也即分裂點(diǎn)p過渡到下一個狀態(tài)，這取決于選擇的動作和實(shí)時通道條件。

30、優(yōu)選地，所述解碼層網(wǎng)絡(luò)根據(jù)所述工作負(fù)載序列、所述最有效靜態(tài)特征編碼器層輸出的編碼參數(shù)得到預(yù)測工作負(fù)載，進(jìn)一步包括：

31、其中，所述長期總體目標(biāo)的計(jì)算公式如下：

32、

33、其中，為參數(shù)，折扣因子涉及未來獎勵的重要性，且折扣因子學(xué)習(xí)由?參數(shù)化的策略參數(shù)以獲得所述長期總體目標(biāo)的計(jì)算公式的最大值。

34、基于相同的構(gòu)思本發(fā)明還提供了一種計(jì)算機(jī)設(shè)備，包括存儲器和處理器，所述存儲器中存儲有計(jì)算機(jī)可讀指令，所述計(jì)算機(jī)可讀指令被所述處理器執(zhí)行時，使得所述處理器執(zhí)行如實(shí)施例中任一項(xiàng)所述的基于分布式邊緣云的高效大語言模型推理方法的步驟。

35、基于相同的構(gòu)思本發(fā)明還提供了一種存儲有計(jì)算機(jī)可讀指令的存儲介質(zhì)，所述計(jì)算機(jī)可讀指令被一個或多個處理器執(zhí)行時，使得一個或多個處理器執(zhí)行如實(shí)施例中任一項(xiàng)所述的基于分布式邊緣云的高效大語言模型推理方法的步驟。

36、與現(xiàn)有技術(shù)相比，本發(fā)明的有益效果是：

37、本發(fā)明通過將用戶設(shè)備ue和邊緣節(jié)點(diǎn)en根據(jù)深度優(yōu)先搜索樹分配到包括gpu優(yōu)先組、內(nèi)存優(yōu)先組和混合組的分類群組，在充分利用異構(gòu)設(shè)備的情況下加快了推理速度，并通過深度優(yōu)先搜索樹提高了邊緣計(jì)算環(huán)境中大型語言模型推理的性能，還確保了在滿足復(fù)雜用戶需求的同時優(yōu)化資源使用，展示了在實(shí)際部署中的高效性和實(shí)用。

38、本發(fā)明通過將馬爾可夫決策過程根據(jù)訓(xùn)練集得到分裂點(diǎn)，根據(jù)所述分裂點(diǎn)將推理模型進(jìn)行劃分得到劃分模型，并將劃分模型部署到在所述分類群組的每一個組中，從而降低用戶設(shè)備的負(fù)載。

39、本發(fā)明通過將預(yù)期貼現(xiàn)回報近似于長期總體目標(biāo)，實(shí)現(xiàn)計(jì)算效率的大幅提高，使rl代理能夠靈活地適應(yīng)不斷變化的部署環(huán)境。