本發(fā)明屬于信息，具體涉及一種基于數(shù)字孿生的noma輔助云邊端通信計算方法。

背景技術(shù)：

1、隨著工業(yè)互聯(lián)網(wǎng)（industrial?internet?of?things,?iiot）的快速普及和智能制造的不斷發(fā)展，海量異構(gòu)終端實時產(chǎn)生大量計算任務(wù)，極大地加劇了對計算資源的需求，促使計算資源的調(diào)度與分配變得愈加重要。邊緣計算與云計算等新興計算范式為協(xié)同計算提供了有效選擇，顯著緩解了資源有限終端的計算壓力，并提升了任務(wù)處理能力。目前，主流的任務(wù)卸載方案利用邊緣計算解決資源分配與任務(wù)卸載問題。然而，海量資源密集型與延遲敏感型任務(wù)的計算壓力使得單一卸載模式難以應(yīng)對，因此，云邊端協(xié)同架構(gòu)融合了云計算與邊緣計算的優(yōu)勢，越來越受到廣泛研究與應(yīng)用。

2、在這一背景下，云邊端協(xié)同方案對低延遲和高可靠的通信方式提出了更高要求，同時，工業(yè)互聯(lián)網(wǎng)場景的不可預(yù)測性也給協(xié)同計算帶來了挑戰(zhàn)。其中，非正交多址（non-orthogonal?multiple?access,?noma）通信技術(shù)被認為是可以使多個用戶處于同一頻段，通過利用連續(xù)干擾消除技術(shù)（successive?interference?cancellation,?sic）來減輕同信道干擾。數(shù)字孿生技術(shù)能夠?qū)崟r監(jiān)控物理實體，構(gòu)建高度仿真的虛擬模型，為智能制造中實時精確調(diào)度通信計算資源提供新解決方案。然而，新型技術(shù)與云邊端通信計算方法的融合仍面臨挑戰(zhàn)，并且復(fù)雜問題模型需要智能高效的優(yōu)化算法支持。

3、例如公開號為cn?116886703?a的中國發(fā)明專利，公開一種基于優(yōu)先級和強化學(xué)習(xí)的云邊端協(xié)作計算卸載方法，提出了一種應(yīng)用于物聯(lián)網(wǎng)場景的云邊端協(xié)作計算卸載方法，該專利在問題模型構(gòu)建上，（1）沒有考慮終端以及邊緣服務(wù)器在計算資源以及qos需求等方面的異構(gòu)性，缺乏對于邊緣服務(wù)器負載均衡問題的考量，導(dǎo)致在實際應(yīng)用中，造成部分邊緣服務(wù)器過載而另一部分閑置，資源利用率低并且可能影響卸載成功率，進一步影響系統(tǒng)整體性能。（2）卸載方式為二進制卸載，而不是比例卸載，沒有充分體現(xiàn)云邊端多層協(xié)同任務(wù)處理的能力，簡單卸載方式無法適應(yīng)復(fù)雜的應(yīng)用場景，限制了系統(tǒng)的靈活性和擴展性，對于通信技術(shù)沒有創(chuàng)新，采用傳統(tǒng)的無線通信方式，并且沒有考慮邊緣與終端的通信安全問題，無法滿足大規(guī)模鏈接要求的低延遲高可靠通信。（3）使用傳統(tǒng)的深度學(xué)習(xí)算法，缺乏動態(tài)自適應(yīng)性和可擴展性，面對工業(yè)互聯(lián)網(wǎng)實時動態(tài)變化的場景以及大規(guī)模連接，無法在短時間內(nèi)完成調(diào)度策略制定，限制其技術(shù)的應(yīng)用潛力。

4、例如，公開號為cn?117591297?a的中國發(fā)明專利，公開一種面向智慧社區(qū)的基于ddpg的邊緣計算卸載方法，提出了一種面向智慧社區(qū)的邊緣計算卸載方法，但是該專利，（1）未充分考慮終端設(shè)備的異構(gòu)性問題，所有設(shè)備任務(wù)的卸載方式均采用二進制卸載，簡單的卸載方式在復(fù)雜應(yīng)用中無法適應(yīng)不同設(shè)備任務(wù)的計算能力和資源需求，導(dǎo)致資源利用率低下。（2）在協(xié)作邊緣服務(wù)器進行任務(wù)卸載時，未考慮身份驗證問題，存在潛在的安全隱患。此外，采用的通信方式僅為簡單的基礎(chǔ)無線通信，缺乏創(chuàng)新和技術(shù)突破，未能提供足夠的安全保障和通信效率。（3）社區(qū)服務(wù)器在獲取全局信息時，缺乏必要的技術(shù)支撐，導(dǎo)致全局信息更新不及時。此外，專利中所使用的ddpg算法在面對大規(guī)模接入的場景下，因高維狀態(tài)空間和動作空間的存在，處理效率不足，時效性問題限制了算法的實際應(yīng)用。

5、因此，需要針對工業(yè)互聯(lián)網(wǎng)中資源有限的異構(gòu)終端實時產(chǎn)生的計算密集型以及資源節(jié)約型計算任務(wù)的處理問題設(shè)計云邊端通信計算方法。

技術(shù)實現(xiàn)思路

1、本發(fā)明針對上述背景技術(shù)的不足，提供一種基于數(shù)字孿生的noma輔助云邊端通信計算方法，提出了一種應(yīng)用于工業(yè)互聯(lián)網(wǎng)的云邊端協(xié)同通信計算方法。該方法結(jié)合noma通信技術(shù)構(gòu)建多層通信計算結(jié)構(gòu)，在考慮終端異構(gòu)性和邊緣服務(wù)器負載均衡的基礎(chǔ)上，構(gòu)建問題模型。通過數(shù)字孿生實現(xiàn)對物理實體的實時監(jiān)測與模擬，利用改進的多智能體深度強化學(xué)習(xí)算法maddpg算法進行資源分配與任務(wù)卸載策略的學(xué)習(xí)與制定，最終降低系統(tǒng)的時間延遲與能量消耗，實現(xiàn)安全高效的資源分配與任務(wù)卸載。

2、本發(fā)明的目的通過以下技術(shù)方案來實現(xiàn)，提供一種基于數(shù)字孿生的noma輔助云邊端通信計算方法，所述方法包括以下步驟：

3、步驟s1，構(gòu)建云邊端協(xié)同通信計算架構(gòu)，

4、s1.1，建立工業(yè)場景下的物理層，包含云邊端三層，云層是具有強大計算能力的云服務(wù)器，邊緣層包括具有不同計算能力以及負載能力的邊緣服務(wù)器，終端層包括不同工業(yè)場景下的終端，

5、s1.2，通過對物體實體的實時監(jiān)測，依據(jù)物理實體的數(shù)據(jù)映射構(gòu)建相應(yīng)的數(shù)字孿生體，即數(shù)字層，物理層、數(shù)字層實時交互信息；

6、步驟s2，根據(jù)構(gòu)建的云邊端協(xié)同通信計算架構(gòu)，考慮終端異構(gòu)性、邊緣服務(wù)器負載均衡性問題，對終端實時產(chǎn)生的計算任務(wù)進行部分卸載，選擇將卸載部分傳輸至本地邊緣服務(wù)器進行計算，或選擇將本地邊緣服務(wù)器作為中繼節(jié)點，進一步傳輸至第三方邊緣服務(wù)器或是云服務(wù)器進行協(xié)同計算，同時考慮邊緣計算的安全性問題，將問題公式化，并構(gòu)建資源分配與任務(wù)卸載決策的優(yōu)化目標以及相應(yīng)的約束條件；

7、步驟s3，將優(yōu)化目標以及相應(yīng)的約束條件轉(zhuǎn)化為多智能體mdp；

8、步驟s4，在數(shù)字層利用多智能體深度強化學(xué)習(xí)算法maddpg求解多智能體mdp，實現(xiàn)考慮負載均衡的調(diào)度策略制定，并與物理層實時交互完成策略下發(fā)，實現(xiàn)云邊端協(xié)同的通信計算。

9、優(yōu)選的，步驟s1中，物理層包含個終端、個邊緣服務(wù)器和一個云服務(wù)器，終端和邊緣服務(wù)器分別用集合??和表示，數(shù)字層構(gòu)建為。

10、優(yōu)選的，步驟s2中，考慮終端異構(gòu)性和邊緣服務(wù)器負載均衡性問題，具體如下：

11、終端實時產(chǎn)生計算任務(wù)，第個終端上生成的任務(wù)參數(shù)表示為，表示生成任務(wù)數(shù)據(jù)量，表示該任務(wù)執(zhí)行計算所需要的cpu周期數(shù)，表示該任務(wù)能夠接受的最大計算時間延遲；

12、任務(wù)卸載實行部分比例卸載，將任務(wù)分割成兩個不相干的部分，將按任務(wù)分割比例分割的任務(wù)卸載給邊緣服務(wù)器或云服務(wù)器進行計算協(xié)同計算，本地計算的任務(wù)定義為，

13、

14、

15、其中，表示本地計算任務(wù)的數(shù)據(jù)量大小，表示本地計算任務(wù)所需要的cpu周期數(shù)，

16、將卸載到邊緣服務(wù)器或云服務(wù)器的任務(wù)定義為：

17、

18、

19、其中，表示任務(wù)分割比例，，表示任務(wù)卸載數(shù)據(jù)量大小，表示卸載計算部分所需的cpu周期數(shù)；

20、每個邊緣服務(wù)器范圍覆蓋固定數(shù)量的終端，終端首先將部分任務(wù)卸載數(shù)據(jù)通過noma通信傳輸卸載到其對應(yīng)的本地邊緣服務(wù)器上，后續(xù)選擇將任務(wù)在本地邊緣服務(wù)器上計算，或是將本地服務(wù)器做為中繼節(jié)點，將任務(wù)進一步卸載到第三方邊緣服務(wù)器或云服務(wù)器上進行計算，任務(wù)最終只能在一個邊緣服務(wù)器上或是在云服務(wù)器上進行計算，任務(wù)卸載關(guān)聯(lián)系數(shù)用表示，二進制變量用以表示邊緣服務(wù)器遷移以及卸載至云服務(wù)器，具體表達如下：

21、。

22、優(yōu)選的，步驟s2中，所述的資源分配分配與任務(wù)卸載決策的優(yōu)化目標以及相應(yīng)的約束條件，具體如下：

23、

24、

25、

26、

27、

28、

29、

30、

31、其中，為云邊端協(xié)同任務(wù)卸載的總成本，為總的時間延遲，為總能量消耗，和分別為時延權(quán)重因子和能耗權(quán)重因子，并且，為第個終端生成的任務(wù)能夠接受的最大計算時間延遲，為任務(wù)分割比例，為邊緣服務(wù)器遷移以及卸載至云服務(wù)器的二進制變量，表示卸載計算部分所需的cpu周期數(shù)，為第個邊緣服務(wù)器所能負載的最大計算量，為功率分配系數(shù)，為個終端的集合，為個邊緣服務(wù)器的集合；

32、為最大時延約束，表示任務(wù)分割比約束，為設(shè)備二進制關(guān)聯(lián)，表示單一卸載關(guān)聯(lián)，表示邊緣負載約束，和表示功率分配系數(shù)約束。

33、優(yōu)選的，步驟s2中，構(gòu)建資源分配與任務(wù)卸載決策的優(yōu)化目標以及相應(yīng)的約束條件，具體步驟如下：

34、s2.1，構(gòu)建認證模型，將計算任務(wù)卸載至第三方邊緣服務(wù)器進行協(xié)同計算采用數(shù)字證書和唯一簽名進行雙邊身份驗證；

35、s2.2，構(gòu)建通信模型

36、1）終端到邊緣服務(wù)器卸載

37、將同一邊緣服務(wù)器覆蓋范圍下的終端分組到同一個noma集群中，同一noma集群的終端在一個相同的子信道上多路復(fù)用以進行任務(wù)數(shù)據(jù)卸載傳輸，假設(shè)有個終端在第個邊緣服務(wù)器覆蓋范圍內(nèi)，將noma集群中的終端按照信道增益升序排序，終端發(fā)送信號為，則邊緣基站接收到的信號為：

38、

39、其中，為第個noma集群向邊緣服務(wù)器傳輸?shù)陌l(fā)射功率，通過功率分配系數(shù)乘以總發(fā)射功率計算得到，為接收機處的高斯白噪聲；

40、接收端使用干擾消除技術(shù)順序接收信息，首先對信道質(zhì)量好的終端進行解碼，解碼完成后從疊加信號中減去，然后對信道質(zhì)量次的終端進行解碼，則第個終端的信噪比為：

41、

42、其中，為加性高斯白噪聲的噪聲功率，

43、第個終端發(fā)送到第個本地邊緣服務(wù)器的通信速率為：

44、

45、第個終端發(fā)送到第個本地邊緣服務(wù)器的通信數(shù)據(jù)傳輸時延為：

46、

47、其中，表示任務(wù)卸載數(shù)據(jù)量大??；

48、如果任務(wù)從本地邊緣服務(wù)器遷移到第三方邊緣服務(wù)器卸載計算，則需要考慮遷移所需數(shù)據(jù)傳輸時延，邊緣服務(wù)器之間采用光纖鏈路通信：

49、

50、其中，表示光纖鏈路傳輸速率；

51、終端將任務(wù)卸載到第三方邊緣服務(wù)器上進行計算，需要獲取終端與第三方邊緣服務(wù)器之間的身份認證，因此，總的遷移時延為：

52、其中，表示獲取認證所消耗的時間；

53、則終端將任務(wù)卸載到邊緣服務(wù)器上進行計算的總通信時延為：

54、

55、其中，為邊緣服務(wù)器遷移的二進制變量，

56、通信傳輸能耗表示為：

57、

58、其中，表示獲取認證所需能耗，本地邊緣服務(wù)器傳輸至第三方邊緣服務(wù)器的單位時間能量消耗；

59、2）終端到云服務(wù)器卸載：

60、終端將部分任務(wù)卸載到云服務(wù)器計算包含終端到本地邊緣服務(wù)器以及本地邊緣服務(wù)器到云服務(wù)器兩段傳輸，第個終端將任務(wù)卸載到云服務(wù)器的總數(shù)據(jù)傳輸時延為：

61、

62、邊緣服務(wù)器到云服務(wù)器傳輸同樣采用光纖鏈路傳輸，邊緣服務(wù)器到云服務(wù)器的數(shù)據(jù)傳輸時延：

63、

64、其中，表示邊緣服務(wù)器與云服務(wù)器之間的通信速率；

65、任務(wù)從邊緣服務(wù)器卸載到云服務(wù)器的傳輸能耗：

66、

67、其中，表示邊緣服務(wù)器向云服務(wù)器光纖鏈路傳輸?shù)墓β剩?/p>

68、s2.3，構(gòu)建計算模型

69、1）本地計算

70、在計算模型構(gòu)建時需要考慮構(gòu)建數(shù)字層與物理層之間的數(shù)據(jù)偏差，表示數(shù)字層中本地計算的cpu頻率，數(shù)字層與物理層計算資源的偏差值為，則本地任務(wù)計算時間為：

71、

72、本地計算的能量消耗計算為：

73、

74、其中，表示第個終端進行本地計算芯片的有效開關(guān)電容；表示本地計算任務(wù)所需要的cpu周期數(shù)；

75、2）邊緣計算

76、本地邊緣服務(wù)器的任務(wù)計算卸載任務(wù)時間與能耗分別為：

77、

78、

79、其中，表示本地邊緣服務(wù)器處理一個cpu周期的能量消耗，表示數(shù)字層中本地邊緣服務(wù)器計算的cpu頻率，數(shù)字層與物理層計算資源的偏差值；

80、遷移第三方邊緣服務(wù)器計算卸載任務(wù)時間與能耗分別為：

81、

82、

83、其中，表示數(shù)字層中第三方邊緣服務(wù)器計算的cpu頻率，為數(shù)字層與物理層計算資源的偏差值，表示第三方邊緣服務(wù)器處理一個cpu周期的能量消耗；

84、故邊緣計算的總時間延遲為：

85、

86、邊緣計算的總能耗為：

87、

88、3）云計算

89、云服務(wù)器計算卸載任務(wù)時間為：

90、

91、其中，表示數(shù)字層中云服務(wù)器計算的cpu頻率，數(shù)字層與物理層計算資源的偏差值為；

92、云服務(wù)器的計算能耗為：

93、

94、其中，表示云服務(wù)器處理一個cpu周期的能量消耗；

95、s2.4，考慮在云邊端協(xié)同方法中計算任務(wù)執(zhí)行與數(shù)據(jù)傳輸通信并行進行，故總的時間延遲：

96、

97、其中，為終端層的總時間延遲，為邊緣層的總時間延遲，為云層的總時間延遲；

98、

99、

100、

101、總能量消耗為：

102、

103、其中，為數(shù)據(jù)傳輸能耗，為任務(wù)執(zhí)行能耗，

104、

105、

106、優(yōu)選的，步驟s2.1構(gòu)建認證模型，具體如下：

107、步驟s2.1，終端和第三方邊緣服務(wù)器向可信機構(gòu)發(fā)送申請證書請求；

108、步驟s2.2，可信機構(gòu)生成并簽發(fā)證書，證書包括過期時間、用戶id和用戶公鑰；

109、步驟s2.3，獲取證書后，終端和第三方邊緣服務(wù)器交換證書；

110、步驟s2.4，終端簽名認證信息和隨機數(shù)，并發(fā)送至第三方邊緣服務(wù)器；

111、步驟s2.5，第三方邊緣服務(wù)器收到后驗證消息并回復(fù)；

112、步驟s2.6，終端收到回復(fù)后驗證并響應(yīng)，完成認證。

113、優(yōu)選的，步驟s3中，將優(yōu)化目標以及相應(yīng)的約束條件轉(zhuǎn)化為多智能體mdp，具體為：

114、步驟s3.1，每個終端的數(shù)字孿生體作為一個單獨的智能體，并且最終整體協(xié)同獲得最小的系統(tǒng)成本，個智能體的mdp用一個元組表示，描述環(huán)境的狀態(tài)，通過數(shù)字孿生部署共享到的全局信息，表示所有智能體的動作空間合集，為個體智能體的獎勵值集合，代表當前狀態(tài)下執(zhí)行動作的收益，為轉(zhuǎn)移到下一狀態(tài)的概率；

115、步驟s3.2，狀態(tài)空間：狀態(tài)空間為所有智能體對環(huán)境的觀測值的集合，觀測值包括終端生成任務(wù)的數(shù)據(jù)量以及任務(wù)，依據(jù)各終端對時延以及能耗敏感程度生成的二者加權(quán)系數(shù)集合，終端、邊緣服務(wù)器以及云服務(wù)器的計算能力，數(shù)字孿生與實際物理實體之間的偏差以及發(fā)射功率分配情況，以及從邊緣服務(wù)器的以及云服務(wù)器數(shù)字孿生體返回的關(guān)聯(lián)終端情況；

116、步驟s3.2，動作空間：動作空間為所有智能體動作空間的集合，每個智能體的動作空間包括任務(wù)分割比例、功率分配系數(shù)、關(guān)聯(lián)卸載方式：

117、

118、其中，<msub><mi>γ</mi><mi>m</mi></msub><mi>(t)</mi><mi>∈[0,1]</mi>，<msub><mi>λ</mi><mi>k</mi></msub><mi>(t)</mi><mi>∈[0,1]</mi>，；表示智能體在時間的任務(wù)分割比例，表示第個子信道在時間的功率分配系數(shù)，表示在時間t內(nèi)邊緣服務(wù)器遷移以及卸載至云服務(wù)器的二進制變量；

119、步驟s3.3，獎勵函數(shù)：

120、

121、其中，為總的時間延遲，為總能量消耗，、分別為時延權(quán)重因子、能耗權(quán)重因子，，分別為時延懲罰、負載均衡懲罰。

122、優(yōu)選的，步驟s4，在數(shù)字層利用多智能體深度強化學(xué)習(xí)maddpg算法求解多智能體mdp，實現(xiàn)考慮負載均衡的調(diào)度策略制定，并與物理層實時交互完成策略下發(fā)，實現(xiàn)云邊端協(xié)同的通信計算，具體如下：

123、步驟s4.1，初始化：在多智能體深度強化學(xué)習(xí)算法maddpg中，每個終端對應(yīng)一個智能體，每個智能體擁有一個演員網(wǎng)絡(luò)和評論家網(wǎng)絡(luò)，初始化每個智能體的演員網(wǎng)絡(luò)和評論家網(wǎng)絡(luò)以及對應(yīng)的目標網(wǎng)絡(luò)，為每個智能體分配經(jīng)驗池以存儲交互經(jīng)驗；

124、步驟s4.2，調(diào)度策略生成：每個調(diào)度周期開始時，根據(jù)狀態(tài)空間生成調(diào)度策略，每個智能體試用其演員網(wǎng)絡(luò)選擇其動作，包括任務(wù)分割比，功率分配系數(shù)以及關(guān)聯(lián)卸載方式；

125、步驟s4.3，任務(wù)執(zhí)行與經(jīng)驗存儲：數(shù)字層將調(diào)度策略下發(fā)至物理層，根據(jù)其實際情況進行實時反饋，智能體將經(jīng)驗整合存儲至經(jīng)驗池；

126、步驟s4.4，策略優(yōu)化：智能體從經(jīng)驗池中隨機采樣多組經(jīng)驗數(shù)據(jù)，通過計算最小損失函數(shù)更新評論家網(wǎng)絡(luò)，而后通過最大化評論家網(wǎng)絡(luò)對當前調(diào)度策略的評估值更新演員網(wǎng)絡(luò)；

127、步驟s4.5，軟更新：每隔一段時間對目標網(wǎng)絡(luò)進行軟更新，通過軟更新系數(shù)逐步逼近當前網(wǎng)絡(luò)參數(shù)，確保策略更新過程的穩(wěn)定性；

128、步驟s4.6，策略制定后下發(fā)到物理層進行實施，完成整體的調(diào)度工作。

129、本發(fā)明具有以下技術(shù)效果：（1）提出基于數(shù)字孿生的noma異構(gòu)云邊端協(xié)同通信計算模型，邊緣計算和云計算協(xié)同應(yīng)用到工業(yè)互聯(lián)網(wǎng)任務(wù)處理中，豐富卸載模式，緩解終端的計算壓力，結(jié)合noma實現(xiàn)大規(guī)模接入和高頻譜利用率的通信互聯(lián)，提升吞吐量和頻率利用率，利用數(shù)字孿生技術(shù)對物理實體進行實時監(jiān)控模擬，構(gòu)建相應(yīng)的數(shù)字孿生體，在數(shù)字層完成策略制定并與物理層交互下發(fā)，實現(xiàn)實時動態(tài)的策略制定。

130、(2)綜合考慮時間延遲和能量消耗，構(gòu)建了資源分配以及任務(wù)卸載的問題模型，充分考慮異構(gòu)終端qos需求以及協(xié)同邊緣計算的安全性問題，針對延遲敏感型及資源節(jié)約型任務(wù)制定不同的卸載策略，對于邊緣服務(wù)器遷移采用密鑰安全認證，并在問題模型構(gòu)建上考慮數(shù)字孿生體與物理實體之間的偏差，提升問題模型的安全性以及準確性，滿足異構(gòu)終端的qos需求。

131、(3)利用改進的多智能體深度強化學(xué)習(xí)算法maddpg完成資源分配以及任務(wù)卸載策略制定，充分考慮邊緣服務(wù)器負載均衡問題，每個終端作為單獨的智能體，通過數(shù)字孿生網(wǎng)絡(luò)共享全局狀態(tài)信息，每個智能體可以獨立進行卸載策略制定，最終交互形成應(yīng)用于物理層的全局調(diào)度策略，在負載均衡的基礎(chǔ)上總體降低系統(tǒng)的時間延遲以及能量消耗。