本申請涉及通信，具體而言，涉及一種通信參數(shù)調(diào)整方法及裝置、計(jì)算機(jī)程序產(chǎn)品、網(wǎng)絡(luò)設(shè)備。

背景技術(shù)：

1、隨著無線通信技術(shù)的飛速發(fā)展，衛(wèi)星通信和地面通信在不同場景下有其各自的優(yōu)勢所在，為了使得用戶設(shè)備在網(wǎng)絡(luò)內(nèi)的業(yè)務(wù)不中斷，需要確保用戶設(shè)備在不同的網(wǎng)絡(luò)下可以實(shí)現(xiàn)平滑切換，以提升通信的連續(xù)性和穩(wěn)定性。

2、而為了達(dá)到上述目的，相關(guān)技術(shù)人員通常僅是通過人為經(jīng)驗(yàn)，根據(jù)環(huán)境參數(shù)調(diào)整終端在當(dāng)前環(huán)境下的通信方式，如在網(wǎng)絡(luò)質(zhì)量較好的區(qū)域(如商場、小區(qū)、校園等地面網(wǎng)絡(luò)覆蓋較好的區(qū)域)將通信方式從衛(wèi)星通信調(diào)整為地面通信，而在網(wǎng)絡(luò)質(zhì)量較差的區(qū)域(如偏遠(yuǎn)地區(qū)、水域區(qū)域、邊境區(qū)域等地面網(wǎng)絡(luò)覆蓋不佳的區(qū)域)將通信方式從地面通信調(diào)整為衛(wèi)星通信，從而向用戶設(shè)備提供較好的網(wǎng)絡(luò)服務(wù)，然而這種調(diào)整無法對通信方式相關(guān)的通信參數(shù)進(jìn)行同步調(diào)整，使得調(diào)整后的通信方式在通信成本、通信質(zhì)量、網(wǎng)絡(luò)擁塞程度等方面表現(xiàn)較差，從而導(dǎo)致用戶體驗(yàn)感較差。

3、針對上述的問題，目前尚未提出有效的解決方案。

技術(shù)實(shí)現(xiàn)思路

1、本申請實(shí)施例提供了一種通信參數(shù)調(diào)整方法及裝置、計(jì)算機(jī)程序產(chǎn)品、網(wǎng)絡(luò)設(shè)備，以至少解決相關(guān)技術(shù)無法對終端的通信參數(shù)進(jìn)行智能調(diào)整，導(dǎo)致調(diào)整通信參數(shù)后的通信指標(biāo)較差的技術(shù)問題。

2、根據(jù)本申請實(shí)施例的一個方面，提供了一種通信參數(shù)調(diào)整方法，包括：獲取目標(biāo)終端所在區(qū)域的環(huán)境參數(shù)及所述目標(biāo)終端在所述區(qū)域內(nèi)的通信參數(shù)；利用預(yù)訓(xùn)練的通信參數(shù)調(diào)整決策模型對環(huán)境參數(shù)進(jìn)行分析，得到使網(wǎng)絡(luò)的多項(xiàng)通信指標(biāo)均滿足預(yù)設(shè)的指標(biāo)要求的通信參數(shù)調(diào)整策略，其中，通信參數(shù)調(diào)整決策模型是基于預(yù)設(shè)的強(qiáng)化學(xué)習(xí)算法訓(xùn)練所得，通信指標(biāo)至少包括：通信質(zhì)量指標(biāo)、網(wǎng)絡(luò)擁塞指標(biāo)、通信成本指標(biāo)；按照通信參數(shù)調(diào)整策略對通信參數(shù)進(jìn)行調(diào)整。

3、可選地，環(huán)境參數(shù)包括以下至少之一：通信信道特征參數(shù)、移動狀態(tài)參數(shù)、能源狀態(tài)參數(shù)、通信資源參數(shù)，其中，通信信道特征參數(shù)包括以下至少之一：信號強(qiáng)度、信噪比、網(wǎng)絡(luò)傳輸時延、數(shù)據(jù)丟包率；移動狀態(tài)參數(shù)包括以下至少之一：位置坐標(biāo)、移動速度、移動加速度；能源狀態(tài)參數(shù)包括以下至少之一：當(dāng)前電量、剩余可用時長；通信資源參數(shù)包括：使用地面通信設(shè)備的通信資源量或使用衛(wèi)星通信設(shè)備的通信資源量。

4、可選地，強(qiáng)化學(xué)習(xí)算法的類型包括以下至少之一：q學(xué)習(xí)算法、深度q網(wǎng)絡(luò)算法、演員評論家算法。

5、可選地，通信參數(shù)調(diào)整決策模型的訓(xùn)練流程包括：構(gòu)建初始決策模型，并初始化初始決策模型的模型參數(shù)；確定經(jīng)驗(yàn)池，并初始化經(jīng)驗(yàn)池內(nèi)各個樣本的優(yōu)先級；循環(huán)執(zhí)行以下步驟直至達(dá)到預(yù)設(shè)的迭代次數(shù)為止，得到通信參數(shù)調(diào)整決策模型；在每次迭代過程中，初始化環(huán)境參數(shù)；利用強(qiáng)化學(xué)習(xí)算法對當(dāng)前環(huán)境參數(shù)進(jìn)行分析，從多種通信參數(shù)調(diào)整策略內(nèi)確定對應(yīng)的第二通信參數(shù)調(diào)整策略，并利用預(yù)設(shè)的獎勵函數(shù)確定第二通信參數(shù)調(diào)整策略對應(yīng)的獎勵，并更新當(dāng)前環(huán)境參數(shù)，得到新環(huán)境參數(shù)；將當(dāng)前環(huán)境參數(shù)、新環(huán)境參數(shù)、第二通信參數(shù)調(diào)整策略及對應(yīng)的獎勵作為樣本，并將樣本存儲至經(jīng)驗(yàn)池；基于經(jīng)驗(yàn)池內(nèi)的各個樣本不斷調(diào)整初始決策模型的模型參數(shù)。

6、可選地，獎勵函數(shù)的表達(dá)式如下：

7、r(s,a,s')＝ω1*δq(s,a,s')+ω2*δe(s,a,s')-ω3*δc(s,a,s')

8、其中，s表示終端所在區(qū)域的環(huán)境參數(shù)，a表示終端所在區(qū)域的環(huán)境參數(shù)為s時采取的通信參數(shù)調(diào)整策略，s'表示執(zhí)行通信參數(shù)調(diào)整策略a后的新環(huán)境參數(shù)，δq(s,a,s')表示通信質(zhì)量指標(biāo)，δe(s,a,s')表示網(wǎng)絡(luò)擁塞指標(biāo)，δc(s,a,s')表示通信成本指標(biāo)，ω1、ω2、ω3分別表示δq(s,a,s')、δe(s,a,s')、δc(s,a,s')對應(yīng)的權(quán)重；其中，通信質(zhì)量指標(biāo)δq(s,a,s')的表達(dá)式如下：

9、

10、pold和pnew分別表示通信參數(shù)調(diào)整前、調(diào)整后的信號強(qiáng)度，nold和nnew分別表示通信參數(shù)調(diào)整前、調(diào)整后的信噪比，w1和w2分別表示信號強(qiáng)度和信噪比對應(yīng)的權(quán)重；其中，網(wǎng)絡(luò)擁塞指標(biāo)δe(s,a,s')的表達(dá)式如下：

11、

12、dold和dnew分別表示通信參數(shù)調(diào)整前、調(diào)整后的網(wǎng)絡(luò)傳輸時延，lnew和lold分別表示通信參數(shù)調(diào)整前、后的數(shù)據(jù)丟包率，w3和w4分別表示網(wǎng)絡(luò)傳輸時延和數(shù)據(jù)丟包率對應(yīng)的權(quán)重；其中，通信成本指標(biāo)δc(s,a,s')的表達(dá)式如下：

13、

14、uold和unew分別表示通信參數(shù)調(diào)整前、調(diào)整后的通信資源消耗量；snew和sold分別表示通信參數(shù)調(diào)整前、調(diào)整后的能源成本；w5和w6分別表示通信資源消耗量和能源成本對應(yīng)的權(quán)重。

15、可選地，將樣本存儲至經(jīng)驗(yàn)池，包括：按照優(yōu)先經(jīng)驗(yàn)回放方式或經(jīng)驗(yàn)回放方式將樣本存儲至經(jīng)驗(yàn)池。

16、可選地，通信參數(shù)包括以下至少之一：通信頻率、通信功率、數(shù)據(jù)傳輸速率、通信方式，其中，通信方式包括：地面通信或衛(wèi)星通信。

17、根據(jù)本申請實(shí)施例的另一方面，還提供了一種通信參數(shù)調(diào)整裝置，包括：獲取模塊，用于獲取目標(biāo)終端所在區(qū)域的環(huán)境參數(shù)及所述目標(biāo)終端在所述區(qū)域內(nèi)的通信參數(shù)；確定模塊，用于利用預(yù)訓(xùn)練的通信參數(shù)調(diào)整決策模型對環(huán)境參數(shù)進(jìn)行分析，得到使多項(xiàng)通信指標(biāo)均滿足預(yù)設(shè)的指標(biāo)要求的通信參數(shù)調(diào)整策略，其中，通信參數(shù)調(diào)整決策模型是基于預(yù)設(shè)的強(qiáng)化學(xué)習(xí)算法訓(xùn)練所得，通信指標(biāo)至少包括：通信質(zhì)量指標(biāo)、網(wǎng)絡(luò)擁塞指標(biāo)、通信成本指標(biāo)；調(diào)整模塊，用于按照通信參數(shù)調(diào)整策略對通信參數(shù)進(jìn)行調(diào)整。

18、根據(jù)本申請實(shí)施例的另一方面，還提供了一種計(jì)算機(jī)程序產(chǎn)品，該計(jì)算機(jī)程序產(chǎn)品包括存儲的計(jì)算機(jī)程序，其中，計(jì)算機(jī)程序被處理器執(zhí)行時實(shí)現(xiàn)上述的通信參數(shù)調(diào)整方法。

19、根據(jù)本申請實(shí)施例的另一方面，還提供了一種電子設(shè)備，該電子設(shè)備包括：存儲器和處理器，其中，存儲器中存儲有計(jì)算機(jī)程序，處理器被配置為通過計(jì)算機(jī)程序執(zhí)行上述的通信參數(shù)調(diào)整方法。

20、在本申請實(shí)施例中，利用基于強(qiáng)化學(xué)習(xí)算法的通信參數(shù)調(diào)整決策模型對持續(xù)檢測的終端所在區(qū)域的環(huán)境參數(shù)進(jìn)行分析，得到對應(yīng)的通信參數(shù)調(diào)整策略，并按照該通信參數(shù)調(diào)整策略對終端所在區(qū)域的通信參數(shù)進(jìn)行實(shí)時調(diào)整，適應(yīng)動態(tài)變化的通信環(huán)境，實(shí)現(xiàn)優(yōu)化通信質(zhì)量的目的，從而解決了相關(guān)技術(shù)無法對終端的通信參數(shù)進(jìn)行智能調(diào)整，導(dǎo)致調(diào)整通信參數(shù)后的通信指標(biāo)較差的技術(shù)問題。

技術(shù)特征：

1.一種通信參數(shù)調(diào)整方法，其特征在于，包括：

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述環(huán)境參數(shù)包括以下至少之一：通信信道特征參數(shù)、移動狀態(tài)參數(shù)、能源狀態(tài)參數(shù)、通信資源參數(shù)，其中，

3.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述強(qiáng)化學(xué)習(xí)算法的類型包括以下至少之一：q學(xué)習(xí)算法、深度q網(wǎng)絡(luò)算法、演員評論家算法。

4.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述通信參數(shù)調(diào)整決策模型的訓(xùn)練流程包括：

5.根據(jù)權(quán)利要求4所述的方法，其特征在于，

6.根據(jù)權(quán)利要求4所述的方法，其特征在于，將所述樣本存儲至所述經(jīng)驗(yàn)池，包括：

7.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述通信參數(shù)包括以下至少之一：通信頻率、通信功率、數(shù)據(jù)傳輸速率、通信方式，其中，所述通信方式包括：地面通信或衛(wèi)星通信。

8.一種通信參數(shù)調(diào)整裝置，其特征在于，包括：

9.一種計(jì)算機(jī)程序產(chǎn)品，其特征在于，包括：計(jì)算機(jī)程序，其中，所述計(jì)算機(jī)程序被處理器執(zhí)行時實(shí)現(xiàn)權(quán)利要求1至7中任意一項(xiàng)所述的通信參數(shù)調(diào)整方法。

10.一種網(wǎng)絡(luò)設(shè)備，其特征在于，包括：存儲器和處理器，所述處理器用于運(yùn)行存儲在所述存儲器中的程序，其中，所述程序運(yùn)行時執(zhí)行權(quán)利要求1至7中任意一項(xiàng)所述的通信參數(shù)調(diào)整方法。

技術(shù)總結(jié)
本申請公開了一種通信參數(shù)調(diào)整方法及裝置、計(jì)算機(jī)程序產(chǎn)品、網(wǎng)絡(luò)設(shè)備。其中，該方法包括：獲取目標(biāo)終端所在區(qū)域的環(huán)境參數(shù)及所述目標(biāo)終端在所述區(qū)域內(nèi)的通信參數(shù)；利用預(yù)訓(xùn)練的通信參數(shù)調(diào)整決策模型對環(huán)境參數(shù)進(jìn)行分析，得到滿足多項(xiàng)通信指標(biāo)的指標(biāo)要求的通信參數(shù)調(diào)整策略，其中，通信參數(shù)調(diào)整決策模型是基于預(yù)設(shè)的強(qiáng)化學(xué)習(xí)算法訓(xùn)練所得，通信指標(biāo)至少包括：通信質(zhì)量指標(biāo)、網(wǎng)絡(luò)擁塞指標(biāo)、通信成本指標(biāo)；按照通信參數(shù)調(diào)整策略對通信參數(shù)進(jìn)行調(diào)整。本申請解決了相關(guān)技術(shù)無法對終端的通信參數(shù)進(jìn)行智能調(diào)整，導(dǎo)致調(diào)整通信參數(shù)后的通信指標(biāo)較差的技術(shù)問題。

技術(shù)研發(fā)人員：王德乾,鐘翔寧,張浩然,秦屹昂,李莎,胡培金
受保護(hù)的技術(shù)使用者：中國電信股份有限公司衛(wèi)星通信分公司
技術(shù)研發(fā)日：
技術(shù)公布日：2024/12/26