本發(fā)明涉及數(shù)據(jù)處理，尤其涉及一種基于邊緣計(jì)算的數(shù)據(jù)處理方法及系統(tǒng)。

背景技術(shù)：

1、隨著物聯(lián)網(wǎng)、大數(shù)據(jù)、云計(jì)算等技術(shù)的快速發(fā)展，數(shù)據(jù)量急劇增加，對(duì)數(shù)據(jù)傳輸?shù)男屎涂煽啃蕴岢隽烁叩囊螅瑐鹘y(tǒng)的數(shù)據(jù)處理和傳輸方式往往依賴(lài)于中心化的服務(wù)器，這在面對(duì)大量分散的數(shù)據(jù)源時(shí)存在延遲高、帶寬受限等問(wèn)題，邊緣計(jì)算作為一種新興的計(jì)算模式，將數(shù)據(jù)處理任務(wù)從中心服務(wù)器轉(zhuǎn)移到靠近數(shù)據(jù)源的邊緣設(shè)備上，從而減少數(shù)據(jù)傳輸延遲，提高響應(yīng)速度和系統(tǒng)整體性能，然而，在實(shí)際應(yīng)用中，邊緣設(shè)備所處的網(wǎng)絡(luò)環(huán)境往往是復(fù)雜且多變的，網(wǎng)絡(luò)帶寬、延遲和丟包率等因素會(huì)顯著影響數(shù)據(jù)傳輸?shù)馁|(zhì)量，因此，如何根據(jù)實(shí)時(shí)網(wǎng)絡(luò)狀態(tài)動(dòng)態(tài)調(diào)整數(shù)據(jù)上傳速度，以確保數(shù)據(jù)傳輸?shù)姆€(wěn)定性和效率，成為一個(gè)重要的研究課題。

2、因此，有必要提供一種基于邊緣計(jì)算的數(shù)據(jù)處理方法及系統(tǒng)解決上述技術(shù)問(wèn)題。

技術(shù)實(shí)現(xiàn)思路

1、為解決上述技術(shù)問(wèn)題，本發(fā)明提供一種基于邊緣計(jì)算的數(shù)據(jù)處理方法及系統(tǒng)，達(dá)到確保邊緣計(jì)算數(shù)據(jù)傳輸?shù)姆€(wěn)定和效率的有益效果。

2、本發(fā)明提供了一種基于邊緣計(jì)算的數(shù)據(jù)處理方法，所述數(shù)據(jù)處理方法包括以下步驟：

3、對(duì)向數(shù)據(jù)接收端上傳的原始數(shù)據(jù)集進(jìn)行降噪處理，并獲取存儲(chǔ)所述原始數(shù)據(jù)集的本地端的網(wǎng)絡(luò)狀態(tài)特征，網(wǎng)絡(luò)狀態(tài)特征包括當(dāng)前時(shí)刻可用寬帶值、歷史平均可用寬帶值、當(dāng)前時(shí)刻網(wǎng)絡(luò)延遲、歷史平均網(wǎng)絡(luò)延遲、當(dāng)前時(shí)刻丟包率、歷史平均丟包率；

4、利用z-score統(tǒng)計(jì)方法對(duì)降噪后的原始數(shù)據(jù)集進(jìn)行標(biāo)準(zhǔn)化處理；

5、基于標(biāo)準(zhǔn)化處理后的原始數(shù)據(jù)集計(jì)算數(shù)據(jù)波動(dòng)因子；

6、基于網(wǎng)絡(luò)狀態(tài)特征和數(shù)據(jù)波動(dòng)因子計(jì)算目標(biāo)上傳速度，其中，目標(biāo)上傳速度表征向數(shù)據(jù)接收端上傳的期望速度；

7、基于目標(biāo)上傳速度和實(shí)際上傳速度計(jì)算速度調(diào)節(jié)差值，若所述速度調(diào)節(jié)差值不在速度調(diào)節(jié)容差范圍內(nèi)，則調(diào)整實(shí)際上傳速度至目標(biāo)上傳速度，否則，保持現(xiàn)有實(shí)際上傳速度不變，其中，所述速度調(diào)節(jié)差值為目標(biāo)上傳速度與實(shí)際上傳速度的差值。

8、優(yōu)選的，對(duì)向數(shù)據(jù)接收端上傳的原始數(shù)據(jù)集進(jìn)行降噪處理為濾波器、小波變換、傅里葉變換中的其中一種。

9、優(yōu)選的，利用z-score統(tǒng)計(jì)方法對(duì)降噪后的原始數(shù)據(jù)集進(jìn)行標(biāo)準(zhǔn)化處理的具體步驟為：

10、計(jì)算降噪后的原始數(shù)據(jù)集的均值；

11、計(jì)算降噪后的原始數(shù)據(jù)集的標(biāo)準(zhǔn)差；

12、應(yīng)用z-score公式對(duì)降噪后的原始數(shù)據(jù)集中所有數(shù)據(jù)進(jìn)行標(biāo)準(zhǔn)化處理，標(biāo)準(zhǔn)化處理公式為：

13、

14、其中，為標(biāo)準(zhǔn)化處理后的原始數(shù)據(jù)集中第個(gè)數(shù)據(jù)點(diǎn)，為降噪后的原始數(shù)據(jù)集中第個(gè)數(shù)據(jù)點(diǎn)，為降噪后的原始數(shù)據(jù)集的均值，為降噪后的原始數(shù)據(jù)集的標(biāo)準(zhǔn)差。

15、優(yōu)選的，還包括：

16、利用異常值檢測(cè)算法對(duì)標(biāo)準(zhǔn)化處理后的原始數(shù)據(jù)集進(jìn)行異常檢測(cè)；

17、基于預(yù)設(shè)的異常判斷閾值，標(biāo)記大于異常判斷閾值的數(shù)據(jù)為異常值，計(jì)算所有非異常值的中位數(shù)，并用中位數(shù)替換所有標(biāo)記的異常值。

18、優(yōu)選的，數(shù)據(jù)波動(dòng)因子的計(jì)算公式為：

19、

20、其中，為數(shù)據(jù)波動(dòng)因子，為調(diào)整系數(shù)，為標(biāo)準(zhǔn)化后的原始數(shù)據(jù)集的方差，為標(biāo)準(zhǔn)化處理后的原始數(shù)據(jù)集。

21、優(yōu)選的，目標(biāo)上傳速度的計(jì)算公式為：

22、

23、其中，為目標(biāo)上傳速度，為最大上傳速度，為當(dāng)前時(shí)刻可用寬帶值，為歷史平均可用寬帶值，為當(dāng)前時(shí)刻網(wǎng)絡(luò)延遲，為歷史平均網(wǎng)絡(luò)延遲，為當(dāng)前時(shí)刻丟包率。

24、優(yōu)選的，逐次調(diào)整實(shí)際上傳速度至目標(biāo)上傳速度的公式為：

25、

26、其中，為當(dāng)前時(shí)刻的實(shí)際上傳速度，為當(dāng)前時(shí)刻的前一時(shí)刻的實(shí)際上傳速度，為目標(biāo)上傳速度，為速度調(diào)整因子。

27、優(yōu)選的，逐次將實(shí)際上傳速度調(diào)整至目標(biāo)上傳速度的過(guò)程中，還設(shè)置有最大調(diào)整次數(shù)，若調(diào)整次數(shù)達(dá)到最大調(diào)整次數(shù)，且實(shí)際上傳速度未調(diào)整至目標(biāo)上傳速度時(shí)，則停止調(diào)整。

28、本發(fā)明還提供了一種基于邊緣計(jì)算的數(shù)據(jù)處理系統(tǒng)，應(yīng)用于一種基于邊緣計(jì)算的數(shù)據(jù)處理方法，所述數(shù)據(jù)處理系統(tǒng)包括：

29、數(shù)據(jù)獲取模塊，用于對(duì)向數(shù)據(jù)接收端上傳的原始數(shù)據(jù)集進(jìn)行降噪處理，并獲取存儲(chǔ)所述原始數(shù)據(jù)集的本地端的網(wǎng)絡(luò)狀態(tài)特征，網(wǎng)絡(luò)狀態(tài)特征包括當(dāng)前時(shí)刻可用寬帶值、歷史平均可用寬帶值、當(dāng)前時(shí)刻網(wǎng)絡(luò)延遲、歷史平均網(wǎng)絡(luò)延遲、當(dāng)前時(shí)刻丟包率、歷史平均丟包率；

30、標(biāo)準(zhǔn)化處理模塊，用于利用z-score統(tǒng)計(jì)方法對(duì)降噪后的原始數(shù)據(jù)集進(jìn)行標(biāo)準(zhǔn)化處理；

31、數(shù)據(jù)波動(dòng)因子計(jì)算模塊，用于基于標(biāo)準(zhǔn)化處理后的原始數(shù)據(jù)集計(jì)算數(shù)據(jù)波動(dòng)因子；

32、目標(biāo)上傳速度計(jì)算模塊，用于基于網(wǎng)絡(luò)狀態(tài)特征和數(shù)據(jù)波動(dòng)因子計(jì)算目標(biāo)上傳速度，其中，目標(biāo)上傳速度表征向數(shù)據(jù)接收端上傳的速度；

33、上傳速度調(diào)節(jié)模塊，用于基于目標(biāo)上傳速度和實(shí)際上傳速度計(jì)算速度調(diào)節(jié)差值，若所述速度調(diào)節(jié)差值不在速度調(diào)節(jié)容差范圍內(nèi)，則調(diào)整實(shí)際上傳速度至目標(biāo)上傳速度，否則，保持現(xiàn)有實(shí)際上傳速度不變，其中，所述速度調(diào)節(jié)差值為目標(biāo)上傳速度與實(shí)際上傳速度的差值。

34、優(yōu)選的，還包括：

35、異常處理模塊，用于利用異常值檢測(cè)算法對(duì)標(biāo)準(zhǔn)化處理后的原始數(shù)據(jù)集進(jìn)行異常檢測(cè)；

36、基于預(yù)設(shè)的異常判斷閾值，標(biāo)記大于異常判斷閾值的數(shù)據(jù)為異常值，計(jì)算所有非異常值的中位數(shù)，并用中位數(shù)替換所有標(biāo)記的異常值。

37、與相關(guān)技術(shù)相比較，本發(fā)明提供的一種基于邊緣計(jì)算的數(shù)據(jù)處理方法及系統(tǒng)具有如下有益效果：

38、本發(fā)明通過(guò)降噪和標(biāo)準(zhǔn)化處理邊緣計(jì)算的原始數(shù)據(jù)集得到數(shù)據(jù)波動(dòng)因子，再根據(jù)實(shí)時(shí)網(wǎng)絡(luò)狀態(tài)特征和數(shù)據(jù)波動(dòng)因子計(jì)算數(shù)據(jù)傳輸?shù)钠谕俣?，最后通過(guò)速度調(diào)整公式逐次平滑地調(diào)整實(shí)際上傳速度至期望的目標(biāo)上傳速度，可以有效應(yīng)對(duì)網(wǎng)絡(luò)波動(dòng)，避免了突然大幅度的變化可能導(dǎo)致的不穩(wěn)定因素，減少數(shù)據(jù)傳輸中的丟包和延遲，提高數(shù)據(jù)傳輸?shù)姆€(wěn)定性，在保證數(shù)據(jù)傳輸質(zhì)量的同時(shí)，最大化利用可用帶寬資源，避免了資源浪費(fèi)，還通過(guò)異常值檢測(cè)與替換，確保數(shù)據(jù)集的完整性和一致性，提高系統(tǒng)的魯棒性和穩(wěn)定性，同時(shí)設(shè)置了最大調(diào)整次數(shù)，當(dāng)調(diào)整次數(shù)達(dá)到最大值且實(shí)際上傳速度仍未調(diào)整至目標(biāo)上傳速度時(shí)，停止調(diào)整，防止無(wú)限次調(diào)整導(dǎo)致系統(tǒng)不穩(wěn)定，以上技術(shù)措施有效保證了邊緣計(jì)算中數(shù)據(jù)傳輸?shù)目煽窟\(yùn)行。

技術(shù)特征：

1.一種基于邊緣計(jì)算的數(shù)據(jù)處理方法，其特征在于，所述數(shù)據(jù)處理方法包括以下步驟：

2.根據(jù)權(quán)利要求1所述的一種基于邊緣計(jì)算的數(shù)據(jù)處理方法，其特征在于，對(duì)向數(shù)據(jù)接收端上傳的原始數(shù)據(jù)集進(jìn)行降噪處理為濾波器、小波變換、傅里葉變換中的其中一種。

3.根據(jù)權(quán)利要求2所述的一種基于邊緣計(jì)算的數(shù)據(jù)處理方法，其特征在于，利用z-score統(tǒng)計(jì)方法對(duì)降噪后的原始數(shù)據(jù)集進(jìn)行標(biāo)準(zhǔn)化處理的具體步驟為：

4.根據(jù)權(quán)利要求3所述的一種基于邊緣計(jì)算的數(shù)據(jù)處理方法，其特征在于，還包括：

5.根據(jù)權(quán)利要求4所述的一種基于邊緣計(jì)算的數(shù)據(jù)處理方法，其特征在于，數(shù)據(jù)波動(dòng)因子的計(jì)算公式為：

6.根據(jù)權(quán)利要求5所述的一種基于邊緣計(jì)算的數(shù)據(jù)處理方法，其特征在于，目標(biāo)上傳速度的計(jì)算公式為：

7.根據(jù)權(quán)利要求6所述的一種基于邊緣計(jì)算的數(shù)據(jù)處理方法，其特征在于，逐次調(diào)整實(shí)際上傳速度至目標(biāo)上傳速度的公式為：

8.根據(jù)權(quán)利要求7所述的一種基于邊緣計(jì)算的數(shù)據(jù)處理方法，其特征在于，逐次將實(shí)際上傳速度調(diào)整至目標(biāo)上傳速度的過(guò)程中，還設(shè)置有最大調(diào)整次數(shù)，若調(diào)整次數(shù)達(dá)到最大調(diào)整次數(shù)，且實(shí)際上傳速度未調(diào)整至目標(biāo)上傳速度時(shí)，則停止調(diào)整。

9.一種基于邊緣計(jì)算的數(shù)據(jù)處理系統(tǒng)，其特征在于，應(yīng)用于如權(quán)利要求1至8任意一項(xiàng)所述的一種基于邊緣計(jì)算的數(shù)據(jù)處理方法，所述數(shù)據(jù)處理系統(tǒng)包括：

10.根據(jù)權(quán)利要求9所述的一種基于邊緣計(jì)算的數(shù)據(jù)處理系統(tǒng)，其特征在于，還包括：

技術(shù)總結(jié)
本發(fā)明提供一種基于邊緣計(jì)算的數(shù)據(jù)處理方法及系統(tǒng)，涉及數(shù)據(jù)處理技術(shù)領(lǐng)域，本發(fā)明通過(guò)降噪和標(biāo)準(zhǔn)化處理邊緣計(jì)算的原始數(shù)據(jù)集得到數(shù)據(jù)波動(dòng)因子，再根據(jù)實(shí)時(shí)網(wǎng)絡(luò)狀態(tài)特征和數(shù)據(jù)波動(dòng)因子計(jì)算數(shù)據(jù)傳輸?shù)钠谕俣?，最后通過(guò)速度調(diào)整公式逐次平滑地調(diào)整實(shí)際上傳速度至期望的目標(biāo)上傳速度，可以有效應(yīng)對(duì)網(wǎng)絡(luò)波動(dòng)，避免了突然大幅度的變化可能導(dǎo)致的不穩(wěn)定因素，減少數(shù)據(jù)傳輸中的丟包和延遲，提高數(shù)據(jù)傳輸?shù)姆€(wěn)定性，在保證數(shù)據(jù)傳輸質(zhì)量的同時(shí)，最大化利用可用帶寬資源，避免了資源浪費(fèi)，還通過(guò)異常值檢測(cè)與替換，確保數(shù)據(jù)集的完整性和一致性，提高系統(tǒng)的魯棒性和穩(wěn)定性。

技術(shù)研發(fā)人員：王進(jìn)睿
受保護(hù)的技術(shù)使用者：江蘇科技大學(xué)
技術(shù)研發(fā)日：
技術(shù)公布日：2025/1/9