本發(fā)明涉及電網(wǎng)數(shù)據(jù)處理，尤其涉及一種云邊端融合的網(wǎng)絡(luò)數(shù)據(jù)處理方法及裝置。

背景技術(shù)：

1、隨著全鏈路分鐘級(jí)采集數(shù)據(jù)的爆炸式增長(zhǎng)，網(wǎng)絡(luò)數(shù)據(jù)采集和處理面臨著前所未有的挑戰(zhàn)，傳統(tǒng)的集中式數(shù)據(jù)存儲(chǔ)和處理系統(tǒng)已經(jīng)無(wú)法滿足對(duì)海量信息處理需求，因此這對(duì)網(wǎng)絡(luò)時(shí)延性能和計(jì)算能力提出了更高的要求。

2、目前，集中式數(shù)據(jù)存儲(chǔ)和處理系統(tǒng)通常采用中心化的數(shù)據(jù)存儲(chǔ)架構(gòu)，將大量數(shù)據(jù)集中存儲(chǔ)在少數(shù)幾臺(tái)服務(wù)器上，然后進(jìn)行批處理或?qū)崟r(shí)處理。這種架構(gòu)在面對(duì)大量數(shù)據(jù)時(shí)，由于處理能力和網(wǎng)絡(luò)帶寬的限制，往往會(huì)出現(xiàn)處理速度慢、時(shí)延高、數(shù)據(jù)安全等問(wèn)題，無(wú)法滿足全鏈路分鐘級(jí)采集數(shù)據(jù)的處理需求。

技術(shù)實(shí)現(xiàn)思路

1、為了解決上述技術(shù)問(wèn)題，本發(fā)明實(shí)施例提供了一種云邊端融合的網(wǎng)絡(luò)數(shù)據(jù)處理方法及裝置，實(shí)現(xiàn)了對(duì)網(wǎng)絡(luò)數(shù)據(jù)的規(guī)范化和質(zhì)量水平控制處理，提高了網(wǎng)絡(luò)數(shù)據(jù)處理效率。

2、本發(fā)明實(shí)施例的第一方面提供了一種云邊端融合的網(wǎng)絡(luò)數(shù)據(jù)處理方法，方法包括：

3、接收各個(gè)設(shè)備上傳的時(shí)序數(shù)據(jù)；

4、利用處理邏輯類調(diào)用第一函數(shù)對(duì)時(shí)序數(shù)據(jù)進(jìn)行清洗，得到清洗結(jié)果，對(duì)清洗結(jié)果進(jìn)行分解，得到若干個(gè)數(shù)據(jù)集合，對(duì)預(yù)設(shè)數(shù)量的數(shù)據(jù)集合進(jìn)行鍵值映射操作，得到鍵值對(duì)，利用第二函數(shù)對(duì)鍵值對(duì)進(jìn)行歸納，得到分類結(jié)果；

5、根據(jù)分類結(jié)果，將時(shí)序數(shù)據(jù)進(jìn)行存儲(chǔ)至分布式系統(tǒng)中。

6、在第一方面的一種可能的實(shí)現(xiàn)方式中，利用處理邏輯類調(diào)用第一函數(shù)對(duì)時(shí)序數(shù)據(jù)進(jìn)行清洗，得到清洗結(jié)果，包括：

7、利用第一處理類對(duì)時(shí)序數(shù)據(jù)進(jìn)行基礎(chǔ)字段處理，得到時(shí)序數(shù)據(jù)的字段，將時(shí)序數(shù)據(jù)的字段以表格形式進(jìn)行保存到第二處理類中，得到日志類；

8、利用第一過(guò)濾器按照過(guò)濾條件對(duì)日志類進(jìn)行解析，得到待分類時(shí)序數(shù)據(jù)字段；

9、根據(jù)待分類時(shí)序數(shù)據(jù)字段，利用第三處理類進(jìn)行輸出，得到清洗結(jié)果，其中，第一處理類、第二處理類和第三處理類中的規(guī)則可以根據(jù)需要進(jìn)行配置。

10、在第一方面的一種可能的實(shí)現(xiàn)方式中，對(duì)預(yù)設(shè)數(shù)量的數(shù)據(jù)集合進(jìn)行鍵值映射操作，得到鍵值對(duì)，包括：

11、對(duì)各個(gè)數(shù)據(jù)集合進(jìn)行屬性規(guī)范化操作，得到規(guī)范化的數(shù)據(jù)集合；

12、根據(jù)數(shù)據(jù)集合的重要性，得到各個(gè)數(shù)據(jù)集合的權(quán)重，基于權(quán)重，得到各個(gè)數(shù)據(jù)集合的加權(quán)歐式距離，根據(jù)加權(quán)歐式距離，計(jì)算出兩兩數(shù)據(jù)集合間的近鄰度量值；

13、根據(jù)規(guī)范化的數(shù)據(jù)集合和近鄰度量值進(jìn)行鍵值映射操作，得到鍵值對(duì)，其中，鍵值對(duì)包括節(jié)點(diǎn)、節(jié)點(diǎn)屬性和鄰近度量值。

14、在第一方面的一種可能的實(shí)現(xiàn)方式中，利用第二函數(shù)對(duì)鍵值對(duì)進(jìn)行歸納，得到分類結(jié)果，包括：

15、利用第二函數(shù)對(duì)鍵值對(duì)中的節(jié)點(diǎn)和節(jié)點(diǎn)屬性進(jìn)行排序，將屬于同一節(jié)點(diǎn)和節(jié)點(diǎn)屬性的鍵值對(duì)劃分為一類，得到分類結(jié)果。

16、在第一方面的一種可能的實(shí)現(xiàn)方式中，得到分類結(jié)果，還包括：

17、利用訓(xùn)練好的spark算法對(duì)時(shí)序數(shù)據(jù)進(jìn)行計(jì)算，得到最優(yōu)解，根據(jù)最優(yōu)解得到分類結(jié)果，其中，spark算法的訓(xùn)練過(guò)程為：

18、將時(shí)序數(shù)據(jù)樣本分為測(cè)試集和預(yù)測(cè)集，根據(jù)測(cè)試集設(shè)置種群數(shù)量和種群速度，將個(gè)體歷史最優(yōu)解設(shè)置為種群初始位置，將群體歷史最優(yōu)值設(shè)置為初始位置的適應(yīng)度最小的種群位置；

19、更新種群位置和種群速度，計(jì)算各個(gè)種群的適應(yīng)度，根據(jù)適應(yīng)度更新各個(gè)種群的個(gè)體歷史最優(yōu)解，根據(jù)個(gè)體歷史最優(yōu)解更新慣性因子，更新群體歷史最優(yōu)值，當(dāng)慣性因子小于預(yù)設(shè)值，則停止更新得到最優(yōu)解。

20、本發(fā)明實(shí)施例的第二方面提供了一種云邊端融合的網(wǎng)絡(luò)數(shù)據(jù)處理裝置，裝置包括：

21、接收模塊，用于接收各個(gè)設(shè)備上傳的時(shí)序數(shù)據(jù)；

22、分類模塊，用于利用處理邏輯類調(diào)用第一函數(shù)對(duì)時(shí)序數(shù)據(jù)進(jìn)行清洗，得到清洗結(jié)果，對(duì)清洗結(jié)果進(jìn)行分解，得到若干個(gè)數(shù)據(jù)集合，對(duì)預(yù)設(shè)數(shù)量的數(shù)據(jù)集合進(jìn)行鍵值映射操作，得到鍵值對(duì)，利用第二函數(shù)對(duì)鍵值對(duì)進(jìn)行歸納，得到分類結(jié)果；

23、存儲(chǔ)模塊，用于根據(jù)分類結(jié)果，將時(shí)序數(shù)據(jù)進(jìn)行存儲(chǔ)至分布式系統(tǒng)中。

24、在第二方面的一種可能的實(shí)現(xiàn)方式中，分類模塊包括第一處理單元、解析單元和輸出單元，

25、其中，第一處理單元用于利用第一處理類對(duì)時(shí)序數(shù)據(jù)進(jìn)行基礎(chǔ)字段處理，得到時(shí)序數(shù)據(jù)的字段，將時(shí)序數(shù)據(jù)的字段以表格形式進(jìn)行保存到第二處理類中，得到日志類；

26、解析單元用于利用第一過(guò)濾器按照過(guò)濾條件對(duì)日志類進(jìn)行解析，得到待分類時(shí)序數(shù)據(jù)字段；

27、輸出單元用于根據(jù)待分類時(shí)序數(shù)據(jù)字段，利用第三處理類進(jìn)行輸出，得到清洗結(jié)果，其中，第一處理類、第二處理類和第三處理類中的規(guī)則可以根據(jù)需要進(jìn)行配置。

28、在第二方面的一種可能的實(shí)現(xiàn)方式中，分類模塊還包括規(guī)范化單元、計(jì)算單元和映射單元，

29、其中，規(guī)范化單元用于對(duì)各個(gè)數(shù)據(jù)集合進(jìn)行屬性規(guī)范化操作，得到規(guī)范化的數(shù)據(jù)集合；

30、計(jì)算單元用于根據(jù)數(shù)據(jù)集合的重要性，得到各個(gè)數(shù)據(jù)集合的權(quán)重，基于權(quán)重，得到各個(gè)數(shù)據(jù)集合的加權(quán)歐式距離，根據(jù)加權(quán)歐式距離，計(jì)算出兩兩數(shù)據(jù)集合間的近鄰度量值；

31、映射單元用于根據(jù)規(guī)范化的數(shù)據(jù)集合和近鄰度量值進(jìn)行鍵值映射操作，得到鍵值對(duì)，其中，鍵值對(duì)包括節(jié)點(diǎn)、節(jié)點(diǎn)屬性和鄰近度量值。

32、本發(fā)明實(shí)施例的第三方面提供了一種計(jì)算機(jī)設(shè)備，包括處理器和存儲(chǔ)器，存儲(chǔ)器用于存儲(chǔ)計(jì)算機(jī)程序，計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)上述云邊端融合的網(wǎng)絡(luò)數(shù)據(jù)處理方法。

33、本發(fā)明實(shí)施例的第四方面提供了一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其存儲(chǔ)有計(jì)算機(jī)程序，計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)上述云邊端融合的網(wǎng)絡(luò)數(shù)據(jù)處理方法。

34、本發(fā)明通過(guò)接收各個(gè)設(shè)備上傳的時(shí)序數(shù)據(jù)，利用處理邏輯類調(diào)用第一函數(shù)對(duì)時(shí)序數(shù)據(jù)進(jìn)行清洗，得到清洗結(jié)果，對(duì)清洗結(jié)果進(jìn)行分解，得到若干個(gè)數(shù)據(jù)集合，對(duì)預(yù)設(shè)數(shù)量的數(shù)據(jù)集合進(jìn)行鍵值映射操作，得到鍵值對(duì)，利用第二函數(shù)對(duì)鍵值對(duì)進(jìn)行歸納，得到分類結(jié)果，根據(jù)分類結(jié)果，將時(shí)序數(shù)據(jù)進(jìn)行存儲(chǔ)至分布式系統(tǒng)中，本發(fā)明實(shí)現(xiàn)了對(duì)網(wǎng)絡(luò)數(shù)據(jù)的規(guī)范化和質(zhì)量水平控制處理，提高了網(wǎng)絡(luò)數(shù)據(jù)處理效率。

技術(shù)特征：

1.一種云邊端融合的網(wǎng)絡(luò)數(shù)據(jù)處理方法，其特征在于，包括：

2.如權(quán)利要求1所述的云邊端融合的網(wǎng)絡(luò)數(shù)據(jù)處理方法，其特征在于，所述利用處理邏輯類調(diào)用第一函數(shù)對(duì)所述時(shí)序數(shù)據(jù)進(jìn)行清洗，得到清洗結(jié)果，包括：

3.如權(quán)利要求1所述的云邊端融合的網(wǎng)絡(luò)數(shù)據(jù)處理方法，其特征在于，所述對(duì)預(yù)設(shè)數(shù)量的所述數(shù)據(jù)集合進(jìn)行鍵值映射操作，得到鍵值對(duì)，包括：

4.如權(quán)利要求3所述的云邊端融合的網(wǎng)絡(luò)數(shù)據(jù)處理方法，其特征在于，所述利用第二函數(shù)對(duì)所述鍵值對(duì)進(jìn)行歸納，得到分類結(jié)果，包括：

5.如權(quán)利要求1所述的云邊端融合的網(wǎng)絡(luò)數(shù)據(jù)處理方法，其特征在于，所述得到分類結(jié)果，還包括：

6.一種云邊端融合的網(wǎng)絡(luò)數(shù)據(jù)處理裝置，其特征在于，包括：

7.如權(quán)利要求6所述的云邊端融合的網(wǎng)絡(luò)數(shù)據(jù)處理裝置，其特征在于，所述分類模塊包括第一處理單元、解析單元和輸出單元，

8.如權(quán)利要求6所述的云邊端融合的網(wǎng)絡(luò)數(shù)據(jù)處理裝置，其特征在于，所述分類模塊還包括規(guī)范化單元、計(jì)算單元和映射單元，

9.一種計(jì)算機(jī)設(shè)備，其特征在于，包括處理器和存儲(chǔ)器，所述存儲(chǔ)器用于存儲(chǔ)計(jì)算機(jī)程序，所述計(jì)算機(jī)程序被所述處理器執(zhí)行時(shí)實(shí)現(xiàn)如權(quán)利要求1至5任一項(xiàng)所述的云邊端融合的網(wǎng)絡(luò)數(shù)據(jù)處理方法。

10.一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其特征在于，其存儲(chǔ)有計(jì)算機(jī)程序，所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)如權(quán)利要求1至5任一項(xiàng)所述的云邊端融合的網(wǎng)絡(luò)數(shù)據(jù)處理方法。

技術(shù)總結(jié)
本發(fā)明公開了一種云邊端融合的網(wǎng)絡(luò)數(shù)據(jù)處理方法及裝置，通過(guò)接收各個(gè)設(shè)備上傳的時(shí)序數(shù)據(jù)，利用處理邏輯類調(diào)用第一函數(shù)對(duì)時(shí)序數(shù)據(jù)進(jìn)行清洗，得到清洗結(jié)果，對(duì)清洗結(jié)果進(jìn)行分解，得到若干個(gè)數(shù)據(jù)集合，對(duì)預(yù)設(shè)數(shù)量的數(shù)據(jù)集合進(jìn)行鍵值映射操作，得到鍵值對(duì)，利用第二函數(shù)對(duì)鍵值對(duì)進(jìn)行歸納，得到分類結(jié)果，根據(jù)分類結(jié)果，將時(shí)序數(shù)據(jù)進(jìn)行存儲(chǔ)至分布式系統(tǒng)中，本發(fā)明實(shí)現(xiàn)了對(duì)網(wǎng)絡(luò)數(shù)據(jù)的規(guī)范化和質(zhì)量水平控制處理，提高了網(wǎng)絡(luò)數(shù)據(jù)處理效率。

技術(shù)研發(fā)人員：招景明,闕華坤,黃盛,鄧文源,梁宇博,石墨,楊軍
受保護(hù)的技術(shù)使用者：廣東電網(wǎng)有限責(zé)任公司
技術(shù)研發(fā)日：
技術(shù)公布日：2024/12/30