本發(fā)明屬于電力工業(yè)領域，尤其涉及一種基于電網(wǎng)大數(shù)據(jù)的全鏈路智能根因分析方法和系統(tǒng)。

背景技術：

1、隨著電力工業(yè)取得了進步，電力行業(yè)貿(mào)易數(shù)據(jù)的增長率也在不斷提高，這也意味著電力行業(yè)正在逐漸步入大數(shù)據(jù)時代。在大數(shù)據(jù)環(huán)境中應用能源數(shù)據(jù)對能源行業(yè)的發(fā)展具有決定性影響。只有深入研究能源數(shù)據(jù)的應用，才能了解能源行業(yè)的發(fā)展前景。特別是由于電力需求的增長和科學技術的發(fā)展，大量數(shù)據(jù)在支持網(wǎng)絡設計、為安全運行和穩(wěn)定智能電網(wǎng)創(chuàng)造條件方面發(fā)揮著重要作用。

2、隨著經(jīng)濟的持續(xù)發(fā)展，電網(wǎng)設計的思想和方法已經(jīng)過時，因此，電力公司應積極探索與電力大數(shù)據(jù)背景相匹配的網(wǎng)絡規(guī)劃系統(tǒng)。公司需要積極尋找與其大規(guī)模知識背景相匹配的電網(wǎng)規(guī)劃系統(tǒng)，確保在競爭激烈的市場中處于不敗之地。設計系統(tǒng)通常由三個部分組成，即數(shù)據(jù)收集，數(shù)據(jù)處理和應用程序。通過靈活地使用大量數(shù)據(jù)來滿足網(wǎng)絡部署需求和運營的能力，其運作的核心是大力開展一系列規(guī)劃工作，包括智能電網(wǎng)編程、用戶交互以及為提高智能電網(wǎng)部署的實際價值而作出的努力。這樣做的結(jié)果，可以避免業(yè)務風險。

3、智能電網(wǎng)的使用和開發(fā)已大大改善了運輸過程中的電氣穩(wěn)定性，并適當?shù)貜浹a了先前電網(wǎng)的缺點。智能網(wǎng)絡的實際操作經(jīng)常會引起很多問題，如覆蓋范圍大和遮蓋區(qū)域模糊，因此，利益相關者需要在未來的工作中逐步優(yōu)化這些問題。可見，在實踐中，在電力大數(shù)據(jù)的背景下進行電網(wǎng)規(guī)劃討論具有實際意義。

4、現(xiàn)有技術

5、數(shù)據(jù)規(guī)模相對較大，傳統(tǒng)手段難以快速處理。電力運營監(jiān)控系統(tǒng)涉及數(shù)據(jù)采集、信息傳輸與分析、設備故障排查診斷、故障影響風險評估等諸多方面，數(shù)據(jù)采集信息量巨大，且規(guī)范指標相對較多，當前傳統(tǒng)數(shù)據(jù)分析軟硬件難以快速運算處理，必須依靠云計算、分布式處理系統(tǒng)等符合大數(shù)據(jù)條件的信息并行處理技術。

6、數(shù)據(jù)資源共享整合程度較低，影響了行業(yè)整體規(guī)劃分析的精準度。由于當前各電力運營監(jiān)控系統(tǒng)相互分散獨立，數(shù)據(jù)控制中心同各基礎節(jié)點之間通信標準存在差異，數(shù)據(jù)的共享利用程度相對較低，存在多源異構(gòu)壁壘，難以滿足現(xiàn)代智能化、數(shù)字化集成的要求。

7、現(xiàn)有技術的缺點

8、數(shù)據(jù)規(guī)模相對較大，傳統(tǒng)手段難以快速處理。電力運營監(jiān)控系統(tǒng)涉及數(shù)據(jù)采集、信息傳輸與分析、設備故障排查診斷、故障影響風險評估等諸多方面，數(shù)據(jù)采集信息量巨大，且規(guī)范指標相對較多，當前傳統(tǒng)數(shù)據(jù)分析軟硬件難以快速運算處理，必須依靠云計算、分布式處理系統(tǒng)等符合大數(shù)據(jù)條件的信息并行處理技術。

9、數(shù)據(jù)資源共享整合程度較低，影響了行業(yè)整體規(guī)劃分析的精準度。由于當前各電力運營監(jiān)控系統(tǒng)相互分散獨立，數(shù)據(jù)控制中心同各基礎節(jié)點之間通信標準存在差異，數(shù)據(jù)的共享利用程度相對較低，存在多源異構(gòu)壁壘，難以滿足現(xiàn)代智能化、數(shù)字化集成的要求。

技術實現(xiàn)思路

1、為解決上述技術問題，本發(fā)明提出一種基于電網(wǎng)大數(shù)據(jù)的全鏈路智能根因分析方法的技術方案，以解決上述技術問題。

2、本發(fā)明第一方面公開了一種基于電網(wǎng)大數(shù)據(jù)的全鏈路智能根因分析方法，所述方法包括：

3、步驟s1、通過分析業(yè)務需求，確定全鏈路監(jiān)控的需求和范圍；

4、步驟s2、根據(jù)所述需求和范圍編寫python探針代碼，并部署探針到目標系統(tǒng)，捕獲所需的數(shù)據(jù)；

5、步驟s3、對所述數(shù)據(jù)進行壓縮與加密；使用pyhive庫連接到hive數(shù)據(jù)庫；將壓縮與加密后的數(shù)據(jù)寫入hive表；

6、步驟s4、通過spark對hive數(shù)據(jù)庫中的數(shù)據(jù)進行清洗；應用python算法對清洗后的數(shù)據(jù)進行分析，返回分析數(shù)據(jù)和數(shù)據(jù)的日期；

7、步驟s5、通過excel將所述清洗后的數(shù)據(jù)、分析數(shù)據(jù)和數(shù)據(jù)的日期以數(shù)據(jù)表和柱狀圖形式展示；根據(jù)預設的告警規(guī)則和閾值設置告警機制。

8、根據(jù)本發(fā)明第一方面的方法，在所述步驟s3中，所述對所述數(shù)據(jù)進行壓縮包括：

9、使用zlib壓縮算法對所述數(shù)據(jù)進行壓縮。

10、根據(jù)本發(fā)明第一方面的方法，在所述步驟s3中，對所述數(shù)據(jù)進行加密包括：

11、使用aes加密算法對所述數(shù)據(jù)進行數(shù)據(jù)加密。

12、根據(jù)本發(fā)明第一方面的方法，在所述步驟s3中，所述方法還包括：

13、在hive中，根據(jù)數(shù)據(jù)訪問模式建立索引，并通過分區(qū)、分桶和排序來優(yōu)化查詢。

14、根據(jù)本發(fā)明第一方面的方法，在所述步驟s4中，所述通過spark對hive數(shù)據(jù)庫中的數(shù)據(jù)進行清洗包括刪除無效數(shù)據(jù)：

15、循環(huán)遍歷當前的數(shù)據(jù)，記錄數(shù)據(jù)所在的列字段，hive數(shù)據(jù)庫列字段為i1,i2,i3...i96，其中i1為首端，i96為末端；遍歷過程中空值和非正值記錄為無效點，先將所述無效點的數(shù)據(jù)賦值為null；如果無效點已經(jīng)超過5個無效值，無需再進行后續(xù)判斷，直接退出循環(huán)，將當前數(shù)據(jù)記錄為無效數(shù)據(jù)，進行刪除處理。

16、根據(jù)本發(fā)明第一方面的方法，在所述步驟s4中，所述通過spark對hive數(shù)據(jù)庫中的數(shù)據(jù)進行清洗還包括數(shù)據(jù)去重：

17、將hive數(shù)據(jù)庫中每條數(shù)據(jù)拼接成字符串并記錄到數(shù)組中，判斷數(shù)組中數(shù)據(jù)是否重復，如果兩條記錄的字符串的數(shù)據(jù)相同，則認為是重復記錄。

18、根據(jù)本發(fā)明第一方面的方法，在所述步驟s4中，所述通過spark對hive數(shù)據(jù)庫中的數(shù)據(jù)進行清洗還包括數(shù)據(jù)補全：

19、獲取無效點的列索引，取索引的列的前一個非空數(shù)據(jù)和后一個非空數(shù)據(jù)的平均值對無效點的數(shù)據(jù)進行補全。

20、本發(fā)明第二方面公開了一種基于電網(wǎng)大數(shù)據(jù)的全鏈路智能根因分析系統(tǒng)，所述系統(tǒng)包括：

21、第一處理模塊，被配置為，部署探針到目標系統(tǒng)，捕獲所需的數(shù)據(jù)；

22、第二處理模塊，被配置為，對所述數(shù)據(jù)進行壓縮與加密；使用pyhive庫連接到hive數(shù)據(jù)庫；將壓縮與加密后的數(shù)據(jù)寫入hive表；

23、第三處理模塊，被配置為，通過spark對hive數(shù)據(jù)庫中的數(shù)據(jù)進行清洗；應用python算法對清洗后的數(shù)據(jù)進行分析，返回分析數(shù)據(jù)和數(shù)據(jù)的日期；

24、第四處理模塊，被配置為，通過excel將所述清洗后的數(shù)據(jù)、分析數(shù)據(jù)和數(shù)據(jù)的日期以數(shù)據(jù)表和柱狀圖形式展示；根據(jù)預設的告警規(guī)則和閾值設置告警機制。

25、本發(fā)明第三方面公開了一種電子設備。電子設備包括存儲器和處理器，存儲器存儲有計算機程序，處理器執(zhí)行計算機程序時，實現(xiàn)本公開第一方面中任一項的一種基于電網(wǎng)大數(shù)據(jù)的全鏈路智能根因分析方法中的步驟。

26、本發(fā)明第四方面公開了一種計算機可讀存儲介質(zhì)。計算機可讀存儲介質(zhì)上存儲有計算機程序，計算機程序被處理器執(zhí)行時，實現(xiàn)本公開第一方面中任一項的一種基于電網(wǎng)大數(shù)據(jù)的全鏈路智能根因分析方法中的步驟。

27、綜上，本發(fā)明提出的方案能夠打破數(shù)據(jù)孤島，實現(xiàn)統(tǒng)一告警，構(gòu)建立體化it監(jiān)控和運維管理體系。從業(yè)務視角實時感知業(yè)務及系統(tǒng)運行狀態(tài)，實現(xiàn)業(yè)務和it的雙向驅(qū)動，確保業(yè)務連續(xù)性，提升業(yè)務效能。充分利用云端技術，構(gòu)建智能化運維管控平臺，快速定位業(yè)務問題，持續(xù)改善業(yè)務健康狀況。