本發(fā)明涉及數(shù)據(jù)處理技術(shù)領(lǐng)域，特別是指一種基于大數(shù)據(jù)平臺(tái)的電力數(shù)據(jù)處理方法。

背景技術(shù)：

對(duì)于電力行業(yè)來說，智能電網(wǎng)的迅速發(fā)展使信息通信技術(shù)正以前所未有的廣度、深度與電網(wǎng)的生產(chǎn)、電力企業(yè)的管理進(jìn)行快速融合，信息通信系統(tǒng)已逐漸成為智能電網(wǎng)的中樞神經(jīng)，支撐著新一代電網(wǎng)的生產(chǎn)和電網(wǎng)管理的前進(jìn)和發(fā)展。隨著后續(xù)智能電表的逐步普及，電網(wǎng)業(yè)務(wù)數(shù)據(jù)將從時(shí)效性層面進(jìn)一步豐富和拓展?；诖髷?shù)據(jù)具有的大容量、多分類等特征，已經(jīng)在海量、實(shí)時(shí)的電網(wǎng)業(yè)務(wù)數(shù)據(jù)中得到進(jìn)一步凸顯。因此，我們?nèi)绻軌虺浞掷眠@些基于電網(wǎng)實(shí)際運(yùn)行狀態(tài)的數(shù)據(jù)，對(duì)其進(jìn)行深入分析，就能夠基于分析結(jié)果提供大量的高附加值的服務(wù)。

所以，隨著電網(wǎng)架構(gòu)悄然、漸進(jìn)的改變，使得現(xiàn)有電網(wǎng)調(diào)控手段面臨巨大的威脅和挑戰(zhàn)。首先，并入電網(wǎng)的電源在時(shí)空上分布的不均衡性，主要體現(xiàn)在地域上分布的不均衡性，電源容量大小及容量利用因子的不均衡性。其次，源網(wǎng)流向在時(shí)空上分布的不清晰性。主要體現(xiàn)在輸電與配電邏輯清晰的傳統(tǒng)概念逐漸被打破，電網(wǎng)調(diào)控邏輯化解析程度逐漸減弱。最后，分布與集中的矛盾日益突出，主要體現(xiàn)在時(shí)空關(guān)聯(lián)使電網(wǎng)向廣域化發(fā)展。面對(duì)已經(jīng)出現(xiàn)或即將出現(xiàn)的新的問題和挑戰(zhàn)，電網(wǎng)調(diào)控手段必須相應(yīng)的改變，才能夠適應(yīng)新形勢(shì)下電網(wǎng)的發(fā)展。但是，現(xiàn)有電力網(wǎng)絡(luò)監(jiān)測(cè)技術(shù)大多數(shù)都是簡(jiǎn)單收集分布在電力網(wǎng)絡(luò)中的傳感器數(shù)據(jù)，并將傳感器所反饋的信息顯示在終端上，只是對(duì)數(shù)據(jù)進(jìn)行了最基本的收集-顯示的過程。這種傳統(tǒng)的監(jiān)測(cè)技術(shù)簡(jiǎn)單易懂，一目了然，但缺點(diǎn)是過于簡(jiǎn)單，只能實(shí)現(xiàn)電力數(shù)據(jù)的單純羅列，對(duì)于數(shù)據(jù)沒有一個(gè)分析的過程，無法分析出數(shù)據(jù)中隱含的信息，這對(duì)于有著豐富內(nèi)容可供挖掘的海量電網(wǎng)業(yè)務(wù)數(shù)據(jù)來說無疑是一個(gè)巨大的浪費(fèi)。

由此，在實(shí)現(xiàn)本申請(qǐng)的過程中，發(fā)明人發(fā)現(xiàn)現(xiàn)有技術(shù)存在以下缺陷：只能單純的羅列數(shù)據(jù)導(dǎo)致電力數(shù)據(jù)利用率較低，同時(shí)也無法挖掘電力數(shù)據(jù)內(nèi)在的關(guān)聯(lián)和含義，進(jìn)而在電網(wǎng)運(yùn)行時(shí)不能對(duì)故障點(diǎn)進(jìn)行準(zhǔn)確的預(yù)測(cè)和分析。

技術(shù)實(shí)現(xiàn)要素：

有鑒于此，本發(fā)明的目的在于提出一種基于大數(shù)據(jù)平臺(tái)的電力數(shù)據(jù)處理方法，不僅能夠提高電力數(shù)據(jù)收集和利用的效率，而且能夠準(zhǔn)確實(shí)現(xiàn)對(duì)故障點(diǎn)的預(yù)測(cè)。

基于上述目的本發(fā)明提供的一種基于大數(shù)據(jù)平臺(tái)的電力數(shù)據(jù)處理方法，包括：

獲取電力網(wǎng)絡(luò)中的應(yīng)用數(shù)據(jù)；其中，所述應(yīng)用數(shù)據(jù)包括電力運(yùn)行狀態(tài)信息以及電力節(jié)點(diǎn)故障數(shù)據(jù)；

將所述應(yīng)用數(shù)據(jù)按照預(yù)設(shè)的方式進(jìn)行匯總處理，形成數(shù)據(jù)表格后將處理后的匯總數(shù)據(jù)發(fā)送并存儲(chǔ)到與電力網(wǎng)絡(luò)配套的大數(shù)據(jù)平臺(tái)中；

在大數(shù)據(jù)平臺(tái)中，將所述匯總數(shù)據(jù)進(jìn)行可視化處理并實(shí)時(shí)顯示出來；

采用聚類算法對(duì)所述匯總數(shù)據(jù)進(jìn)行關(guān)聯(lián)情況分析，找出電力網(wǎng)絡(luò)中的關(guān)鍵電力節(jié)點(diǎn)；

采用關(guān)聯(lián)規(guī)則方法分析電力節(jié)點(diǎn)中的歷史故障數(shù)據(jù)，并對(duì)電力節(jié)點(diǎn)進(jìn)行評(píng)估和持續(xù)跟蹤，當(dāng)某一節(jié)點(diǎn)運(yùn)行出現(xiàn)故障時(shí)，預(yù)測(cè)得到其他節(jié)點(diǎn)的故障情況。

可選的，所述關(guān)聯(lián)規(guī)則方法采用apriori關(guān)聯(lián)規(guī)則算法的spark分布式結(jié)構(gòu)實(shí)現(xiàn)，并且結(jié)合spark框架及rdd算子進(jìn)行綜合設(shè)計(jì)，所述關(guān)聯(lián)規(guī)則方法能夠找出過往節(jié)點(diǎn)故障的相關(guān)性，進(jìn)而在出現(xiàn)節(jié)點(diǎn)故障時(shí)能夠?qū)ο嚓P(guān)節(jié)點(diǎn)進(jìn)行故障預(yù)測(cè)。

可選的，所述關(guān)聯(lián)規(guī)則方法包括：

產(chǎn)生頻繁第1項(xiàng)集l1；其中，所述第1項(xiàng)集l1為故障節(jié)點(diǎn)之間的初始關(guān)聯(lián)概率對(duì)應(yīng)的初始項(xiàng)集，具體為：

將事務(wù)集以預(yù)設(shè)的形式分布到多個(gè)機(jī)器上；其中，所述事務(wù)集為初始故障數(shù)據(jù)的集合；

對(duì)項(xiàng)目數(shù)進(jìn)行累計(jì)計(jì)算，其中，所述項(xiàng)目數(shù)為相關(guān)節(jié)點(diǎn)的數(shù)目；

過濾低于預(yù)設(shè)支持度的項(xiàng)集，得到初始項(xiàng)集并且構(gòu)建頻繁第1項(xiàng)集l1；

獲取新的故障數(shù)據(jù)，從頻繁第k項(xiàng)集lk產(chǎn)生頻繁第k+1項(xiàng)集lk+1，具體為：

使得頻繁第k項(xiàng)集lk自連接，進(jìn)而生成ck+1；

對(duì)數(shù)據(jù)庫進(jìn)行掃描，利用第1項(xiàng)集生成的方法對(duì)ck+1f進(jìn)行比對(duì)，進(jìn)而生成lk+1。

可選的，所述聚類算法采用最大最小值k-means聚類算法。

可選的，所述聚類算法包括：

從初始數(shù)據(jù)集d中選取一個(gè)對(duì)象作為第一個(gè)聚類種子；

計(jì)算初始數(shù)據(jù)集d中其余對(duì)象與第一個(gè)聚類種子之間的距離；

選取距離最遠(yuǎn)的那個(gè)對(duì)象作為第二個(gè)聚類種子；

繼續(xù)迭代計(jì)算得到初始數(shù)據(jù)集d中其余對(duì)象與兩個(gè)聚類種子中心的距離；

計(jì)算出所有對(duì)象距離兩個(gè)聚類種子中心較小的距離，找到該距離最大值對(duì)應(yīng)的那個(gè)對(duì)象，判斷是否滿足

max(min(d1，d2))>t|c2-c1|，其中d1，d2分別表示一個(gè)對(duì)象與已選出的兩個(gè)聚類中心c1，c2的距離，t為檢驗(yàn)參數(shù)；

若是滿足，則將該對(duì)象選定為第三個(gè)聚類種子；

依照上述規(guī)則，依次迭代計(jì)算，直到?jīng)]有點(diǎn)能夠滿足下列條件：

繼而算法結(jié)束，得到聚類分析結(jié)果。

本申請(qǐng)還提供了一種基于大數(shù)據(jù)平臺(tái)的電力數(shù)據(jù)處理系統(tǒng)，包括：

數(shù)據(jù)獲取模塊，用于獲取電力網(wǎng)絡(luò)中的應(yīng)用數(shù)據(jù)；其中，所述應(yīng)用數(shù)據(jù)包括電力運(yùn)行狀態(tài)信息以及電力節(jié)點(diǎn)故障數(shù)據(jù)；

數(shù)據(jù)處理模塊，用于將所述應(yīng)用數(shù)據(jù)按照預(yù)設(shè)的方式進(jìn)行匯總處理，形成數(shù)據(jù)表格后將處理后的匯總數(shù)據(jù)發(fā)送并存儲(chǔ)到與電力網(wǎng)絡(luò)配套的大數(shù)據(jù)平臺(tái)中；

數(shù)據(jù)顯示模塊，用于在大數(shù)據(jù)平臺(tái)中，將所述匯總數(shù)據(jù)進(jìn)行可視化處理并實(shí)時(shí)顯示出來；

聚類分析模塊，用于采用聚類算法對(duì)所述匯總數(shù)據(jù)進(jìn)行關(guān)聯(lián)情況分析，找出電力網(wǎng)絡(luò)中的關(guān)鍵電力節(jié)點(diǎn)；

故障預(yù)測(cè)模塊，用于采用關(guān)聯(lián)規(guī)則方法分析電力節(jié)點(diǎn)中的歷史故障數(shù)據(jù)，并對(duì)電力節(jié)點(diǎn)進(jìn)行評(píng)估和持續(xù)跟蹤，當(dāng)某一節(jié)點(diǎn)運(yùn)行出現(xiàn)故障時(shí)，預(yù)測(cè)得到其他節(jié)點(diǎn)的故障情況。

從上面所述可以看出，本申請(qǐng)所述的基于大數(shù)據(jù)平臺(tái)的電力數(shù)據(jù)處理方法通過提出一種基于大數(shù)據(jù)平臺(tái)的新式電力網(wǎng)絡(luò)監(jiān)測(cè)技術(shù)，將各個(gè)傳感器的數(shù)據(jù)匯總成表，灌入與此電力網(wǎng)絡(luò)相配套的大數(shù)據(jù)處理平臺(tái)，并運(yùn)用聚類、關(guān)聯(lián)規(guī)則分析等分析方法對(duì)所得數(shù)據(jù)進(jìn)行分析。本申請(qǐng)不僅規(guī)范了電力網(wǎng)絡(luò)中數(shù)據(jù)的收集、存儲(chǔ)、使用、分析的過程，提高了電力網(wǎng)絡(luò)中所收集的數(shù)據(jù)的利用率，能對(duì)電力網(wǎng)絡(luò)運(yùn)行狀況進(jìn)行系統(tǒng)評(píng)估，使得對(duì)電力網(wǎng)絡(luò)的維護(hù)更加方便，根據(jù)對(duì)所得數(shù)據(jù)進(jìn)行關(guān)聯(lián)規(guī)則分析的結(jié)果，可以預(yù)報(bào)一些難以檢測(cè)出的隱患。此外，本申請(qǐng)由于采用流式大數(shù)據(jù)技術(shù)，數(shù)據(jù)全部來源于當(dāng)前運(yùn)行的電網(wǎng)，保證了數(shù)據(jù)的真實(shí)可信；由于流式大數(shù)據(jù)可做到數(shù)據(jù)來源的實(shí)時(shí)更新，并且spark技術(shù)允許在比硬盤快得多的內(nèi)存中讀寫數(shù)據(jù)，使得大數(shù)據(jù)在電網(wǎng)優(yōu)化和調(diào)度中的應(yīng)用成為可能，其即時(shí)性也得到了保證。采用的新算法可以分析出某些過往故障節(jié)點(diǎn)之間的關(guān)聯(lián)性，起到一定的預(yù)測(cè)作用，可分析出一些高風(fēng)險(xiǎn)節(jié)點(diǎn)提醒相關(guān)人員注意。因此，本申請(qǐng)所述的基于大數(shù)據(jù)平臺(tái)的電力數(shù)據(jù)處理方法不僅能夠提高電力數(shù)據(jù)收集和利用的效率，而且能夠準(zhǔn)確實(shí)現(xiàn)對(duì)故障點(diǎn)的預(yù)測(cè)。

附圖說明

圖1為本發(fā)明提供的基于大數(shù)據(jù)平臺(tái)的電力數(shù)據(jù)處理方法的一個(gè)實(shí)施例的流程示意圖；

圖2為本發(fā)明提供的關(guān)聯(lián)規(guī)則方法的一個(gè)實(shí)施例的流程示意圖；

圖3為本發(fā)明提供的基于大數(shù)據(jù)平臺(tái)的電力數(shù)據(jù)處理系統(tǒng)的一個(gè)實(shí)施例的結(jié)構(gòu)示意圖；

圖4為本發(fā)明提供的大數(shù)據(jù)平臺(tái)的一個(gè)實(shí)施例的基本架構(gòu)示意圖；

圖5為本發(fā)明提供的分布式apriori關(guān)聯(lián)規(guī)則算法的基本思路示意圖；

圖6為本發(fā)明提供的采用關(guān)聯(lián)分析算法分析一組報(bào)警變壓器、線路的分析結(jié)果示意圖；

圖7為本發(fā)明提供的大數(shù)據(jù)平臺(tái)的另一個(gè)實(shí)施例的基本架構(gòu)示意圖。

具體實(shí)施方式

為使本發(fā)明的目的、技術(shù)方案和優(yōu)點(diǎn)更加清楚明白，以下結(jié)合具體實(shí)施例，并參照附圖，對(duì)本發(fā)明進(jìn)一步詳細(xì)說明。

需要說明的是，本發(fā)明實(shí)施例中所有使用“第一”和“第二”的表述均是為了區(qū)分兩個(gè)相同名稱非相同的實(shí)體或者非相同的參量，可見“第一”“第二”僅為了表述的方便，不應(yīng)理解為對(duì)本發(fā)明實(shí)施例的限定，后續(xù)實(shí)施例對(duì)此不再一一說明。

針對(duì)目前電力通信網(wǎng)絡(luò)中存在的數(shù)據(jù)利用率極低以及安全態(tài)勢(shì)無法預(yù)測(cè)或者預(yù)測(cè)不夠準(zhǔn)確的問題，本申請(qǐng)?zhí)峁┮环N預(yù)測(cè)模型框架，即通過對(duì)電力數(shù)據(jù)的挖掘、處理及分析能夠?qū)﹄娏νㄐ啪W(wǎng)絡(luò)安全態(tài)勢(shì)進(jìn)行準(zhǔn)確預(yù)測(cè)。由此，本申請(qǐng)?zhí)峁┝艘环N基于大數(shù)據(jù)平臺(tái)的電網(wǎng)資源的新式電力數(shù)據(jù)收集方法和故障預(yù)測(cè)的方法，也即數(shù)據(jù)處理方法。本申請(qǐng)中的數(shù)據(jù)處理方法由spark大數(shù)據(jù)平臺(tái)對(duì)電力通信網(wǎng)絡(luò)數(shù)據(jù)處理、安全態(tài)勢(shì)指標(biāo)選取和并行粒子群優(yōu)化神經(jīng)網(wǎng)絡(luò)算法等部分組成。

隨著智能電網(wǎng)的迅速發(fā)展以及電力架構(gòu)的不斷更新，傳統(tǒng)的電網(wǎng)管理理念已經(jīng)無法適應(yīng)電網(wǎng)管理的發(fā)展節(jié)奏，因此需要改變對(duì)電網(wǎng)節(jié)點(diǎn)的管理理念，從傳統(tǒng)的“問題找人”變?yōu)楝F(xiàn)代化的“人找問題”，通過收集電網(wǎng)大數(shù)據(jù)進(jìn)行數(shù)據(jù)的集中分析和處理，消除電網(wǎng)調(diào)度的盲區(qū)，解決資源互補(bǔ)、時(shí)空關(guān)聯(lián)、分布與集中的矛盾，最終實(shí)現(xiàn)智能電網(wǎng)調(diào)度管理平臺(tái)上多資源的互補(bǔ)協(xié)同利用。所以，本申請(qǐng)?zhí)峁┑幕诖髷?shù)據(jù)平臺(tái)的電力數(shù)據(jù)處理方法，通過對(duì)電力網(wǎng)絡(luò)運(yùn)行過程中產(chǎn)生的一系列數(shù)據(jù)，運(yùn)用聚類、關(guān)聯(lián)規(guī)則分析等分析方法，挖掘出這些數(shù)據(jù)中隱含的規(guī)律或信息，用以解決之前的監(jiān)測(cè)技術(shù)存在的單純羅列數(shù)據(jù)，數(shù)據(jù)利用率差，無法對(duì)故障點(diǎn)進(jìn)行預(yù)測(cè)，無法發(fā)現(xiàn)故障點(diǎn)規(guī)律等問題，解決目前的電力網(wǎng)絡(luò)優(yōu)化調(diào)度中存在的數(shù)據(jù)可信性、即時(shí)性不足，無法分析出當(dāng)前電力網(wǎng)絡(luò)關(guān)鍵節(jié)點(diǎn)等問題。

參照?qǐng)D1所示，為本發(fā)明提供的基于大數(shù)據(jù)平臺(tái)的電力數(shù)據(jù)處理方法的一個(gè)實(shí)施例的流程示意圖。所述基于大數(shù)據(jù)平臺(tái)的電力數(shù)據(jù)處理方法包括：

步驟101，獲取電力網(wǎng)絡(luò)中的應(yīng)用數(shù)據(jù)；其中，所述應(yīng)用數(shù)據(jù)包括電力運(yùn)行狀態(tài)信息以及電力節(jié)點(diǎn)故障數(shù)據(jù)；其中，獲取應(yīng)用數(shù)據(jù)的方式是可以通過預(yù)先布置在電力網(wǎng)絡(luò)中的傳感器進(jìn)行收集，或者還可以通過相應(yīng)的網(wǎng)絡(luò)獲取電力應(yīng)用數(shù)據(jù)。具體的所述應(yīng)用數(shù)據(jù)包括個(gè)分區(qū)電表的讀書數(shù)據(jù)、各變電站變壓器運(yùn)行狀態(tài)數(shù)據(jù)等與電力運(yùn)行狀態(tài)相關(guān)的數(shù)據(jù)，以及能夠表示電力網(wǎng)絡(luò)節(jié)點(diǎn)故障相關(guān)的數(shù)據(jù)，例如什么時(shí)候發(fā)生了什么類型的故障。

步驟102，將所述應(yīng)用數(shù)據(jù)按照預(yù)設(shè)的方式進(jìn)行匯總處理，形成數(shù)據(jù)表格后將處理后的匯總數(shù)據(jù)發(fā)送并存儲(chǔ)到與電力網(wǎng)絡(luò)配套的大數(shù)據(jù)平臺(tái)中；其中，對(duì)于電力應(yīng)用數(shù)據(jù)的匯總可以預(yù)先設(shè)置一定的數(shù)據(jù)分類方式，使得同類數(shù)據(jù)能夠準(zhǔn)確的匯總到相同或者近似的位置?？蛇x的，采用hive表的形式對(duì)匯總數(shù)據(jù)進(jìn)行存儲(chǔ)，這樣能夠便于數(shù)據(jù)的分類、調(diào)用和保存?zhèn)浞荨?/p>

步驟103，在大數(shù)據(jù)平臺(tái)中，將所述匯總數(shù)據(jù)進(jìn)行可視化處理并實(shí)時(shí)顯示出來；其中，可視化一般是指將數(shù)據(jù)通過一定的處理或者排列顯示在顯示器中，使得觀看的用戶能夠及時(shí)獲取數(shù)據(jù)對(duì)應(yīng)的設(shè)備運(yùn)行狀態(tài)信息，例如顯示為柱狀圖、線條圖等等。

步驟104，采用聚類算法對(duì)所述匯總數(shù)據(jù)進(jìn)行關(guān)聯(lián)情況分析，找出電力網(wǎng)絡(luò)中的關(guān)鍵電力節(jié)點(diǎn)，后續(xù)的分析將基于這些關(guān)鍵性節(jié)點(diǎn)進(jìn)行；其中，所述采用聚類算法對(duì)所述匯總數(shù)據(jù)進(jìn)行關(guān)聯(lián)情況分析既可以是預(yù)先實(shí)施的步驟，也可以是在電網(wǎng)運(yùn)行狀態(tài)中實(shí)時(shí)更新分析出的結(jié)果，通過對(duì)匯總數(shù)據(jù)的聚類分析，使得用戶能夠找到關(guān)鍵電力節(jié)點(diǎn)，進(jìn)而提高后續(xù)對(duì)電力節(jié)點(diǎn)進(jìn)行分析的準(zhǔn)確性和可靠性。

可選的，所述聚類算法采用最大最小值k-means聚類算法。所述最大最小值k-means聚類算法包括步驟如下：

從初始數(shù)據(jù)集d中選取一個(gè)對(duì)象作為第一個(gè)聚類種子；其中，所述聚類種子也即聚類的中心，也即可以將第一個(gè)聚類種子成為第一個(gè)聚類中心；

計(jì)算初始數(shù)據(jù)集d中其余對(duì)象與第一個(gè)聚類種子之間的距離；

選取距離最遠(yuǎn)的那個(gè)對(duì)象作為第二個(gè)聚類種子；也即在其余對(duì)象與第一個(gè)聚類種子的距離中，選取出距離最遠(yuǎn)的那個(gè)對(duì)象作為第二個(gè)聚類種子；

繼續(xù)迭代計(jì)算得到初始數(shù)據(jù)集d中其余對(duì)象與兩個(gè)聚類種子中心的距離；

計(jì)算出所有對(duì)象距離兩個(gè)聚類種子中心較小的距離，找到該距離最大值對(duì)應(yīng)的那個(gè)對(duì)象，判斷是否滿足

max(min(d1，d2))>t|c2-c1|，其中d1，d2分別表示一個(gè)對(duì)象與已選出的兩個(gè)聚類中心c1，c2的距離，t為檢驗(yàn)參數(shù)；

若是滿足，則將該對(duì)象選定為第三個(gè)聚類種子；

依照上述規(guī)則，依次迭代計(jì)算，直到?jīng)]有點(diǎn)能夠滿足下列條件：

繼而算法結(jié)束，得到聚類分析結(jié)果。

這樣，通過本申請(qǐng)采用的最大最小值k-means聚類算法能夠?qū)﹄娏?shù)據(jù)進(jìn)行聚類分析，進(jìn)而能夠分析得到電力網(wǎng)絡(luò)中的關(guān)鍵電力節(jié)點(diǎn)，為后續(xù)的分析計(jì)算打下可靠的基礎(chǔ)。

步驟105，采用關(guān)聯(lián)規(guī)則方法分析電力節(jié)點(diǎn)中的歷史故障數(shù)據(jù)，并對(duì)電力節(jié)點(diǎn)進(jìn)行評(píng)估和持續(xù)跟蹤，當(dāng)某一節(jié)點(diǎn)運(yùn)行出現(xiàn)故障時(shí)，預(yù)測(cè)得到其他節(jié)點(diǎn)的故障情況。其中，節(jié)點(diǎn)運(yùn)行出現(xiàn)故障是指電網(wǎng)中的傳感器檢測(cè)到某一個(gè)節(jié)點(diǎn)在實(shí)際運(yùn)行過程中停止運(yùn)行或者無法采集數(shù)據(jù)時(shí)，提示該節(jié)點(diǎn)已出現(xiàn)故障。而本申請(qǐng)采用的關(guān)聯(lián)規(guī)則方法或算法能夠基于發(fā)生故障的節(jié)點(diǎn)以及節(jié)點(diǎn)之間關(guān)聯(lián)性，對(duì)于發(fā)生故障節(jié)點(diǎn)相關(guān)的其他節(jié)點(diǎn)給出發(fā)生故障的概率，未相應(yīng)的技術(shù)人員提供參考，不僅可以提高電網(wǎng)運(yùn)行的安全性，而且可以使得技術(shù)人員能夠及時(shí)預(yù)防節(jié)點(diǎn)的故障。

可選的，所述關(guān)聯(lián)規(guī)則方法采用apriori關(guān)聯(lián)規(guī)則算法(即先驗(yàn)關(guān)聯(lián)規(guī)則算法)的spark(一個(gè)專為大規(guī)模數(shù)據(jù)處理而設(shè)計(jì)的快速通用的計(jì)算引擎)分布式結(jié)構(gòu)實(shí)現(xiàn)，并且結(jié)合spark框架及rdd(彈性分布式數(shù)據(jù)集)算子進(jìn)行綜合設(shè)計(jì)，所述關(guān)聯(lián)規(guī)則方法能夠找出過往節(jié)點(diǎn)故障的相關(guān)性，進(jìn)而在出現(xiàn)節(jié)點(diǎn)故障時(shí)能夠?qū)ο嚓P(guān)節(jié)點(diǎn)進(jìn)行故障預(yù)測(cè)。

參照?qǐng)D2所示，為本發(fā)明提供的關(guān)聯(lián)規(guī)則方法的一個(gè)實(shí)施例的流程示意圖。所述關(guān)聯(lián)規(guī)則方法包括：

步驟1051，產(chǎn)生頻繁第1項(xiàng)集l1；其中，所述第1項(xiàng)集l1為故障節(jié)點(diǎn)之間的初始關(guān)聯(lián)概率對(duì)應(yīng)的初始項(xiàng)集，具體為：

步驟10511，將事務(wù)集以預(yù)設(shè)的形式分布到多個(gè)機(jī)器上；其中，所述事務(wù)集為初始故障數(shù)據(jù)的集合；

步驟10512，對(duì)項(xiàng)目數(shù)進(jìn)行累計(jì)計(jì)算，其中，所述項(xiàng)目數(shù)為相關(guān)節(jié)點(diǎn)的數(shù)目；可選的，采用reducebykey(spark中的一個(gè)方法)累計(jì)項(xiàng)目數(shù)，項(xiàng)目數(shù)即本次所分析的是否相關(guān)之節(jié)點(diǎn)的數(shù)目。

步驟10513，過濾低于預(yù)設(shè)支持度的項(xiàng)集，得到初始項(xiàng)集并且構(gòu)建頻繁第1項(xiàng)集l1；可選的，使用filter(spark中的另一個(gè)方法)過濾掉低于支持度的項(xiàng)集。所述預(yù)設(shè)支持度是用于判斷項(xiàng)集對(duì)應(yīng)的概率，也即被過濾掉的項(xiàng)集意味著是小概率事件，不能認(rèn)為二者之間存在故障關(guān)連。

步驟1052，獲取新的故障數(shù)據(jù)，從頻繁第k項(xiàng)集lk產(chǎn)生頻繁第k+1項(xiàng)集lk+1；也即可以通過上一項(xiàng)項(xiàng)集得到下一項(xiàng)項(xiàng)集，依次類推進(jìn)而對(duì)電力數(shù)據(jù)進(jìn)行實(shí)時(shí)更新。具體為：

步驟10521，使得頻繁第k項(xiàng)集lk自連接，進(jìn)而生成ck+1；

步驟10522，對(duì)數(shù)據(jù)庫進(jìn)行掃描，利用第1項(xiàng)集生成的方法對(duì)ck+1f進(jìn)行比對(duì)，進(jìn)而生成lk+1。其中，f代表上文中的fliter，即經(jīng)過過濾步驟的項(xiàng)集ck+1。

所述apriori關(guān)聯(lián)規(guī)則算法是一個(gè)持續(xù)學(xué)習(xí)并迭代的過程，通過以上步驟，持續(xù)讀入新的故障數(shù)據(jù)，持續(xù)產(chǎn)生更新的項(xiàng)集，節(jié)點(diǎn)之間的故障關(guān)聯(lián)概率也可能隨之改變，并逐漸接近真實(shí)的關(guān)聯(lián)情況。

本申請(qǐng)所述的基于大數(shù)據(jù)平臺(tái)的電力數(shù)據(jù)處理方法通過提出一種基于大數(shù)據(jù)平臺(tái)的新式電力網(wǎng)絡(luò)監(jiān)測(cè)技術(shù)，將各個(gè)傳感器的數(shù)據(jù)匯總成表，灌入與此電力網(wǎng)絡(luò)相配套的大數(shù)據(jù)處理平臺(tái)，并運(yùn)用聚類、關(guān)聯(lián)規(guī)則分析等分析方法對(duì)所得數(shù)據(jù)進(jìn)行分析。本申請(qǐng)不僅規(guī)范了電力網(wǎng)絡(luò)中數(shù)據(jù)的收集、存儲(chǔ)、使用、分析的過程，提高了電力網(wǎng)絡(luò)中所收集的數(shù)據(jù)的利用率，能對(duì)電力網(wǎng)絡(luò)運(yùn)行狀況進(jìn)行系統(tǒng)評(píng)估，使得對(duì)電力網(wǎng)絡(luò)的維護(hù)更加方便，根據(jù)對(duì)所得數(shù)據(jù)進(jìn)行關(guān)聯(lián)規(guī)則分析的結(jié)果，可以預(yù)報(bào)一些難以檢測(cè)出的隱患。此外，本申請(qǐng)由于采用流式大數(shù)據(jù)技術(shù)，數(shù)據(jù)全部來源于當(dāng)前運(yùn)行的電網(wǎng)，保證了數(shù)據(jù)的真實(shí)可信；由于流式大數(shù)據(jù)可做到數(shù)據(jù)來源的實(shí)時(shí)更新，并且spark技術(shù)允許在比硬盤快得多的內(nèi)存中讀寫數(shù)據(jù)，使得大數(shù)據(jù)在電網(wǎng)優(yōu)化和調(diào)度中的應(yīng)用成為可能，其即時(shí)性也得到了保證。采用的新算法可以分析出某些過往故障節(jié)點(diǎn)之間的關(guān)聯(lián)性，起到一定的預(yù)測(cè)作用，可分析出一些高風(fēng)險(xiǎn)節(jié)點(diǎn)提醒相關(guān)人員注意。因此，本申請(qǐng)所述的基于大數(shù)據(jù)平臺(tái)的電力數(shù)據(jù)處理方法不僅能夠提高電力數(shù)據(jù)收集和利用的效率，而且能夠準(zhǔn)確實(shí)現(xiàn)對(duì)故障點(diǎn)的預(yù)測(cè)。

參照?qǐng)D3所示，為本發(fā)明提供的基于大數(shù)據(jù)平臺(tái)的電力數(shù)據(jù)處理系統(tǒng)的一個(gè)實(shí)施例的結(jié)構(gòu)示意圖。所述基于大數(shù)據(jù)平臺(tái)的電力數(shù)據(jù)處理系統(tǒng)包括：

數(shù)據(jù)獲取模塊201，用于獲取電力網(wǎng)絡(luò)中的應(yīng)用數(shù)據(jù)；其中，所述應(yīng)用數(shù)據(jù)包括電力運(yùn)行狀態(tài)信息以及電力節(jié)點(diǎn)故障數(shù)據(jù)；

數(shù)據(jù)處理模塊202，用于將所述應(yīng)用數(shù)據(jù)按照預(yù)設(shè)的方式進(jìn)行匯總處理，形成數(shù)據(jù)表格后將處理后的匯總數(shù)據(jù)發(fā)送并存儲(chǔ)到與電力網(wǎng)絡(luò)配套的大數(shù)據(jù)平臺(tái)中；

數(shù)據(jù)顯示模塊203，用于在大數(shù)據(jù)平臺(tái)中，將所述匯總數(shù)據(jù)進(jìn)行可視化處理并實(shí)時(shí)顯示出來；

聚類分析模塊204，用于采用聚類算法對(duì)所述匯總數(shù)據(jù)進(jìn)行關(guān)聯(lián)情況分析，找出電力網(wǎng)絡(luò)中的關(guān)鍵電力節(jié)點(diǎn)；

故障預(yù)測(cè)模塊205，用于采用關(guān)聯(lián)規(guī)則方法分析電力節(jié)點(diǎn)中的歷史故障數(shù)據(jù)，并對(duì)電力節(jié)點(diǎn)進(jìn)行評(píng)估和持續(xù)跟蹤，當(dāng)某一節(jié)點(diǎn)運(yùn)行出現(xiàn)故障時(shí)，預(yù)測(cè)得到其他節(jié)點(diǎn)的故障情況。

由上述實(shí)施例可知，本申請(qǐng)所述的基于大數(shù)據(jù)平臺(tái)的電力數(shù)據(jù)處理系統(tǒng)通過數(shù)據(jù)獲取模塊201和數(shù)據(jù)處理模塊202將各個(gè)傳感器的數(shù)據(jù)匯總成表，灌入與此電力網(wǎng)絡(luò)相配套的大數(shù)據(jù)處理平臺(tái)，并通過聚類分析模塊204和故障預(yù)測(cè)模塊205運(yùn)用聚類、關(guān)聯(lián)規(guī)則分析等分析方法對(duì)所得數(shù)據(jù)進(jìn)行分析。本申請(qǐng)不僅規(guī)范了電力網(wǎng)絡(luò)中數(shù)據(jù)的收集、存儲(chǔ)、使用、分析的過程，提高了電力網(wǎng)絡(luò)中所收集的數(shù)據(jù)的利用率，能對(duì)電力網(wǎng)絡(luò)運(yùn)行狀況進(jìn)行系統(tǒng)評(píng)估，使得對(duì)電力網(wǎng)絡(luò)的維護(hù)更加方便，根據(jù)對(duì)所得數(shù)據(jù)進(jìn)行關(guān)聯(lián)規(guī)則分析的結(jié)果，可以預(yù)報(bào)一些難以檢測(cè)出的隱患。此外，本申請(qǐng)由于采用流式大數(shù)據(jù)技術(shù)，數(shù)據(jù)全部來源于當(dāng)前運(yùn)行的電網(wǎng)，保證了數(shù)據(jù)的真實(shí)可信；由于流式大數(shù)據(jù)可做到數(shù)據(jù)來源的實(shí)時(shí)更新，并且spark技術(shù)允許在比硬盤快得多的內(nèi)存中讀寫數(shù)據(jù)，使得大數(shù)據(jù)在電網(wǎng)優(yōu)化和調(diào)度中的應(yīng)用成為可能，其即時(shí)性也得到了保證。采用的新算法可以分析出某些過往故障節(jié)點(diǎn)之間的關(guān)聯(lián)性，起到一定的預(yù)測(cè)作用，可分析出一些高風(fēng)險(xiǎn)節(jié)點(diǎn)提醒相關(guān)人員注意。因此，本申請(qǐng)所述的基于大數(shù)據(jù)平臺(tái)的電力數(shù)據(jù)處理系統(tǒng)不僅能夠提高電力數(shù)據(jù)收集和利用的效率，而且能夠準(zhǔn)確實(shí)現(xiàn)對(duì)故障點(diǎn)的預(yù)測(cè)。

參照?qǐng)D4和圖7所示，為本發(fā)明提供的大數(shù)據(jù)平臺(tái)的兩個(gè)實(shí)施例的基本架構(gòu)示意圖。由圖可知，本申請(qǐng)通過對(duì)電力數(shù)據(jù)進(jìn)行統(tǒng)一的處理，能夠有效實(shí)現(xiàn)電力資源的優(yōu)化和調(diào)度，提高電力數(shù)據(jù)管理的效率。

參照?qǐng)D5所示，為本發(fā)明提供的分布式apriori關(guān)聯(lián)規(guī)則算法的基本思路示意圖；圖6為本發(fā)明提供的采用關(guān)聯(lián)分析算法分析一組報(bào)警變壓器、線路的分析結(jié)果示意圖。由圖可知，本申請(qǐng)采用的數(shù)據(jù)處理方法在一定程度上能夠有效的實(shí)現(xiàn)相關(guān)電力節(jié)點(diǎn)的故障預(yù)測(cè)，為電力管理的技術(shù)人員提高有效、可靠的數(shù)據(jù)支撐和分析，進(jìn)而對(duì)于可能發(fā)生故障的節(jié)點(diǎn)做到及時(shí)預(yù)防，避免更大故障的發(fā)生。

可選的，本申請(qǐng)是一種基于spark框架下對(duì)電力通信大數(shù)據(jù)平臺(tái)進(jìn)行的電網(wǎng)資源的優(yōu)化和調(diào)度的計(jì)算模型，本申請(qǐng)數(shù)據(jù)處理方法對(duì)應(yīng)的框架模型包括：基于spark開源架構(gòu)的大數(shù)據(jù)平臺(tái)、聚類和關(guān)聯(lián)規(guī)則算法、電力網(wǎng)絡(luò)資源調(diào)配等部分。具體來說，spark平臺(tái)負(fù)責(zé)數(shù)據(jù)收集、清洗、注入、提取和存儲(chǔ)；聚類和關(guān)聯(lián)規(guī)則算法找出電力網(wǎng)絡(luò)節(jié)點(diǎn)之間的隱藏聯(lián)系、最后根據(jù)由此算法分析出的結(jié)果進(jìn)行電網(wǎng)資源調(diào)度。本申請(qǐng)的新的技術(shù)點(diǎn)至少包括：

1.基于spark開源架構(gòu)的流式大數(shù)據(jù)平臺(tái)：通過數(shù)據(jù)隧道將分散存儲(chǔ)在各個(gè)節(jié)點(diǎn)、物聯(lián)網(wǎng)傳感器上的數(shù)據(jù)類型駁雜的電力通信數(shù)據(jù)統(tǒng)一抽取、清洗并匯總到數(shù)據(jù)倉庫中，并應(yīng)用sparkstreaming技術(shù)對(duì)收集數(shù)據(jù)進(jìn)行實(shí)時(shí)處理。

2.對(duì)于收集到并存儲(chǔ)在數(shù)據(jù)倉庫中的電網(wǎng)網(wǎng)絡(luò)節(jié)點(diǎn)的數(shù)據(jù)，使用一種聚類和關(guān)聯(lián)規(guī)則相結(jié)合的算法，對(duì)其進(jìn)行分析，找出關(guān)系比較密切的節(jié)點(diǎn)以及各個(gè)節(jié)點(diǎn)在電網(wǎng)中的吞吐量、重要程度等進(jìn)階數(shù)據(jù)。

3.根據(jù)第2步中所得到的數(shù)據(jù)，對(duì)電網(wǎng)資源的調(diào)度進(jìn)行分配，使得整個(gè)電網(wǎng)的資源使用更加科學(xué)有效率。

所屬領(lǐng)域的普通技術(shù)人員應(yīng)當(dāng)理解：以上任何實(shí)施例的討論僅為示例性的，并非旨在暗示本公開的范圍(包括權(quán)利要求)被限于這些例子；在本發(fā)明的思路下，以上實(shí)施例或者不同實(shí)施例中的技術(shù)特征之間也可以進(jìn)行組合，步驟可以以任意順序?qū)崿F(xiàn)，并存在如上所述的本發(fā)明的不同方面的許多其它變化，為了簡(jiǎn)明它們沒有在細(xì)節(jié)中提供。

另外，為簡(jiǎn)化說明和討論，并且為了不會(huì)使本發(fā)明難以理解，在所提供的附圖中可以示出或可以不示出與集成電路(ic)芯片和其它部件的公知的電源/接地連接。此外，可以以框圖的形式示出裝置，以便避免使本發(fā)明難以理解，并且這也考慮了以下事實(shí)，即關(guān)于這些框圖裝置的實(shí)施方式的細(xì)節(jié)是高度取決于將要實(shí)施本發(fā)明的平臺(tái)的(即，這些細(xì)節(jié)應(yīng)當(dāng)完全處于本領(lǐng)域技術(shù)人員的理解范圍內(nèi))。在闡述了具體細(xì)節(jié)(例如，電路)以描述本發(fā)明的示例性實(shí)施例的情況下，對(duì)本領(lǐng)域技術(shù)人員來說顯而易見的是，可以在沒有這些具體細(xì)節(jié)的情況下或者這些具體細(xì)節(jié)有變化的情況下實(shí)施本發(fā)明。因此，這些描述應(yīng)被認(rèn)為是說明性的而不是限制性的。

盡管已經(jīng)結(jié)合了本發(fā)明的具體實(shí)施例對(duì)本發(fā)明進(jìn)行了描述，但是根據(jù)前面的描述，這些實(shí)施例的很多替換、修改和變型對(duì)本領(lǐng)域普通技術(shù)人員來說將是顯而易見的。例如，其它存儲(chǔ)器架構(gòu)(例如，動(dòng)態(tài)ram(dram))可以使用所討論的實(shí)施例。

本發(fā)明的實(shí)施例旨在涵蓋落入所附權(quán)利要求的寬泛范圍之內(nèi)的所有這樣的替換、修改和變型。因此，凡在本發(fā)明的精神和原則之內(nèi)，所做的任何省略、修改、等同替換、改進(jìn)等，均應(yīng)包含在本發(fā)明的保護(hù)范圍之內(nèi)。