本發(fā)明涉及電網(wǎng)大數(shù)據(jù)處理技術(shù)領(lǐng)域，特別是一種電網(wǎng)營配調(diào)的大數(shù)據(jù)共享系統(tǒng)及方法。

背景技術(shù)：

目前，大數(shù)據(jù)已在業(yè)務(wù)流程優(yōu)化、金融交易、需求分析等諸多領(lǐng)域開展了相關(guān)應(yīng)用，在智能電網(wǎng)行業(yè)的應(yīng)用基本處于小規(guī)模的嘗試和探索階段，特別是對于電網(wǎng)的營銷、配電、調(diào)度系統(tǒng)而言，存在互操作、數(shù)據(jù)結(jié)構(gòu)異化、系統(tǒng)兼容等問題，難以滿足對跨平臺、跨區(qū)域、多源化數(shù)據(jù)進行分析處理的要求，缺乏匯聚各類數(shù)據(jù)資源并且支持大數(shù)據(jù)統(tǒng)一管理、透明訪問的大數(shù)據(jù)體系架構(gòu)，給數(shù)據(jù)的獲取、整合、共享、應(yīng)用帶來實際困難。

技術(shù)實現(xiàn)要素：

本發(fā)明的一個目的就是提供一種適用于智能電網(wǎng)營配調(diào)的大數(shù)據(jù)共享系統(tǒng)，它將不同網(wǎng)點、不同系統(tǒng)、不同類型、不同功能的數(shù)據(jù)進行整合共享。

本發(fā)明的該目的是通過這樣的技術(shù)方案實現(xiàn)的，所述系統(tǒng)包括有用戶接口、分解/合成器、提取/包裝器和數(shù)據(jù)源；

用戶接口，負責(zé)提供統(tǒng)一的數(shù)據(jù)查詢接口，并負責(zé)提供數(shù)據(jù)展示UI；

分解/合成器，分解器負責(zé)接收用戶接口的查詢邏輯，將查詢邏輯分解成多個查詢邏輯，并將查詢邏輯發(fā)送至提取/包裝器，每個查詢邏輯均與數(shù)據(jù)源的數(shù)據(jù)相對應(yīng)；合成器負責(zé)將提取/包裝器上傳的查詢結(jié)果合成為一個整體查詢結(jié)果，并上傳至用戶接口；

提取/包裝器，提取器負責(zé)將分解/合成器發(fā)送的查詢邏輯改寫為下層數(shù)據(jù)源所對應(yīng)的格式語句，并向數(shù)據(jù)源發(fā)送查詢指令；包裝器負責(zé)將下層返回的數(shù)據(jù)源格式的查詢結(jié)果，轉(zhuǎn)換為統(tǒng)一數(shù)據(jù)格式，并發(fā)送至合成器；

數(shù)據(jù)源，負責(zé)本地數(shù)據(jù)的持久化保存，生成數(shù)據(jù)實體配置集，記錄每個數(shù)據(jù)源中的數(shù)據(jù)實體以及它們之間的映射關(guān)系,完成數(shù)據(jù)查詢執(zhí)行及查詢結(jié)果反饋。

進一步，所述系統(tǒng)還包括有數(shù)據(jù)分析服務(wù)器，數(shù)據(jù)分析服務(wù)器分別與用戶接口、分解/合成器、提取/包裝器和數(shù)據(jù)源數(shù)據(jù)交互。

進一步，所述數(shù)據(jù)分析服務(wù)器從數(shù)據(jù)源取得大量數(shù)據(jù)集，根據(jù)數(shù)據(jù)的不同類型和來源形成多個數(shù)據(jù)文件，使用SequenceFile作為基本數(shù)據(jù)交互格式，通過調(diào)用mahout內(nèi)置解析器，掃描所有目錄和文件，通過數(shù)據(jù)合并轉(zhuǎn)換融合一個系列化的大文件，其中存儲龐大數(shù)據(jù)流；將系列化的大文件一致的形式轉(zhuǎn)換成數(shù)據(jù)，融合數(shù)據(jù)進行向量空間模型化操作，該過程每個數(shù)據(jù)集成進來的每一類數(shù)據(jù)都有一個編號，這個編號就是它在數(shù)據(jù)向量中所擁有的維度；利用向量化數(shù)據(jù)，通過mahout的樸素貝葉斯算法或決策算法，對計算機訓(xùn)練處一套規(guī)則，根據(jù)這些規(guī)則構(gòu)建專家模塊規(guī)則庫，對后續(xù)收集的數(shù)據(jù)進行自動分類和整理，并不斷完善專家模塊規(guī)則庫。

本發(fā)明的另一個目的就是提供一種適用于智能電網(wǎng)營配調(diào)的大數(shù)據(jù)共享方法，它可以將多個來源，不同類型的電網(wǎng)數(shù)據(jù)進行大融合，實現(xiàn)數(shù)據(jù)共享。

本發(fā)明的該目的是通過這樣的技術(shù)方案實現(xiàn)的，具體步驟如下：

1)用戶通過用戶接口輸入查詢指令，用戶接口將查詢指令發(fā)送至分解/合成器；

2)分解器根據(jù)數(shù)據(jù)實體配置集和索引，讀取到相應(yīng)數(shù)據(jù)源信息，并將查詢所需的數(shù)據(jù)實體拆分到各個數(shù)據(jù)源中，生成查詢語句集合，并將查詢語句集合發(fā)送至提取/包裝器；

3)提取器先查詢語句集合的關(guān)鍵字對照表，將查詢語句集合提取為數(shù)據(jù)字段名與關(guān)鍵字兩部分，再通過語法對應(yīng)關(guān)系于數(shù)據(jù)字段名，重寫該語句為數(shù)據(jù)源語法查詢語句，最后向數(shù)據(jù)源發(fā)送查詢語句執(zhí)行請求并執(zhí)行數(shù)據(jù)查詢；

4)數(shù)據(jù)源根據(jù)請求進行數(shù)據(jù)查詢，將查詢到的結(jié)果反饋到提取/包裝器；

5)包裝器在收到數(shù)據(jù)源發(fā)送的查詢結(jié)果后，根據(jù)配置文件，將查詢結(jié)果重新組裝為統(tǒng)一數(shù)據(jù)格式，再發(fā)送至分解/合成器；

6)合成器對多數(shù)據(jù)源返回的多組數(shù)據(jù)結(jié)果進行組合，最終將查詢結(jié)果全部發(fā)送至用戶接口。

進一步，所述方法還包括有步驟7)數(shù)據(jù)分析，具體步驟如下：

7-1)從數(shù)據(jù)源取得大量數(shù)據(jù)集；

7-2)根據(jù)數(shù)據(jù)的不同類型和來源生成數(shù)據(jù)文件，使用SequenceFile作為基本的數(shù)據(jù)交換格式，通過調(diào)用mahout內(nèi)置的解析器，掃描所有目錄和文件，融合成一個系列化的大文件，用于存儲龐大的數(shù)據(jù)流；

7-3)對7-2)中融合的大文件的數(shù)據(jù)文件，進行向量空間模型化操作，對每個數(shù)據(jù)集成進來的每一類都編號，這個編號就是它在數(shù)據(jù)向量中所擁有的維度；

7-4)利用向量化數(shù)據(jù)，通過mahout的樸素貝葉斯算法或決策樹算法，對計算機訓(xùn)練出一套規(guī)則，根據(jù)規(guī)則構(gòu)建專家系統(tǒng)規(guī)則庫，對后續(xù)的數(shù)據(jù)進行自動分類和整理，并不斷完善和補充專家系統(tǒng)規(guī)則庫。

由于采用了上述技術(shù)方案，本發(fā)明具有如下的優(yōu)點：

本發(fā)明將不同網(wǎng)點、不同系統(tǒng)、不同類型、不同功能的數(shù)據(jù)進行整合、分享、分析，實現(xiàn)在線監(jiān)測、在線分析、半離線分析，提供包括采集、監(jiān)測、預(yù)警、決策等功能于一體的綜合應(yīng)用。

本發(fā)明的其他優(yōu)點、目標(biāo)和特征在某種程度上將在隨后的說明書中進行闡述，并且在某種程度上，基于對下文的考察研究對本領(lǐng)域技術(shù)人員而言將是顯而易見的，或者可以從本發(fā)明的實踐中得到教導(dǎo)。本發(fā)明的目標(biāo)和其他優(yōu)點可以通過下面的說明書和權(quán)利要求書來實現(xiàn)和獲得。

附圖說明

本發(fā)明的附圖說明如下。

圖1為本發(fā)明所述系統(tǒng)的結(jié)構(gòu)示意圖；

圖2為用戶的查詢指令的拆分流程示意圖；

圖3為數(shù)據(jù)提取器的執(zhí)行流程示意圖；

圖4為包裝器的工作流程示意圖；

圖5為智能電網(wǎng)數(shù)據(jù)挖掘執(zhí)行流程示意圖；

圖6為決策樹算法生成規(guī)則集流程示意圖。

具體實施方式

下面結(jié)合附圖和實施例對本發(fā)明作進一步說明。

構(gòu)建電網(wǎng)營配調(diào)系統(tǒng)的大數(shù)據(jù)共享分析架構(gòu)的第一步就是獲取數(shù)據(jù)，在數(shù)據(jù)獲取后，需要對多源化的數(shù)據(jù)進行整理和集成，以實現(xiàn)在線和離線使用，本發(fā)明通過建立數(shù)據(jù)信息流拓撲，構(gòu)建分布式組網(wǎng)的數(shù)據(jù)共享系統(tǒng)來實現(xiàn)信息的實時采集與共享。數(shù)據(jù)集成和共享過程中，需要可以執(zhí)行用戶自主操作，可以查詢和查看。數(shù)據(jù)集成和共享查詢部分設(shè)計為模塊化部件，數(shù)據(jù)集成和共享流程圖設(shè)計如圖1所示。

用戶接口負責(zé)兩方面內(nèi)容，第一，負責(zé)提供統(tǒng)一的數(shù)據(jù)查詢接口；第二，負責(zé)提供數(shù)據(jù)展示UI。該層并不關(guān)心數(shù)據(jù)組織形式，將數(shù)據(jù)源理解為單一的，種類明確的數(shù)據(jù)源。分解器負責(zé)將上層的查詢邏輯，根據(jù)數(shù)據(jù)分布情況拆分成多個查詢邏輯。每個查詢邏輯對應(yīng)下層一個數(shù)據(jù)源。合成器負責(zé)將下層返回的查詢結(jié)果，合并為一個整體的查詢結(jié)果。該層了解下層數(shù)據(jù)分布情況，清楚各個數(shù)據(jù)實體的分布狀況，且清楚各個數(shù)據(jù)實體之間的邏輯對應(yīng)關(guān)系，但其不需要知道每個數(shù)據(jù)源的類型和存儲格式。提取器負責(zé)將上層發(fā)送的查詢邏輯，改寫為本數(shù)據(jù)源所對應(yīng)的格式語句，并執(zhí)行查詢。包裝器負責(zé)將下層返回的，本數(shù)據(jù)源格式的查詢結(jié)果，轉(zhuǎn)換為系統(tǒng)定義的統(tǒng)一數(shù)據(jù)格式，并向上返回。本層需要關(guān)注本數(shù)據(jù)源的格式，以及系統(tǒng)的統(tǒng)一格式，并對二者的相互轉(zhuǎn)換提供支撐。數(shù)據(jù)源負責(zé)本地數(shù)據(jù)的持久化保存，數(shù)據(jù)查詢執(zhí)行及查詢結(jié)果反饋。通過這一過程，用戶可以自由的查詢和查看所需類型的數(shù)據(jù)，進行結(jié)論和數(shù)據(jù)結(jié)果的可視化操作。

對于用戶的查詢指令，用戶只需提交查詢條件，系統(tǒng)將自動執(zhí)行命令識別和查詢拆分，查詢拆分過程的分支流程如圖2所示。

系統(tǒng)維護數(shù)據(jù)源配置文件，記錄每個數(shù)據(jù)源的名字、位置、類型、識別信息，以及其他用于連接數(shù)據(jù)源的信息。同時，系統(tǒng)維護數(shù)據(jù)實體配置集，記錄每個數(shù)據(jù)源中的數(shù)據(jù)實體，以及它們之間的映射關(guān)系。同時，維護倒排索引以提高效率。當(dāng)收到上層查詢邏輯時，分解器根據(jù)倒排索引，讀取到相應(yīng)數(shù)據(jù)源信息，并將查詢所需的數(shù)據(jù)實體拆分到各個數(shù)據(jù)源中，生成查詢語句集合，并向下層傳遞。

查詢條件分解后，系統(tǒng)需要按照分解后的指令從數(shù)據(jù)源中分配數(shù)據(jù)流向，將上一級制定的查詢條件傳遞給滿足查詢條件的數(shù)據(jù)源，對指定數(shù)據(jù)源進行數(shù)據(jù)查詢操作。這個過程就是數(shù)據(jù)提取器模塊的功能，數(shù)據(jù)提取器的執(zhí)行過程如圖3所示。

系統(tǒng)為每個數(shù)據(jù)源定義一個數(shù)據(jù)源格式與系統(tǒng)格式的映射關(guān)系配置文件，文件中保存兩方面信息，一是數(shù)據(jù)源格式與系統(tǒng)格式的關(guān)鍵字對照表，二是數(shù)據(jù)源格式與系統(tǒng)格式的語法對應(yīng)關(guān)系。當(dāng)收到上層查詢語句時，提取器先查詢關(guān)鍵字對照表，將接收到的上層原語句提取為數(shù)據(jù)字段名與關(guān)鍵字兩部分，再通過語法對應(yīng)關(guān)系于數(shù)據(jù)字段名，重寫該語句為數(shù)據(jù)源語法查詢語句，最后向數(shù)據(jù)源發(fā)送查詢語句執(zhí)行請求并執(zhí)行數(shù)據(jù)查詢。該部分配置為規(guī)則的形式，對現(xiàn)有的數(shù)據(jù)庫、數(shù)據(jù)形式、數(shù)據(jù)規(guī)則進行匹配，對于將來可能要追加進來的新的系統(tǒng)或者數(shù)據(jù)類型進行深度的自定義規(guī)則兼容。

向數(shù)據(jù)源發(fā)送數(shù)據(jù)查詢請求并執(zhí)行數(shù)據(jù)查詢后，反饋查詢到的數(shù)據(jù)結(jié)果，系統(tǒng)將數(shù)據(jù)結(jié)果進行匹配封裝，封裝完畢的數(shù)據(jù)經(jīng)過轉(zhuǎn)換后向回傳遞。這一過程執(zhí)行的是包裝器流程，該過程流程如圖4所示。

包裝器在收到下層返回的查詢結(jié)果后，根據(jù)配置文件，將查詢結(jié)果重新組裝為系統(tǒng)統(tǒng)一的數(shù)據(jù)格式，然后向上返回。數(shù)據(jù)返回后對多數(shù)據(jù)源返回的多組數(shù)據(jù)結(jié)果進行組合，最終將查詢結(jié)果全部呈現(xiàn)給用戶，這樣一次查詢即執(zhí)行完畢。

系統(tǒng)中用戶接口僅提供用戶查詢接入，支持多用戶接入；分解/合成、提取/包裝部署在同一位置，提供中間轉(zhuǎn)換；數(shù)據(jù)源按照各自所處位置和來源進行布局，使用分布式部署，各處數(shù)據(jù)源通過數(shù)據(jù)源服務(wù)器統(tǒng)一管理，數(shù)據(jù)源直接接入終端設(shè)備，數(shù)據(jù)源服務(wù)器和終端設(shè)備可以實現(xiàn)數(shù)據(jù)實時性。系統(tǒng)中每個數(shù)據(jù)源均對接通信接口，系統(tǒng)各模塊間采用RESTful接口，傳遞無狀態(tài)的信息，減少模塊間的耦合，提高系統(tǒng)分布式部署能力。系統(tǒng)各模塊間、系統(tǒng)與數(shù)據(jù)源間鑒權(quán)采用httpdigest鑒權(quán)，可有效屏蔽可能的攻擊請求，保證系統(tǒng)數(shù)據(jù)的安全性，同時對性能影響較小。

通過上面所展示的系統(tǒng)部署，完成了數(shù)據(jù)集成、數(shù)據(jù)共享復(fù)合功能的實現(xiàn)，通過軟硬件結(jié)合，有權(quán)限的用戶可以對部署在內(nèi)的全系統(tǒng)網(wǎng)絡(luò)上的數(shù)據(jù)源和設(shè)備終端進行監(jiān)測和管理，實現(xiàn)數(shù)據(jù)信息本地數(shù)字化、遠程網(wǎng)絡(luò)化、監(jiān)測與預(yù)警自動化等功能，快速精準(zhǔn)的對故障、問題、信息進行定位和分析。

數(shù)據(jù)分析系統(tǒng)按照指定的要求和規(guī)則，從全部數(shù)據(jù)源服務(wù)器請求特定類別的數(shù)據(jù)，使用模塊化的融合分析軟件構(gòu)建多個決策專家系統(tǒng)，構(gòu)建為集監(jiān)測、統(tǒng)計、故障預(yù)判、故障診斷、配電調(diào)度優(yōu)化、人員調(diào)度優(yōu)化、銷售決策評估、設(shè)備分配評估、設(shè)備運行預(yù)判等專家系統(tǒng)于一體的開放式半離線分析系統(tǒng)。

在系統(tǒng)運轉(zhuǎn)過程中取得的大量數(shù)據(jù)集，根據(jù)數(shù)據(jù)的不同類型和來源形成非常多的小的數(shù)據(jù)文件，使用SequenceFile作為基本的數(shù)據(jù)交換格式，通過調(diào)用mahout內(nèi)置的解析器，掃描所有目錄和文件，通過數(shù)據(jù)合并轉(zhuǎn)換融合一個系列化的大文件，其中存儲龐大的數(shù)據(jù)流。將這個大文件一致的形式轉(zhuǎn)換成數(shù)據(jù)，就對融合的數(shù)據(jù)進行了向量空間模型化操作，該過程每個數(shù)據(jù)集成進來的每一類數(shù)據(jù)都有一個編號，這個編號就是它在數(shù)據(jù)向量中所擁有的維度。利用向量化數(shù)據(jù)，通過mahout的樸素貝葉斯算法或決策樹算法等，就可以對計算機訓(xùn)練處一套規(guī)則，根據(jù)這些規(guī)則構(gòu)建專家系統(tǒng)規(guī)則庫就可以對后續(xù)收集的數(shù)據(jù)進行自動的分類和整理，并不斷完善和補充專家系統(tǒng)規(guī)則庫，形成一個大規(guī)模數(shù)據(jù)融合的智能電網(wǎng)專家系統(tǒng)。

對智能電網(wǎng)獲取餓大規(guī)模數(shù)據(jù)進行信息挖掘和知識發(fā)現(xiàn)，就是對全網(wǎng)或互聯(lián)區(qū)域網(wǎng)絡(luò)采集的規(guī)模性帶有模糊、噪音、不完整等不確定性信息的數(shù)據(jù)進行處理，發(fā)現(xiàn)并找出有價值的且目前尚不清晰的信息和知識。該過程主要有5個階段，分別是數(shù)據(jù)選擇、數(shù)據(jù)預(yù)處理、數(shù)據(jù)轉(zhuǎn)換、數(shù)據(jù)挖掘、評估表示，執(zhí)行流程如圖5所示。

數(shù)據(jù)挖掘部分的基本組成單位是數(shù)據(jù)挖掘引擎，由一組功能模塊組成，包括關(guān)聯(lián)、聚類、分類等。針對特定的要求或者通用的要求，將這些要求與功能模塊連接，在進行數(shù)據(jù)信息搜索、計算和推理的時候?qū)?quán)重和關(guān)注程度放在這些要求上。通過大規(guī)模的度量和標(biāo)準(zhǔn)計算、參照，得出大量數(shù)據(jù)中的有效結(jié)論，對其進行篩選和驗證后，將通過驗證的結(jié)論表示出來。根據(jù)需要將這些信息中的特定部分分發(fā)給分布式部署的互聯(lián)區(qū)域服務(wù)器的各個專家系統(tǒng)或子系統(tǒng)中，當(dāng)有實時或離線數(shù)據(jù)傳至互聯(lián)區(qū)域服務(wù)器的時候，分支機構(gòu)的專家系統(tǒng)依據(jù)本地部署的專家系統(tǒng)庫進行判定、推理，得出應(yīng)對措施集，并實施呈現(xiàn)給特定用戶。采用決策樹法生成規(guī)則集的流程如圖6所示。

經(jīng)過多次挖掘和推理可以得到很多規(guī)則集，從而構(gòu)成規(guī)則庫。使用規(guī)則庫進行分發(fā)部署，并將規(guī)則庫與互聯(lián)區(qū)域服務(wù)器上的在線系統(tǒng)連接，進行實時監(jiān)測和診斷。

通過上述過程進行系統(tǒng)軟體布局，即可完成在線監(jiān)測和專家系統(tǒng)在智能電網(wǎng)大數(shù)據(jù)分析系統(tǒng)中的構(gòu)建。實時數(shù)據(jù)經(jīng)過轉(zhuǎn)換和處理后進入?yún)^(qū)域服務(wù)器，使用專家系統(tǒng)分發(fā)的本地規(guī)則庫，進行數(shù)據(jù)的檢驗和驗證；由規(guī)則判定可得到狀態(tài)結(jié)果，則根據(jù)規(guī)則判定是否發(fā)生可能發(fā)生故障，若存在故障可能，則處置方式以可理解的直觀結(jié)果反饋到監(jiān)測端；監(jiān)測端可以根據(jù)設(shè)定的故障類型和對應(yīng)的處理方式選擇進行自動處置或手動處置，并將處理結(jié)果反饋至互聯(lián)區(qū)域服務(wù)器，并上傳至中央服務(wù)器。若無故障可能性，則進行監(jiān)測和驗證后系統(tǒng)不做響應(yīng)，僅回傳給監(jiān)測端和服務(wù)器。

最后說明的是，以上實施例僅用以說明本發(fā)明的技術(shù)方案而非限制，盡管參照較佳實施例對本發(fā)明進行了詳細說明，本領(lǐng)域的普通技術(shù)人員應(yīng)當(dāng)理解，可以對本發(fā)明的技術(shù)方案進行修改或者等同替換，而不脫離本技術(shù)方案的宗旨和范圍，其均應(yīng)涵蓋在本發(fā)明的權(quán)利要求范圍當(dāng)中。