本發(fā)明涉及電力系統(tǒng)的運(yùn)行環(huán)境及設(shè)備信息的接入存儲(chǔ)領(lǐng)域，具體涉及融合電網(wǎng)運(yùn)行環(huán)境及設(shè)備信息的跨平臺(tái)數(shù)據(jù)獲取和分布式存儲(chǔ)方法。

背景技術(shù)：

輸變電設(shè)備狀態(tài)相關(guān)信息是評(píng)價(jià)設(shè)備狀態(tài)、診斷設(shè)備故障、動(dòng)態(tài)調(diào)整設(shè)備負(fù)載、評(píng)估電網(wǎng)風(fēng)險(xiǎn)對(duì)設(shè)備影響的重要依據(jù)，實(shí)時(shí)準(zhǔn)確獲取輸變電設(shè)備、運(yùn)行、環(huán)境等狀態(tài)相關(guān)信息是深入分析設(shè)備狀態(tài)和精確掌控設(shè)備能力水平的核心基礎(chǔ)。

目前，輸變電設(shè)備狀態(tài)相關(guān)信息所涉及的設(shè)備、運(yùn)行、環(huán)境等數(shù)據(jù)主要來(lái)源于能量管理系統(tǒng)(EMS)、氣象系統(tǒng)、生產(chǎn)管理系統(tǒng)(PMS)、輸變電設(shè)備在線監(jiān)測(cè)系統(tǒng)、電網(wǎng)空間信息服務(wù)平臺(tái)(GIS)、雷電定位系統(tǒng)、變電站智能巡檢機(jī)器人系統(tǒng)等不同業(yè)務(wù)系統(tǒng)。

由于各個(gè)業(yè)務(wù)系統(tǒng)基于不同平臺(tái)、不同應(yīng)用目標(biāo)、不同協(xié)議、不同數(shù)據(jù)結(jié)構(gòu)構(gòu)建，呈現(xiàn)高度離散性、時(shí)空分布性的特點(diǎn)，跨平臺(tái)數(shù)據(jù)之間存在數(shù)據(jù)接口規(guī)范不一致、結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)方式不相同、弱相關(guān)等問(wèn)題；其次，各個(gè)業(yè)務(wù)系統(tǒng)的數(shù)據(jù)基本都按照關(guān)系數(shù)據(jù)庫(kù)或文件方式存儲(chǔ)，不便于應(yīng)用Hadoop等分布式技術(shù)開(kāi)展數(shù)據(jù)分析和處理；再次，對(duì)于EMS、氣象、在線監(jiān)測(cè)等實(shí)時(shí)數(shù)據(jù)流，其接入方式的實(shí)時(shí)性和準(zhǔn)確性，是快速判斷設(shè)備狀態(tài)的重要環(huán)節(jié)，需要建立一個(gè)實(shí)時(shí)數(shù)據(jù)廣播和數(shù)據(jù)共享機(jī)制。

技術(shù)實(shí)現(xiàn)要素：

為解決現(xiàn)有技術(shù)存在的不足，本發(fā)明公開(kāi)了融合電網(wǎng)運(yùn)行環(huán)境及設(shè)備信息的跨平臺(tái)數(shù)據(jù)獲取和分布式存儲(chǔ)方法，本發(fā)明的目的在與實(shí)現(xiàn)自動(dòng)從業(yè)務(wù)系統(tǒng)中獲取數(shù)據(jù)，實(shí)現(xiàn)跨平臺(tái)信息的統(tǒng)一數(shù)據(jù)接入、實(shí)時(shí)監(jiān)控計(jì)算、分布式存儲(chǔ)和可視化展示。

為實(shí)現(xiàn)上述目的，本發(fā)明的具體方案如下：

一種融合多源異構(gòu)電網(wǎng)數(shù)據(jù)的獲取和分布式存儲(chǔ)方法，包括以下步驟：

依據(jù)各個(gè)業(yè)務(wù)系統(tǒng)數(shù)據(jù)特點(diǎn)建立接口協(xié)議并建立電網(wǎng)運(yùn)行環(huán)境及設(shè)備數(shù)據(jù)模型規(guī)范；

配置各業(yè)務(wù)系統(tǒng)的數(shù)據(jù)接入策略、配置數(shù)據(jù)校驗(yàn)規(guī)則，從而實(shí)現(xiàn)實(shí)時(shí)接入應(yīng)用和歷史接入應(yīng)用；

監(jiān)控實(shí)時(shí)接入應(yīng)用在運(yùn)行過(guò)程中產(chǎn)生的日志信息、故障信息及告警信息并通過(guò)，對(duì)于監(jiān)控到的故障信息，對(duì)故障期間丟失的數(shù)據(jù)進(jìn)行數(shù)據(jù)補(bǔ)錄；

建立數(shù)據(jù)廣播和緩存電網(wǎng)運(yùn)行數(shù)據(jù)的格式規(guī)范，把解析的在線監(jiān)測(cè)數(shù)據(jù)、運(yùn)行數(shù)據(jù)、雷電數(shù)據(jù)和氣象數(shù)據(jù)進(jìn)行廣播到并存儲(chǔ)到緩存消息隊(duì)列中，按周期寫(xiě)入Hadoop分布式存儲(chǔ)文件或HBase；

將接入的數(shù)據(jù)和監(jiān)控?cái)?shù)據(jù)進(jìn)行可視化展示。

進(jìn)一步的，上述建立的數(shù)據(jù)模型規(guī)范即為各個(gè)業(yè)務(wù)系統(tǒng)的數(shù)據(jù)屬性，包括能量管理系統(tǒng)模型規(guī)范、雷電定位系統(tǒng)模型規(guī)范及氣象系統(tǒng)模型規(guī)范；

雷電定位系統(tǒng)模型規(guī)范：制定接口協(xié)議獲取雷擊發(fā)生時(shí)間、位置、回?fù)舸螖?shù)；建立雷電系統(tǒng)模型規(guī)范包括：雷電發(fā)生時(shí)間、精度坐標(biāo)、緯度坐標(biāo)、電流強(qiáng)度及回?fù)舸螖?shù)；

氣象系統(tǒng)模型規(guī)范：制定接口協(xié)議獲取氣象監(jiān)測(cè)數(shù)據(jù)、雷達(dá)圖數(shù)據(jù)、云圖數(shù)據(jù)及天氣預(yù)報(bào)數(shù)據(jù)；建立氣象系統(tǒng)監(jiān)測(cè)信息模型、雷達(dá)信息模型、云圖信息模型及天氣預(yù)報(bào)信息模型；

能量管理系統(tǒng)模型規(guī)范：制定接口協(xié)議獲取電流、電壓、有功功率、無(wú)功功率數(shù)據(jù)；建立EMS系統(tǒng)模型規(guī)范包括量測(cè)id、量測(cè)時(shí)間、量測(cè)類(lèi)型和量測(cè)值。

進(jìn)一步的，配置各業(yè)務(wù)系統(tǒng)的數(shù)據(jù)接入策略，包括與各個(gè)業(yè)務(wù)系統(tǒng)交互數(shù)據(jù)的規(guī)則協(xié)議、數(shù)據(jù)源地址、接口形式，其中，所述業(yè)務(wù)系統(tǒng)交互數(shù)據(jù)的規(guī)則協(xié)議主要包括實(shí)時(shí)數(shù)據(jù)交互協(xié)議、歷史數(shù)據(jù)交互協(xié)議；

實(shí)時(shí)交互協(xié)議主要描述系統(tǒng)數(shù)據(jù)向系統(tǒng)數(shù)據(jù)提供方發(fā)送請(qǐng)求參數(shù)的解釋和系統(tǒng)數(shù)據(jù)提供方相應(yīng)返回的數(shù)據(jù)內(nèi)容屬性的解釋?zhuān)枋鲇|發(fā)機(jī)制即使用實(shí)時(shí)數(shù)據(jù)交互協(xié)議的頻率；歷史數(shù)據(jù)交互協(xié)議與實(shí)時(shí)數(shù)據(jù)交互協(xié)議請(qǐng)求和返回相同，但非定期觸發(fā)；

數(shù)據(jù)源地址主要描述系統(tǒng)數(shù)據(jù)提供方發(fā)布服務(wù)的ip地址及端口；

接口形式主要描述系統(tǒng)數(shù)據(jù)提供方的發(fā)布數(shù)據(jù)的方式。

進(jìn)一步的，配置的數(shù)據(jù)校驗(yàn)規(guī)則用于描述對(duì)于從系統(tǒng)數(shù)據(jù)提供方獲取的數(shù)據(jù)的預(yù)清洗規(guī)則，包括基于時(shí)間序列的清洗、基于聚類(lèi)算法的清洗、基于SVM的清洗、臺(tái)賬清洗規(guī)則；

其中，實(shí)時(shí)接入應(yīng)用和歷史接入應(yīng)用綜合數(shù)據(jù)接入策略及數(shù)據(jù)校驗(yàn)規(guī)則，依據(jù)數(shù)據(jù)模型規(guī)范實(shí)現(xiàn)各個(gè)業(yè)務(wù)系統(tǒng)的數(shù)據(jù)接入和解析。

進(jìn)一步的，所述實(shí)時(shí)接入應(yīng)用運(yùn)行過(guò)程中產(chǎn)生的日志信息為實(shí)時(shí)接入應(yīng)用的過(guò)程信息，記錄WebService開(kāi)始訪問(wèn)、WebService訪問(wèn)完成或完成一次數(shù)據(jù)讀取動(dòng)作信息；

故障信息為實(shí)時(shí)接入應(yīng)用的故障狀態(tài)，包括網(wǎng)絡(luò)故障、服務(wù)停止故障及存儲(chǔ)故障；

告警信息描述為實(shí)時(shí)接入應(yīng)用的告警狀態(tài)，包括訪問(wèn)延遲或存儲(chǔ)延遲。

進(jìn)一步的，所述數(shù)據(jù)補(bǔ)錄描述的是在實(shí)時(shí)接入應(yīng)用的故障恢復(fù)之后，運(yùn)行歷史接入應(yīng)用接入故障期間丟失的數(shù)據(jù)。

進(jìn)一步的，所述建立數(shù)據(jù)廣播和緩存電網(wǎng)運(yùn)行數(shù)據(jù)的格式規(guī)范，格式規(guī)范旨在根據(jù)數(shù)據(jù)模型規(guī)范制定的符合緩存消息隊(duì)列存儲(chǔ)格式、區(qū)分業(yè)務(wù)系統(tǒng)和方便搜索查詢(xún)的數(shù)據(jù)結(jié)構(gòu)的業(yè)務(wù)表及解析分解出各系統(tǒng)運(yùn)行數(shù)據(jù)消息的方法。

進(jìn)一步的，所述數(shù)據(jù)廣播是將接入的實(shí)時(shí)數(shù)據(jù)寫(xiě)入緩存消息隊(duì)列，作為實(shí)時(shí)分析處理和應(yīng)用功能的數(shù)據(jù)源；

所述Hadoop分布式存儲(chǔ)文件存儲(chǔ)從緩存消息隊(duì)列中定期持久化的數(shù)據(jù)，作為分布式分析處理的數(shù)據(jù)源。

進(jìn)一步的，所述可視化展示中通過(guò)界面展示實(shí)時(shí)接入應(yīng)用接入的數(shù)據(jù)和監(jiān)控?cái)?shù)據(jù)，應(yīng)用接入數(shù)據(jù)中量測(cè)值隨著時(shí)間變化的曲線圖展示；監(jiān)控?cái)?shù)據(jù)中直觀展示W(wǎng)eb服務(wù)狀態(tài)和存儲(chǔ)狀態(tài)的界面展示。

進(jìn)一步的，所述監(jiān)控實(shí)時(shí)接入應(yīng)用還包括：監(jiān)控識(shí)別接入應(yīng)用在運(yùn)行過(guò)程中存在的網(wǎng)絡(luò)故障、服務(wù)故障或存儲(chǔ)故障，具體為：

當(dāng)總體請(qǐng)求服務(wù)出現(xiàn)錯(cuò)誤，如果錯(cuò)誤未達(dá)到N次就消失，則判斷為間斷停止服務(wù)；等待總體請(qǐng)求N-1次未出現(xiàn)錯(cuò)誤則解除故障；

當(dāng)總體請(qǐng)求服務(wù)出現(xiàn)錯(cuò)誤，如果總體請(qǐng)求達(dá)到N次及以上連續(xù)出現(xiàn)錯(cuò)誤，此時(shí)判斷web服務(wù)ip是否為通訊，如果通訊則判斷為服務(wù)停止；不通訊則判斷為外部網(wǎng)絡(luò)不通；等待服務(wù)有返回后解除故障；

配置服務(wù)監(jiān)控請(qǐng)求及應(yīng)答時(shí)長(zhǎng)限制，如果超過(guò)設(shè)置的時(shí)長(zhǎng)，則判斷為請(qǐng)求超時(shí)，如果N-1次低于設(shè)置的時(shí)長(zhǎng)則解除請(qǐng)求超時(shí)狀態(tài)；

存儲(chǔ)報(bào)錯(cuò)時(shí)，則判斷為無(wú)法寫(xiě)入；等待成功寫(xiě)入后解除故障；

設(shè)置寫(xiě)入時(shí)長(zhǎng)限制，如果寫(xiě)入超過(guò)設(shè)置的時(shí)長(zhǎng)，則判斷為寫(xiě)入延遲；等待N-1次寫(xiě)入低于時(shí)長(zhǎng)限制則解除延遲狀態(tài)；

對(duì)故障記錄表中缺漏的數(shù)據(jù)，通過(guò)歷史接入應(yīng)用恢復(fù)故障期間丟失的數(shù)據(jù)。

進(jìn)一步的，實(shí)現(xiàn)各個(gè)業(yè)務(wù)系統(tǒng)的數(shù)據(jù)解析時(shí)，對(duì)獲取的數(shù)據(jù)按照模型規(guī)范解析，包括：根據(jù)能量管理系統(tǒng)模型規(guī)范，獲取運(yùn)行數(shù)據(jù)對(duì)象解析屬性名稱(chēng)并與緩存的規(guī)范進(jìn)行匹配，匹配后包裝成運(yùn)行數(shù)據(jù)結(jié)構(gòu)化集合對(duì)象；根據(jù)雷電系統(tǒng)模型規(guī)范，使用XML組件轉(zhuǎn)換雷電系統(tǒng)數(shù)據(jù)為XML文檔對(duì)象，根據(jù)規(guī)范匹配包裝雷電數(shù)據(jù)結(jié)構(gòu)化集合對(duì)象；根據(jù)氣象系統(tǒng)模型規(guī)范，對(duì)于圖片文件數(shù)據(jù)，轉(zhuǎn)換為BASE64編碼的流字符串并實(shí)例化為圖片對(duì)象。

本發(fā)明的有益效果：

1、本發(fā)明創(chuàng)建了電網(wǎng)運(yùn)行環(huán)境及設(shè)備信息數(shù)據(jù)模型，為統(tǒng)一電網(wǎng)系統(tǒng)數(shù)據(jù)建模奠定了基礎(chǔ)，為電力專(zhuān)業(yè)化應(yīng)用、電力行業(yè)與其他部門(mén)間的數(shù)據(jù)交互奠定了基礎(chǔ)。

2、本發(fā)明描述了建立數(shù)據(jù)接入應(yīng)用的過(guò)程，為其他電力系統(tǒng)的跨平臺(tái)數(shù)據(jù)獲取提供了技術(shù)依據(jù)，數(shù)據(jù)接入監(jiān)控手段的應(yīng)用，可為今后保障接入數(shù)據(jù)的完整性提供借鑒。

3、利用分布式消息隊(duì)列Kafka將實(shí)時(shí)數(shù)據(jù)進(jìn)行緩存，當(dāng)消息數(shù)量達(dá)到設(shè)定值后數(shù)據(jù)被寫(xiě)入分布式文件系統(tǒng)，為電網(wǎng)大數(shù)據(jù)分布式分析處理提供了基礎(chǔ)條件。

附圖說(shuō)明

圖1本發(fā)明的融合電網(wǎng)運(yùn)行環(huán)境及設(shè)備信息的跨平臺(tái)數(shù)據(jù)獲取和分布式存儲(chǔ)方法流程圖。

具體實(shí)施方式：

下面結(jié)合附圖對(duì)本發(fā)明進(jìn)行詳細(xì)說(shuō)明：

如圖1所示，融合電網(wǎng)運(yùn)行環(huán)境及設(shè)備信息的跨平臺(tái)數(shù)據(jù)獲取和分布式存儲(chǔ)方法，包括以下步驟：

步驟(1)：依據(jù)各個(gè)業(yè)務(wù)系統(tǒng)數(shù)據(jù)特點(diǎn)建立接口協(xié)議并建立數(shù)據(jù)模型規(guī)范；

步驟(2)：依據(jù)步驟(1)中各系統(tǒng)的接入?yún)f(xié)議配置各系統(tǒng)數(shù)據(jù)接入策略、配置數(shù)據(jù)校驗(yàn)規(guī)則，實(shí)現(xiàn)實(shí)時(shí)數(shù)據(jù)接入功能和歷史數(shù)據(jù)接入功能；

步驟(3)：監(jiān)控步驟(2)中實(shí)時(shí)接入功能運(yùn)行過(guò)程中產(chǎn)生的日志信息、故障信息、告警信息等；

步驟(4)：分析步驟(3)中監(jiān)控到的故障信息，重新發(fā)送請(qǐng)求，補(bǔ)錄故障期間丟失的數(shù)據(jù)；對(duì)于告警信息，分析告警原因，排除隱患。

步驟(5)：依據(jù)步驟(1)中的數(shù)據(jù)模型規(guī)范建立廣播和緩存電網(wǎng)運(yùn)行數(shù)據(jù)的格式規(guī)范；

步驟(6)：依據(jù)步驟(5)中的格式規(guī)范，把步驟(2)中接入的在線監(jiān)測(cè)數(shù)據(jù)、運(yùn)行數(shù)據(jù)、雷電數(shù)據(jù)和氣象數(shù)據(jù)等廣播到緩存消息隊(duì)列上，按周期寫(xiě)入到Hadoop分布式存儲(chǔ)文件或HBase；

步驟(7)：根據(jù)步驟(1)中的數(shù)據(jù)模型規(guī)范，把步驟(2)中實(shí)時(shí)接入應(yīng)用接入的數(shù)據(jù)和步驟(3)中的監(jiān)控?cái)?shù)據(jù)進(jìn)行可視化展示。

其中步驟(1)中，建立電網(wǎng)運(yùn)行環(huán)境及設(shè)備數(shù)據(jù)模型規(guī)范：

數(shù)據(jù)獲取是基于企業(yè)服務(wù)總線，采用數(shù)據(jù)接口、數(shù)據(jù)中心共享、網(wǎng)絡(luò)隔離下的安全文件傳輸?shù)确绞?，通過(guò)配置相關(guān)策略，定義相關(guān)的接口、周期、調(diào)用頻率和對(duì)象等參數(shù)，自動(dòng)從業(yè)務(wù)系統(tǒng)中抽取數(shù)據(jù)，解決跨平臺(tái)數(shù)據(jù)庫(kù)訪問(wèn)、跨平臺(tái)大數(shù)據(jù)文件高速并發(fā)讀取、跨平臺(tái)數(shù)據(jù)安全傳輸與同步等關(guān)鍵問(wèn)題。數(shù)據(jù)主要來(lái)源于電網(wǎng)相關(guān)的業(yè)務(wù)應(yīng)用系統(tǒng)，包括輸變電設(shè)備狀態(tài)監(jiān)測(cè)系統(tǒng)、生產(chǎn)管理系統(tǒng)PMS、能量管理系統(tǒng)EMS、電網(wǎng)地理信息系統(tǒng)GIS、氣象信息系統(tǒng)、雷電定位系統(tǒng)、機(jī)器人智能巡檢系統(tǒng)等。

數(shù)據(jù)模型規(guī)范描述的是系統(tǒng)的業(yè)務(wù)數(shù)據(jù)屬性，模型規(guī)范包括能量管理系統(tǒng)模型規(guī)范、雷電定位系統(tǒng)模型規(guī)范、氣象系統(tǒng)模型規(guī)范等。

為確保獲取數(shù)據(jù)的準(zhǔn)確性和一致性，對(duì)電網(wǎng)運(yùn)行數(shù)據(jù)及設(shè)備信息的源系統(tǒng)包括雷電定位系統(tǒng)、氣象系統(tǒng)、PMS、和EMS等，參考其本身描述的數(shù)據(jù)情況著手建立規(guī)范，并作為獲取的數(shù)據(jù)的最終解釋?zhuān)纾?/p>

雷電定位系統(tǒng)規(guī)范：制定接口協(xié)議方法，獲取雷擊發(fā)生時(shí)間、位置、回?fù)舸螖?shù)；建立雷電系統(tǒng)模型規(guī)范包括：雷電發(fā)生時(shí)間、精度坐標(biāo)、緯度坐標(biāo)、電流強(qiáng)度、回?fù)舸螖?shù)。

氣象系統(tǒng)規(guī)范：制定接口協(xié)議包含：獲取氣象監(jiān)測(cè)數(shù)據(jù)方法、雷達(dá)圖數(shù)據(jù)方法、云圖數(shù)據(jù)方法、天氣預(yù)報(bào)數(shù)據(jù)方法；建立氣象系統(tǒng)監(jiān)測(cè)信息模型(監(jiān)測(cè)時(shí)間，監(jiān)測(cè)站，監(jiān)測(cè)站所屬城市，監(jiān)測(cè)站所在縣，溫度、濕度、風(fēng)力等級(jí)、風(fēng)速、風(fēng)角度、極大風(fēng)速、極大角度、降水、能見(jiàn)度、氣壓、發(fā)布時(shí)間、風(fēng)向、極大風(fēng)風(fēng)力等級(jí)、極大風(fēng)風(fēng)向)、雷達(dá)信息模型(雷達(dá)圖日期，緯度，經(jīng)度，雷達(dá)圖文件流數(shù)據(jù))、云圖信息模型(云圖日期，圖片文件流數(shù)據(jù)，中心坐標(biāo))、天氣預(yù)報(bào)信息模型(監(jiān)測(cè)時(shí)間，監(jiān)測(cè)所屬城市，監(jiān)測(cè)所在縣，預(yù)報(bào)時(shí)間長(zhǎng)度，最高溫，最低溫，天氣狀況，風(fēng)力級(jí)別，風(fēng)向代碼)。

EMS能量管理系統(tǒng)：制定接口協(xié)議數(shù)據(jù)獲取方法，獲取電流、電壓、有功功率、無(wú)功功率等數(shù)據(jù)；建立EMS系統(tǒng)模型規(guī)范包括量測(cè)ID、量測(cè)時(shí)間、量測(cè)類(lèi)型和量測(cè)值。

另外，步驟(2)中的配置系統(tǒng)數(shù)據(jù)接入策略描述的是與各個(gè)系統(tǒng)交互數(shù)據(jù)的規(guī)則協(xié)議、數(shù)據(jù)源地址、接口形式等，系統(tǒng)交互的規(guī)則協(xié)議主要包括實(shí)時(shí)數(shù)據(jù)交互協(xié)議、歷史數(shù)據(jù)交互協(xié)議等。實(shí)時(shí)交互協(xié)議主要描述系統(tǒng)數(shù)據(jù)向系統(tǒng)數(shù)據(jù)提供方發(fā)送請(qǐng)求參數(shù)的解釋和系統(tǒng)數(shù)據(jù)提供方相應(yīng)返回的數(shù)據(jù)內(nèi)容屬性的解釋?zhuān)枋鲇|發(fā)機(jī)制即使用實(shí)時(shí)數(shù)據(jù)交互協(xié)議的頻率；歷史數(shù)據(jù)交互協(xié)議與實(shí)時(shí)數(shù)據(jù)交互協(xié)議請(qǐng)求和返回相同，但非定期觸發(fā)；數(shù)據(jù)源地址主要描述系統(tǒng)數(shù)據(jù)提供方發(fā)布服務(wù)的ip地址及端口；接口形式主要描述系統(tǒng)數(shù)據(jù)提供方的發(fā)布數(shù)據(jù)的方式，如webservice等方式。

接入策略描述獲取各個(gè)系統(tǒng)數(shù)據(jù)的規(guī)則協(xié)議、數(shù)據(jù)源地址、接口形式等，如：

雷電系統(tǒng)配置數(shù)據(jù)內(nèi)容：雷擊發(fā)生時(shí)間、位置、回?fù)舸螖?shù)；頻率：實(shí)時(shí)；源數(shù)據(jù)地址：雷電數(shù)據(jù)服務(wù)IP地址及端口號(hào)；接口形式：webservice。

氣象系統(tǒng)配置數(shù)據(jù)內(nèi)容：氣象監(jiān)測(cè)數(shù)據(jù)、雷達(dá)圖、云圖、天氣預(yù)報(bào)信息；頻率：實(shí)時(shí)；源數(shù)據(jù)地址：氣象數(shù)據(jù)服務(wù)IP地址及端口號(hào)；接口形式：webservice。

EMS系統(tǒng)配置數(shù)據(jù)內(nèi)容：電流、電壓、有功功率、無(wú)功功率；頻率：實(shí)時(shí)；源數(shù)據(jù)地址：EMS數(shù)據(jù)服務(wù)IP地址及端口號(hào)；接口形式：webservice。

配置數(shù)據(jù)校驗(yàn)規(guī)則：所述步驟(2)中的數(shù)據(jù)校驗(yàn)規(guī)則配置對(duì)于從各系統(tǒng)數(shù)據(jù)提供方獲取的數(shù)據(jù)的預(yù)處理規(guī)則，包括基于時(shí)間序列的清洗、基于聚類(lèi)算法的清洗、基于SVM的清洗、設(shè)備臺(tái)賬清洗等，如：

EMS數(shù)據(jù)配置基于時(shí)間序列的清洗規(guī)則；

氣象數(shù)據(jù)配置基于聚類(lèi)算法的清洗；

雷電數(shù)據(jù)配置基于聚類(lèi)算法的清洗。

步驟(2)中，創(chuàng)建接入數(shù)據(jù)應(yīng)用：綜合接入策略、數(shù)據(jù)校核規(guī)則，依據(jù)步驟(1)中的數(shù)據(jù)模型規(guī)范實(shí)現(xiàn)業(yè)務(wù)系統(tǒng)數(shù)據(jù)接入和解析。

依據(jù)各個(gè)業(yè)務(wù)系統(tǒng)接口協(xié)議，使用wsdl.jar的wsimport工具生成基于webservice的客戶(hù)端，讀取業(yè)務(wù)系統(tǒng)接入策略配置、數(shù)據(jù)校驗(yàn)規(guī)則配置參數(shù)，如：雷電定位系統(tǒng)頻率為5分鐘；能量管理系統(tǒng)頻率為1分鐘并配置基于時(shí)間序列清洗規(guī)則；氣象數(shù)據(jù)中監(jiān)測(cè)數(shù)據(jù)頻率為10分鐘并配置基于聚類(lèi)算法清洗規(guī)則、雷達(dá)圖數(shù)據(jù)頻率為5分鐘、云圖數(shù)據(jù)頻率為1小時(shí)、天氣預(yù)報(bào)數(shù)據(jù)頻率24小時(shí)。

獲取的數(shù)據(jù)按照模型規(guī)范解析，如：根據(jù)能量管理系統(tǒng)模型規(guī)范，獲取運(yùn)行數(shù)據(jù)對(duì)象解析屬性名稱(chēng)并與緩存的規(guī)范進(jìn)行匹配，匹配后包裝成運(yùn)行數(shù)據(jù)結(jié)構(gòu)化集合對(duì)象；根據(jù)雷電系統(tǒng)模型規(guī)范，使用XML組件轉(zhuǎn)換雷電系統(tǒng)數(shù)據(jù)為XML文檔對(duì)象，根據(jù)規(guī)范匹配包裝雷電數(shù)據(jù)結(jié)構(gòu)化集合對(duì)象；根據(jù)氣象系統(tǒng)模型規(guī)范，對(duì)于圖片文件數(shù)據(jù)，轉(zhuǎn)換為BASE64編碼的流字符串并實(shí)例化為圖片對(duì)象。

監(jiān)控接入應(yīng)用：監(jiān)控識(shí)別接入應(yīng)用在運(yùn)行過(guò)程中存在的網(wǎng)絡(luò)故障、服務(wù)故障或存儲(chǔ)故障，方法包括：

當(dāng)總體請(qǐng)求服務(wù)出現(xiàn)錯(cuò)誤，如果錯(cuò)誤未達(dá)到N次就消失，則判斷為間斷停止服務(wù)；等待總體請(qǐng)求N-1次未出現(xiàn)錯(cuò)誤則解除故障。

當(dāng)總體請(qǐng)求服務(wù)出現(xiàn)錯(cuò)誤，如果總體請(qǐng)求達(dá)到N次及以上連續(xù)出現(xiàn)錯(cuò)誤，此時(shí)判斷web服務(wù)ip是否為通訊，如果通訊則判斷為服務(wù)停止；不通訊則判斷為外部網(wǎng)絡(luò)不通；等待服務(wù)有返回后解除故障。

配置服務(wù)監(jiān)控請(qǐng)求及應(yīng)答時(shí)長(zhǎng)限制，如果超過(guò)設(shè)置的時(shí)長(zhǎng)，則判斷為請(qǐng)求超時(shí)，如果N-1次低于設(shè)置的時(shí)長(zhǎng)則解除請(qǐng)求超時(shí)狀態(tài)。

存儲(chǔ)報(bào)錯(cuò)時(shí)，則判斷為無(wú)法寫(xiě)入；等待成功寫(xiě)入后解除故障。

設(shè)置寫(xiě)入時(shí)長(zhǎng)限制，如果寫(xiě)入超過(guò)設(shè)置的時(shí)長(zhǎng)，則判斷為寫(xiě)入延遲；等待N-1次寫(xiě)入低于時(shí)長(zhǎng)限制則解除延遲狀態(tài)。

監(jiān)控的故障信息由監(jiān)控代理應(yīng)用通過(guò)socket套接字發(fā)送到監(jiān)控服務(wù)器的用于socket服務(wù)器上，并由監(jiān)控服務(wù)器存儲(chǔ)到故障記錄表

對(duì)故障記錄表中缺漏的數(shù)據(jù)，通過(guò)歷史接入應(yīng)用恢復(fù)故障期間丟失的數(shù)據(jù)。

步驟(3)中的日志信息描述的是步驟(2)中的實(shí)時(shí)接入應(yīng)用的過(guò)程信息，記錄WebService開(kāi)始訪問(wèn)、WebService訪問(wèn)完成或完成一次數(shù)據(jù)讀取等動(dòng)作。

故障信息描述的是步驟(2)中的實(shí)時(shí)接入應(yīng)用的故障狀態(tài)，包括網(wǎng)絡(luò)故障、服務(wù)停止故障、存儲(chǔ)故障等。

告警信息描述的是步驟(2)中的實(shí)時(shí)接入應(yīng)用的告警狀態(tài)，包括訪問(wèn)延遲或存儲(chǔ)延遲等。

步驟(4)中的數(shù)據(jù)補(bǔ)錄描述的是在步驟(2)中的實(shí)時(shí)接入應(yīng)用的故障恢復(fù)之后，運(yùn)行步驟(2)中的歷史接入應(yīng)用接入故障期間丟失的數(shù)據(jù)。

步驟(5)中的格式規(guī)范，旨在根據(jù)步驟(1)中的系統(tǒng)模型規(guī)范制定的符合緩存消息隊(duì)列存儲(chǔ)格式、區(qū)分業(yè)務(wù)系統(tǒng)和方便搜索查詢(xún)的數(shù)據(jù)結(jié)構(gòu)的業(yè)務(wù)表及解析分解出各系統(tǒng)運(yùn)行數(shù)據(jù)消息的設(shè)計(jì)方法。

步驟(6)中的數(shù)據(jù)廣播是將接入的實(shí)時(shí)數(shù)據(jù)寫(xiě)入緩存消息隊(duì)列，作為實(shí)時(shí)分析處理和應(yīng)用功能的數(shù)據(jù)源。

Hadoop分布式存儲(chǔ)文件存儲(chǔ)從緩存消息隊(duì)列中定期持久化的數(shù)據(jù)，作為分布式分析處理的數(shù)據(jù)源。

具體的，數(shù)據(jù)廣播共享和分布式存儲(chǔ)：本方法使用Redis、kafka和Hadoop這三種大數(shù)據(jù)工具用于電網(wǎng)環(huán)境及運(yùn)行數(shù)據(jù)廣播、共享和分布式存儲(chǔ)，kafka實(shí)現(xiàn)高吞吐量的分布式消息發(fā)布訂閱，redis實(shí)現(xiàn)數(shù)據(jù)高速緩存，Hadoop實(shí)現(xiàn)海量數(shù)據(jù)分布式存儲(chǔ)，通過(guò)并行機(jī)制來(lái)統(tǒng)一線上和離線的消息處理，通過(guò)集群提供實(shí)時(shí)的消費(fèi)。對(duì)關(guān)鍵過(guò)程存儲(chǔ)數(shù)據(jù)結(jié)構(gòu)著重解釋并以EMS數(shù)據(jù)舉例說(shuō)明如下：

實(shí)時(shí)數(shù)據(jù)存儲(chǔ)格式規(guī)范：

key：標(biāo)識(shí)到量測(cè)，其格式為“ed&qy&rid”，其中“ed”標(biāo)識(shí)為EMS系統(tǒng)數(shù)據(jù)，“qy”標(biāo)識(shí)為地區(qū)，“rid”為量測(cè)id；value：為一個(gè)map集合，其下的key標(biāo)識(shí)時(shí)間；value標(biāo)識(shí)量測(cè)值。示例：“ed&bz&212023,201510210914＝32.90289057791233”。

實(shí)時(shí)數(shù)據(jù)廣播格式規(guī)范：

key：標(biāo)識(shí)到時(shí)間，其格式為“區(qū)域&量測(cè)id&時(shí)間”；value：標(biāo)識(shí)為量測(cè)值。示例：“bz&212023&201510210914，32.90289057791233”。

數(shù)據(jù)分布式存儲(chǔ)格式規(guī)范：

key：標(biāo)識(shí)到時(shí)間，其格式為“區(qū)域&量測(cè)id&時(shí)間”；value：標(biāo)識(shí)為量測(cè)值。示例：“bz&212023&201510210914，32.90289057791233”。

步驟(7)中的可視化展示，描述的是界面展示步驟(2)中實(shí)時(shí)接入應(yīng)用接入的數(shù)據(jù)和步驟(3)中的監(jiān)控?cái)?shù)據(jù)，應(yīng)用接入數(shù)據(jù)如能量管理系統(tǒng)(EMS)中量測(cè)值隨著時(shí)間變化的曲線圖展示；監(jiān)控?cái)?shù)據(jù)如直觀展示W(wǎng)eb服務(wù)狀態(tài)和存儲(chǔ)狀態(tài)的界面展示。監(jiān)控展示，主要對(duì)接入應(yīng)用過(guò)程中的網(wǎng)絡(luò)、存儲(chǔ)狀態(tài)的展現(xiàn)，包括實(shí)時(shí)監(jiān)控界面和流量展示。

可視化展示：可視化主要分原始數(shù)據(jù)展示和監(jiān)控展示，本發(fā)明舉例說(shuō)明如下：

原始數(shù)據(jù)展示，對(duì)接入的數(shù)據(jù)創(chuàng)建一個(gè)直觀易于理解的界面。EMS能力管理系統(tǒng)數(shù)據(jù)中量測(cè)數(shù)據(jù)的展示界面主要展示量測(cè)點(diǎn)數(shù)據(jù)的變化，界面包含時(shí)間變化而變化的曲線。

實(shí)時(shí)監(jiān)控界面，直觀展示W(wǎng)eb服務(wù)狀態(tài)和存儲(chǔ)狀態(tài)，綠色代表正常、黃色代表警告、紅色代表嚴(yán)重故障。監(jiān)控外部通訊和內(nèi)部存儲(chǔ)兩個(gè)過(guò)程，外部通訊包括監(jiān)控：服務(wù)、請(qǐng)求、外部網(wǎng)絡(luò)狀態(tài)；內(nèi)部存儲(chǔ)監(jiān)控寫(xiě)入數(shù)據(jù)的狀態(tài)。

流量展示界面，對(duì)每次數(shù)據(jù)請(qǐng)求涉及到的數(shù)據(jù)流量進(jìn)行監(jiān)控，監(jiān)控內(nèi)容包括完成時(shí)間、請(qǐng)求量測(cè)數(shù)、返回量測(cè)數(shù)、插入量測(cè)數(shù)，最終以折線圖展示。

本發(fā)明有效集成跨平臺(tái)業(yè)務(wù)系統(tǒng)數(shù)據(jù)，形成分布式存儲(chǔ)的多源異構(gòu)融合型輸變電設(shè)備狀態(tài)信息資源，解決PMS、EMS、狀態(tài)監(jiān)測(cè)、GIS、氣象、雷電等多平臺(tái)、多應(yīng)用、多通信協(xié)議、多數(shù)據(jù)結(jié)構(gòu)的海量數(shù)據(jù)無(wú)法實(shí)時(shí)準(zhǔn)確接入在統(tǒng)一平臺(tái)的問(wèn)題，滿(mǎn)足數(shù)據(jù)分布式分析、處理和可視化展示要求，實(shí)現(xiàn)跨平臺(tái)信息的統(tǒng)一數(shù)據(jù)接入、實(shí)時(shí)監(jiān)控計(jì)算、分布式存儲(chǔ)和可視化展示。

本發(fā)明使用webservice技術(shù)、socket套接字通訊技術(shù)、業(yè)務(wù)數(shù)據(jù)建模及解析技術(shù)、分布式消息框架kafka、Hadoop分布式存儲(chǔ)技術(shù)，提供接口數(shù)據(jù)模型規(guī)范、數(shù)據(jù)接入策略配置、數(shù)據(jù)接口參數(shù)配置、數(shù)據(jù)校核規(guī)則配置、數(shù)據(jù)接入監(jiān)控、數(shù)據(jù)補(bǔ)錄、數(shù)據(jù)分布式存儲(chǔ)管理、可視化展示等一系列功能，通過(guò)以上功能自動(dòng)從業(yè)務(wù)系統(tǒng)中獲取數(shù)據(jù)，實(shí)現(xiàn)跨平臺(tái)信息的統(tǒng)一數(shù)據(jù)接入、實(shí)時(shí)監(jiān)控計(jì)算、分布式存儲(chǔ)和可視化展示。

本發(fā)明為統(tǒng)一電網(wǎng)系統(tǒng)數(shù)據(jù)建模、電力行業(yè)與其他部門(mén)間的數(shù)據(jù)交互奠定了基礎(chǔ)；為以后的其他電力系統(tǒng)的跨平臺(tái)數(shù)據(jù)獲取提供了技術(shù)依據(jù)；可為今后保障接入數(shù)據(jù)的完整性借鑒；為電網(wǎng)大數(shù)據(jù)分布式分析處理提供了基礎(chǔ)條件。

上述雖然結(jié)合附圖對(duì)本發(fā)明的具體實(shí)施方式進(jìn)行了描述，但并非對(duì)本發(fā)明保護(hù)范圍的限制，所屬領(lǐng)域技術(shù)人員應(yīng)該明白，在本發(fā)明的技術(shù)方案的基礎(chǔ)上，本領(lǐng)域技術(shù)人員不需要付出創(chuàng)造性勞動(dòng)即可做出的各種修改或變形仍在本發(fā)明的保護(hù)范圍以?xún)?nèi)。