專利名稱：一種基于分布式基礎(chǔ)架構(gòu)(Hadoop)的電能質(zhì)量監(jiān)測(cè)系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本實(shí)用新型屬于電力系統(tǒng)電能質(zhì)量、計(jì)算機(jī)軟件工程和數(shù)據(jù)庫(kù)技術(shù)領(lǐng)域，特別是一種基于分布式基礎(chǔ)架構(gòu)(Hadoop)的電能質(zhì)量監(jiān)測(cè)系統(tǒng)；通過非關(guān)系數(shù)據(jù)庫(kù)(HBase)存儲(chǔ)海量監(jiān)測(cè)數(shù)據(jù)實(shí)現(xiàn)了對(duì)電能質(zhì)量監(jiān)測(cè)數(shù)據(jù)海量存儲(chǔ)和并行計(jì)算。
背景技術(shù)：
目前，電力系統(tǒng)的電源類型和特性、電網(wǎng)結(jié)構(gòu)與負(fù)荷構(gòu)成正在發(fā)生著深刻變化，另外隨著高新技術(shù)產(chǎn)業(yè)的發(fā)展，電網(wǎng)中的敏感性負(fù)荷越來(lái)越多，電力系統(tǒng)問題也變得越來(lái)越復(fù)雜。電能的質(zhì)量問題已成為電網(wǎng)運(yùn)行中的主要問題。電能質(zhì)量在線監(jiān)測(cè)也日益成為保障電力系統(tǒng)安全運(yùn)行的重要手段?，F(xiàn)有的電能質(zhì)量在線監(jiān)測(cè)系統(tǒng)均采用基于關(guān)系型數(shù)據(jù)庫(kù)的方式實(shí)現(xiàn)監(jiān)測(cè)數(shù)據(jù)的持久化，監(jiān)測(cè)數(shù)據(jù)的分析、指標(biāo)計(jì)算和統(tǒng)計(jì)等均依賴關(guān)系數(shù)據(jù)庫(kù)進(jìn)行。而關(guān)系數(shù)據(jù)庫(kù)對(duì)海量數(shù)據(jù)的處理存在著諸多缺點(diǎn):1.隨著記錄數(shù)的增長(zhǎng)效率急劇下降；2.容錯(cuò)機(jī)制限制了數(shù)據(jù)庫(kù)的擴(kuò)展能力。正因?yàn)殛P(guān)系數(shù)據(jù)庫(kù)的固有缺陷，基于關(guān)系數(shù)據(jù)庫(kù)的電能質(zhì)量監(jiān)測(cè)數(shù)據(jù)的存儲(chǔ)、分析及統(tǒng)計(jì)存在諸多困難，涉及大數(shù)據(jù)量的海量監(jiān)測(cè)數(shù)據(jù)統(tǒng)計(jì)指標(biāo)的分析和統(tǒng)計(jì)也難以實(shí)現(xiàn)。特別對(duì)于監(jiān)測(cè)點(diǎn)的快速增加帶來(lái)的海量數(shù)據(jù)更難以處理。

實(shí)用新型內(nèi)容本實(shí)用新型的目的是提供一種基于分布式基礎(chǔ)架構(gòu)(Hadoop)的電能質(zhì)量監(jiān)測(cè)系統(tǒng)，通過數(shù)據(jù)庫(kù)(HBase)存儲(chǔ)海量監(jiān)測(cè)數(shù)據(jù)實(shí)現(xiàn)了對(duì)電能質(zhì)量監(jiān)測(cè)數(shù)據(jù)海量存儲(chǔ)和并行計(jì)算。為了實(shí)現(xiàn)上述目的，本實(shí)用新型的技術(shù)方案是:一種基于分布式基礎(chǔ)架構(gòu)(Hadoop)的電能質(zhì)量監(jiān)測(cè)系統(tǒng)，包括多個(gè)電能監(jiān)測(cè)裝置、通信服務(wù)器，其中，所述系統(tǒng)還包括任務(wù)管理服務(wù)器、建有非關(guān)系數(shù)據(jù)庫(kù)集群(HBase)的分布式計(jì)算處理服務(wù)器集群、以及包括多數(shù)據(jù)庫(kù)接入模塊和導(dǎo)入工具的關(guān)系數(shù)據(jù)管理服務(wù)器和包括多個(gè)管理模塊的電能質(zhì)量及網(wǎng)絡(luò)管理服務(wù)器，所述的多個(gè)電能監(jiān)測(cè)裝置連接通信服務(wù)器；所述通信服務(wù)器通過網(wǎng)絡(luò)連接任務(wù)管理服務(wù)器；所述任務(wù)管理服務(wù)器通過網(wǎng)絡(luò)連接分布式計(jì)算處理服務(wù)器集群，所述分布式計(jì)算處理服務(wù)器集群連接關(guān)系數(shù)據(jù)管理服務(wù)器和電能質(zhì)量及網(wǎng)絡(luò)管理服務(wù)器。進(jìn)一步，所述分布式計(jì)算處理服務(wù)器集群針對(duì)非關(guān)系數(shù)據(jù)庫(kù)集群設(shè)置有云處理接口(HBase Master)和多節(jié)點(diǎn)處理接口(HBase Reion);所述云處理接口連接任務(wù)管理服務(wù)器和關(guān)系數(shù)據(jù)管理服務(wù)器，所述多節(jié)點(diǎn)處理接口連接電能質(zhì)量及網(wǎng)絡(luò)管理服務(wù)器。本實(shí)用新型的有益效果是:本實(shí)用新型克服了傳統(tǒng)電能質(zhì)量監(jiān)測(cè)系統(tǒng)隨著監(jiān)測(cè)點(diǎn)的增加而帶來(lái)的存儲(chǔ)效率和計(jì)算效率迅速下降的問題，通過(HBase)數(shù)據(jù)庫(kù)存儲(chǔ)海量監(jiān)測(cè)數(shù)據(jù)實(shí)現(xiàn)了對(duì)電能質(zhì)量監(jiān)測(cè)數(shù)據(jù)海量存儲(chǔ)和并行計(jì)算，并通過節(jié)點(diǎn)動(dòng)態(tài)擴(kuò)展實(shí)現(xiàn)數(shù)據(jù)庫(kù)的動(dòng)態(tài)擴(kuò)容并在海量數(shù)據(jù)環(huán)境下通過并行計(jì)算提高電能質(zhì)量指標(biāo)的計(jì)算性能。
圖1是本實(shí)用新型的連接示意圖。圖中I是電能監(jiān)測(cè)裝置、2是通信服務(wù)器、3是任務(wù)管理服務(wù)器、4是分布式計(jì)算處理服務(wù)器集群、4-1是非關(guān)系數(shù)據(jù)庫(kù)集群、4-2是云處理接口、4-3是多節(jié)點(diǎn)處理接口、5是關(guān)系數(shù)據(jù)管理服務(wù)器、6是電能質(zhì)量及網(wǎng)絡(luò)管理服務(wù)器。
具體實(shí)施方式
本實(shí)施例提供一種基于分布式基礎(chǔ)架構(gòu)(Hadoop)的電能質(zhì)量監(jiān)測(cè)系統(tǒng)，包括多個(gè)電能監(jiān)測(cè)裝置、通信服務(wù)器，其中，所述系統(tǒng)還包括任務(wù)管理服務(wù)器、建有非關(guān)系數(shù)據(jù)庫(kù)集群(HBase)的分布式計(jì)算處理服務(wù)器集群、以及包括多數(shù)據(jù)庫(kù)接入模塊和導(dǎo)入工具的關(guān)系數(shù)據(jù)管理服務(wù)器和包括多個(gè)管理模塊的電能質(zhì)量及網(wǎng)絡(luò)管理服務(wù)器，所述的若干電能監(jiān)測(cè)裝置連接若干通信服務(wù)器；所述多個(gè)通信服務(wù)器通過網(wǎng)絡(luò)連接任務(wù)管理服務(wù)器；所述任務(wù)管理服務(wù)器通過網(wǎng)絡(luò)連接分布式計(jì)算處理服務(wù)器集群，所述分布式計(jì)算處理服務(wù)器集群連接關(guān)系數(shù)據(jù)管理服務(wù)器和電能質(zhì)量及網(wǎng)絡(luò)管理服務(wù)器。 實(shí)施例中，所述分布式計(jì)算處理服務(wù)器集群針對(duì)非關(guān)系數(shù)據(jù)庫(kù)集群設(shè)置有云處理接口(HBase Master)和多節(jié)點(diǎn)處理接口(HBase Reion);所述云處理接口連接任務(wù)管理服務(wù)器和關(guān)系數(shù)據(jù)管理服務(wù)器，所述多節(jié)點(diǎn)處理接口連接電能質(zhì)量及網(wǎng)絡(luò)管理服務(wù)器。電能質(zhì)量監(jiān)測(cè)裝置I將監(jiān)測(cè)處理后所得到的各類電能質(zhì)量指標(biāo)、電壓、電流、功率等參數(shù)按照IEC61850規(guī)范進(jìn)行編碼；監(jiān)測(cè)裝置將編碼后的結(jié)果通過網(wǎng)絡(luò)上傳至電能質(zhì)量通信服務(wù)器2。通信服務(wù)器2上設(shè)有通訊模塊、規(guī)約解析模塊和HBase集群的客戶端模塊。當(dāng)通訊模塊接收到電能質(zhì)量監(jiān)測(cè)裝置發(fā)送的數(shù)據(jù)包時(shí)觸發(fā)數(shù)據(jù)送達(dá)事件，由任務(wù)管理服務(wù)器3調(diào)用規(guī)約解析模塊按照IEC 61850數(shù)據(jù)規(guī)約解析出各類電能質(zhì)量監(jiān)測(cè)指標(biāo)，然后由管理服務(wù)器3從分布式計(jì)算處理服務(wù)器集群4中調(diào)用HBase集群客戶端將解析結(jié)果通過云處理接口 4-2寫入非關(guān)系數(shù)據(jù)庫(kù)集群4-1，云處理接口同時(shí)調(diào)入關(guān)系數(shù)據(jù)管理服務(wù)器5的關(guān)系數(shù)據(jù)，然后由多節(jié)點(diǎn)處理接口 4-3通過電能質(zhì)量及網(wǎng)絡(luò)管理服務(wù)器6調(diào)用網(wǎng)絡(luò)上的多個(gè)數(shù)據(jù)管理模塊完成海量數(shù)據(jù)的分布并行計(jì)算。所述的終端電能監(jiān)測(cè)裝置包括數(shù)據(jù)交換模塊，兼容DL/T 680 (IEC 61850)協(xié)議和PQDIF等協(xié)議規(guī)范，用于將數(shù)據(jù)上傳至主站通訊服務(wù)器。監(jiān)測(cè)裝置從電網(wǎng)采集得到電壓/電流信號(hào)，經(jīng)電壓/電流傳感器轉(zhuǎn)換為電壓信號(hào)之后進(jìn)行信號(hào)調(diào)理已抑制系統(tǒng)噪聲，再通過數(shù)據(jù)采集卡將模擬信號(hào)轉(zhuǎn)化為數(shù)字信號(hào)，最終解析出需要監(jiān)測(cè)的各種監(jiān)測(cè)數(shù)據(jù)。監(jiān)測(cè)裝置采集的主要數(shù)據(jù)有實(shí)時(shí)數(shù)據(jù)(相電壓總有效值、線電壓總有效值、電流總有效值、單相有功功率、單相無(wú)功功率、總有功功率、頻率等)、統(tǒng)計(jì)數(shù)據(jù)信息(包括:電壓總有效值、線電壓總有效值、電壓總畸變率、諧波電壓總有效值、正序電壓等)和報(bào)表數(shù)據(jù)信息(包括:電壓總有效值、線電壓總有效值、電壓基波、電壓負(fù)序不平衡度等)。具體的，所述的終端監(jiān)測(cè)裝置在兼容PQDIF規(guī)范的情況下通過將PQDIF監(jiān)測(cè)數(shù)據(jù)文件上傳至通訊前置機(jī)來(lái)接入系統(tǒng)。所述的終端監(jiān)測(cè)裝置和通信服務(wù)器組成的監(jiān)測(cè)數(shù)據(jù)采集子系統(tǒng)包括了通訊模塊，采集管理模塊。其中通訊服務(wù)器擔(dān)負(fù)著與采集終端裝置的通訊，除接收裝置發(fā)送過來(lái)的實(shí)時(shí)監(jiān)測(cè)數(shù)據(jù)外，對(duì)因故障沒能接收的數(shù)據(jù)進(jìn)行抽取。采集管理服務(wù)器包括采集任務(wù)管理、規(guī)約轉(zhuǎn)換器和云數(shù)據(jù)庫(kù)讀寫等模塊。采集服務(wù)器除兼容DL/T 680標(biāo)準(zhǔn)協(xié)議規(guī)范外同時(shí)兼容PQDIF規(guī)范，通過規(guī)約轉(zhuǎn)換模塊將所接受的數(shù)據(jù)轉(zhuǎn)換為符合DL/T 680 (IEC 61850)協(xié)議的數(shù)據(jù)，數(shù)據(jù)庫(kù)讀寫模塊將轉(zhuǎn)換后的數(shù)據(jù)寫入數(shù)據(jù)庫(kù)集群形成的云數(shù)據(jù)庫(kù)。所述的建有非關(guān)系數(shù)據(jù)庫(kù)集群(HBase)的分布式計(jì)算處理服務(wù)器集群形成的監(jiān)測(cè)數(shù)據(jù)云存儲(chǔ)與分布式計(jì)算子系統(tǒng)包括云數(shù)據(jù)庫(kù)模塊、分布式計(jì)算模塊、數(shù)據(jù)讀取和寫入接口模塊、集群管理及監(jiān)控模塊、云集群管理和分布式計(jì)算的調(diào)用接口模塊等。云數(shù)據(jù)庫(kù)模塊在基于Hadoop的數(shù)據(jù)庫(kù)Hbase之上提供數(shù)據(jù)讀寫操作、數(shù)據(jù)管理的封裝。所述關(guān)系數(shù)據(jù)管理服務(wù)器形成的關(guān)系數(shù)據(jù)庫(kù)導(dǎo)入子系統(tǒng)包括多數(shù)據(jù)庫(kù)接入模塊和導(dǎo)入工具。多數(shù)據(jù)庫(kù)接入模塊提供多種關(guān)系數(shù)據(jù)庫(kù)的驅(qū)動(dòng)，對(duì)保存在關(guān)系數(shù)據(jù)庫(kù)中的歷史監(jiān)測(cè)數(shù)據(jù)進(jìn)行讀寫操作，由導(dǎo)入工具通過云數(shù)據(jù)庫(kù)的數(shù)據(jù)接口寫入到云數(shù)據(jù)庫(kù)中。所述的電能質(zhì)量及網(wǎng)絡(luò)管理服務(wù)器形成的Web應(yīng)用管理子系統(tǒng)包括采集監(jiān)控、監(jiān)測(cè)數(shù)據(jù)管理、監(jiān)測(cè)數(shù)據(jù)查詢、監(jiān)測(cè)數(shù)據(jù)統(tǒng)計(jì)和系統(tǒng)配置與管理等模塊組成，提供電能質(zhì)量系統(tǒng)與用戶交互的功能。采集監(jiān)控模塊對(duì)接入系統(tǒng)的電能質(zhì)量監(jiān)測(cè)裝置進(jìn)行監(jiān)控和管理，查看監(jiān)測(cè)裝置的狀態(tài)及配置等。監(jiān)測(cè)數(shù)據(jù)管理模塊是對(duì)監(jiān)測(cè)裝置上傳至服務(wù)器的數(shù)據(jù)進(jìn)行管理的模塊，可以對(duì)監(jiān)測(cè)點(diǎn)上傳數(shù)據(jù)的完整性進(jìn)行校驗(yàn)，若存在缺失數(shù)據(jù)可以通過對(duì)監(jiān)測(cè)裝置召測(cè)來(lái)補(bǔ)全缺失的數(shù)據(jù)。監(jiān)測(cè)數(shù)據(jù)的查詢分析模塊主要提供是對(duì)各監(jiān)測(cè)裝置的歷史數(shù)據(jù)進(jìn)行簡(jiǎn)單查詢、多條件查詢及穩(wěn)態(tài)和暫態(tài)分析等。監(jiān)測(cè)數(shù)據(jù)統(tǒng)計(jì)模塊主要是對(duì)電能質(zhì)量監(jiān)測(cè)數(shù)據(jù)按月、季、年進(jìn)行統(tǒng)計(jì)計(jì)算并生成相應(yīng)報(bào)表。系統(tǒng)配置與管理模塊主要提供了用戶權(quán)限管理、監(jiān)測(cè)網(wǎng)管理和分組定制功能。各監(jiān)測(cè)裝置對(duì)電能質(zhì)量數(shù)據(jù)進(jìn)行實(shí)時(shí)采集，采集數(shù)據(jù)在監(jiān)測(cè)裝置中暫存，并按一定時(shí)間間隔發(fā)送至通訊服務(wù)器，采集管理服務(wù)器將通訊服務(wù)器傳來(lái)的數(shù)據(jù)根據(jù)協(xié)議和規(guī)約將數(shù)據(jù)進(jìn)行格式轉(zhuǎn)換并寫入到云數(shù)據(jù)庫(kù)中。
權(quán)利要求1.一種基于分布式基礎(chǔ)架構(gòu)(Hadoop)的電能質(zhì)量監(jiān)測(cè)系統(tǒng)，包括多個(gè)電能監(jiān)測(cè)裝置、通信服務(wù)器，其特征在于，所述系統(tǒng)還包括任務(wù)管理服務(wù)器、建有非關(guān)系數(shù)據(jù)庫(kù)集群的分布式計(jì)算處理服務(wù)器集群、以及包括多數(shù)據(jù)庫(kù)接入模塊和導(dǎo)入工具的關(guān)系數(shù)據(jù)管理服務(wù)器和包括多個(gè)管理模塊的電能質(zhì)量及網(wǎng)絡(luò)管理服務(wù)器，所述的多個(gè)電能監(jiān)測(cè)裝置連接通信服務(wù)器；所述通信服務(wù)器通過網(wǎng)絡(luò)連接任務(wù)管理服務(wù)器；所述任務(wù)管理服務(wù)器通過網(wǎng)絡(luò)連接分布式計(jì)算處理服務(wù)器集群，所述分布式計(jì)算處理服務(wù)器集群連接關(guān)系數(shù)據(jù)管理服務(wù)器和電能質(zhì)量及網(wǎng)絡(luò)管理服務(wù)器。
2.根據(jù)權(quán)利要求1所述的一種基于分布式基礎(chǔ)架構(gòu)(Hadoop)的電能質(zhì)量監(jiān)測(cè)系統(tǒng)，其特征在于，所述分布式計(jì)算處理服務(wù)器集群針對(duì)非關(guān)系數(shù)據(jù)庫(kù)集群設(shè)置有云處理接口和多節(jié)點(diǎn)處理接口 ；所述云處理接口連接任務(wù)管理服務(wù)器和關(guān)系數(shù)據(jù)管理服務(wù)器，所述多節(jié)點(diǎn)處理接口連接電能質(zhì)量及網(wǎng)絡(luò) 管理服務(wù)器。
專利摘要本實(shí)用新型提供一種基于分布式基礎(chǔ)架構(gòu)(Hadoop)的電能質(zhì)量監(jiān)測(cè)系統(tǒng)，包括若干電能監(jiān)測(cè)裝置、通信服務(wù)器、任務(wù)管理服務(wù)器和建有非關(guān)系數(shù)據(jù)庫(kù)集群的分布式計(jì)算處理服務(wù)器集群，所述的若干電能監(jiān)測(cè)裝置連接通信服務(wù)器；所述通信服務(wù)器通過網(wǎng)絡(luò)連接任務(wù)管理服務(wù)器；所述任務(wù)管理服務(wù)器通過網(wǎng)絡(luò)連接分布式計(jì)算處理服務(wù)器集群。本實(shí)用新型克服了傳統(tǒng)電能質(zhì)量監(jiān)測(cè)系統(tǒng)隨著監(jiān)測(cè)點(diǎn)的增加而帶來(lái)的存儲(chǔ)效率和計(jì)算效率迅速下降的問題，通過非關(guān)系數(shù)據(jù)庫(kù)存儲(chǔ)海量監(jiān)測(cè)數(shù)據(jù)實(shí)現(xiàn)了對(duì)電能質(zhì)量監(jiān)測(cè)數(shù)據(jù)海量存儲(chǔ)和并行計(jì)算，并通過節(jié)點(diǎn)動(dòng)態(tài)擴(kuò)展實(shí)現(xiàn)數(shù)據(jù)庫(kù)的動(dòng)態(tài)擴(kuò)容并在海量數(shù)據(jù)環(huán)境下通過并行計(jì)算提高電能質(zhì)量指標(biāo)的計(jì)算性能。
文檔編號(hào)G06F17/30GK203084729SQ20132000630
公開日2013年7月24日 申請(qǐng)日期2013年1月7日 優(yōu)先權(quán)日2013年1月7日
發(fā)明者孫建 申請(qǐng)人:安徽省電力科學(xué)研究院