本發(fā)明涉及風(fēng)電技術(shù)領(lǐng)域，特別是一種基于云計(jì)算的風(fēng)電大數(shù)據(jù)分析系統(tǒng)。

背景技術(shù)：

風(fēng)能作為一種清潔的可再生能源，已經(jīng)受到全球性的廣泛關(guān)注和高度重視。隨著電力系統(tǒng)中風(fēng)電裝機(jī)容量的比重日益增大，每臺(tái)風(fēng)電機(jī)組的數(shù)據(jù)也日趨完善和豐富，這樣，風(fēng)電的集中監(jiān)控系統(tǒng)，也面臨著數(shù)據(jù)存儲(chǔ)規(guī)模大、實(shí)時(shí)性、分析性強(qiáng)等挑戰(zhàn)。實(shí)時(shí)、有效、準(zhǔn)確的對(duì)風(fēng)電基礎(chǔ)數(shù)據(jù)分析，不僅可以從各方面對(duì)風(fēng)機(jī)性能進(jìn)行掌控，提高風(fēng)機(jī)發(fā)電效率和設(shè)備利用率，還可以對(duì)風(fēng)電的預(yù)測(cè)更加準(zhǔn)確，從而，使管理人員可以提前做好調(diào)度準(zhǔn)備，有助于電網(wǎng)消納更多的風(fēng)電。

對(duì)于集控側(cè)的風(fēng)機(jī)數(shù)據(jù)，其多樣豐富和存儲(chǔ)量大的特性，構(gòu)成風(fēng)電系統(tǒng)中獨(dú)具特色的大數(shù)據(jù)，對(duì)于“大數(shù)據(jù)”，是需要新處理模式才能具有更強(qiáng)的決策力、洞察發(fā)現(xiàn)力和流程優(yōu)化能力的海量、高增長(zhǎng)率和多樣化的信息資產(chǎn)。大數(shù)據(jù)技術(shù)的戰(zhàn)略意義不在于掌握龐大的數(shù)據(jù)信息，而是對(duì)于這些含有意義的數(shù)據(jù)進(jìn)行專業(yè)化處理。目前，國(guó)內(nèi)集控系統(tǒng)從風(fēng)電場(chǎng)側(cè)采集的數(shù)據(jù)主要有：風(fēng)機(jī)數(shù)據(jù)、升壓站數(shù)據(jù)、電計(jì)量數(shù)據(jù)、測(cè)風(fēng)塔數(shù)據(jù)等。風(fēng)場(chǎng)側(cè)通過(guò)數(shù)據(jù)采集裝置和網(wǎng)絡(luò)將數(shù)據(jù)傳輸?shù)郊刂行膫?cè)，集控中心側(cè)部署數(shù)據(jù)存儲(chǔ)服務(wù)器，將所有數(shù)據(jù)進(jìn)行歷史存儲(chǔ)。現(xiàn)有技術(shù)關(guān)于風(fēng)電數(shù)據(jù)的采集和存儲(chǔ)系統(tǒng)的流程圖如圖1所示。

隨著風(fēng)電行業(yè)的迅猛發(fā)展，風(fēng)機(jī)數(shù)據(jù)日趨豐富和完善，傳統(tǒng)的數(shù)據(jù)存儲(chǔ)系統(tǒng)和數(shù)據(jù)分析結(jié)構(gòu)將面臨巨大的壓力和挑戰(zhàn)。云計(jì)算是一種全新的大規(guī)模分布式計(jì)算模式，起源于互聯(lián)網(wǎng)公司對(duì)大量計(jì)算與存儲(chǔ)資源的需求以及對(duì)可伸縮性、高性能、高可用等特征的追求。云計(jì)算聚合了大量分布、異構(gòu)的資源，向用戶提供強(qiáng)大的海量數(shù)據(jù)存儲(chǔ)與計(jì)算能力，云計(jì)算通過(guò)虛擬化、動(dòng)態(tài)資源調(diào)配等技術(shù)向用戶提供服務(wù)避免資源浪費(fèi)與競(jìng)爭(zhēng)，提高資源利用率以及應(yīng)用性能。云計(jì)算提供橫向伸縮和動(dòng)態(tài)夫在均衡能力。云計(jì)算環(huán)境中的資源被組織為數(shù)據(jù)中心的形式，一個(gè)數(shù)據(jù)中心包含數(shù)千個(gè)甚至數(shù)萬(wàn)個(gè)節(jié)點(diǎn)，節(jié)點(diǎn)間通過(guò)高速網(wǎng)絡(luò)互聯(lián)，共同向用戶提供計(jì)算和存儲(chǔ)資源。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明的目的在于提供一種基于云計(jì)算的風(fēng)電大數(shù)據(jù)分析系統(tǒng)，包括分布式文件系統(tǒng)模塊，并行編程框架模塊，數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)，監(jiān)控工具，運(yùn)行調(diào)度工具以及開(kāi)發(fā)工具集合模塊，其中所述分布式系統(tǒng)文件系統(tǒng)用于數(shù)據(jù)的持久化存儲(chǔ)，所述監(jiān)控工具用于監(jiān)控系統(tǒng)的運(yùn)行狀態(tài)、數(shù)據(jù)分析作業(yè)的執(zhí)行狀態(tài)，所述運(yùn)行調(diào)度工具根據(jù)需求對(duì)數(shù)據(jù)分析作業(yè)進(jìn)行調(diào)度，解析作業(yè)間的關(guān)聯(lián)或依賴關(guān)系，所述開(kāi)發(fā)工具集合模塊用于簡(jiǎn)化系統(tǒng)的配置管理。

優(yōu)選的，所述分布式文件系統(tǒng)包括元數(shù)據(jù)服務(wù)器和多個(gè)數(shù)據(jù)服務(wù)器。

優(yōu)選的，所述分布式文件系統(tǒng)的文件由數(shù)據(jù)塊構(gòu)成，數(shù)據(jù)塊分布在不同的節(jié)點(diǎn)上，用于維持負(fù)載均衡。

優(yōu)選的，所述并行編程框架模塊采用谷歌公司的hadoop，基于map-reduce進(jìn)行并行編程。

優(yōu)選的，所述數(shù)據(jù)倉(cāng)庫(kù)模塊采用基于hadoop平臺(tái)的hive。

優(yōu)選的，所述開(kāi)發(fā)工具集合模塊包括sql翻譯、并行etl工具、索引管理和任務(wù)管理。

采用該基于云計(jì)算的風(fēng)電大系統(tǒng)，可以提高風(fēng)電數(shù)據(jù)分析挖掘速度，從而提高風(fēng)電管理效率和風(fēng)機(jī)設(shè)備利用率，進(jìn)而提高發(fā)電量。在數(shù)據(jù)存儲(chǔ)方面，構(gòu)建起相對(duì)大規(guī)模的存儲(chǔ)級(jí)別的相關(guān)系統(tǒng)，在設(shè)備利用方面，實(shí)現(xiàn)存儲(chǔ)設(shè)備在線的有效收縮和擴(kuò)展，在負(fù)載均衡方面，實(shí)現(xiàn)系統(tǒng)的全局性自動(dòng)的均衡夫在，在數(shù)據(jù)安全方面，云存儲(chǔ)實(shí)現(xiàn)整體數(shù)據(jù)的安全性與保護(hù)性。

根據(jù)下文結(jié)合附圖對(duì)本發(fā)明具體實(shí)施例的詳細(xì)描述，本領(lǐng)域技術(shù)人員將會(huì)更加明了本發(fā)明的上述以及其他目的、優(yōu)點(diǎn)和特征。

附圖說(shuō)明

后文將參照附圖以示例性而非限制性的方式詳細(xì)描述本發(fā)明的一些具體實(shí)施例。附圖中相同的附圖標(biāo)記標(biāo)示了相同或類似的部件或部分。本領(lǐng)域技術(shù)人員應(yīng)該理解，這些附圖未必是按比例繪制的。本發(fā)明的目標(biāo)及特征考慮到如下結(jié)合附圖的描述將更加明顯，附圖中：

圖1為現(xiàn)有技術(shù)風(fēng)電數(shù)據(jù)的采集和存儲(chǔ)系統(tǒng)的流程圖；

圖2為根據(jù)本發(fā)明實(shí)施例的基于云計(jì)算的風(fēng)電大數(shù)據(jù)分析系統(tǒng)框圖；

附圖3為根據(jù)本發(fā)明實(shí)施例的基于云計(jì)算的風(fēng)電大數(shù)據(jù)分析系統(tǒng)的數(shù)據(jù)流程圖。

具體實(shí)施方式

參見(jiàn)附圖1，已經(jīng)在背景技術(shù)部分說(shuō)明了部分該流程圖的內(nèi)容，從風(fēng)電場(chǎng)側(cè)采集的數(shù)據(jù)主要有：風(fēng)機(jī)數(shù)據(jù)、升壓站數(shù)據(jù)、電計(jì)量數(shù)據(jù)、測(cè)風(fēng)塔數(shù)據(jù)等，風(fēng)場(chǎng)側(cè)通過(guò)數(shù)據(jù)采集裝置和網(wǎng)絡(luò)將數(shù)據(jù)傳輸給集控中心側(cè)，集控中心側(cè)部署數(shù)據(jù)存儲(chǔ)服務(wù)器，將所有數(shù)據(jù)進(jìn)行歷史存儲(chǔ)。

參見(jiàn)附圖2，一種基于云計(jì)算的風(fēng)電大數(shù)據(jù)分析系統(tǒng)，包括分布式文件系統(tǒng)模塊1，并行編程框架模塊2，數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)3，監(jiān)控工具4，運(yùn)行調(diào)度工具5以及開(kāi)發(fā)工具集合模塊6，其中所述分布式系統(tǒng)文件系統(tǒng)1用于數(shù)據(jù)的持久化存儲(chǔ)，所述監(jiān)控工具4用于監(jiān)控系統(tǒng)的運(yùn)行狀態(tài)、數(shù)據(jù)分析作業(yè)的執(zhí)行狀態(tài)，所述運(yùn)行調(diào)度工具5根據(jù)需求對(duì)數(shù)據(jù)分析作業(yè)進(jìn)行調(diào)度，解析作業(yè)間的關(guān)聯(lián)或依賴關(guān)系，所述開(kāi)發(fā)工具集合模塊6用于簡(jiǎn)化系統(tǒng)的配置管理。分布式文件系統(tǒng)1包括元數(shù)據(jù)服務(wù)器1-1和多個(gè)數(shù)據(jù)服務(wù)器1-2。分布式文件系統(tǒng)1的文件由數(shù)據(jù)塊構(gòu)成，數(shù)據(jù)塊分布在不同的節(jié)點(diǎn)上，用于維持負(fù)載均衡。并行編程框架模塊2采用谷歌公司的hadoop，基于map-reduce進(jìn)行并行編程。數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)3采用基于hadoop平臺(tái)的hive。開(kāi)發(fā)工具集合模塊6包括sql翻譯、并行etl工具、索引管理和任務(wù)管理。

參見(jiàn)附圖3，風(fēng)電大數(shù)據(jù)與互聯(lián)網(wǎng)大數(shù)據(jù)存在明顯區(qū)別，大多數(shù)大數(shù)據(jù)分析系統(tǒng)hive和impala等均未對(duì)索引提供良好支持，而風(fēng)電大數(shù)據(jù)分析中，多維區(qū)域查詢極為常見(jiàn)，由于沒(méi)有索引，導(dǎo)致訪問(wèn)大量不需要的數(shù)據(jù)，顯著降低查詢的執(zhí)行性能，需要設(shè)計(jì)合適的索引結(jié)構(gòu)以及相應(yīng)的數(shù)據(jù)檢索機(jī)制，風(fēng)電大數(shù)據(jù)業(yè)務(wù)場(chǎng)景中，存在大量的數(shù)據(jù)修改，以覆蓋現(xiàn)有數(shù)據(jù)的方式執(zhí)行會(huì)導(dǎo)致執(zhí)行效率低下的問(wèn)題，因此需提供效率較高的數(shù)據(jù)改寫(xiě)機(jī)制，互聯(lián)網(wǎng)根據(jù)自身的業(yè)務(wù)而設(shè)計(jì)的hql只是sql的一個(gè)子集，并不完全適用于風(fēng)電大數(shù)據(jù)分析系統(tǒng)。因此附圖3展示的是一種新型的風(fēng)電數(shù)據(jù)分析挖掘應(yīng)用的數(shù)據(jù)流程圖，更適應(yīng)風(fēng)電的應(yīng)用。

采用該基于云計(jì)算的風(fēng)電大系統(tǒng)，可以提高風(fēng)電數(shù)據(jù)分析挖掘速度，從而提高風(fēng)電管理效率和風(fēng)機(jī)設(shè)備利用率，進(jìn)而提高發(fā)電量。在數(shù)據(jù)存儲(chǔ)方面，構(gòu)建起相對(duì)大規(guī)模的存儲(chǔ)級(jí)別的相關(guān)系統(tǒng)，在設(shè)備利用方面，實(shí)現(xiàn)存儲(chǔ)設(shè)備在線的有效收縮和擴(kuò)展，在負(fù)載均衡方面，實(shí)現(xiàn)系統(tǒng)的全局性自動(dòng)的均衡夫在，在數(shù)據(jù)安全方面，云存儲(chǔ)實(shí)現(xiàn)整體數(shù)據(jù)的安全性與保護(hù)性。

雖然本發(fā)明已經(jīng)參考特定的說(shuō)明性實(shí)施例進(jìn)行了描述，但是不會(huì)受到這些實(shí)施例的限定而僅僅受到附加權(quán)利要求的限定。本領(lǐng)域技術(shù)人員應(yīng)當(dāng)理解可以在不偏離本發(fā)明的保護(hù)范圍和精神的情況下對(duì)本發(fā)明的實(shí)施例能夠進(jìn)行改動(dòng)和修改。

技術(shù)特征：

技術(shù)總結(jié)
本發(fā)明提供了一種基于云計(jì)算的風(fēng)電大數(shù)據(jù)分析系統(tǒng)，包括分布式文件系統(tǒng)模塊(1)，并行編程框架模塊(2)，數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)(3)，監(jiān)控工具(4)，運(yùn)行調(diào)度工具(5)以及開(kāi)發(fā)工具集合模塊(6)，其中分布式系統(tǒng)文件系統(tǒng)(1)用于數(shù)據(jù)的持久化存儲(chǔ)，監(jiān)控工具(4)用于監(jiān)控系統(tǒng)的運(yùn)行狀態(tài)、數(shù)據(jù)分析作業(yè)的執(zhí)行狀態(tài)，運(yùn)行調(diào)度工具(5)根據(jù)需求對(duì)數(shù)據(jù)分析作業(yè)進(jìn)行調(diào)度，解析作業(yè)間的關(guān)聯(lián)或依賴關(guān)系，開(kāi)發(fā)工具集合模塊(6)用于簡(jiǎn)化系統(tǒng)的配置管理。該系統(tǒng)提高風(fēng)電數(shù)據(jù)分析挖掘速度，從而提高風(fēng)電管理效率和風(fēng)機(jī)設(shè)備利用率，進(jìn)而提高發(fā)電量。

技術(shù)研發(fā)人員：不公告發(fā)明人
受保護(hù)的技術(shù)使用者：深圳市樊溪電子有限公司
技術(shù)研發(fā)日：2017.07.05
技術(shù)公布日：2017.11.10