本發(fā)明涉及一種智能電網(wǎng)時(shí)標(biāo)量測(cè)數(shù)據(jù)的存儲(chǔ)方法，具體是涉及一種基于HBase的智能電網(wǎng)時(shí)標(biāo)量測(cè)數(shù)據(jù)存儲(chǔ)方法。
背景技術(shù)：
：智能電網(wǎng)時(shí)標(biāo)量測(cè)數(shù)據(jù)是電網(wǎng)應(yīng)用中十分重要的數(shù)據(jù)，作為智能電網(wǎng)四大數(shù)據(jù)類型的重要組成部分，是智能電網(wǎng)設(shè)備狀態(tài)監(jiān)測(cè)、輔助決策分析、大數(shù)據(jù)挖掘等的重要基礎(chǔ)。當(dāng)前，智能電網(wǎng)時(shí)標(biāo)量測(cè)數(shù)據(jù)存儲(chǔ)的主要特點(diǎn)是：(1)時(shí)標(biāo)量測(cè)數(shù)據(jù)量大，存儲(chǔ)周期跨度長(zhǎng)；(2)數(shù)據(jù)格式固定；(3)數(shù)據(jù)加載吞吐量要求高；(4)訪問(wèn)模式以斷面和批量查詢?yōu)橹鳎?5)對(duì)于數(shù)據(jù)存儲(chǔ)穩(wěn)定性要求高；(6)歷史數(shù)據(jù)規(guī)模不斷增大，應(yīng)用的豐富性和互動(dòng)性不斷增強(qiáng)，對(duì)歷史數(shù)據(jù)的訪問(wèn)需求越來(lái)越高。針對(duì)時(shí)標(biāo)量測(cè)數(shù)據(jù)的以上特征，需要提出一種新型的智能電網(wǎng)時(shí)標(biāo)量測(cè)數(shù)據(jù)存儲(chǔ)方法。技術(shù)實(shí)現(xiàn)要素：發(fā)明目的：為了克服現(xiàn)有技術(shù)中存在的不足，本發(fā)明提供一種基于HBase的智能電網(wǎng)時(shí)標(biāo)量測(cè)數(shù)據(jù)存儲(chǔ)方法，可以大幅度提升時(shí)標(biāo)量測(cè)數(shù)據(jù)的加載和訪問(wèn)性能，同時(shí)提升數(shù)據(jù)存儲(chǔ)的可靠性，目的在于解決：(1)數(shù)據(jù)規(guī)模大、數(shù)據(jù)產(chǎn)生持續(xù)性強(qiáng)的時(shí)標(biāo)量測(cè)數(shù)據(jù)的高速加載；(2)以時(shí)間為維度的斷面數(shù)據(jù)(多個(gè)量測(cè)點(diǎn)在同一個(gè)時(shí)刻上的數(shù)據(jù)集合)和批量數(shù)據(jù)(單個(gè)量測(cè)點(diǎn)在多個(gè)時(shí)刻上的數(shù)據(jù)集合)的快速訪問(wèn)；(3)高可靠的數(shù)據(jù)加載方法。技術(shù)方案：為實(shí)現(xiàn)上述目的，本發(fā)明的一種基于HBase的智能電網(wǎng)時(shí)標(biāo)量測(cè)數(shù)據(jù)存儲(chǔ)方法，包括以下步驟：S1根據(jù)量測(cè)點(diǎn)的時(shí)標(biāo)和業(yè)務(wù)模型建立時(shí)標(biāo)量測(cè)數(shù)據(jù)存儲(chǔ)模型；S2采用WAL(Write-AheadLogging)技術(shù)—預(yù)寫式日志技術(shù)完成對(duì)數(shù)據(jù)記錄的加載從而實(shí)現(xiàn)將請(qǐng)求加載的數(shù)據(jù)全部加載到存儲(chǔ)模型中；S3根據(jù)量測(cè)點(diǎn)規(guī)模和數(shù)據(jù)產(chǎn)生頻率，建立數(shù)據(jù)分區(qū)機(jī)制，當(dāng)存儲(chǔ)模型中數(shù)據(jù)量達(dá)到分區(qū)條件時(shí)，實(shí)現(xiàn)動(dòng)態(tài)預(yù)分區(qū)。進(jìn)一步地，所述步驟S1包括以下步驟：基于分布式列式數(shù)據(jù)庫(kù)HBase存儲(chǔ)結(jié)構(gòu)，設(shè)計(jì)行鍵結(jié)構(gòu)為<CC+DT+YMDHMS+MT>，其中CC為地市編碼，DT為變電站編碼，YMDHMS為年月日時(shí)分秒，MT為量測(cè)類型；設(shè)計(jì)列鍵結(jié)構(gòu)為<MID>，其中MID為設(shè)備編碼。進(jìn)一步地，所述步驟S2包括以下步驟：首先完成數(shù)據(jù)記錄的加載過(guò)程，將請(qǐng)求加載的數(shù)據(jù)記錄順序?qū)懭胍粋€(gè)日志文件中；然后再將請(qǐng)求加載的數(shù)據(jù)加載至存儲(chǔ)模型進(jìn)行存儲(chǔ)操作；當(dāng)在數(shù)據(jù)加載過(guò)程中，出現(xiàn)斷電、崩潰和其他異常時(shí)，通過(guò)重新掃描所述日志文件實(shí)現(xiàn)將內(nèi)存中未成功寫入數(shù)據(jù)存儲(chǔ)模型的數(shù)據(jù)進(jìn)行重新加載。有益效果：本發(fā)明與現(xiàn)有技術(shù)比較，具有的優(yōu)點(diǎn)是：針對(duì)數(shù)據(jù)規(guī)模大、數(shù)據(jù)產(chǎn)生持續(xù)性強(qiáng)的時(shí)標(biāo)量測(cè)數(shù)據(jù)，實(shí)現(xiàn)數(shù)據(jù)高速加載，滿足時(shí)標(biāo)量測(cè)數(shù)據(jù)快速加載；采用WAL技術(shù)，確保系統(tǒng)異常崩潰時(shí)，可通過(guò)日志文件快速恢復(fù)數(shù)據(jù)，提升數(shù)據(jù)加載的可靠性；設(shè)計(jì)了一種智能電網(wǎng)時(shí)標(biāo)量測(cè)數(shù)據(jù)的列式存儲(chǔ)模型，采用聚簇思想，根據(jù)時(shí)標(biāo)和業(yè)務(wù)模型建立存儲(chǔ)單元，確保少量數(shù)據(jù)連續(xù)訪問(wèn)，同時(shí)進(jìn)行數(shù)據(jù)壓縮，減少磁盤I/O，提升數(shù)據(jù)訪問(wèn)性能；根據(jù)量測(cè)點(diǎn)規(guī)模和數(shù)據(jù)產(chǎn)生頻率，建立靈活的數(shù)據(jù)分區(qū)機(jī)制，確保大量數(shù)據(jù)分布式訪問(wèn)，提升數(shù)據(jù)訪問(wèn)性能。附圖說(shuō)明圖1是存儲(chǔ)模型結(jié)構(gòu)示意圖。具體實(shí)施方式下面結(jié)合附圖對(duì)本發(fā)明作更進(jìn)一步的說(shuō)明。本發(fā)明針對(duì)智能電網(wǎng)時(shí)標(biāo)量測(cè)數(shù)據(jù)存儲(chǔ)特點(diǎn)，提出了一種基于HBase的智能電網(wǎng)時(shí)標(biāo)量測(cè)數(shù)據(jù)存儲(chǔ)方法，主要包括以下步驟：根據(jù)量測(cè)點(diǎn)的時(shí)標(biāo)和業(yè)務(wù)模型建立時(shí)標(biāo)量測(cè)數(shù)據(jù)存儲(chǔ)模型；采用WAL(Write-AheadLogging)技術(shù)即預(yù)寫式日志技術(shù)完成對(duì)數(shù)據(jù)記錄的加載從而實(shí)現(xiàn)將請(qǐng)求加載的數(shù)據(jù)全部加載到內(nèi)存中的存儲(chǔ)模型文件中；根據(jù)量測(cè)點(diǎn)規(guī)模和數(shù)據(jù)產(chǎn)生頻率，建立數(shù)據(jù)分區(qū)機(jī)制，當(dāng)內(nèi)存中存儲(chǔ)模型文件中存儲(chǔ)數(shù)據(jù)量達(dá)到分區(qū)條件時(shí)，即實(shí)現(xiàn)動(dòng)態(tài)預(yù)分區(qū)。下面分別對(duì)上述步驟進(jìn)行具體說(shuō)明：根據(jù)量測(cè)點(diǎn)的時(shí)標(biāo)和業(yè)務(wù)模型建立時(shí)標(biāo)量測(cè)數(shù)據(jù)存儲(chǔ)模型：本發(fā)明方法基于分布式列式數(shù)據(jù)庫(kù)HBase存儲(chǔ)結(jié)構(gòu)，如圖1所示，設(shè)計(jì)RowKey即行鍵結(jié)構(gòu)為<CC+DT+YMDHMS+MT>，其中CC表示地市編碼，DT表示變電站編碼，YMDHMS表示年月日時(shí)分秒，MT表示量測(cè)類型；設(shè)計(jì)ColumnKey列鍵結(jié)構(gòu)為<MID>，其中MID表示設(shè)備編碼，圖1中Value表示數(shù)據(jù)值，即量測(cè)點(diǎn)量測(cè)數(shù)據(jù)值；采用WAL技術(shù)完成對(duì)數(shù)據(jù)記錄的加載從而實(shí)現(xiàn)將請(qǐng)求加載的數(shù)據(jù)全部加載到存儲(chǔ)模型中：為了保證數(shù)據(jù)加載的可靠性，本方法采用WAL(Write-AheadLogging)技術(shù)即預(yù)寫式日志技術(shù)；首先完成數(shù)據(jù)記錄的加載過(guò)程，將請(qǐng)求加載的數(shù)據(jù)數(shù)據(jù)記錄順序?qū)懭胍粋€(gè)日志文件中；然后再將請(qǐng)求加載的數(shù)據(jù)加載至內(nèi)存的存儲(chǔ)模型中進(jìn)行相關(guān)存儲(chǔ)操作；當(dāng)在數(shù)據(jù)加載過(guò)程中，出現(xiàn)斷電、崩潰等異常時(shí)，通過(guò)重新掃描日志文件實(shí)現(xiàn)將內(nèi)存中未成功寫入數(shù)據(jù)存儲(chǔ)模型的數(shù)據(jù)進(jìn)行重新加載，由于日志文件時(shí)按照順序?qū)懭?，因此?shù)據(jù)記載效率是可以得到保證的，同時(shí)確保了數(shù)據(jù)加載的可靠性；根據(jù)量測(cè)點(diǎn)規(guī)模和數(shù)據(jù)產(chǎn)生頻率，建立數(shù)據(jù)分區(qū)機(jī)制，當(dāng)存儲(chǔ)模型中數(shù)據(jù)量達(dá)到分區(qū)條件時(shí)，實(shí)現(xiàn)動(dòng)態(tài)預(yù)分區(qū)：本發(fā)明方法通過(guò)對(duì)存儲(chǔ)模型—基于分布式列式數(shù)據(jù)庫(kù)HBase存儲(chǔ)結(jié)構(gòu)中RowKey行鍵進(jìn)行散列的方式建立數(shù)據(jù)自適應(yīng)分區(qū)策略，在數(shù)據(jù)加載過(guò)程中，首先對(duì)RowKey按照字典順序進(jìn)行排序，以確保數(shù)據(jù)加載過(guò)程中數(shù)據(jù)按照RowKey順序加載至存儲(chǔ)模型中，當(dāng)存儲(chǔ)模型中數(shù)據(jù)量達(dá)到分區(qū)條件時(shí)，該分區(qū)提交是指配置指定單區(qū)最大存儲(chǔ)容量，根據(jù)RowKey分布進(jìn)行分區(qū)操作，同時(shí)支持通過(guò)指定分區(qū)的起止RowKey實(shí)現(xiàn)動(dòng)態(tài)預(yù)分區(qū)，再次參照?qǐng)D1，在存儲(chǔ)模型中RowKey按照字典順序排序，排序規(guī)則為從RowKey1開始，依次按照RowKey2、RowKey3往下，同樣對(duì)于ColunmKey按照順序排序，包括ColunmKey1，ColunmKey2，…，ColunmKeyN，數(shù)據(jù)加載過(guò)程中數(shù)據(jù)按照RowKey順序和ColunmKey順序加載至存儲(chǔ)模型中，Value指數(shù)據(jù)值，當(dāng)存儲(chǔ)模型中數(shù)據(jù)量達(dá)到3×N條時(shí)，從RowKey1開始至RowKey3截止實(shí)現(xiàn)第一個(gè)分區(qū)的動(dòng)態(tài)預(yù)分區(qū)，同樣道理，依次實(shí)現(xiàn)分區(qū)二、分區(qū)三至分區(qū)N的動(dòng)態(tài)預(yù)分區(qū)；例如，某地區(qū)用電信息采集系統(tǒng)時(shí)標(biāo)量測(cè)點(diǎn)為3600萬(wàn)，其數(shù)據(jù)采樣頻率均為15分鐘，若以一天分一個(gè)區(qū)的分區(qū)機(jī)制，則每個(gè)分區(qū)的數(shù)據(jù)量達(dá)到條，當(dāng)存儲(chǔ)模型中數(shù)據(jù)量達(dá)到3240000000條時(shí)，則進(jìn)行動(dòng)態(tài)預(yù)分區(qū)。實(shí)施例：以下將某地區(qū)用電信息采集系統(tǒng)時(shí)標(biāo)量測(cè)數(shù)據(jù)的實(shí)例來(lái)描述本發(fā)明方法的具體實(shí)施方式，并采用分布式列式數(shù)據(jù)庫(kù)HBase實(shí)現(xiàn)上述存儲(chǔ)模型；服務(wù)器硬件配置如表1所示：表1服務(wù)器軟件配置如表2所示：操作系統(tǒng)數(shù)據(jù)庫(kù)CentOS6.5HBase-1.2.0表2HBase服務(wù)參數(shù)配置如表3所示：參數(shù)名值備注hbase.regionserver.handler.count10RegionServer的請(qǐng)求處理IO線程數(shù)hbase.hregion.max.filesize4G單個(gè)Reigon的最大存儲(chǔ)空間hfile.block.cache.size0.2storefile讀緩存占用Heap的百分比hbase.hstore.blockingStoreFiles7storefilecompaction閾值表3數(shù)據(jù)表結(jié)構(gòu)如表4所示：表4數(shù)據(jù)模型編碼如表5所示：表5設(shè)該地區(qū)用電信息采集數(shù)據(jù)量測(cè)點(diǎn)規(guī)模約為3600萬(wàn)，數(shù)據(jù)產(chǎn)生周期為15分鐘，數(shù)據(jù)庫(kù)分表為按天分表，數(shù)據(jù)分區(qū)閾值為4GB，則每個(gè)分區(qū)的數(shù)據(jù)量達(dá)到條，當(dāng)存儲(chǔ)模型中數(shù)據(jù)量達(dá)到3240000000條時(shí)，則進(jìn)行動(dòng)態(tài)預(yù)分區(qū)，根據(jù)以上參數(shù)的配置，通過(guò)本發(fā)明方法設(shè)計(jì)的存儲(chǔ)模型，數(shù)據(jù)加載與訪問(wèn)效率如表6所示：操作類型加載訪問(wèn)效率(萬(wàn)/秒)1938表6如上表，本發(fā)明方法數(shù)據(jù)加載效率為19萬(wàn)/秒，本發(fā)明方法數(shù)據(jù)訪問(wèn)效率為38萬(wàn)/秒，其中，單位“萬(wàn)/秒”表示：每一秒鐘加載/訪問(wèn)多少萬(wàn)條數(shù)據(jù)值，在該實(shí)例(設(shè)該地區(qū)用電信息采集數(shù)據(jù)量測(cè)點(diǎn)規(guī)模約為3600萬(wàn)，數(shù)據(jù)產(chǎn)生周期為15分鐘，數(shù)據(jù)庫(kù)分表為按天分表，數(shù)據(jù)分區(qū)閾值為4GB)的場(chǎng)景下，數(shù)據(jù)加載的需求大于因此，本發(fā)明方法高效地滿足了該地區(qū)用電信息采集系統(tǒng)時(shí)標(biāo)量測(cè)數(shù)據(jù)應(yīng)用需求。以上所述僅是本發(fā)明的優(yōu)選實(shí)施方式，應(yīng)當(dāng)指出：對(duì)于本
技術(shù)領(lǐng)域：
的技術(shù)人員來(lái)說(shuō)，在不脫離本發(fā)明原理的前提下，還可以做出若干改進(jìn)和潤(rùn)飾，這些改進(jìn)和潤(rùn)飾也應(yīng)視為本發(fā)明的保護(hù)范圍。當(dāng)前第1頁(yè)1 2 3