技術(shù)總結(jié)
本發(fā)明公開了一種基于HBase的智能電網(wǎng)時(shí)標(biāo)量測(cè)數(shù)據(jù)存儲(chǔ)方法,包括以下步驟:根據(jù)量測(cè)點(diǎn)的時(shí)標(biāo)和業(yè)務(wù)模型建立時(shí)標(biāo)量測(cè)數(shù)據(jù)存儲(chǔ)模型;采用WAL技術(shù)完成對(duì)數(shù)據(jù)記錄的加載從而實(shí)現(xiàn)將請(qǐng)求加載的數(shù)據(jù)全部加載到存儲(chǔ)模型中;根據(jù)量測(cè)點(diǎn)規(guī)模和數(shù)據(jù)產(chǎn)生頻率,建立數(shù)據(jù)分區(qū)機(jī)制,當(dāng)存儲(chǔ)模型中數(shù)據(jù)量達(dá)到分區(qū)條件時(shí),實(shí)現(xiàn)動(dòng)態(tài)預(yù)分區(qū);針對(duì)數(shù)據(jù)規(guī)模大、數(shù)據(jù)產(chǎn)生持續(xù)性強(qiáng)的時(shí)標(biāo)量測(cè)數(shù)據(jù),實(shí)現(xiàn)數(shù)據(jù)高速加載,滿足時(shí)標(biāo)量測(cè)數(shù)據(jù)快速加載;采用WAL技術(shù),確保系統(tǒng)異常崩潰時(shí),可通過日志文件快速恢復(fù)數(shù)據(jù),提升數(shù)據(jù)加載的可靠性;根據(jù)量測(cè)點(diǎn)規(guī)模和數(shù)據(jù)產(chǎn)生頻率,建立靈活的數(shù)據(jù)分區(qū)機(jī)制,確保大量數(shù)據(jù)分布式訪問,提升數(shù)據(jù)訪問性能。
技術(shù)研發(fā)人員:王遠(yuǎn);謝玉波;唐勝;包建國;曹健;陳辛明;程飛飛;何世春;孔煒;李強(qiáng);秦鵬飛;陶霞;王樂之;王為明;韋程;張操政;張巍
受保護(hù)的技術(shù)使用者:江蘇瑞中數(shù)據(jù)股份有限公司
文檔號(hào)碼:201611265634
技術(shù)研發(fā)日:2016.12.30
技術(shù)公布日:2017.06.13